% INF5171 — Programmation concurrente et parallèle % UQAM — Département d'informatique % Plan de cours — Automne 2024 * Horaires, locaux et enseignants: Responsable(s) du cours ======================= Coordination ------------ Giraldeau, Francis PK-4820 Enseignement ------------- Giraldeau, Francis Description officielle ====================== Objectifs --------- Familiariser les étudiants avec les concepts de base et les différents paradigmes de la programmation concurrente et parallèle. Donner un aperçu de la mise en oeuvre de programmes concurrents et parallèles dans différents langages. Sommaire du contenu ------------------- Architectures parallèles : architecture des processeurs (pipelines, coeurs multiples); multiprocesseurs, multi-ordinateurs, grilles de calculs. Types d’application concurrentes : à fils d’exécution multiples, parallèles, distribuées. Synchronisation et communication : variables partagées, échange de messages. Programmation par variables partagées : verrous, sémaphores, barrières, moniteurs. Mesures de performance: temps, coût, accélération, efficacité. Stratégies de programmation : parallélisme itératif, récursif, de flux, de données, de sac de tâches; parallélisme de résultat, d’agenda, de spécialistes. Modalité d’enseignement ----------------------- Ce cours comporte une séance obligatoire de laboratoire (2 heures). Préalables académiques ---------------------- `INF3173 `__ Contenu détaillé ---------------- **Sommaire** - Introduction et rappels des concepts des systèmes d'exploitation. - Types d'architectures parallèles: processeurs multi-coeurs, processeurs graphiques, grappes de calcul. - Parallélisme de tâche, de données et chemin critique. - Analyse des algorithmes parallèles: temps d'exécution, accélération et efficacité. - Synchronisation, opérations atomiques et communication interprocessus. - Exploitation des instructions vectorielles - Mesure de performance, compteurs de performance, intensité arithmétique, bande passante et effet de cache. - Test et vérification des applications parallèles. - Mise en oeuvre en C++ à l'aide de librairies modernes. **Introduction et rappels** - Survol des architectures parallèles - Classe de traitement parallèle - Calcul de l'accélération - Assembleur Intel x86 - Rappels à propos des systèmes d'exploitation **Parallélisme de tâche** - Identification des sections séries et parallèles - Gestion de fil d'exécution à bas-niveau - Synchronisation: verrous, conditions, barrières - Étude de cas avec la librairie Pthreads **Parallélisme de données** - Granularité du calcul - Chemin critique d'exécution - Division du travail en intervalle - Conditions critique - Analyse du coût et de l'accélération asymptotique - Réduction et tri en parallèle - Intégration en parallèle - Étude de cas avec la librairie OpenMP et TBB **Hiérarchie de mémoire** - Organisation de la hiérarchie de mémoire - Protocole de cohérence de cache - Opérations atomiques - Défaut de cache - Patrons d'accès à la mémoire - Problème de faux partage - Profilage des accès mémoires - Intensité arithmétique - Modèle de la ligne de toit **Instructions SIMD** - Principe de fonctionnement - Registres et instructions x86 - Utilisation de l'API intrinsèque - Vectorisation automatique et avec OpenMP - Élimination des branches **Programmes distribués** - Calcul sur grappe - Modèles de communication - Accélération en fonction de la taille du problème - Notion d'efficacité - Étude de cas avec MPI **Mesure de performance** - Mesure du temps écoulé - Comparaison des méthodes de profilage - Traçage d'application et du noyau - Étude du code assembleur généré - Outils statistique pour la comparaison des résultats **Vérification des programmes parallèles** - Stratégie de débogage - Mise à l'échelle, banc d'essais de performance - Méthode de test de charge - Vérification formelle statique v.s. fonctionnement - Étude de cas avec Helgrind et ThreadSanitizer **Calcul sur processeur graphique** - Différence entre architectures - Définition et lancement de noyau de calcul - Communication entre l'hôte et le périphérique - Étude de cas avec OpenCL (ou équivalent) Évaluation ========== Évaluation Pondération (%) Date -------------- ----------------- ------------ TP1 10 2024-09-27 Quiz 1 5 2024-10-10 TP2 10 2024-10-18 Examen intra 25 2024-10-24 TP3 10 2024-11-15 Quiz 2 5 2024-11-28 TP4 10 2024-12-06 Examen final 25 2024-12-12 Les sujets pour des travaux pratiques vont dépendre du matériel et de l'environnement disponible pour leur réalisation. Lorsque mentionné, les travaux devront être lancés sur la grappe de calcul dédiée au cours. - TP1 : Programme en mémoire partagée 1 - TP2 : Programme en mémoire partagée 2 - TP3 : Programme en mémoire distribuée - TP4 : Programme sur processeur graphique Les travaux pratiques sont à réaliser seul ou en équipe de deux. Il est important que chaque personne comprenne bien les laboratoires et les travaux pratiques, car ils feront l'objet de questions aux examens. Le rapport et le code doivent être remis sur Moodle. Attention: aucune remise ne pourra être faite après la date limite. En cas de divergences avec l'entente d'évaluation, les modalités de l'entente d'évaluation prévalent. Médiagraphie ============ - MCCOOL, Michael, REINDERS, James, et ROBISON, Arch. Structured parallel programming: patterns for efficient computation. Elsevier, 2012. - BUELER, Ed. PETSc For partial differential equations: Numerical solutions in C and Python. Society for Industrial and Applied Mathematics, 2020. - WEN-MEI, W. Hwu, KIRK, David B., et EL HAJJ, Izzat. Programming Massively Parallel Processors: A Hands-on Approach. Morgan Kaufmann, 2022. - ANDERSON, Robert, ANDREJ, Julian, BARKER, Andrew, et al. MFEM: A modular finite element methods library. Computers & Mathematics with Applications, 2021, vol. 81, p. 42-74. - GROPP, William, LUSK, Ewing, et SKJELLUM, Anthony. Using MPI, third edition: portable parallel programming with the message-passing interface. MIT press, 2014. - WILLIAMS, Anthony. C++ concurrency in action. Simon and Schuster, 2019. - NIELSEN, Frank et NIELSEN, Frank. Introduction to MPI: the message passing interface. Introduction to HPC with MPI for Data Science, 2016. Monitorat de programme ---------------------- Le département d’informatique offre un service gratuit d’aide à la réussite s’adressant plus particulièrement aux étudiant.e.s du baccalauréat et du certificat en informatique. Il concerne principalement les cours de base comme INF1070, INF1120, INF1132, INF2120 et INF2171, mais, selon la connaissance du moniteur ou de la monitrice, un support dans d’autres cours peut également être offert. Objectifs ~~~~~~~~~ Permettre aux étudiant.e.s de : - Bénéficier d’un encadrement par les pairs ; - Recevoir un suivi personnalisé en cas de difficulté ; - Profiter d’un soutien supplémentaire à la matière vue en classe ; - Obtenir un support technique sur les technologies, les outils, les bibliothèques et les cadriciels utilisés dans les cours (installation, configuration, utilisation) Informations ~~~~~~~~~~~~ - Voir https://info.uqam.ca/aide/ pour la grille horaire et tous les détails - Le service est généralement disponible à partir de la deuxième semaine - D’autres plages horaires pourraient être ajoutées en cours de session selon les besoins - Clavardage en direct: `~aide `__ (Mattermost) Information sur les Services à la vie étudiante ----------------------------------------------- Services ~~~~~~~~ Les services à la vie étudiante accompagnent les étudiantes et les étudiants dans la réussite de leur parcours universitaire. Bureau ~~~~~~ Bureau des services-conseils (**soutien psychologique, bien-être aux études, information scolaire et insertion professionnelle, orientation, emploi**): pour prendre rendez-vous, communiquez au 514 987-3185 ou par courriel à services-conseil@uqam.ca. Aide financière ~~~~~~~~~~~~~~~ Bureau de **l’aide financière**: pour prendre rendez-vous, écrivez à aidefinanciere@uqam.ca. Bourses d’études ~~~~~~~~~~~~~~~~ Concernant les **bourses**, pensez à consulter Le Répertoire institutionnel des bourses d’études (RIBÉ) et écrivez à bourse@uqam.ca pour toute question. Informations générales ~~~~~~~~~~~~~~~~~~~~~~ Consultez les informations et l’ensemble des coordonnées et services offerts par les Services à la vie étudiante à l’adresse suivante: vie-etudiante@uqam.ca. Politique d’absence aux examens ------------------------------- Reprise d’examen ~~~~~~~~~~~~~~~~ L’autorisation de reprendre un examen en cas d’absence est de **caractère exceptionnel**. Pour obtenir un tel privilège, l’étudiant-e doit avoir des motifs sérieux et bien justifiés. Conflits d’horaire ~~~~~~~~~~~~~~~~~~ Il est de la responsabilité de l’étudiant.e de ne pas s’inscrire à des cours qui sont en conflit d’horaire, tant en ce qui concerne les séances de cours ou d’exercices que les examens. **De tels conflits d’horaire ne constituent pas un motif justifiant une demande d’examen de reprise.** Procédure ~~~~~~~~~ L’étudiant.e absent.e lors d’un examen doit, dans les cinq (5) jours ouvrables suivant la date de l’examen, présenter une demande de reprise en utilisant le formulaire prévu, disponible sur https://info.uqam.ca/repriseexamen/. Pièces justificatives ~~~~~~~~~~~~~~~~~~~~~ Dans le cas d’une absence de moins de cinq (5) jours pour raison médicale, l’étudiant.e doit joindre une déclaration sur l’honneur. Lors d’une absence de cinq (5) jours et plus, un billet médical est exigé. Les dates d’invalidité doivent être clairement indiquées sur le billet original. L’authenticité du billet pourrait être vérifiée. Dans le cas d’une absence pour une raison non médicale, l’étudiant.e doit fournir les documents originaux expliquant et justifiant l’absence à l’examen ; par exemple, lettre de la Cour en cas de participation à un jury, copie du certificat de décès en cas de décès d’un proche, etc. Toute demande incomplète sera refusée. Si la direction du programme d’études de l’étudiant.e constate qu’un.e étudiant.e a un comportement récurrent d’absence aux examens, l’étudiant.e peut se voir refuser une reprise d’examen. Pour plus d’informations ~~~~~~~~~~~~~~~~~~~~~~~~ Consulter la page https://info.uqam.ca/repriseexamen/. PLAGIAT Règlement no 18 sur les infractions de nature académique. (extraits) ---------------------------------------------------------------------------- **Tout acte de plagiat, fraude, copiage, tricherie ou falsification de document commis par une étudiante, un étudiant, de même que toute participation à ces actes ou tentative de les commettre, à l’occasion d’un examen ou d’un travail faisant l’objet d’une évaluation ou dans toute autre circonstance, constituent une infraction au sens de ce règlement.** (R18, art. 2.1, définition d’une infraction) Liste non limitative des infractions mentionnées dans le R18 : - la substitution de personnes ou l’usurpation d’identité (art. 2.2 a); - le plagiat : l’utilisation totale ou partielle du texte d’autrui ou de la production d’autrui en le faisant passer pour sien ou sans indication de référence (art. 2.2 b); - le recyclage/la réutilisation de travaux : le dépôt d’un travail aux fins d’évaluation alors que ce travail constitue en tout ou en partie un travail qui a déjà été soumis par la personne étudiante, aux fins d’évaluation académique à l’UQAM ou dans une autre institution d’enseignement, sauf avec l’accord préalable de la personne enseignante à qui ce travail est soumis (art. 2.2 c); - la possession ou l’obtention par vol, manœuvre ou corruption de questions ou de réponses d’examen (art. 2.2 d); - la possession ou l’utilisation de tout document ou matériel non autorisé préalablement, pendant un examen ou lors de la réalisation de travaux, incluant le recours aux outils informatiques ou moyens technologiques (art. 2.2 e); - l’utilisation pendant un examen de la copie d’examen ou de tout autre matériel provenant d’une autre personne (art. 2.2 f); - l’obtention de toute aide non autorisée, qu’elle soit collective ou individuelle (art. 2.2 g); - l’obtention d’une évaluation non méritée notamment par corruption, chantage, intimidation ou toute forme de harcèlement ou la tentative d’obtenir une telle évaluation (art. 2.2 h); - la falsification d’un document ou la création d’un faux document, notamment d’un document transmis à l’Université ou d’un document de l’Université transmis ou non à une tierce personne, quelles que soient les circonstances (art. 2.2 i); - la falsification de données de recherche dans un travail, notamment une thèse, un mémoire, un mémoire- création, un rapport de stage ou un rapport de recherche (art. 2.2 j). Les sanctions reliées à ces infractions sont précisées aux articles 3 et 5 du `Règlement no 18 sur les infractions de nature académique `__. Pour éviter de vous exposer à des sanctions : 1. Consultez le site `r18.uqam.ca `__ pour plus d’information sur l’intégrité académique et le R18; 2. Développez les bonnes pratiques en matière de recherche documentaire et de rédaction des travaux via l’outil `Infosphère `__ et les `formations offertes par le Service des bibliothèques `__ Politique no 2 -------------- Le droit à la liberté académique universitaire est le droit de toute personne d’exercer librement et sans contrainte doctrinale, idéologique ou morale, telle la censure institutionnelle, une activité par laquelle elle contribue à l’accomplissement de la mission de l’Université. Ce droit comprend la liberté : (a) d’enseignement et de discussion; (b) de recherche, de création et de publication; (c) d’exprimer son opinion sur la société et sur une institution, y compris l’établissement duquel la personne relève, ainsi que sur toute doctrine, tout dogme ou toute opinion; (d) de participer librement aux activités d’organisations professionnelles ou d’organisations académiques. Il doit s’exercer en conformité avec les normes d’éthique et de rigueur scientifique généralement reconnues par le milieu universitaire et en tenant compte des droits des autres membres de la communauté universitaire. En reconnaissant, en promouvant et en protégeant la liberté académique universitaire, cette politique soutient la mission de l’Université, laquelle comprend la production et la transmission de connaissances par des activités de recherche, de création et d’enseignement et par des services à la collectivité. Pour plus d’information, vous pouvez consulter la section `Liberté académique universitaire `__. Politique no 16 visant à prévenir et combattre le sexisme et les violences à caractère sexuel --------------------------------------------------------------------------------------------- Les violences à caractère sexuel se définissent comme étant des comportements, propos et attitudes à caractère sexuel non consentis ou non désirés, avec ou sans contact physique, incluant ceux exercés ou exprimés par un moyen technologique, tels les médias sociaux ou autres médias numériques. Les violences à caractère sexuel peuvent se manifester par un geste unique ou s’inscrire dans un continuum de manifestations et peuvent comprendre la manipulation, l’intimidation, le chantage, la menace implicite ou explicite, la contrainte ou l’usage de force. Les violences à caractère sexuel incluent, notamment : - la production ou la diffusion d’images ou de vidéos sexuelles explicites et dégradantes, sans motif pédagogique, de recherche, de création ou d’autres fins publiques légitimes; - les avances verbales ou propositions insistantes à caractère sexuel non désirées; - la manifestation abusive et non désirée d’intérêt amoureux ou sexuel; - les commentaires, les allusions, les plaisanteries, les interpellations ou les insultes à caractère sexuel, devant ou en l’absence de la personne visée; - les actes de voyeurisme ou d’exhibitionnisme; - le (cyber) harcèlement sexuel; - la production, la possession ou la diffusion d’images ou de vidéos sexuelles d’une personne sans son consentement; - les avances non verbales, telles que les avances physiques, les attouchements, les frôlements, les pincements, les baisers non désirés; - l’agression sexuelle ou la menace d’agression sexuelle; - l’imposition d’une intimité sexuelle non voulue; - les promesses de récompense ou les menaces de représailles, implicites ou explicites, liées à la satisfaction ou à la non-satisfaction d’une demande à caractère sexuel. Pour consulter la politique no 16 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ https://instances.uqam.ca/wp-content/uploads/sites/47/2019/04/Politique_no_16_2.pdf Pour obtenir de l’aide, faire une divulgation ou une plainte ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ | Bureau d’intervention et de prévention en matière de harcèlement | 514-987-3000, poste 0886 Pour obtenir la liste des services offerts à l’UQAM et à l’extérieur de l’UQAM ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ https://harcelement.uqam.ca Soutien psychologique (Services à la vie étudiante) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ | 514-987-3185 | Local DS-2110 CALACS Trêve pour Elles – point de services UQAM ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ | 514 987-0348 | calacs@uqam.ca | http://trevepourelles.org Service de la prévention et de la sécurité ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ 514-987-3131 Politique no 44 d’accueil et de soutien des étudiant.e.s en situation de handicap  ---------------------------------------------------------------------------------- Politique ~~~~~~~~~ Par sa politique, l’Université reconnait, en toute égalité des chances, sans discrimination ni privilège, aux étudiant.e.s en situation de handicap, le droit de bénéficier de l’ensemble des ressources du campus et de la communauté universitaire, afin d’assurer la réussite de leurs projets d’études, et ce, dans les meilleures conditions possibles. L’exercice de ce droit est, par ailleurs, tributaire du cadre réglementaire régissant l’ensemble des activités de l’Université. Responsabilité de l’étudiant.e ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Il incombe aux étudiant.e.s en situation de handicap de rencontrer les intervenant.e.s (conseiller.ère.s à l’accueil et à l’intégration du Service d’accueil et de soutien des étudiant.e.s en situation de handicap, professeur.e.s, chargé.e.s de cours, direction de programmes, associations étudiantes concernées, etc.) qui pourront faciliter leur intégration à la communauté universitaire ou les assister et les soutenir dans la résolution de problèmes particuliers en lien avec les limitations entraînées par leur déficience. Service d’accueil et de soutien aux étudiant.e.s en situation de handicap ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Le Service d’accueil et de soutien aux étudiant.e.s en situation de handicap (SASESH) offre des mesures d’aménagement dont peuvent bénéficier certains étudiant.e.s. Il est fortement recommandé aux de se prévaloir de ces services afin de réussir ses études, sans discrimination. Pour plus d’information, visiter le site de ce service : https://services.uqam.ca/services-offerts/soutien-aux-etudiants-en-de-situation-handicap/ et celui de la politique institutionnelle d’accueil et de soutien aux étudiant.e.s en situation de handicap : https://instances.uqam.ca/wp-content/uploads/sites/47/2018/05/Politique_no_44.pdf Il est important d’informer le SASESH de votre situation le plus tôt possible : - En personne : 1290, rue Saint-Denis, Pavillon Saint-Denis, local AB-2300 - Par téléphone : 514 987-3148 - Par courriel : situation.handicap@uqam.ca - En ligne : https://vie-etudiante.uqam.ca/ Politique no 42 sur le harcelement ---------------------------------- L’Université du Québec à Montréal (ci-après, l’« Université ») reconnaît à toutes les personnes membres de la communauté universitaire le droit d’être traitées avec dignité, équité et respect mutuel. Toutes, tous sont susceptibles de subir du harcèlement. L’Université reconnaît que le harcèlement est majoritairement dirigé à l’endroit de certains groupes. Il s’agit notamment des femmes, plus particulièrement lorsque leur vécu se situe à l’entrecroisement de plusieurs formes de discrimination, des personnes issues des minorités sexuelles ou de genre, des communautés racisées ou ethnicisées, des communautés autochtones, des étudiantes, étudiants internationaux, ainsi que des personnes en situation de handicap. L’Université s’engage donc à tenir compte de leurs besoins spécifiques. L’Université considère le respect mutuel, l’égalité, l’écoute et l’entraide comme des valeurs importantes qui favorisent l’épanouissement personnel ainsi que l’établissement de rapports harmonieux entre les personnes et entre les groupes, et qui permettent la mise en place d’un milieu sain et propice à la réalisation individuelle ou collective de sa mission universitaire. L’Université croit que la collaboration de chaque personne et de chaque groupe de la communauté universitaire est essentielle pour favoriser la création d’un tel milieu et, en ce sens, elle compte sur la contribution de chaque personne. L’Université juge que toute forme de harcèlement porte atteinte à la dignité et à l’intégrité physique ou psychologique d’une personne. L’Université reconnaît sa responsabilité d’assurer un milieu de travail et d’études exempt de toute forme de harcèlement et veille à ce qu’aucune forme de harcèlement ne soit tolérée, quelle qu’en soit la source. Pour plus de détails, consultez la politique complète : https://instances.uqam.ca/wp-content/uploads/sites/47/2018/05/Politique_no_42.pdf