- Différence essentielle : la concurrence conçoit et coordonne les tâches ; le parallélisme les exécute simultanément.
- Exigences : la concurrence peut s’exécuter sur un seul cœur ; le parallélisme nécessite plusieurs unités de calcul.
- Techniques et modèles : décomposition, mappage, parallélisme des données, graphes de tâches et pool de travail.
- Qualité et performance : timing correct, tests et mesures spécifiques tels que l'accélération, l'efficacité et l'Amdahl.
Si vous êtes impliqué dans le développement, vous avez probablement entendu parler de concurrence et de parallélisme, mais il n'est pas toujours évident de distinguer l'un de l'autre. En bref, Les deux techniques visent à mieux utiliser les ressources du système, bien qu’ils poursuivent des objectifs légèrement différents et soient mis en œuvre avec des outils et des critères différents.
Avant d'aborder le sujet, il convient de noter que, bien qu'ils soient souvent utilisés comme synonymes dans le langage courant, ils ne le sont pas. En fait, La concurrence décrit la manière dont nous structurons et coordonnons les tâches qui coexistent, tandis que le parallélisme désigne l'exécution simultanée de plusieurs de ces tâches sur du matériel performant. Décomposons-le progressivement à l'aide d'exemples clairs.
Définition claire de la concurrence et du parallélisme
La concurrence désigne la capacité d'un système à gérer plusieurs tâches se chevauchant. Cela peut se produire sur un seul processeur sans exécuter simultanément plusieurs instructions : Le système alterne entre les tâches (entrelacement) afin que toutes les progressions, réduisant les temps d'attente et améliorant l'expérience utilisateur. Il s'agit d'une approche de conception et de coordination logicielle.
Le parallélisme, quant à lui, repose sur l’idée de diviser pour mieux régner : Nous décomposons un gros problème en sous-problèmes et traitons ces éléments simultanément. sur plusieurs unités de calcul (cœurs, processeurs ou nœuds). Il s'agit d'une véritable exécution parallèle ; les performances dépendent donc largement du matériel disponible.
En pratique, les deux concepts sont liés : la concurrence décrit l'orchestration des tâches, tandis que le parallélisme décrit l'exécution simultanée. C'est pourquoi on dit parfois que La concurrence se concentre sur la conception du logiciel et le parallélisme sur son exécutionCe sont les deux faces d’une même pièce, mais elles ne sont pas interchangeables.
Précision importante : vous verrez parfois des définitions qui assimilent la concurrence au traitement simultané de plusieurs processus. En réalité, Cette concurrence est généralement apparente sur les machines monocœur., grâce à des changements de contexte rapides ; la véritable concurrence correspond au parallélisme et nécessite plusieurs unités de traitement.
Principales différences et exigences matérielles
Une différence pratique réside dans la configuration système requise. Pour obtenir un véritable parallélisme, plusieurs unités de calcul sont nécessaires : plusieurs cœurs, processeurs ou machines; d'autre part, la concurrence peut être implémentée sur un seul cœur en alternant les tâches. Cela a un impact direct sur les coûts matériels.
L’objectif principal diffère également : tandis que la concurrence réduit la latence perçue et améliore la réactivité d'un système en gérant plusieurs tâches en cours, le parallélisme cherche à accélérer le temps total d'exécution d'un travail en le divisant et en l'exécutant en même temps.
Autre distinction très utile : en parallèle, les sous-tâches sont généralement étroitement liées et leurs résultats sont combinés dans une étape finale. En simultanéité, Les tâches peuvent être indépendantes et ne pas dépendre les unes des autres; chacun avance à son rythme et finira au moment opportun, sans forcément se synchroniser avec les autres.
Enfin, à des fins de conception, nous disons souvent que la concurrence concerne la manière dont nous structurons le programme en unités qui coexistent et dont elles communiquent, tandis que le parallélisme concerne comment faire fonctionner ces unités à l'unisson pour gagner en performancesVous pouvez avoir une concurrence sans parallélisme (un seul cœur alternant les tâches) et un parallélisme sans beaucoup de concurrence (un calcul pur de données divisées et exécutées en parallèle).
Exemples de la vie quotidienne pour éviter toute confusion
Imaginez une application de téléchargement de musique. L'utilisateur sélectionne plusieurs chansons et l'application lui permet de les télécharger « en une seule fois ». L'idée principale est la suivante : Chaque téléchargement est indépendant et n'affecte pas les autres.Si l'une est lente, elle ne ralentit pas les autres. Il s'agit d'un scénario de concurrence classique : plusieurs tâches coexistent et progressent, alternant éventuellement les processeurs sur le même cœur.
Imaginez maintenant un comparateur de vols. Nous recevons les critères de l'utilisateur (dates, destination, nombre d'escales) et lançons des recherches simultanées pour plusieurs compagnies aériennes. Dans ce cas, toutes les recherches contribuent à un seul résultat finalTrouver la meilleure offre. Il faut attendre que tous les travaux soient terminés, collecter les résultats et les combiner. Il s'agit d'une stratégie de parallélisme classique, basée sur la division du travail et la synchronisation finale.
Une observation clé du parallélisme est l'étape de jonction des résultats. Après le partitionnement du problème, il doit y avoir une étape de combinaison qui intégrer des réponses partielles dans une solution finaleSans cette étape, le parallélisme ne fournit pas un produit complet.
Dans le monde réel, ces deux modèles coexistent fréquemment. Par exemple, un site web peut gérer simultanément de nombreuses requêtes utilisateur, et pour chacune d'elles, exécuter des routines parallèles qui tirent parti de plusieurs cœurs pour accélérer les calculs intensifs.
Modèles matériels et logiciels : un aperçu
Pour comprendre les possibilités, il est utile d'examiner le paysage du matériel parallèle et les logiciels qui l'exploitent. Concernant le matériel, Il existe différents niveaux de parallélisme: des cœurs multiples d'un même processeur aux clusters de machines à mémoire distribuée. La hiérarchie Flynn classe les architectures en catégories telles que SISD, SIMD, MISD et MIMD.
Côté logiciel, nous évoluons entre processus et threads. Un processus possède son propre espace d'adressage, tandis que plusieurs threads partagent la mémoire dans le même processusChoisir l’une ou l’autre implique des décisions concernant les coûts de communication, d’isolement et de synchronisation.
D'un point de vue opérationnel, les threads sont légers et rapides pour le partage de données, mais ils nécessitent une attention particulière à l'intégrité de la mémoire. Les processus, quant à eux, Ils offrent une isolation et préviennent certains types de corruption, en échange de communications plus coûteuses et d’une plus grande consommation de ressources.
Objectifs, axes et répartition des contenus fondamentaux
Un programme de formation solide en programmation simultanée et parallèle est généralement organisé en grandes sections. La première est « Comprendre les motivations et les tendances » : Pourquoi nous avons besoin du calcul parallèle, quelles séparations de responsabilités facilitent la conception et comment les performances influencent les décisions.
Dans le module Matériel parallèle, les modèles et les hiérarchies sont étudiés, notamment la taxonomie de Flynn, les GPU et les systèmes multicœurs/numa. Le module Logiciel parallèle aborde les concept de processus et de fil, ses API et comment organiser l'espace d'adressage et la mémoire partagée ou distribuée.
Le deuxième axe porte sur la conception de solutions concurrentes et distribuées. Il s'agit de comprendre ce qui différencie les algorithmes parallèles des algorithmes sériels, et comment nous analysons l'espace et le temps en présence de présence et de communication.
Les techniques de décomposition sont également abordées : récursive, basée sur les données, exploratoire, spéculative, etc. Sans une bonne décomposition, le parallélisme ne compense pas la surchargeDe plus, les tâches doivent être mappées à des processus ou à des threads, équilibrant la charge et minimisant les interactions.
Les modèles de programmes parallèles les plus utilisés appartiennent à cet axe : le parallélisme des données (même opération sur plusieurs éléments), le graphe de tâches (dépendances explicites) et le modèle pool de travail (ensemble de tâches que les threads consomment dynamiquement). Ces modèles aider à raisonner sur la distribution et le timing.
Le troisième bloc se concentre sur la résolution de problèmes courants de synchronisation et de coordination. Des cas emblématiques sont étudiés, tels que le producteur-consommateur, les philosophes commensaux, le problème des fumeurs, le salon de coiffure, le problème du Père Noël, la formation de l'eau et le problème dit du Modus Hall. Chacun de ces cas est abordé. illustre les dangers tels que la famine, les blocages et les conditions de course.
Les blocs suivants se concentrent sur la création de programmes concurrents avec des ressources partagées (par threads) et la création de programmes concurrents avec des ressources distribuées (par processus). Dans le premier, vous travaillerez avec des interfaces comme Pthreads et OpenMP, l'espace d'adressage commun est compris et vous apprenez à suivre l'activité de la mémoire et des threads.
Le deuxième aborde la concurrence dans les processus à mémoire distribuée et les API telles que MPI. Il étudie entrée et sortie parallèles, ainsi que la communication point à point et collective (diffusion, diffusion, rassemblement, réduction globale). L'analyse de la mémoire et des processus est également pratiquée.
Enfin, des sections sont consacrées aux tests logiciels, à l'évaluation et à la comparaison. Les tests couvrent les techniques boîte noire et boîte blanche adaptées à la concurrence et à la distribution. L'évaluation couvre la loi d'Amdahl. mesures d'accélération, d'efficacité et d'évolutivité, mesure du temps mural et visualisation avec graphiques.
Techniques de décomposition : comment décomposer le problème
Le choix de la répartition de la charge de travail fait toute la différence entre un gain ou une perte de performance. La décomposition des données attribue des sous-ensembles de données à différents exécuteurs ; fait des merveilles dans les opérations homogènes comment appliquer un filtre aux pixels ou parcourir des listes.
La décomposition récursive apparaît dans la théorie de diviser pour régner : le problème est fragmenté en sous-problèmes plus petits jusqu'à un seuil ; le tri par fusion parallèle ou le tri rapide sont des exemples classiquesLa décomposition exploratoire attribue différentes branches ou scénarios de recherche à différents threads ou nœuds.
La décomposition spéculative emprunte des chemins ou des hypothèses alternatifs en parallèle, en acceptant que certains les calculs sont gaspillés s'ils ne sont pas nécessairesC'est utile lorsque nous prédisons que plusieurs branches pourraient être valides mais que nous ne savons pas laquelle a priori.
Quelle que soit la technique, il faut penser au coût de coordination : s'il est trop élevé, le parallélisme perd de son efficacitéC'est pourquoi la granularité du travail est essentielle : des tâches qui ne sont ni trop petites ni trop grandes au point de déséquilibrer la charge de travail.
Cartographie des tâches et équilibrage de charge
Une fois la décomposition décidée, il est temps d'assigner les tâches aux processus ou aux threads. Le mappage statique répartit le travail à l'avance ; C'est simple et pas cher, mais il peut devenir déséquilibré si les tâches sont irrégulières. Cartographie dynamique (ou vol de travail) permet un réglage à la volée.
L'équilibrage de charge vise à garantir que tous les exécuteurs sont raisonnablement occupés. Ceci est réalisé grâce à l'utilisation de files d'attente partagées ou locales avec vol de travail. De plus, réduire la surcharge d'interaction entre les tâches, en minimisant les communications et les zones critiques.
Dans les environnements distribués, l'affinité des données et la topologie du réseau influencent l'allocation. Rapprocher les données de ceux qui les traitent évite les latences et les goulots d'étranglementEn mémoire partagée, il est conseillé d'éviter les faux partages afin que les caches fonctionnent en votre faveur et non contre vous.
Modèles de programmation parallèle
Le parallélisme des données applique la même opération à différents éléments en parallèle ; Il est idéal pour les GPU et SIMDLe graphique des tâches définit des nœuds avec des dépendances, permettant aux planificateurs d'exécuter ce qui est déjà prêt sans rompre l'ordre.
Le patron pool de travail Il regroupe les tâches dans une file d'attente ; plusieurs travailleurs les utilisent et produisent des résultats. Sa force réside dans son adaptabilité : Si une tâche prend plus de temps, d'autres avancent tandis queIl est utilisé dans les pipelines, les serveurs et les moteurs de recherche.
Le choix du modèle n’affecte pas seulement les performances : il détermine également la facilité avec laquelle il est possible de raisonner sur l’exactitude et la précision. possibilité d'introduire ou d'éviter des blocages, attentes actives et conditions de course.
Concurrence threadée et mémoire partagée
En mémoire partagée, plusieurs threads accèdent au même espace d'adressage. Cela permet la transmission de données par référence sans copie, mais nécessite de garantir l'intégrité. Les outils les plus courants sont : Pthreads et OpenMP:Le premier offre un contrôle précis ; le second, des directives de haut niveau intégrées au compilateur.
Le défi consiste à écrire du code exempt de conditions de concurrence. Nous devons protéger les régions critiques par des mutex ou des verrous en lecture-écriture, utiliser des variables de condition pour la coordination, et s'appuyer sur des barrières et des opérations de réduction lorsque cela est approprié.
De plus, il est nécessaire de distinguer le code réentrant du code non réentrant : le code réentrant peut être exécuté en parallèle sans risque s'il ne conserve pas l'état global. C'est une condition pour bien parler de code thread-safe, qui résiste à l’exécution simultanée sans corrompre les données.
Concurrence par processus et mémoire distribuée
Lorsque chaque processus possède sa propre mémoire, des bibliothèques comme MPI entrent en jeu. Les données ne sont pas partagées ici : des messages explicites sont envoyésCela augmente la robustesse contre les erreurs de mémoire partagée, au prix d’une augmentation des frais de communication.
MPI offre des communications point à point (envoi/réception) et collectives (diffusion, diffusion, regroupement, tous à tous, réduction). Lors de la conception, il est important de bien comprendre les exigences d'E/S parallèles : Un bon modèle d'accès au disque peut changer la donne dans les charges de données intensives.
L'évolutivité horizontale est son terrain naturel : si le problème s'aggrave, nous ajoutons des nœuds. Cependant, la latence du réseau et la synchronisation collective nécessitent des algorithmes qui limiter les temps d'attente et privilégier l'informatique de proximité.
Synchronisation : mécanismes et pièges courants
Pour coordonner les threads ou les processus, nous utilisons des primitives de synchronisation. En mémoire partagée, les primitives classiques sont : mutex, sémaphores, verrous en lecture-écriture et des variables de condition. À un niveau supérieur, nous utilisons des barrières et des réductions pour les points de rencontre globaux.
L’attente occupée a mauvaise réputation, et pour cause : Cela occupe du CPU sans effectuer de travail utile.Cela ne se justifie que dans les scénarios avec une latence minimale et des durées très courtes. Nous privilégions généralement les temps d'attente bloquants qui libèrent le processeur jusqu'à ce qu'il y ait du travail à effectuer.
Les problèmes courants incluent les blocages, les blocages (personne n'avance alors que tout le monde avance), la sous-utilisation (certains threads ne progressent jamais) et les priorités mal gérées. Concevez avec un ordre total dans l'acquisition des ressources et délais d'attente raisonnables aide à les éviter.
Tests d'exactitude dans les programmes concurrents
Tester des logiciels concurrents n'est pas une mince affaire, car les échecs peuvent être non déterministes. Cependant, il existe des stratégies. Les tests en boîte noire valident l'interface et le comportement observable. les boîtes blanches imposent des intercalaires en béton pour exposer les courses et les blocages.
Les outils de détection de concurrence entre les données, l'analyse statique et la vérification des modèles sont de précieux alliés. De plus, il est conseillé d'injecter des défauts (par exemple, en ajoutant aléatoirement de petites attentes) pour augmenter la probabilité de révéler des entrelacements problématiques pendant les épreuves.
Dans les processus distribués, les tests de communication et la simulation de partitionnement réseau sont essentiels. N'oubliez jamais d'enregistrer précisément : bon suivi des événements et du temps C'est de l'or pur quand il s'agit de raffinage.
Indicateurs de performance : accélération, efficacité et évolutivité
Pour une évaluation objective, nous utilisons des indicateurs standards. L'accélération mesure l'accélération d'un programme parallèle par rapport à celle d'un programme série. L'efficacité normalise cette accélération par le nombre de ressources, indiquant quelle fraction de la capacité utilisons-nous.
La loi d'Amdahl nous rappelle que la section non parallélisable limite l'accélération maximale : même si vous ajoutez des ressources infinies, la partie séquentielle fixe un plafondParallèlement, la loi de Gustafson offre une autre perspective lorsque la taille du problème augmente avec les ressources.
L'évolutivité décrit l'évolution des performances avec l'augmentation des données et des ressources. On distingue une forte évolutivité (problème résolu, ressources accrues) et une faible évolutivité (le problème s'aggrave avec l'augmentation des ressources). Les deux Ils exigent une mesure rigoureuse du temps passé sur le mur (horloge murale) et présentez les résultats sous forme de graphiques clairs.
Exigences pratiques et coûts
En parallélisme, le matériel est roi : pour exécuter réellement plusieurs tâches simultanément, plusieurs cœurs ou machines sont nécessaires. Cela engendre des coûts et une complexité opérationnelle. En concurrence, en revanche, vous pouvez améliorer la réactivité sur un seul cœur, avec moins d’investissement, si vous concevez bien.
Ne vous y trompez pas : tous les parallélismes ne sont pas accélérés. Si la communication ou la synchronisation dominent, La surcharge peut éroder les bénéficesC'est pourquoi nous insistons tant sur la décomposition, la cartographie et le choix du bon modèle pour chaque problème.
Études de cas et modèles classiques
Les exercices canoniques existent pour une raison : ils enseignent les schémas de coordination et les pièges à éviter. Producteur-consommateur illustre les files d'attente, les signaux et la contre-pression. Philosophes commensaux expose les blocages et explique comment. briser les symétries pour les éviter.
Les problèmes des fumeurs, du barbier et du Père Noël nous obligent à réfléchir à la réglementation, aux notifications et à l'équité. Former de l'eau nous enseigne combinaisons et barrières atomiques pour aligner les entités. Le modus Hall (dans sa formulation classique) est une autre excuse pour pratiquer ces mécanismes.
La combinaison de ces modèles avec de bonnes bibliothèques (Pthreads, OpenMP, MPI) et des tests solides vous prépare à la vie réelle : services Web à haute concurrence, calcul scientifique qui comprime les noyaux et des pipelines de données distribués.
Une application judicieuse de tout cela produit des logiciels plus rapides, plus évolutifs et plus fluides. L'essentiel est de savoir quand la concurrence et le parallélisme sont les plus adaptés et, surtout, comment les utiliser. les faire vivre ensemble sans se marcher sur les pieds dans une architecture bien pensée.
En regardant la situation dans son ensemble, la concurrence vous permet de traiter plus de tâches à la fois et de répondre plus rapidement, même avec un seul cœur grâce à l'alternance, tandis que le parallélisme améliore les performances en résolvant une seule tâche simultanément sur plusieurs unités de calcul ; avec des techniques de décomposition, de mappage, de synchronisation et de test appropriées, et prises en charge par des modèles tels que le parallélisme des données, les graphiques de tâches ou le pooling de travail. Il est possible de concevoir des systèmes capables de gérer une charge importante et de fonctionner également plus rapidement. sans perdre l'exactitude.