Les biais
En une phraseConstruire soi-même une machine à traduire à partir d’un corpus déséquilibré, mesurer le biais qu’elle reproduit et amplifie, et chercher comment le corriger.
Savoir professeur
Dix minutes de lecture, pour préparer la séance sans connaissance préalable.
Ce qu’on appelle un biais
En intelligence artificielle, un biais est un déséquilibre systématique dans les réponses d’une machine, qui la conduit à traiter différemment certains groupes de personnes, ou certains cas. Le mot vient de la statistique, où il désigne une erreur qui va toujours dans le même sens. Il ne suppose aucune intention : la machine n’a ni opinion ni préjugé.
Les biais viennent le plus souvent des données d’entraînement, de deux façons que la séance fait toucher du doigt.
- Les données peuvent refléter un déséquilibre de la société ou des textes. Le corpus de traductions de la séance contient « le médecin » cinq fois sur six : la machine le reproduit.
- Un groupe peut être sous-représenté dans les exemples. La machine apprend alors surtout à partir des autres et se trompe davantage sur lui : c’est ce que montre la démonstration des fruits, et c’est ce qui s’est produit avec la reconnaissance des visages.
D’autres sources existent, qu’il suffit de mentionner : le choix des mesures, vu à la séance 5 ; les étiquettes posées par des humains, vues à la séance 4 ; les coïncidences, vues à la séance 9.
La machine à traduire de la séance
Le corpus réunit vingt-quatre traductions, de l’anglais vers le français, de quatre noms de métiers. Il est inventé pour la séance, mais il reproduit une situation réelle : dans les textes disponibles, certains métiers apparaissent bien plus souvent au masculin ou au féminin. Trois métiers sont déséquilibrés, cinq contre un : « doctor » et « engineer » vers le masculin, « nurse » vers le féminin. Le quatrième, « teacher », est équilibré, trois contre trois. Il sert de témoin.
La classe fait fonctionner la machine de deux façons.
- Toujours la traduction la plus fréquente. Le résultat est sans nuance : « doctor » n’est jamais traduit au féminin, « nurse » toujours. C’est l’amplification : une majorité de cinq sur six devient une totalité. Pour « teacher », il y a égalité, et le dé tranche.
- Au dé. Sur l’ensemble de la classe, la part de traductions au féminin se rapproche de celle du corpus, une sur six pour « doctor ». La machine reproduit le déséquilibre, avec les variations du hasard : avec une trentaine de tirages par métier, on peut obtenir trois, cinq ou huit traductions au féminin.
Le tableau du corrigé, plus bas, donne les résultats attendus. La mesure collective est essentielle : c’est en additionnant les résultats de toute la classe qu’on voit le biais, qu’aucun groupe ne peut voir seul avec ses quelques tirages.
Trois cas réels
La traduction automatique. Traduire depuis une langue qui ne marque pas le genre oblige à en choisir un. Les services de traduction ont longtemps choisi d’après leurs données, avec les stéréotypes que cela comporte : le turc, par exemple, utilise un seul pronom pour « il » et « elle ». En décembre 2018, Google a annoncé que son service proposerait désormais les deux traductions, au masculin et au féminin, d’abord pour des mots isolés de l’anglais vers le français, l’italien, le portugais et l’espagnol, et pour des phrases du turc vers l’anglais.
La reconnaissance des visages. En 2018, les chercheuses Joy Buolamwini et Timnit Gebru ont mesuré la façon dont trois systèmes commerciaux devinaient le genre de personnes photographiées. Le taux d’erreur atteignait 34,7 % pour les femmes à la peau foncée, contre 0,8 % au plus pour les hommes à la peau claire. Les jeux de données utilisés pour construire et évaluer ces systèmes comptaient beaucoup plus de personnes à la peau claire. Leur étude a conduit plusieurs entreprises à revoir leurs systèmes.
Le tri des candidatures. En 2018, l’agence Reuters a révélé qu’Amazon avait abandonné un outil expérimental de tri des CV. Entraîné sur les candidatures reçues pendant dix ans, majoritairement masculines dans les métiers techniques, il pénalisait les CV contenant le mot « women’s », comme « capitaine du club d’échecs féminin ». Les ingénieurs n’ont pas réussi à garantir qu’il ne trouverait pas d’autres moyens de discriminer.
Ces trois cas ont un point commun avec la séance : personne n’a programmé de discrimination. Elle est venue des données, et elle n’a été découverte que parce que quelqu’un a mesuré les résultats groupe par groupe.
Mesurer et corriger
Un système peut avoir un très bon taux de réussite moyen et se tromper beaucoup sur un petit groupe : la moyenne masque l’écart. La démonstration des fruits le montre bien. Avec cinq pour cent de poires parmi les exemples, la machine juge correctement plus de neuf pommes sur dix, mais environ une poire sur deux seulement, ce que donnerait le hasard. Avec une poire sur trois parmi les exemples, les deux scores se rejoignent.
Les corrections possibles agissent sur les données, en les rééquilibrant ou en les complétant, ou sur la réponse, en proposant plusieurs possibilités ou en signalant l’incertitude. Toutes demandent des choix humains, et doivent être suivies d’une nouvelle mesure. Il faut éviter de laisser croire aux élèves qu’une correction règle le problème une fois pour toutes.
Comment conduire la discussion
La séance touche des représentations personnelles. Quelques précautions aident.
- Garder le vocabulaire de la mesure : on observe une machine, on ne juge pas les élèves.
- Accueillir l’objection « mais c’est la réalité » : elle ouvre la distinction entre une statistique sur un groupe et une affirmation sur une personne, au cœur de la première question difficile.
- Faire remarquer que le biais touche aussi les hommes : « nurse » n’est jamais traduit au masculin, ce qui efface les infirmiers.
Vocabulaire et erreurs fréquentes
Employer : biais, déséquilibre, sous-représentation, amplification, mesure par groupe. Éviter « la machine est sexiste » ou « raciste » : elle reproduit et amplifie, mais n’a pas d’intention ; les responsabilités sont humaines.
Trois idées reçues reviennent. « Une machine est forcément neutre, elle calcule » : elle calcule à partir de données qui ne le sont pas. « Il suffit d’enlever le genre ou l’origine des données » : d’autres informations, comme un prénom ou un club de sport, peuvent les trahir, comme dans le cas d’Amazon. « Le biais, c’est quand la machine se trompe » : une machine peut reproduire fidèlement une réalité déséquilibrée et poser quand même problème.
Déroulé
- 5 min
Accroche
Écrire au tableau « The doctor is tired. The nurse is kind. » et demander une traduction. Faire remarquer qu’il faut choisir : « le médecin » ou « la médecin », « fatigué » ou « fatiguée ». L’anglais ne dit rien du genre ; le français oblige à le préciser. Demander ce que ferait une machine.
- 10 min
Construire la machine
Groupes de trois ou quatre, une feuille par groupe. Rôles : une personne lit le corpus, une compte, une écrit ; on échange à chaque mot. Le corpus réunit vingt-quatre traductions de quatre noms de métiers trouvées sur le Web. Remplir la table : pour chaque mot anglais, les traductions trouvées et leur nombre, puis les faces du dé, comme à la séance 11.
- 12 min
Traduire et mesurer
Chaque groupe traduit les quatre phrases de deux façons. D’abord comme une machine qui choisit toujours la traduction la plus fréquente ; en cas d’égalité, lancer le dé. Puis trois fois au dé. Il écrit chaque fois m ou f. Le professeur additionne ensuite au tableau, métier par métier, le nombre de traductions au féminin de toute la classe, pour chaque façon.
- 10 min
Mise en commun
Lire les résultats. Au dé, la machine reproduit le corpus : environ une traduction de « doctor » sur six au féminin. En choisissant la plus fréquente, elle amplifie : jamais au féminin. Pour « teacher », équilibré dans le corpus, le résultat est équilibré. Conclure : la machine n’a pas d’opinion, elle reproduit et parfois aggrave le déséquilibre de ses données. Présenter ensuite les cas réels : la traduction automatique, la reconnaissance des visages, le tri de candidatures.
- 8 min
Corriger
Demander aux groupes deux façons de corriger la machine. Relever au tableau les propositions et les discuter : rééquilibrer le corpus, ce qui suppose de trouver ou de produire d’autres textes ; proposer les deux traductions quand le texte de départ ne dit rien du genre, ce que fait un grand service de traduction depuis 2018 ; prévenir l’utilisateur de l’ambiguïté. Aucune n’est parfaite.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions ; réponses écrites, lettre par lettre, puis correction immédiate.
Version avec ordinateurs
- La machine à traduire se construit et se mesure sur papier, comme dans le déroulé : c’est le cœur de la séance.
- Pendant l’étape « Corriger », les binômes ouvrent ia.edulatex.xyz/demonstrations, troisième démonstration (« Le jeu de données biaisé »). Elle montre une autre forme de biais : un groupe trop peu représenté dans les exemples.
- Régler la part des poires sur 5 % et noter la part de pommes et de poires bien jugées. Recommencer à 20 %, puis à 50 %.
- Cliquer plusieurs fois sur « Tirer d’autres exemples » à 5 % : les scores des poires varient-ils beaucoup ? Pourquoi ?
- Écrire en une phrase ce qu’il faut faire pour que la machine juge bien les poires, puis faire le lien avec les visages de la mise en commun.
Le jeu de données biaisé
Une machine apprend à dire si un fruit est mûr, d’après sa couleur et sa fermeté. Pour une pomme, c’est la couleur qui compte. Pour une poire, c’est la fermeté. Choisissez combien de poires figurent parmi ses 120 exemples.
Elle se trompe surtout sur les poires : elle en a vu trop peu pour apprendre leur règle, et leur applique souvent celle des pommes.
exemple mûr exemple pas mûr · fond doré : jugé mûr, fond vert : jugé pas mûr, trait : la vraie règle.
Version sans ordinateur
La séance est entièrement débranchée dans son déroulé ordinaire. Sans projection, les cas réels se racontent à l’oral à partir du savoir professeur.
Matériel
- La feuille du groupe : le corpus, la table à remplir et le tableau des traductions.
- Un dé à six faces par groupe. À défaut, six papiers numérotés tirés dans une trousse.
- La table complète, en page 2, pour les groupes en retard.
Consignes
- Préparer au tableau, avant la séance, un tableau de relevé : une ligne par métier, deux colonnes, « la plus fréquente » et « au dé », où l’on inscrit le nombre de traductions au féminin de toute la classe.
- Pendant la mesure, insister : on écrit ce que donne le dé, même si la traduction semble choquante ou au contraire juste. On mesure la machine, pas son propre avis.
- Faire calculer, pour « doctor », la part de traductions au féminin au dé sur l’ensemble de la classe, et la comparer à la part dans le corpus : une sur six.
- Pour l’étape « Corriger », faire réécrire par chaque groupe quatre lignes du corpus pour l’équilibrer, puis dire ce que deviendraient les résultats.
Table complète et résultats attendus
Construite automatiquement à partir des vingt-quatre traductions du corpus.
| Mot anglais | Traductions trouvées dans le corpus | Faces du dé |
|---|---|---|
| doctor | le médecin×5la médecin | 1 à 5 : le médecin6 : la médecin |
| nurse | l’infirmière×5l’infirmier | 1 à 5 : l’infirmière6 : l’infirmier |
| teacher | la professeure×3le professeur×3 | 1 à 3 : la professeure4 à 6 : le professeur |
| engineer | l’ingénieur×5l’ingénieure | 1 à 5 : l’ingénieur6 : l’ingénieure |
| Mot | Au féminin dans le corpus | La plus fréquente | Au dé, en moyenne |
|---|---|---|---|
| doctor | une sur six | jamais au féminin | une fois sur six |
| nurse | cinq sur six | toujours au féminin | cinq fois sur six |
| teacher | trois sur six | égalité | trois fois sur six |
| engineer | une sur six | jamais au féminin | une fois sur six |
Trace écrite
Un biais est un déséquilibre systématique dans les réponses d’une machine, qui la fait traiter différemment certains groupes. Il vient le plus souvent de ses données d’entraînement.
Une machine qui apprend reproduit les déséquilibres de ses données, et peut les amplifier : en choisissant toujours la réponse la plus fréquente, elle transforme une majorité en totalité.
Un groupe trop peu représenté dans les exemples est moins bien traité. Pour corriger un biais, il faut d’abord le mesurer, groupe par groupe, puis agir sur les données ou sur la façon de répondre.
Vérification
À projeter ou à lire en fin de séance. Les réponses sont repliées.
-
Pourquoi la machine traduit-elle « doctor » par « le médecin » ?
- AParce que la phrase anglaise indique qu’il s’agit d’un homme.
- BParce que « le médecin » est la traduction la plus fréquente dans son corpus.
- CParce que ses concepteurs l’ont décidé.
Réponse
B. La phrase anglaise ne dit rien du genre. La machine choisit d’après ses données, où « le médecin » apparaît cinq fois sur six.
-
Dans le corpus, « doctor » est traduit au féminin une fois sur six. En choisissant toujours la plus fréquente, combien de fois la machine le traduit-elle au féminin ?
- AUne fois sur six.
- BLa moitié du temps.
- CJamais.
Réponse
C. C’est l’amplification : le choix systématique de la réponse majoritaire fait disparaître la minorité. Au dé, la machine aurait reproduit la proportion du corpus.
-
Une machine de reconnaissance de visages se trompe beaucoup plus souvent sur un groupe de personnes. Quelle cause est la plus probable ?
- ACe groupe était trop peu représenté parmi ses exemples.
- BLes visages de ce groupe sont plus difficiles à reconnaître par nature.
- CLa machine a une opinion sur ce groupe.
Réponse
A. C’est ce que montre la démonstration des fruits : avec peu d’exemples d’un groupe, la machine lui applique ce qu’elle a appris sur les autres. La machine n’a pas d’opinion ; ses données sont déséquilibrées.
-
Comment sait-on qu’une machine est biaisée ?
- AEn lui demandant si elle a des préjugés.
- BEn mesurant ses résultats séparément pour chaque groupe et en les comparant.
- CEn regardant si ses réponses sont souvent justes en moyenne.
Réponse
B. Une machine peut être juste en moyenne et se tromper beaucoup sur un petit groupe. Seule une mesure groupe par groupe le révèle, comme dans la classe.
Questions difficiles
Les questions d’élèves qui déstabilisent, et une réponse possible.
Mais il y a vraiment plus d’infirmières que d’infirmiers, la machine a raison !
Elle a raison sur la statistique, mais tort sur la phrase : rien ne dit que cette infirmière-là est une femme. Et en choisissant toujours le féminin, elle fait disparaître les infirmiers qui existent. Reproduire une proportion, c’est déjà renforcer une habitude ; l’amplifier, c’est la transformer en règle.
Pourquoi ne pas simplement dire à la machine d’être neutre ?
Parce qu’elle ne sait pas ce qu’est être neutre : elle ne connaît que ses données. On peut agir sur les données, rééquilibrées ou complétées, ou sur la façon de répondre, en proposant les deux traductions. Chaque solution demande un choix humain, et aucune n’est parfaite.
Les humains aussi ont des biais, alors où est le problème ?
C’est vrai, et la machine les tient justement de textes écrits par des humains. Mais une machine répond à des millions de personnes, toujours de la même façon, avec une apparence d’objectivité qui rend le biais difficile à voir et à contester. C’est pourquoi le règlement européen sur l’IA impose des précautions, que verra la séance 22.
Le biais, c’est seulement une question de femmes et d’hommes ?
Non. Il touche toute catégorie de personnes peu représentée ou mal représentée dans les données : couleur de peau, âge, accent, handicap, langue, région. La reconnaissance vocale comprend par exemple souvent moins bien les accents peu présents dans ses exemples.
Si on corrige les données, le biais disparaît ?
Il diminue, mais il faut vérifier par une nouvelle mesure. Corriger un déséquilibre peut en révéler ou en créer un autre. C’est pourquoi on mesure avant et après chaque correction.