Ce que la machine a vraiment appris
En une phraseDécouvrir qu’une machine peut réussir tous ses exemples en ayant appris autre chose que ce qu’on voulait lui apprendre, et savoir le démasquer avec des cas bien choisis.
Savoir professeur
Dix minutes de lecture, pour préparer la séance sans connaissance préalable.
Ce que la séance veut faire découvrir
Les séances précédentes ont montré qu’une machine apprend à partir d’exemples. Celle-ci montre le revers : elle apprend ce qui sépare le mieux ses exemples, et rien ne garantit que ce soit ce que l’on voulait lui apprendre. Si une coïncidence se glisse dans les données, elle peut l’apprendre à la place de la vraie différence, réussir parfaitement ses exemples, puis échouer dès que la coïncidence disparaît.
Les spécialistes parlent d’apprentissage par raccourci. C’est l’une des causes d’échec les plus fréquentes et les plus difficiles à repérer, parce que tout semble fonctionner tant qu’on reste sur des cas semblables aux exemples.
Hans le malin
Au début du vingtième siècle, à Berlin, un professeur de mathématiques retraité, Wilhelm von Osten, présentait un cheval nommé Hans qui semblait savoir calculer : on lui posait une addition, il tapait du sabot la réponse. Une commission d’experts ne trouva aucune tricherie. En 1907, le psychologue Oskar Pfungst publia l’explication. Hans échouait dès que la personne qui l’interrogeait ignorait la réponse, ou quand il ne la voyait pas. Il repérait les mouvements infimes et involontaires de son interlocuteur, une tension puis un relâchement, et s’arrêtait de taper à ce moment-là.
Hans avait donc réellement appris, et très finement. Mais il avait appris le visage des gens, pas l’arithmétique. Son maître, sincère, n’en avait aucune idée. C’est exactement la situation d’une machine qui a appris un raccourci : elle réussit, on en conclut qu’elle a compris, et l’on se trompe.
Le jeu des Blips et des Blops
Les huit cartes d’exemples ont été construites avec soin. Les Blips ont tous des antennes, et les Blops n’en ont pas : c’est la règle qui sert à corriger. Mais dans les exemples, tous les Blips sont aussi sur fond rayé et tous les Blops sur fond uni. La forme du corps et le nombre de pattes, eux, sont répartis au hasard, de sorte qu’ils ne permettent pas de trancher.
Deux règles réussissent donc parfaitement les huit exemples : « les Blips ont des antennes » et « les Blips sont sur fond rayé ». Rien, dans les exemples, ne permet de les départager. Le fond est souvent choisi, parce qu’il saute aux yeux.
Les six cartes du test rompent la coïncidence quatre fois sur six. La règle des antennes réussit les six cartes. La règle du fond ne réussit que les cartes C et D, où le fond et les antennes vont encore ensemble, soit deux sur six. Le corrigé des cartes figure plus bas sur cette page.
La mise en commun doit insister sur un point : les groupes qui ont choisi le fond n’ont pas mal raisonné. Avec ces exemples, ils ne pouvaient pas savoir. La responsabilité revient à ceux qui choisissent les exemples, et la méthode pour s’en prémunir est de chercher des cas qui rompent les coïncidences.
Deux cas réels
Les loups dans la neige. En 2016, des chercheurs de l’université de Washington ont volontairement entraîné un classifieur sur des photos où tous les loups étaient dans la neige et aucun husky ne l’était. Le classifieur semblait distinguer les deux espèces. En colorant les zones de l’image qui pesaient le plus dans sa réponse, ils ont montré qu’il regardait la neige. Ils ont ensuite présenté ses réponses à des étudiants : avant de voir ces zones colorées, une partie d’entre eux lui faisaient confiance.
Les radiographies et leur hôpital. En 2018, une équipe américaine a entraîné un réseau de neurones à repérer les pneumonies sur des radiographies venues de plusieurs hôpitaux. Le modèle savait aussi reconnaître, avec une grande précision, l’hôpital d’où venait chaque image, grâce à des détails comme les marquages propres à chaque service. Or la proportion de malades différait d’un hôpital à l’autre : l’hôpital d’origine était donc un indice de maladie. Sur les radiographies d’hôpitaux qu’il n’avait jamais vus, ses performances étaient le plus souvent nettement moins bonnes.
Dans les deux cas, le modèle réussissait les données sur lesquelles on l’évaluait, parce qu’elles contenaient la même coïncidence que ses exemples.
La démonstration piégée
Avec ordinateurs, les élèves reproduisent le phénomène dans la démonstration des dessins. En lui apprenant des ronds dessinés à gauche et des croix dessinées à droite, ils lui donnent une coïncidence entre forme et position. Comme la machine compare des cases noircies, la position pèse beaucoup : une croix dessinée à gauche est alors le plus souvent prise pour un rond. Le résultat dépend des dessins de chacun ; si la machine résiste, ajouter un ou deux exemples de chaque côté suffit en général.
Ce qu’il faut retenir
Réussir ses exemples ne prouve pas qu’une machine a compris. Tester sur des cas nouveaux est indispensable, et ces cas doivent être choisis pour piéger, pas seulement pour ressembler aux exemples. La séance 7 a séparé exemples d’entraînement et exemples de test ; celle-ci montre que cela ne suffit pas si les deux partagent la même coïncidence. La séance 20 prolongera avec les biais, quand la coïncidence touche des personnes.
Vocabulaire et erreurs fréquentes
Employer : exemples d’entraînement, test, coïncidence, raccourci, généraliser. Éviter de dire que la machine « triche » : elle fait exactement ce pour quoi elle est construite.
Deux erreurs reviennent. Croire que le problème vient d’un manque de puissance ou d’exemples : ici, mille exemples avec la même coïncidence ne changeraient rien. Croire qu’il suffit de demander à la machine d’expliquer : les modèles de ce type n’ont pas accès à leurs propres raisons.
Déroulé
- 5 min
Accroche
Raconter Hans le malin, le cheval berlinois qui, vers 1904, semblait savoir compter : il tapait du sabot la bonne réponse aux additions qu’on lui posait. Demander aux élèves ce qu’il avait peut-être vraiment appris. Garder les hypothèses au tableau sans trancher : la réponse viendra en fin de séance.
- 12 min
Apprendre à partir d’exemples
Groupes de trois ou quatre, chacun joue une machine qui apprend. Rôles : une personne manipule les cartes, une écrit, une présentera. Chaque groupe reçoit les huit cartes d’exemples, quatre Blips et quatre Blops, créatures inventées pour la séance. Consigne : trouver ce qui distingue un Blip d’un Blop et l’écrire en une phrase, la règle du groupe.
- 10 min
Passer le test
Distribuer les six cartes de nouvelles créatures, sans étiquette. Chaque groupe applique sa règle, sans en changer, et note sa réponse pour chacune.
- 13 min
Révélation et mise en commun
Le professeur joue la réalité : il donne les bonnes réponses, et chaque groupe compte ses réussites. Relever les règles au tableau. Les groupes qui ont choisi le fond rayé obtiennent deux sur six, ceux qui ont choisi les antennes six sur six, alors que les deux règles réussissaient tous les exemples. Revenir à Hans : il lisait sur le visage de son maître le moment de s’arrêter. Puis présenter les loups dans la neige et les radiographies reconnues par leur hôpital.
- 5 min
Démasquer et corriger
Demander quels exemples il aurait fallu montrer pour que personne ne puisse se tromper : des Blips sur fond uni, des Blops sur fond rayé. Formuler la méthode : chercher des cas où la coïncidence est rompue.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions ; réponses écrites, lettre par lettre, puis correction immédiate.
Version avec ordinateurs
- Le jeu des Blips et des Blops se fait sur cartes, comme dans le déroulé : il est le cœur de la séance.
- Pendant la dernière étape avant la trace écrite, les binômes ouvrent ia.edulatex.xyz/demonstrations, deuxième démonstration (« Apprendre par l’exemple »), et piègent eux-mêmes la machine.
- Lui apprendre quatre petits ronds dessinés dans la moitié gauche du cadre, puis quatre petites croix dessinées dans la moitié droite.
- Dessiner ensuite une petite croix à gauche, puis un petit rond à droite. Le plus souvent, la machine répond selon le côté, et non selon la forme : elle a appris la position.
- Écrire en une phrase ce qu’elle a vraiment appris, et quels dessins il faudrait lui montrer pour la corriger.
Apprendre par l’exemple
Cette machine a vu 8 ronds et 8 croix dessinés à la main. Dessinez une forme dans le cadre : elle cherche, parmi ses exemples, les trois qui ressemblent le plus à votre dessin.
Votre dessin
Ce que voit la machine
Une grille de 16 × 16 cases plus ou moins noircies. Elle ne voit ni lignes ni formes.
Sa réponse
Dessinez une forme : sa réponse s’affiche ici.
Tout ce qu’elle a vu : 16 exemples
Version sans ordinateur
La séance est entièrement débranchée dans son déroulé ordinaire. Sans projection, raconter les deux cas réels à l’oral à partir du savoir professeur.
Matériel
- Les quatorze cartes, une planche par groupe : la première page pour les exemples, la seconde pour le test. Découper et garder les deux paquets séparés.
- Une feuille par groupe pour la règle et les réponses du test.
Consignes
- Ne distribuer les cartes du test qu’une fois la règle de chaque groupe écrite : la règle ne doit plus changer.
- Ne jamais dire aux élèves la règle qui sert à corriger avant la révélation : les antennes. Le fond rayé n’est qu’une coïncidence des exemples.
- Pendant la révélation, faire lever la main aux groupes qui ont choisi le fond, puis à ceux qui ont choisi les antennes, et faire constater que les deux choix étaient également justes sur les exemples.
- Pour l’étape de correction, faire dessiner aux groupes deux cartes d’exemples supplémentaires qui rendent la coïncidence impossible.
Corrigé des cartes
- Test A Blip
- Test B Blop
- Test C Blip
- Test D Blop
- Test E Blip
- Test F Blop
Trace écrite
Une machine qui apprend par l’exemple retient ce qui sépare le mieux ses exemples, et non forcément ce que l’on voulait lui apprendre. Si une coïncidence se glisse dans les exemples, elle peut l’apprendre à la place de la vraie différence.
Réussir tous les exemples ne prouve donc pas qu’une machine a compris. Pour le vérifier, on la teste sur des cas nouveaux, choisis pour rompre les coïncidences.
Pour la corriger, on ajoute des exemples variés où la coïncidence n’existe plus.
Vérification
À projeter ou à lire en fin de séance. Les réponses sont repliées.
-
Les groupes qui ont choisi le fond rayé réussissaient tous les exemples. Pourquoi ont-ils échoué au test ?
- AParce qu’ils ont mal appliqué leur règle.
- BParce que le fond rayé n’était qu’une coïncidence des exemples, que les cartes du test ne respectaient plus.
- CParce que les cartes du test étaient plus difficiles à lire.
Réponse
B. Dans les exemples, tous les Blips étaient sur fond rayé. Rien ne permettait de savoir que c’était un hasard, avant de voir des créatures où le fond et les antennes ne vont plus ensemble.
-
Une machine réussit tous ses exemples d’entraînement. Que peut-on en conclure ?
- AQu’elle a compris ce qu’on voulait lui apprendre.
- BQu’elle ne se trompera jamais.
- CRien de sûr : il faut la tester sur des cas nouveaux, choisis pour la piéger.
Réponse
C. Plusieurs règles différentes peuvent réussir les mêmes exemples. Seuls des cas nouveaux, bien choisis, révèlent celle que la machine a retenue.
-
Un modèle distingue les loups des huskies parce que les photos de loups ont de la neige. Comment le démasquer ?
- ALui montrer un husky dans la neige et un loup sur l’herbe.
- BLui montrer davantage de loups dans la neige.
- CLui demander d’expliquer sa réponse.
Réponse
A. Un husky dans la neige rompt la coïncidence : si le modèle répond « loup », c’est qu’il regarde la neige. Davantage de loups dans la neige renforcerait au contraire le piège.
-
Qu’avait réellement appris Hans, le cheval qui semblait compter ?
- AÀ compter jusqu’à vingt.
- BÀ repérer les infimes mouvements de la personne qui l’interrogeait, au moment où il atteignait la bonne réponse.
- CÀ reconnaître les chiffres écrits au tableau.
Réponse
B. En 1907, le psychologue Oskar Pfungst a montré que Hans échouait quand personne autour de lui ne connaissait la réponse. Il s’arrêtait de taper quand le visage de son interlocuteur se détendait.
Questions difficiles
Les questions d’élèves qui déstabilisent, et une réponse possible.
C’est injuste, on ne pouvait pas savoir que c’étaient les antennes !
Exactement, et c’est toute la leçon. Avec ces exemples, personne ne pouvait savoir : les deux règles étaient aussi bonnes l’une que l’autre. Une machine est dans la même situation. La faute n’est pas à celui qui apprend, mais au choix des exemples, qui doit rompre les coïncidences.
Pourquoi une machine choisirait-elle le fond plutôt que les antennes ?
Parce qu’elle retient ce qui sépare le plus facilement ses exemples. Le fond occupe presque toute l’image, les antennes quelques traits. Sur une photo, la neige occupe aussi bien plus de place qu’un museau. On parle d’apprentissage par raccourci.
On peut demander à la machine pourquoi elle a répondu ça ?
Un modèle comme ceux de la séance ne sait pas expliquer ses réponses : il n’a que des calculs. Des chercheurs ont mis au point des méthodes qui colorent les zones de l’image qui ont le plus pesé dans la réponse. C’est ainsi que l’on a découvert que le modèle des loups regardait la neige.
Les assistants comme ChatGPT font aussi ce genre d’erreur ?
Oui, sous d’autres formes. Ils peuvent réussir un exercice parce qu’ils en ont vu de très semblables, et échouer quand on change un détail sans importance pour un humain. C’est pourquoi on vérifie leurs réponses, ce que montrera la séance 15.
Et Hans, c’était de la triche ?
Non, son maître était sincère et ne savait pas qu’il donnait des indices. Hans avait appris, très finement, ce qui lui valait une récompense : s’arrêter au bon moment. Il avait réellement appris quelque chose, mais pas ce que l’on croyait.