L’heure de l’IA
Progression
Séance 11 · Partie 3. Les modèles de langage · 55 minutes

Le mot suivant

En une phraseComprendre qu’un modèle de langage écrit en prédisant le mot suivant à partir de ce qu’il a lu, en construisant soi-même un petit modèle et en le faisant écrire au dé.

Imprimer le matériel

Savoir professeur

Dix minutes de lecture, pour préparer la séance sans connaissance préalable.

Écrire, c’est prédire le mot suivant

Les assistants conversationnels comme ChatGPT, Le Chat ou Gemini reposent sur des modèles de langage. Leur fonctionnement de base tient en une boucle : à partir du texte déjà écrit, le modèle calcule pour chaque mot possible la probabilité qu’il vienne ensuite ; il en choisit un, l’ajoute au texte, et recommence. La réponse à une question s’écrit ainsi, mot après mot, jusqu’à ce que le modèle prédise la fin.

En réalité, les modèles ne manipulent pas exactement des mots, mais des jetons, souvent des morceaux de mots. La séance 12 y reviendra ; parler de mots suffit pour cette séance.

L’idée est ancienne. En 1913, le mathématicien russe Andreï Markov comptait déjà, dans vingt mille lettres d’un roman en vers de Pouchkine, combien de fois une voyelle suivait une consonne. En 1948, l’ingénieur américain Claude Shannon fabriquait à la main des phrases anglaises en choisissant chaque mot d’après celui qui le précédait dans un livre ouvert au hasard. Le modèle construit en classe est exactement celui de Shannon.

Le modèle de la séance

Le corpus compte six phrases. Pour chaque mot, la table relève les mots qui le suivent et leur nombre : c’est l’entraînement du modèle. Il ne consiste qu’à compter. Le début de phrase est traité comme un mot, pour savoir comment commencer, et le point final comme un mot suivant, pour savoir quand s’arrêter.

Pour écrire, on transforme ces nombres en probabilités grâce au dé. Les faces se partagent entre les mots suivants proportionnellement à leur nombre : après « regarde », suivi une fois de « la » et deux fois de « le », les faces 1 et 2 donnent « la », les faces 3 à 6 donnent « le ». Quand le total ne divise pas six, comme pour « le », suivi cinq fois, chaque occurrence reçoit une face et les faces restantes font relancer. La table complète, plus bas, donne toutes les faces.

Le dé joue le rôle du tirage au hasard que font les vrais modèles. Sans lui, en prenant toujours le mot le plus fréquent, le modèle écrirait toujours la même phrase. Les vrais assistants règlent la part de hasard par un paramètre appelé température : faible, les réponses sont prévisibles et répétitives ; élevée, elles sont variées puis incohérentes. C’est ce que montre le réglage « Sa façon de choisir » de la démonstration.

Ce que la classe observe

Les phrases obtenues au dé se rangent en trois familles.

  • Des phrases déjà présentes dans le corpus, comme « La mer est bleue. ».
  • Des phrases nouvelles et correctes, comme « Le chat mange une pomme. » ou « La fille regarde la mer. ». Le modèle combine des morceaux de phrases lues : il produit du neuf.
  • Des phrases bizarres, comme « Le garçon mange la mer est bleue. » ou « Une souris. ». Chaque paire de mots voisins existe dans le corpus, mais l’ensemble n’a pas de sens.

Les phrases bizarres viennent de la mémoire du modèle : il ne regarde qu’un mot en arrière. Avec deux mots, « mange la » n’est suivi que de « souris », et la phrase sur la mer devient impossible. Mais le modèle ne peut alors presque plus que recopier son corpus : pour garder de la variété avec plus de mémoire, il faut beaucoup plus de textes.

Des six phrases aux grands modèles

Les grands modèles ont résolu ce dilemme de deux façons. Ils ont lu des quantités immenses de textes, de l’ordre de milliers de milliards de mots. Et ils n’utilisent pas une table, qui deviendrait gigantesque, mais un réseau de neurones qui calcule les probabilités, y compris pour des suites de mots jamais rencontrées. Leur mémoire s’étend à des milliers, voire des centaines de milliers de jetons : ils tiennent compte de toute la conversation.

Le principe reste le même que celui du dé, et deux conséquences doivent être retenues par les élèves. D’abord, le modèle produit du probable, pas du vrai : rien, dans la boucle, ne vérifie ce qu’il affirme. La séance 15 en tirera les conséquences avec les hallucinations. Ensuite, le hasard fait partie du fonctionnement : deux réponses différentes à la même question ne signifient pas que le modèle a changé d’avis.

Vocabulaire et erreurs fréquentes

Employer : modèle de langage, corpus, mot suivant, probabilité, tirage, entraînement. Le mot bigramme, qui désigne une paire de mots voisins, peut être donné aux élèves curieux.

Trois idées reçues reviennent. « Il cherche la réponse sur Internet » : un modèle de langage écrit à partir de ce qu’il a appris ; certains assistants consultent aussi Internet, mais c’est un outil ajouté autour du modèle. « Il comprend ce qu’il dit » : il enchaîne des mots probables, ce qui peut donner l’illusion d’une compréhension. « Il recopie » : il combine, et ne recopie mot pour mot que des passages lus très souvent.

Déroulé

  1. 5 min

    Accroche

    Écrire au tableau « Il était une… », puis « Bonjour, comment… », et laisser la classe compléter à voix haute. Faire remarquer que tout le monde a deviné le même mot, sans réfléchir, parce qu’on a souvent lu ou entendu ces suites. Annoncer qu’un assistant comme ChatGPT fait exactement cela, mot après mot, et qu’on va construire le nôtre.

  2. 12 min

    Construire la table

    Groupes de trois ou quatre, une feuille par groupe. Rôles : une personne lit le corpus à voix haute, une compte, une écrit dans la table. Pour chaque mot de la table, relever dans les six phrases tous les mots qui le suivent, avec leur nombre. Le début de phrase compte comme un mot, et le point final comme un mot suivant.

  3. 12 min

    Écrire au dé

    Expliquer la règle du dé : les faces se partagent entre les mots suivants selon leur nombre. Faire un exemple collectif avec la table complète projetée ou recopiée. Chaque groupe écrit ensuite trois phrases : partir du début de phrase, lancer le dé, écrire le mot obtenu, recommencer à partir de ce mot jusqu’au point final. Les rôles tournent à chaque phrase.

  4. 8 min

    Mise en commun

    Relever une phrase par groupe et les classer au tableau en trois colonnes : déjà dans le corpus, nouvelle et correcte, bizarre. Faire expliquer les phrases bizarres, comme « Le garçon mange la mer est bleue. » : le modèle ne regarde qu’un mot en arrière, et n’a aucune idée du sens.

  5. 8 min

    Une machine plus grande

    Projeter la démonstration « Le mot suivant ». Passer de « Un mot » à « Deux mots » regardés : les phrases deviennent plus correctes. Passer à « Toujours le plus probable » : la machine écrit toujours la même chose. Conclure : ChatGPT fonctionne sur ce principe, avec des milliers de mots de mémoire et des milliers de milliards de mots lus.

  6. 5 min

    Trace écrite

    Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.

  7. 5 min

    Vérification

    Lire les quatre questions ; réponses écrites, lettre par lettre, puis correction immédiate.

Version avec ordinateurs

  1. La table et l’écriture au dé restent sur papier : c’est le cœur de la séance.
  2. Pour l’avant-dernière étape, les binômes ouvrent ia.edulatex.xyz/demonstrations, première démonstration (« Le mot suivant »), au lieu de la projection.
  3. Régler « Combien de mots elle regarde » sur « Un mot », faire écrire trois phrases avec « Écrire jusqu’au point », puis recommencer avec « Deux mots ». Noter la phrase la plus bizarre de chaque réglage.
  4. Régler « Sa façon de choisir » sur « Toujours le plus probable » et faire écrire deux fois depuis le même début. Expliquer ce qui se passe.
  5. Cliquer sur un mot proposé pour voir les phrases du corpus où la machine l’a lu.
Démonstration

Le mot suivant

Cette petite machine a lu 367 phrases de la vie courante. Elle devine le mot qui vient ensuite. Choisissez un mot, ou laissez-la faire.

Ce matin, j’ai bu un café et

Elle regarde : caféet

Les mots qu’elle envisage

Pourquoi ce mot ?

Dans ses lectures, « café et » apparaît 5 fois. Il est suivi de « j’ » 3 fois sur 5.

Où elle l’a lu

  • Ce matin, j’ai bu un café et j’ai lu le journal.
  • Ce matin, j’ai bu un café et j’ai mangé une tartine.
  • Ce matin, j’ai bu un café et j’ai écouté la radio.
Combien de mots elle regarde
Sa façon de choisir
Partir d’un autre début
Tout ce qu’elle a lu : 367 phrases, 2 774 mots
  1. Ce matin, j’ai bu un café et j’ai lu le journal.
  2. Ce matin, j’ai bu un café et je suis parti au travail.
  3. Ce matin, j’ai bu un café et j’ai mangé une tartine.
  4. Ce matin, j’ai bu un café et j’ai écouté la radio.
  5. Ce matin, j’ai bu un café avec ma voisine.
  6. Ce matin, j’ai bu un café très chaud.
  7. Ce matin, j’ai bu un thé et j’ai mangé une pomme.
  8. Ce matin, j’ai bu un grand verre d’eau.
  9. Ce matin, j’ai pris le bus pour aller au travail.
  10. Ce matin, j’ai pris le train de sept heures.
  11. Ce matin, j’ai pris mon vélo malgré la pluie.
  12. Ce matin, j’ai pris le temps de lire.
  13. Ce matin, j’ai oublié mes clés sur la table.
  14. Ce matin, j’ai oublié mon téléphone à la maison.
  15. Ce matin, j’ai oublié de fermer la fenêtre.
  16. Ce matin, j’ai reçu un message de ma sœur.
  17. Ce matin, j’ai reçu une lettre de la banque.
  18. Ce matin, j’ai reçu un colis.
  19. Ce matin, j’ai fait du sport dans le parc.
  20. Ce matin, j’ai fait les courses au marché.
  21. Ce matin, j’ai fait une longue promenade.
  22. Ce matin, j’ai entendu les oiseaux chanter.
  23. Ce matin, j’ai vu un chat sur le toit.
  24. Ce matin, il pleuvait sur toute la ville.
  25. Ce matin, il faisait froid et gris.
  26. Ce matin, le bus était en retard.
  27. Ce matin, le café était trop fort.
  28. Ce soir, j’ai bu une tisane avant de dormir.
  29. Ce soir, nous mangeons chez mes parents.
  30. Ce soir, nous regardons un film à la maison.
  31. Ce soir, je vais me coucher tôt.
  32. Ce soir, il y a un match à la télévision.
  33. Hier, j’ai bu un café avec un ami.
  34. Hier, j’ai pris le train pour Lyon.
  35. Hier, j’ai fait un gâteau au chocolat.
  36. Hier, j’ai vu un film très drôle.
  37. Hier, il a plu toute la journée.
  38. Hier, nous sommes allés au cinéma.
  39. Hier soir, nous avons mangé une pizza.
  40. Il fait beau aujourd’hui.
  41. Il fait beau et chaud.
  42. Il fait beau, nous allons sortir.
  43. Il fait beau ce matin.
  44. Il fait froid ce matin.
  45. Il fait froid, mets ton manteau.
  46. Il fait froid dans la maison.
  47. Il fait chaud dans le bus.
  48. Il fait chaud cet après-midi.
  49. Il fait gris depuis trois jours.
  50. Il fait nuit très tôt en hiver.
  51. Il fait doux pour la saison.
  52. Il pleut depuis ce matin.
  53. Il pleut, prends ton parapluie.
  54. Il va pleuvoir cet après-midi.
  55. Il va faire beau demain.
  56. Il va faire froid cette nuit.
  57. Il y a du vent sur la côte.
  58. Il y a du soleil dans le jardin.
  59. Il y a un orage au loin.
  60. Il y a beaucoup de monde au marché.
  61. Il y a un problème avec mon ordinateur.
  62. Il y a un bon film ce soir.
  63. Le soleil brille sur la mer.
  64. Le ciel est gris ce matin.
  65. Le ciel est bleu aujourd’hui.
  66. La pluie tombe sur le toit.
  67. La neige tombe depuis hier soir.
  68. Le vent souffle très fort.
  69. Je voudrais un café, s’il vous plaît.
  70. Je voudrais un café et un croissant.
  71. Je voudrais un thé, s’il vous plaît.
  72. Je voudrais un billet pour Paris.
  73. Je voudrais réserver une table pour deux personnes.
  74. Je voudrais réserver une chambre pour ce soir.
  75. Je voudrais prendre rendez-vous avec le médecin.
  76. Je voudrais prendre rendez-vous la semaine prochaine.
  77. Je voudrais savoir si le magasin est ouvert.
  78. Je voudrais savoir où se trouve la gare.
  79. Je voudrais savoir combien coûte ce livre.
  80. Je voudrais changer mon mot de passe.
  81. Je voudrais parler au directeur.
  82. Je voudrais apprendre à cuisiner.
  83. Je voudrais partir en vacances.
  84. Je voudrais une baguette, s’il vous plaît.
  85. Je vais au marché ce matin.
  86. Je vais au travail en bus.
  87. Je vais au cinéma avec mes amis.
  88. Je vais faire les courses.
  89. Je vais prendre un café.
  90. Je vais appeler ma mère ce soir.
  91. Je vais me promener dans le parc.
  92. Je suis en retard ce matin.
  93. Je suis fatigué ce soir.
  94. Je suis content de te voir.
  95. Je suis allé au marché avec ma fille.
  96. Je suis parti tôt pour éviter les bouchons.
  97. Je ne trouve plus mes clés.
  98. Je ne trouve plus mon téléphone.
  99. Je ne sais pas quoi faire ce soir.
  100. Je pense qu’il va pleuvoir.
  101. Je pense que tu as raison.
  102. J’aime le café le matin.
  103. J’aime lire le soir avant de dormir.
  104. J’aime marcher au bord de la mer.
  105. J’aime beaucoup ce quartier.
  106. J’ai faim, nous mangeons quand?
  107. J’ai rendez-vous chez le médecin demain.
  108. J’ai rendez-vous chez le dentiste lundi.
  109. J’ai oublié mon parapluie dans le bus.
  110. J’ai perdu mes clés au marché.
  111. J’ai besoin d’un café.
  112. J’ai besoin d’aide pour remplir ce formulaire.
  113. Le chat dort sur le canapé.
  114. Le chat dort au soleil.
  115. Le chat dort toute la journée.
  116. Le chat mange ses croquettes.
  117. Le chat regarde les oiseaux par la fenêtre.
  118. Le chat joue avec une balle.
  119. Le chat de la voisine est très gentil.
  120. Le chat attend devant la porte.
  121. Le chien court dans le jardin.
  122. Le chien aboie quand le facteur arrive.
  123. Le chien dort devant la porte.
  124. Le chien attend son maître.
  125. Le chien joue avec une balle.
  126. Mon chat dort sur mon lit.
  127. Mon chien adore les promenades.
  128. Les oiseaux chantent dans le jardin.
  129. Les enfants jouent dans le parc.
  130. Les enfants dorment encore.
  131. Les enfants rentrent de l’école à cinq heures.
  132. Demain, nous irons à la plage.
  133. Demain, nous irons au marché.
  134. Demain, nous irons voir mes parents.
  135. Demain, nous partirons en vacances.
  136. Demain, nous partirons très tôt.
  137. Demain, nous mangerons au restaurant.
  138. Demain, nous allons au musée.
  139. Demain, il va faire beau.
  140. Demain, il va pleuvoir.
  141. Demain, je commence un nouveau travail.
  142. Demain, je dois me lever tôt.
  143. Demain, j’ai rendez-vous chez le médecin.
  144. Demain, c’est mon anniversaire.
  145. Nous allons au marché le samedi.
  146. Nous allons au cinéma ce soir.
  147. Nous allons partir en vacances.
  148. Nous partons en vacances en août.
  149. Nous partons à la montagne cet hiver.
  150. Nous avons mangé au restaurant.
  151. Nous avons fait une longue promenade.
  152. Nous avons visité un beau musée.
  153. Nous avons pris le train pour Marseille.
  154. Mon téléphone ne marche plus.
  155. Mon téléphone ne s’allume plus.
  156. Mon téléphone est tombé dans l’eau.
  157. Mon téléphone sonne sans arrêt.
  158. Mon téléphone est presque déchargé.
  159. Mon ordinateur est très lent.
  160. Mon ordinateur ne s’allume plus.
  161. Mon ordinateur fait un bruit bizarre.
  162. Mon mot de passe ne marche plus.
  163. Mon fils apprend à lire.
  164. Mon fils joue au football.
  165. Ma fille apprend à nager.
  166. Ma fille est partie à l’école.
  167. Ma mère prépare un gâteau.
  168. Ma mère m’appelle tous les dimanches.
  169. Mon père lit le journal le matin.
  170. Ma sœur habite à Lyon.
  171. Mon frère travaille à Paris.
  172. Ma voisine a un petit chien.
  173. Je dois envoyer un message à mon frère.
  174. Je dois appeler la banque.
  175. Je dois remplir un formulaire en ligne.
  176. Je dois rendre ce livre à la bibliothèque.
  177. Je dois acheter du pain.
  178. Je dois partir maintenant.
  179. Il faut acheter du pain et du lait.
  180. Il faut appeler le plombier.
  181. Il faut réserver les billets de train.
  182. Il faut fermer la fenêtre.
  183. Il faut vérifier l’adresse avant d’envoyer.
  184. Il faut lire le contrat avant de signer.
  185. Il faut prendre le temps de réfléchir.
  186. Le train part à huit heures.
  187. Le train est en retard de dix minutes.
  188. Le train pour Lyon est annulé.
  189. Le train était plein ce matin.
  190. Le bus passe toutes les dix minutes.
  191. Le bus est en retard ce matin.
  192. Le bus était plein.
  193. Le métro est fermé ce soir.
  194. La voiture est en panne.
  195. La voiture est garée devant la maison.
  196. La route est fermée à cause de la neige.
  197. Le magasin est fermé le dimanche.
  198. Le magasin est ouvert jusqu’à vingt heures.
  199. Le marché est ouvert le samedi matin.
  200. La boulangerie est fermée le lundi.
  201. La pharmacie est ouverte ce soir.
  202. La bibliothèque est ouverte le mercredi.
  203. La gare est à dix minutes à pied.
  204. La gare est près du centre.
  205. Le médecin reçoit sur rendez-vous.
  206. Le médecin m’a donné un médicament.
  207. Le dentiste est en vacances.
  208. La réunion commence à neuf heures.
  209. La réunion est reportée à demain.
  210. La réunion a duré deux heures.
  211. Le patron est en réunion.
  212. Mon collègue est malade aujourd’hui.
  213. Mon collègue m’a envoyé un message.
  214. J’ai envoyé un message à mon collègue.
  215. J’ai reçu un message de la banque.
  216. J’ai reçu un message bizarre ce matin.
  217. Ce message est peut-être une arnaque.
  218. Ce message demande mon mot de passe.
  219. La banque ne demande jamais votre mot de passe.
  220. Ne donnez jamais votre mot de passe.
  221. Ne cliquez pas sur ce lien.
  222. Vérifiez toujours l’adresse de l’expéditeur.
  223. Le facteur est passé ce matin.
  224. Le facteur a laissé un colis.
  225. Le colis est arrivé hier.
  226. Le colis est arrivé en retard.
  227. Le repas est prêt.
  228. Le repas était délicieux.
  229. Le gâteau est au four.
  230. Le gâteau au chocolat est délicieux.
  231. La soupe est trop chaude.
  232. La soupe est prête.
  233. Le pain est encore chaud.
  234. Le café est prêt.
  235. Le café est trop chaud.
  236. Le café est froid.
  237. Le thé est prêt.
  238. Je mange une pomme au goûter.
  239. Je mange une salade à midi.
  240. Nous mangeons à midi.
  241. Nous mangeons au restaurant ce soir.
  242. Nous mangeons des crêpes ce soir.
  243. Elle mange une glace au chocolat.
  244. Il mange trop vite.
  245. Je prépare le dîner.
  246. Je prépare une soupe de légumes.
  247. Je prépare un gâteau pour ce soir.
  248. Il faut mettre le gâteau au four.
  249. Il faut éplucher les pommes de terre.
  250. Il faut ajouter du sel.
  251. Ajoutez le sucre et mélangez bien.
  252. Ajoutez le lait et mélangez doucement.
  253. Faites cuire pendant vingt minutes.
  254. Faites cuire à feu doux.
  255. Le film commence à vingt heures.
  256. Le film était très long.
  257. Le film était très drôle.
  258. Ce livre est très intéressant.
  259. Ce livre est trop long.
  260. Ce livre m’a beaucoup plu.
  261. Je lis un livre sur les oiseaux.
  262. Je lis un livre très drôle.
  263. Elle lit un roman policier.
  264. Il écoute de la musique.
  265. Il écoute la radio dans la voiture.
  266. Elle chante sous la douche.
  267. Les vacances commencent samedi.
  268. Les vacances étaient trop courtes.
  269. Les vacances sont finies.
  270. La mer était très froide.
  271. La plage était pleine de monde.
  272. La montagne est belle en hiver.
  273. Nous avons nagé dans la mer.
  274. Le musée est fermé le mardi.
  275. Le musée est gratuit le dimanche.
  276. Le concert commence à vingt et une heures.
  277. Le match commence à vingt et une heures.
  278. Le match était très serré.
  279. Notre équipe a gagné le match.
  280. Notre équipe a perdu hier.
  281. Il court tous les matins.
  282. Elle fait du vélo le dimanche.
  283. Je fais du sport deux fois par semaine.
  284. Je fais du yoga le mardi.
  285. Il joue au tennis avec son frère.
  286. Il joue de la guitare.
  287. Elle joue du piano depuis dix ans.
  288. L’école commence à huit heures.
  289. L’école est fermée pendant les vacances.
  290. Les élèves travaillent en classe.
  291. Les élèves posent beaucoup de questions.
  292. La maîtresse lit une histoire.
  293. Le professeur explique la leçon.
  294. Le professeur pose une question.
  295. J’ai une question à vous poser.
  296. Pouvez-vous m’aider, s’il vous plaît?
  297. Pouvez-vous répéter, s’il vous plaît?
  298. Pouvez-vous fermer la porte?
  299. Pouvez-vous m’envoyer le document?
  300. Où se trouve la gare?
  301. Où se trouve la pharmacie?
  302. Où est la boulangerie?
  303. Où sont mes clés?
  304. Où sont les enfants?
  305. Quelle heure est-il?
  306. Quel temps fait-il aujourd’hui?
  307. Quel temps fait-il à Lyon?
  308. Est-ce que le magasin est ouvert?
  309. Est-ce que tu viens ce soir?
  310. Est-ce que tu as faim?
  311. Est-ce que tu as vu mes clés?
  312. Tu viens au cinéma ce soir?
  313. Tu veux un café?
  314. Tu veux un thé ou un café?
  315. Tu as bien dormi?
  316. Tu as vu le match hier soir?
  317. Tu as reçu mon message?
  318. Vous voulez un café?
  319. Vous avez rendez-vous?
  320. Merci beaucoup pour votre aide.
  321. Merci pour le repas, c’était délicieux.
  322. Merci pour votre message.
  323. Bonne journée à vous.
  324. Bonne nuit et à demain.
  325. À demain matin.
  326. À ce soir.
  327. Je t’appelle ce soir.
  328. Je t’envoie un message demain.
  329. Je t’attends devant la gare.
  330. Je t’attends à la maison.
  331. On se retrouve devant le cinéma.
  332. On se retrouve à la gare.
  333. On se voit demain matin.
  334. On mange ensemble ce soir?
  335. La maison est grande et lumineuse.
  336. La maison est au bout de la rue.
  337. Le jardin est plein de fleurs.
  338. Les fleurs poussent au printemps.
  339. Les feuilles tombent en automne.
  340. Les jours sont courts en hiver.
  341. Les jours sont longs en été.
  342. L’été dernier, nous sommes partis en Bretagne.
  343. L’hiver dernier, il a beaucoup neigé.
  344. Au printemps, les arbres fleurissent.
  345. En automne, il pleut souvent.
  346. En hiver, il fait nuit très tôt.
  347. En été, il fait chaud et beau.
  348. Le week-end, je fais les courses.
  349. Le week-end, nous allons à la campagne.
  350. Le week-end, je dors plus longtemps.
  351. Le dimanche, nous mangeons en famille.
  352. Le samedi, je vais au marché.
  353. Le lundi, je commence à huit heures.
  354. Le soir, je lis un livre.
  355. Le soir, nous regardons un film.
  356. Le matin, je bois un café.
  357. Le matin, je prends le bus.
  358. Le matin, il fait encore froid.
  359. À midi, je mange à la cantine.
  360. À midi, nous mangeons au restaurant.
  361. Cet après-midi, je vais au parc.
  362. Cet après-midi, il va faire chaud.
  363. Cette semaine, je travaille tous les jours.
  364. Cette semaine, il a beaucoup plu.
  365. La semaine prochaine, nous partons en vacances.
  366. La semaine prochaine, j’ai beaucoup de travail.
  367. L’année prochaine, je voudrais apprendre l’anglais.

Version sans ordinateur

Toute la séance se fait sans ordinateur. Seule l’avant-dernière étape change : au lieu de la démonstration, la classe donne au modèle deux mots de mémoire, au tableau.

Matériel

  • La feuille du groupe, avec le corpus et la table à remplir.
  • Un dé à six faces par groupe. À défaut, six papiers numérotés tirés dans une trousse.
  • La table complète, en page 2, pour les groupes qui n’ont pas fini à temps.

Consignes

  1. Mener l’accroche, la table, l’écriture au dé et la mise en commun comme dans le déroulé.
  2. Reprendre au tableau la phrase bizarre « Le garçon mange la mer est bleue. » et demander ce qui vient après « mange la » dans le corpus, en regardant deux mots au lieu d’un : seulement « souris ».
  3. Faire de même pour « regarde la » (seulement « mer ») et « regarde le » (« chat » ou « chien ») : avec deux mots de mémoire, la phrase bizarre devient impossible.
  4. Faire remarquer le prix à payer : avec deux mots de mémoire, le modèle ne peut presque plus que recopier le corpus. Pour garder de la variété, il lui faudrait beaucoup plus de phrases. C’est pourquoi les vrais modèles lisent des quantités immenses de textes.

Imprimer la feuille des élèves

Table complète

Construite automatiquement à partir des six phrases du corpus. Le petit nombre indique combien de fois une suite apparaît.

  1. Le chat mange la souris.
  2. Le chien regarde la mer.
  3. La fille regarde le chat.
  4. Le garçon mange une pomme.
  5. La mer est bleue.
  6. Une souris regarde le chien.
MotMots qui le suivent dans le corpusFaces du dé
début de phrase le×3la×2une 1 à 3 : le4 ou 5 : la6 : une
le chat×2chien×2garçon 1 ou 2 : chat3 ou 4 : chien5 : garçon 6 : relancer
chat mangepoint final 1 à 3 : mange4 à 6 : point final
mange laune 1 à 3 : la4 à 6 : une
la sourismer×2fille 1 : souris2 ou 3 : mer4 : fille 5 ou 6 : relancer
souris point finalregarde 1 à 3 : point final4 à 6 : regarde
chien regardepoint final 1 à 3 : regarde4 à 6 : point final
regarde lale×2 1 ou 2 : la3 à 6 : le
mer point finalest 1 à 3 : point final4 à 6 : est
fille regarde toujours regarde
garçon mange toujours mange
une pommesouris 1 à 3 : pomme4 à 6 : souris
pomme point final toujours point final
est bleue toujours bleue
bleue point final toujours point final

Trace écrite

Un modèle de langage écrit un texte mot après mot. À chaque étape, il calcule quels mots peuvent venir ensuite, avec quelle probabilité, d’après les textes qu’il a lus, en choisit un, puis recommence.

Un tirage au hasard parmi les mots probables rend ses textes variés. C’est pourquoi la même question peut recevoir des réponses différentes.

Le modèle produit des suites de mots probables, pas des phrases vraies : il n’a aucune idée du sens de ce qu’il écrit. Plus il tient compte de mots précédents et plus il a lu de textes, plus ses phrases sont naturelles.

Vérification

À projeter ou à lire en fin de séance. Les réponses sont repliées.

  1. Que fait un modèle de langage pour écrire un texte ?

    • AIl cherche une réponse toute faite sur Internet.
    • BIl prédit un mot probable à partir de ce qui précède, l’ajoute, puis recommence.
    • CIl réfléchit à ce qu’il veut dire, puis choisit ses mots.
    Réponse

    B. Il écrit mot après mot, comme notre modèle au dé. Chaque mot dépend des mots précédents et des textes qu’il a lus pendant son entraînement.

  2. Avec la table de la séance, après « regarde », le dé donne 4. Quel mot écrit-on ?

    • A« la »
    • B« le »
    • COn relance le dé.
    Réponse

    B. « regarde » est suivi une fois de « la » et deux fois de « le ». Les faces 1 et 2 donnent « la », les faces 3 à 6 donnent « le » : deux fois plus de chances, comme dans le corpus.

  3. Pourquoi le modèle a-t-il pu écrire « Le garçon mange la mer est bleue. » ?

    • AParce qu’il ne regarde qu’un mot en arrière et ignore le sens de la phrase.
    • BParce que le dé était truqué.
    • CParce que cette phrase est dans le corpus.
    Réponse

    A. Chaque paire de mots voisins existe bien dans le corpus : « mange la », « la mer », « mer est », « est bleue ». Mais le modèle ne voit jamais la phrase entière, et ne sait pas qu’on ne mange pas la mer.

  4. Pourquoi un assistant peut-il répondre différemment à la même question posée deux fois ?

    • AParce qu’il a changé d’avis.
    • BParce qu’il a appris quelque chose entre les deux questions.
    • CParce qu’il tire au hasard parmi les mots probables, comme notre dé.
    Réponse

    C. À chaque mot, il y a un tirage. Deux tirages différents mènent à deux textes différents, sans que le modèle ait rien appris ni changé d’avis.

Questions difficiles

Les questions d’élèves qui déstabilisent, et une réponse possible.

ChatGPT, ce n’est que ça ?

Le principe est le même : prédire le mot suivant, puis recommencer. Mais tout le reste change d’échelle. Au lieu d’une table, un réseau de neurones capable de traiter des phrases jamais vues ; au lieu d’un mot de mémoire, des milliers ; au lieu de six phrases, des milliers de milliards de mots. Des humains l’ont ensuite réglé pour qu’il réponde en assistant, ce que verra la séance 14. Le résultat est très puissant, mais il reste une machine à produire du probable.

Donc il recopie Internet ?

Non, pas en général : comme notre modèle, il combine des morceaux pour produire des phrases nouvelles. Mais il lui arrive de recopier mot pour mot des passages qu’il a lus très souvent, ce qui pose des questions de droit d’auteur, abordées à la séance 22.

Comment sait-il quand s’arrêter ?

Comme notre modèle avec le point final : la fin d’un texte est un élément qu’il peut prédire, au même titre qu’un mot. Quand il le tire, il s’arrête.

Pourquoi tirer au dé au lieu de prendre toujours le mot le plus fréquent ?

Parce qu’alors il écrirait toujours la même phrase, et tournerait parfois en boucle. La démonstration le montre avec le réglage « Toujours le plus probable ». Le hasard dosé donne de la variété ; trop de hasard donne des phrases incohérentes.

S’il lit assez de phrases, il finira par comprendre ?

C’est une vraie question, débattue par les chercheurs. Les grands modèles réussissent des tâches qui semblent demander de la compréhension. Mais ils produisent aussi des erreurs qu’aucun humain qui comprend ne ferait, et ils n’ont aucun moyen de vérifier ce qu’ils écrivent. La séance 15 le montre avec les hallucinations.

Différencier