Comment fonctionne un LLM ?

Vous écrivez quelques lignes à un assistant comme ChatGPT. Il vous répond avec des phrases complètes, reprend certains détails de votre demande et semble suivre votre raisonnement.

Comment passe-t-on d’un message tapé au clavier à cette réponse ? A-t-il retrouvé un texte tout prêt ? Est-il en train d’apprendre ce que vous lui dites ? Et pourquoi peut-il expliquer quelque chose très clairement tout en se trompant ?

Ces questions sont liées. Pour y répondre, nous allons suivre le trajet de votre demande, sans entrer dans les mathématiques nécessaires pour construire le système.

D’abord, que veut dire LLM ?

LLM vient de l’anglais Large Language Model, que l’on traduit par « grand modèle de langage ».

Un modèle est ici un système de calcul préparé pour traiter des informations. Un modèle de langage travaille notamment sur le texte. Il a été entraîné : ses réglages internes ont été ajustés à partir de données et d’objectifs d’apprentissage.

Le mot « grand » renvoie à son échelle, notamment celle de ses réglages et de son entraînement. Il ne veut pas dire « toujours fiable ».

Vous n’avez pas besoin de retenir le nom anglais pour utiliser un assistant. Il sert surtout à reconnaître la technologie dont on parle, derrière le produit que vous avez à l’écran.

LE DÉCLIC — La réponse se construit à partir de ce qui est disponible

Pour comprendre la suite, distinguons deux choses.

D’un côté, il y a ce que le modèle a appris pendant sa préparation. De l’autre, il y a les informations dont il dispose au moment de votre demande : vos consignes, votre texte et éventuellement d’autres éléments fournis par l’application.

La réponse dépend de ces deux ensembles. Le modèle ne reçoit pas automatiquement toutes les informations que vous avez en tête, ni tout ce qui se trouve sur votre ordinateur.

Si vous demandez « réponds à ce client » sans donner son message, une partie essentielle du problème manque. Le système peut vous proposer une réponse générale, mais il ne peut pas s’appuyer sur un texte qui ne lui a pas été rendu accessible.

Votre phrase devient d’abord de petites unités

Lorsque vous écrivez à ChatGPT, le modèle ne lit pas exactement votre phrase comme vous et moi.

Avant les calculs, le texte est découpé en petites unités appelées tokens. Le mot paraît technique ; l’idée est simplement celle d’un découpage.

Un token peut correspondre à un mot entier, à un morceau de mot, à un caractère ou à un signe de ponctuation. Le découpage dépend notamment du système et de la langue. Il n’existe donc pas une règle universelle du type « un mot égale un token ».

Ces unités sont représentées par des nombres, ce qui permet au modèle de les traiter mathématiquement.

Pour comprendre l’article, retenez seulement ceci : le système transforme le texte en unités de calcul. Ce détail explique aussi pourquoi ses limites de quantité de texte ne se mesurent pas simplement en pages.

Le contexte : ce que le modèle peut utiliser pour cette réponse

Le contexte est l’ensemble des informations mises à disposition du modèle lorsqu’il répond.

Il peut inclure vos consignes, votre demande, des éléments de conversation et, selon l’application, des passages de documents ou les résultats d’outils. Un outil est une fonction supplémentaire, par exemple une recherche sur le Web, dont le résultat peut être fourni au modèle.

Regardez la différence entre ces deux demandes : « reformule ce message » et « reformule ce message pour un client mécontent, sans promettre de remboursement ».

La seconde donne des repères supplémentaires. Le destinataire et la limite à respecter font désormais partie du contexte. Cela oriente la réponse ; cela ne garantit pas encore qu’elle sera correcte.

La quantité d’informations que le modèle peut prendre en compte à un moment donné est limitée. On appelle cette limite la fenêtre de contexte.

Vous pouvez donc voir un long historique dans l’application sans que chaque détail soit nécessairement disponible intégralement pour chaque réponse. Si un élément est indispensable, mieux vaut le rendre explicite que supposer qu’il sera retrouvé.

Comment les mots sont-ils reliés entre eux ?

Prenons cette phrase inventée : « Le colis ne rentre pas dans la boîte parce qu’il est trop volumineux. »

Pour interpréter « il », vous tenez compte de plusieurs mots. Vous ne regardez pas uniquement celui qui le précède. L’idée du colis, de la boîte et de la taille participe à votre lecture.

Beaucoup de grands modèles de langage utilisent une organisation de calcul appelée transformer. L’un de ses mécanismes importants est l’attention : des calculs donnent des poids aux relations entre les unités du texte pour les traiter en tenant compte des autres.

Le mot « attention » ne décrit pas ici une concentration humaine. C’est le nom d’un mécanisme mathématique.

Notre phrase illustre le type de relation que le système doit pouvoir traiter. Elle ne montre pas exactement ce qui se passe dans les calculs d’un modèle donné. Il serait trompeur de présenter cette petite explication comme une lecture de son fonctionnement interne complet.

Et comment produit-il la suite ?

Voici le principe simplifié de la génération de texte : à partir du contexte, le modèle estime différentes suites possibles, choisit un token suivant, puis recommence en tenant compte du texte déjà produit.

Une réponse peut ainsi se construire progressivement, unité après unité.

Cela ne signifie pas que le token le plus probable est nécessairement choisi à chaque étape. Les réglages de génération et le système autour du modèle influencent aussi le résultat. Deux demandes identiques peuvent donc donner des formulations différentes.

Cette explication permet de comprendre le principe général. Elle ne décrit pas toutes les architectures, tous les mécanismes internes ni toutes les étapes supplémentaires d’un assistant moderne.

Surtout, produire une suite plausible n’est pas la même opération que vérifier chaque affirmation. Une réponse peut respecter la grammaire, suivre un plan et contenir un fait faux. La fluidité du texte ne suffit pas à établir sa vérité.

Quand vous le corrigez, est-ce qu’il apprend ?

Vous indiquez : « Le client s’appelle Martin, pas Martine. » L’assistant utilise ensuite le bon nom. Il est naturel de penser : « Il vient d’apprendre. »

Dans cette conversation, vous avez surtout fourni une correction qui peut être utilisée comme contexte pour la suite.

L’entraînement est une autre opération : il modifie les réglages du modèle. L’utilisation ordinaire consiste à appliquer ses réglages au contexte pour calculer une réponse. Vous rencontrerez parfois le mot « inférence » pour désigner cette utilisation.

Corriger un nom dans un échange ne signifie donc pas que vous venez de réentraîner immédiatement le modèle pour tous les utilisateurs.

Il faut encore distinguer cela de la conservation d’informations par l’application ou de l’utilisation éventuelle des conversations dans un entraînement ultérieur. Ces questions dépendent du service et de ses paramètres. La présence d’un souvenir dans une interface ne permet pas, à elle seule, de déduire comment le modèle a été entraîné.

À VOUS DE TESTER — Faire varier un seul élément

Choisissez un court texte non confidentiel que vous comprenez bien. Demandez-en une explication destinée à un collègue qui connaît déjà le sujet.

Demandez ensuite une version pour une personne qui le découvre. Conservez le même texte de départ : vous ne changez que le public.

Comparez les mots utilisés, les explications ajoutées et les informations retirées. Puis vérifiez que les deux versions restent fidèles à l’original.

L’exercice ne mesure pas l’intelligence générale du modèle. Il vous permet de voir ce qu’une information de contexte change dans une réponse, et pourquoi vous devez malgré tout relire le résultat.

À RETENIR

Un modèle de langage produit une réponse en s’appuyant sur des régularités apprises et sur les informations disponibles pour votre demande. Donnez-lui les repères utiles, puis vérifiez le fond : bien formulé ne veut pas nécessairement dire vrai.

Sources pour approfondir

Google — fonctionnement des LLM et transformers · OpenAI — comprendre les tokens · OpenAI — contexte et consignes · OpenAI — erreurs des modèles de langage

Pour continuer

Pourquoi une IA peut-elle se tromper ?