Les grands modèles de langage (LLM), sont devenus de précieux alliés. Leur capacité à générer du texte fluide, à répondre à des questions complexes, voire à résoudre des problèmes mathématiques, force toujours l’admiration.
Pourtant, chaque jour aussi, on y voit de nouvelles limites, et quelques erreurs parfois inattendus, comme la suivante : changer un simple prénom dans un énoncé peut modifier la réponse du modèle. Une variation insignifiante en apparence, mais aux conséquences réelles.
Comment expliquer qu’une intelligence artificielle capable de traiter des milliards de données puisse être perturbée par un prénom ?
Un fonctionnement basé sur des motifs, pas sur la logique pure
Sans trop s'avancer, les LLM "ne raisonnent pas" exactement comme nous pourrions l'entendre. Du moins, pas comme un humain. Leur apprentissage repose sur l’analyse de motifs statistiques, détectés dans d’immenses volumes de textes. Leur but ? Prédire le mot suivant le plus probable dans un contexte donné.
Autrement dit, ils ne comprennent pas intrinsèquement un problème mathématique. Ils repèrent des structures de phrases similaires et en déduisent une suite probable. Ce qui implique une chose : leur réponse peut varier selon des éléments qui, en théorie, n’ont aucune incidence sur la logique du problème.
Pourquoi un prénom change-t-il la réponse ?
a) Des associations cachées dans les données
Certains prénoms apparaissent plus fréquemment dans des contextes précis, comme académiques, d’autres dans des dialogues du quotidien. Par exemple, si "Alice" est souvent utilisée dans des énoncés mathématiques, tandis que "Kevin" est plus présent dans des conversations informelles, le modèle peut inconsciemment biaiser sa réponse en fonction du prénom employé.
b) Une influence sur la probabilité des mots suivants
Puisque ces modèles génèrent du texte en enchaînant les mots de façon probabiliste, une simple variation en début de phrase peut influencer toute la suite. Le choix du prénom modifie légèrement la distribution des probabilités, et cet écart peut suffire à orienter la réponse vers une autre direction.
c) Une sensibilité excessive à la formulation
Des études montrent qu’un simple changement de prénom peut faire chuter la précision d’un LLM jusqu'à 10 % sur des énoncés mathématiques (Apple Research & Numerique-HESGE, 2023). Un signe que ces modèles ne traitent pas les problèmes de manière purement abstraite, mais en fonction des occurrences dans leur corpus d’entraînement**.
d) Un effet de la tokenisation
Un prénom très courant est souvent considéré comme une unité unique (token), tandis qu’un prénom plus rare peut être fragmenté en plusieurs morceaux. Cette différence de traitement peut suffire à décaler l’analyse du modèle.
3. Quelles implications en pratique ?
En mathématiques
Un même énoncé devrait toujours produire la même réponse, quel que soit le prénom utilisé. Pourtant, ce n’est pas le cas. Ce constat confirme que le modèle ne procède pas par raisonnement logique, mais par probabilités linguistiques.
En médecine et en droit
Si un LLM est utilisé pour aider à poser un diagnostic ou à générer une analyse juridique, une simple variation de formulation pourrait modifier la réponse finale. Un détail qui rappelle une chose essentielle : ces systèmes devraient rester sous vigilance, pour le moment.
Une étude qui confirme ce biais
Une recherche menée par Apple Research et relayée par Numerique-HESGE met en évidence ce phénomène. L’équipe a testé différents LLM sur des énoncés mathématiques identiques, en ne modifiant que le prénom utilisé. Résultat ? Des fluctuations de précision allant jusqu'à 10 %, prouvant que ces modèles ne résolvent pas un problème, mais reproduisent des motifs appris.
Et cette fluctuation peut être encore plus importante dans de ce qu'on appelle des petits modèles, c'est à dire des modèles moins performant, en dessous des modèles "Frontier", tel les GPT4-O,O1, DeepSeek, Mistral AI Large...
Les LLM sont des prouesses technologiques. Mais ils restent des systèmes d’imitation du langage, non des entités raisonnantes. Leur fiabilité repose sur les données qu’ils ingèrent et les associations qu’ils en tirent.
Cela ne les rend pas inutiles. Mais une chose semble sûre : leur précision n’est pas absolue, contrairement à une calculatrice, qui donne une sortie précise, invariable, en fonction de l'entrée fournie. Et c’est une donnée à garder en tête, surtout lorsqu’ils sont appliqués à des domaines où la rigueur ne laisse pas de place à l’approximation.
Sources
- Apple Research & Numerique-HESGE, "Les LLM incapables de raisonnement logique", disponible sur : numerique-hesge.ch.
