Les progrès des modèles de langage sont constants. Leur aptitude à répondre rapidement à des questions fermées, chiffrées, bien délimitées fais moins débat. Pourtant, une étude récente continuent d'alimenter des réserves et apporte une nuance importante.
En mars 2025, une équipe de chercheurs de l'ETH Zurich et de l'INSAIT (Sofia University) a confronté six modèles parmi les plus avancés à une série de six problèmes issus de l'USAMO, une compétition de mathématiques exigeant des démonstrations complètes et justifiées. Le résultat est net : aucun modèle n’a dépassé 5 % de réussite. Aucun n’a proposé une solution intégralement correcte.
Deux contextes, deux réalités
Les mêmes modèles performent pourtant très bien sur l’AIME, une autre épreuve réputée. Il ne s’agit pas ici de contradiction, mais de contexte. L’AIME se limite à des réponses numériques. Il n’y a pas de justification attendue. Dans ce cadre, certains LLMs — O3-MINI notamment — atteignent des taux de réussite proches de ceux des meilleurs lycéens américains.
L’USAMO est d’un autre ordre. Il ne s’agit pas de donner une valeur. Il faut construire, démontrer, justifier. Chaque affirmation doit découler logiquement de la précédente. C’est ici que les modèles échouent. L’analyse des copies générées le confirme : erreurs de raisonnement, hypothèses posées sans preuve, absence de créativité dans la recherche de solution. Malheureusement, même les récents modèles de raisonnements, n'étaient pas bien au dessus de façon significative. Les modèles testés étaient les suivants :
-Claude 3.7 (Anthropic) -O3-MINI et O1-PRO (OpenAI) -R1 (DeepSeek) -FLASH-THINKING (Gemini) -QWQ (Qwen)
Raisons structurelles
Ce comportement n’est pas accidentel. Il découle de la façon dont ces modèles sont conçus :
- Ils maximisent la production d’une réponse finale, souvent mise en forme dans un encadré
. Pas la construction logique complète.\boxed{} - Ils imitent des modèles de réponses vus pendant l’entraînement. Ils ne valident pas la cohérence interne d’une démonstration.
- Lorsqu’une stratégie échoue, ils ont tendance à la reproduire encore, sans remise en question ni alternative explorée.
Quelques cas observés
Dans plusieurs exemples, des modèles ont généralisé des observations faites sur de petits cas numériques à l’ensemble d’un problème, sans en démontrer la validité.
Certains ont sauté des étapes logiques majeures, les qualifiant de « triviales » alors qu’elles étaient au cœur de la solution attendue.
D'autres, comme FLASH-THINKING, ont exploré plusieurs stratégies en parallèle sans en approfondir aucune. Résultat : une solution brouillonne, illisible, sans issue démonstrative.
Limites de l’évaluation automatisée
Les auteurs ont tenté de faire corriger ces réponses automatiquement par d’autres modèles. Les écarts observés sont importants. Jusqu’à vingt fois plus de points attribués que la note réelle donnée par un correcteur humain.
Un langage bien présenté, même s’il est erroné, reste souvent perçu comme valide par ces modèles évaluateurs. La forme prime sur la vérité mathématique.
Ce que cela signifie
Les modèles actuels ne raisonnent pas. Ils imitent. Leur capacité à produire une réponse plausible masque une absence de maîtrise conceptuelle. Cela ne les rend pas inutiles. Mais cela les rend fragiles dès que la tâche dépasse le cadre balisé de leur entraînement. Nous en parlions également, dans un article, où Yann Lecun, directeur scientifique chez Méta, et lauréat du prix turing, mettait cela en lumière.
L’erreur n’est pas seulement possible. Elle est souvent invisible.
Chez Solynae, ces constats guident nos choix. Nous intégrons des modules d’IA pour assister les professionnels de santé. Mais chaque fonction IA est encadrée. Vérifiable. Jamais en position de décision autonome dans les domaines critiques. Comme beaucoup d'autres personnes, on croit que même en l'état des choses, les LLM peuvent facilier le flux de travail de chacun, même si ce n'est pas un "outil parfait".
Cette étude rappelle une réalité utile : un outil puissant peut se tromper avec brio. Il faut donc lui ménager des garde-fous. C’est notre responsabilité, quel que soit notre activité, d'avoir cela en tête, lors de l'utilisation de ces outils, en l'état actuel de l'art des LLM.
Références
- Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad — Petrov et al., 2025
- MathArena, plateforme de benchmark mathématique pour LLMs
