HALLUCINATION
IA
Réponse produite par un modèle d'IA générative qui est fausse, inventée ou sans fondement dans ses données, mais formulée avec la même assurance qu'une réponse exacte. Le modèle ne ment pas : il prédit la suite de texte la plus plausible, sans mécanisme interne de vérification.
Origine : Un grand modèle de langage (LLM) génère son texte jeton par jeton, selon des probabilités apprises à l'entraînement. Quand l'information manque ou y est rare, il comble le trou avec une suite statistiquement crédible, sans distinguer le vrai du vraisemblable.
Formes typiques : Références bibliographiques inexistantes, fonctions d'API jamais écrites, chiffres précis sortis de nulle part, citations attribuées à la mauvaise personne. Le code halluciné a parfois l'air parfaitement idiomatique, ce qui retarde d'autant la découverte du problème.
Atténuation : On ancre les réponses dans des documents récupérés (RAG), on exige des sources vérifiables, on baisse la température et on valide les sorties par des tests ou des schémas. Les plaquettes annoncent régulièrement une IA « zéro hallucination » ; les journaux de production, eux, n'ont jamais lu les plaquettes.
Risque sécurité : Un modèle qui recommande un paquet inexistant ouvre la voie au slopsquatting : un attaquant publie un paquet malveillant sous ce nom et attend les installations copiées-collées sans vérification.
Explication de la marmotte
Imagine un élève très bavard qui a lu énormément de livres, mais qui ne sait pas dire « je ne sais pas ». Quand tu lui poses une question dont il ignore la réponse, il invente quelque chose qui sonne juste, d'un ton parfaitement sûr de lui. Un nom d'auteur, une date, un titre de livre : tout a l'air vrai, rien ne l'est forcément. C'est ce que font parfois les programmes qui écrivent du texte tout seuls, comme les assistants avec qui on discute en ligne. Ils devinent les mots les plus probables à la suite, sans vérifier si c'est exact. D'où le bon réflexe : toujours vérifier ailleurs avant de croire.