Inférence
IA
En IA, l'inférence est la phase où un modèle déjà entraîné produit une réponse à partir d'une entrée, par opposition à l'entraînement qui le fabrique. C'est ce sens qu'on retrouve derrière les moteurs, serveurs et passerelles d'inférence.
Préremplissage puis décodage : Une requête passe d'abord par le préremplissage (prefill) : tout le prompt est traité en parallèle, le cache de clés et valeurs se remplit, et cette phase bornée par le calcul fixe le délai avant le premier jeton. Vient ensuite le décodage, jeton par jeton, qui relit les poids et ce cache à chaque pas et se retrouve donc borné par la bande passante mémoire.
Là où part le budget : L'entraînement a lieu une fois, l'inférence à chaque requête : c'est elle qui occupe les GPU au quotidien et fixe le coût d'exploitation du matériel. L'entraînement fait les gros titres une fois, l'inférence envoie la facture tous les jours, ce qui remplit nettement moins bien une keynote.
Second sens : déduire à partir de données : Hors génération de réponses, inférer veut dire tirer une information de données : inférence statistique (estimer une population à partir d'un échantillon), attaque par inférence (reconstituer une donnée sensible à partir de sorties anodines). Il y a aussi l'inférence d'appartenance, qui cherche à savoir si un enregistrement donné figurait dans le jeu d'entraînement d'un modèle.
Inférence d'émotions et AI Act : L'AI Act interdit l'inférence des émotions sur le lieu de travail et dans les établissements d'enseignement, sauf raisons médicales ou de sécurité (article 5). L'interdit ne vise que ce qui se déduit de données biométriques (visage, voix, gestuelle) : une analyse de sentiment sur du texte écrit n'en relève pas, et hors du travail et de l'école, la reconnaissance des émotions reste du haut risque, licite sous obligations.
Explication de la marmotte
Imagine un cuisinier. Pendant des années, il apprend son métier à l'école : c'est long et ça coûte cher, mais on ne le fait qu'une fois. Ensuite, chaque fois qu'un client commande, il cuisine avec ce qu'il sait déjà, sans retourner en cours. Pour un programme d'intelligence artificielle, ce moment où il répond à ta question, c'est l'inférence. Il lit d'abord toute ta question d'un coup, puis écrit sa réponse mot après mot, un peu comme toi quand tu tapes un message. Le mot a aussi un autre sens : deviner quelque chose de caché à partir d'indices, comme un détective qui devine ton humeur à ta façon de marcher.
Où ce terme est utilisé
- AI Act : définition du système d'IA (article 3, point 1) (17 occurrences)
- Backend Foundry Local expliqué et comparé à LM Studio (16 occurrences)
- Apprentissage automatique et réseaux de neurones, attaques du modèle (10 occurrences)
- AI Act : journalisation automatique d'une IA à haut risque (articles 12, 19 et 26) (9 occurrences)
- Relier FinOps et MLOps pour piloter le coût de l'IA en production (9 occurrences)
- Gardien IA pour LLM, fonctionnement, exemples et choix de produit (8 occurrences)
- Comment fonctionne l'inférence d'un modèle de langage (7 occurrences)
- AI Act : exactitude, robustesse et cybersécurité d'une IA à haut risque (article 15) (6 occurrences)
- AI Act : pratiques d'IA interdites par l'article 5 depuis février 2025 (6 occurrences)
- Dimensionner GPU et RAM pour un LLM local (6 occurrences)