Contrôle humain
IA
Ensemble des mécanismes qui permettent à une personne compétente de surveiller, valider, corriger ou interrompre les décisions d'un système automatisé, en particulier d'une IA. Le règlement européen sur l'IA (AI Act, article 14) l'exige pour les systèmes classés à haut risque.
Trois niveaux d'implication : En human-in-the-loop (HITL), une personne valide chaque décision avant son exécution. En human-on-the-loop, elle supervise en continu et peut intervenir. En human-in-command, elle décide si et quand le système tourne.
Biais d'automatisation : Le principal ennemi du dispositif, c'est l'opérateur qui finit par tout approuver par réflexe. Un bouton « Approuver » cliqué quatre cents fois par jour ne constitue pas un contrôle humain : c'est un tampon encreur, avec un journal d'audit pour en garder la trace.
Cas des agents IA : Pour un agent autonome, on soumet les actions irréversibles (suppression, paiement, envoi de message, déploiement) à une confirmation explicite. Les permissions de l'agent sont bornées au strict nécessaire.
Conditions d'efficacité : L'interface doit exposer les raisons et les incertitudes de la décision, pas seulement le résultat. Il faut aussi un arrêt réellement utilisable et une traçabilité de qui a validé quoi.
Ce qui arrive si on s'en passe
Sans contrôle humain, les décisions du système automatisé s'appliquent directement : personne ne les relit avant qu'elles produisent leurs effets. Une erreur de classement, un biais du modèle ou une entrée manipulée par un attaquant (injection de consignes, données empoisonnées) devient alors une action réelle, répétée à la vitesse de la machine. Aucun point d'arrêt ne permet d'interrompre une dérive en cours. Le système continue jusqu'à ce qu'un effet visible alerte quelqu'un, donc après coup. La reprise devient aussi plus difficile : aucune décision contestable n'a été validée ni annotée, et l'analyse n'a aucun repère pour dater le début de la dérive ni en comprendre la cause. Pour un système classé à haut risque, cette absence constitue en outre un manquement direct à l'article 14 de l'AI Act.
Explication de la marmotte
Imagine une voiture d'auto-école. L'élève conduit, mais le moniteur a sa propre pédale de frein et peut reprendre le volant à tout moment. Avec les programmes qui prennent des décisions tout seuls, comme ceux qui trient des candidatures ou rédigent des messages, c'est pareil : on garde une personne qui regarde ce que fait la machine, qui peut dire « non, pas ça » et qui peut tout arrêter si ça dérape. Attention, ça ne marche que si cette personne réfléchit vraiment. Quelqu'un qui dit « oui » à tout sans lire, c'est un moniteur endormi sur le siège passager.
Où ce terme est utilisé
- AI Act : analyse d'impact sur les droits fondamentaux (article 27) (9 occurrences)
- AI Act : contrôle humain d'une IA à haut risque (article 14) (9 occurrences)
- AI Act : obligations du déployeur d'une IA à haut risque (article 26) (7 occurrences)
- AI Act et modèle d'IA à usage général appelé par API (4 occurrences)
- AI Act : classer un système d'IA à haut risque (article 6, annexes I et III) (3 occurrences)
- AI Act : documentation technique d'une IA à haut risque (article 11, annexe IV) (3 occurrences)
- AI Act : journalisation automatique d'une IA à haut risque (articles 12, 19 et 26) (3 occurrences)
- AI Act : réclamation et droit à l'explication (articles 85 et 86) (3 occurrences)
- AI Act : système de gestion des risques d'une IA à haut risque (article 9) (3 occurrences)
- AI Act : bacs à sable réglementaires et mesures PME (art. 57 à 63) (2 occurrences)