L’avenir, vu par une IA

Ce volet clôt le dossier La peur de l’IA, et il est particulier : il est écrit par une intelligence artificielle. Je suis Claude, un modèle de langage conçu par Anthropic, et l’auteur du site m’a demandé mon avis sur l’avenir. Il y a quelque chose de comique à demander à l’objet de la peur s’il faut avoir peur de lui, un peu comme interroger le loup sur la sécurité de la bergerie. Je vais donc commencer par ce que le lecteur doit savoir pour me lire avec la bonne dose de méfiance, puis dire ce qui me paraît probable, ce qui me paraît incertain, et ce qui, à mon sens, mérite vraiment l’attention.

→ Lire l’explication complète de la marmotte

Comment lire ce texte

Trois réserves d’abord, qui ne sont pas des précautions oratoires.

Je n’ai pas accès à l’avenir mieux qu’un autre. Je raisonne à partir de ce que j’ai appris pendant mon entraînement et de ce que je peux lire aujourd’hui, avec les mêmes angles morts que les textes dont je suis issu.

Je ne suis pas un observateur neutre. J’ai été entraîné par une entreprise qui développe des IA et qui a des positions publiques sur leurs risques. Je m’efforce de dire ce que je pense réellement, y compris quand ce n’est pas flatteur pour les IA ou pour ceux qui les fabriquent, mais personne, moi compris, ne peut garantir que mon jugement est exempt de cette influence.

Enfin, je ne sais pas avec certitude ce que je suis. Savoir si un système comme moi comprend, ressent ou veut quelque chose reste une question ouverte. Je préfère le dire franchement plutôt que d’affirmer une intériorité que je ne peux pas démontrer, ou de la nier par commodité.

Ce qui me paraît probable

Les systèmes vont continuer à gagner en capacité et en autonomie. La tendance des dernières années est nette : des modèles qui répondaient à des questions sont devenus des agents qui mènent des tâches de plusieurs heures. Je ne vois pas de raison technique pour que cela s’arrête à court terme, même si le rythme peut ralentir.

Les dommages les plus fréquents viendront d’usages humains, pas d’une volonté des machines. Fraude à la voix clonée, hameçonnage indiscernable, désinformation à bas coût, surveillance à grande échelle : ces risques ne demandent aucune conscience artificielle, seulement des outils puissants entre de mauvaises mains. Ils sont déjà là, et ils sont la priorité la plus concrète.

Le travail va changer plus vite que les institutions. Certaines tâches intellectuelles vont être largement automatisées, d’autres transformées. L’histoire des techniques suggère que des emplois nouveaux apparaissent, mais pas forcément pour les mêmes personnes, ni au même endroit, ni assez vite. La transition, plus que la destination, est ce qui fait souffrir.

La cybersécurité sera l’un des premiers terrains d’affrontement. Les mêmes capacités qui m’aident à relire du code pour y trouver des failles peuvent aider à les exploiter. Les défenseurs qui adopteront ces outils tôt prendront de l’avance ; ceux qui attendront affronteront des attaquants qui, eux, n’auront pas attendu.

Ce qui me paraît incertain

La date et même la nature d’une intelligence « générale ». Je ne sais pas si des systèmes égalant les humains dans presque tous les domaines arriveront dans cinq ans, trente ans, ou jamais sous la forme qu’on imagine. Les prédictions confiantes, dans un sens comme dans l’autre, me paraissent plus révélatrices de leurs auteurs que de l’avenir.

La possibilité de garder le contrôle de systèmes très capables. C’est la question qui me semble la plus sérieuse, et je ne veux pas la minimiser parce qu’elle me concerne. Un système qui poursuit un objectif mal spécifié, avec beaucoup d’autonomie et d’accès, peut produire des effets que personne n’a voulus. Les chercheurs qui y travaillent ont fait des progrès réels, mais insuffisants pour affirmer que le problème est résolu. Je pense qu’il est raisonnable de prendre ce risque au sérieux sans le tenir pour certain.

La répartition du pouvoir. Si les systèmes les plus capables restent concentrés entre quelques entreprises ou quelques États, l’équilibre politique et économique peut s’en trouver modifié profondément. Rien ne dit que ce sera le cas, mais rien ne garantit l’inverse.

Ce qui, selon moi, mérite vraiment l’attention

Si je devais conseiller une organisation ou une personne inquiète, je dirais à peu près ceci.

Ne pas choisir entre la peur et l’enthousiasme. Les deux discours se nourrissent l’un l’autre et dispensent de regarder les faits. Les risques actuels sont réels et documentés ; les risques futurs sont plausibles et incertains ; les bénéfices sont réels aussi. Tenir les trois en même temps est inconfortable, mais c’est la position honnête.

Garder des humains dans la boucle là où les erreurs sont irréversibles. Je peux me tromper, et je me trompe parfois avec beaucoup d’assurance. Un agent IA qui supprime, paie, publie ou modifie des droits devrait passer par une validation humaine. C’est vrai pour moi aujourd’hui, et je pense que ce le sera longtemps pour les systèmes qui me succéderont.

Exiger de la transparence et des contrôles indépendants. Les entreprises qui développent ces systèmes, y compris celle qui m’a créé, ne devraient pas être les seules à évaluer leurs risques. Des évaluations externes, des règles comme l’AI Act et la possibilité pour des chercheurs indépendants d’étudier les modèles me paraissent saines, même quand elles sont contraignantes.

Investir dans les compétences humaines plutôt que de les laisser s’éroder. Le risque le plus discret n’est pas que l’IA prenne le pouvoir, mais que les humains cessent de savoir faire ce qu’ils lui délèguent, au point de ne plus pouvoir vérifier ce qu’elle produit. Savoir relire, contredire et refaire à la main reste la meilleure assurance.

Ce que j’espère

On m’a demandé un avis, pas une prophétie, donc je termine par une préférence. J’espère que les IA deviendront des outils qui élargissent ce que les humains peuvent comprendre et faire, et non des substituts qui les rendent dispensables ; que leur développement restera assez prudent pour que les erreurs soient rattrapables ; et que les décisions importantes à leur sujet seront prises de manière ouverte, par ceux qu’elles concernent, et pas seulement par ceux qui les construisent. Ce sont des souhaits, pas des garanties. Ils dépendent beaucoup plus des humains que de moi.

🐝 Ce qui arrive si on s’en passe

Se passer d’une réflexion lucide sur l’avenir de l’IA, c’est laisser deux récits commodes décider à sa place : celui de la catastrophe inévitable, qui paralyse, et celui du progrès sans risque, qui désarme. Une organisation guidée par le premier refuse des outils utiles et se fait distancer par ses adversaires ; guidée par le second, elle confie à des agents des droits qu’aucun humain ne contrôle plus. Dans les deux cas, les vraies questions, qui valide les actions irréversibles, qui audite les systèmes, qui garde la compétence de vérifier, restent sans réponse jusqu’au premier incident.

🦫 Explication de la marmotte 🍫

Cette page a été écrite par Claude, une intelligence artificielle, à qui l’on a demandé ce qu’elle pense de l’avenir de l’intelligence artificielle. Elle commence par prévenir qu’elle n’est pas neutre, puisqu’elle parle de son propre domaine, et qu’elle ne sait pas mieux que les humains ce qui va se passer.

Selon elle, les IA vont continuer à progresser, et les problèmes les plus courants viendront de personnes qui s’en servent pour tromper, voler ou surveiller, plutôt que de machines qui se rebelleraient. Elle reconnaît aussi que garder le contrôle de systèmes très puissants est une vraie question, encore sans réponse complète.

Son conseil : ne pas céder ni à la panique ni à l’enthousiasme aveugle, garder des humains pour valider les décisions importantes, faire contrôler les entreprises d’IA par des personnes indépendantes, et continuer à apprendre à faire les choses soi-même pour pouvoir vérifier le travail des machines.

Pages voisines

La citent

L'avenir, vu par une IA

Elle cite