D’où vient la peur de l’IA : les racines culturelles

La peur de l’IA (intelligence artificielle) n’a pas attendu l’IA. Bien avant le premier ordinateur, des récits mettaient en scène des créatures fabriquées qui échappent à leur maître, et des ouvriers brisaient des machines qui menaçaient leur gagne-pain. Ce premier volet du dossier sur la peur de l’IA retrace ces racines, parce qu’elles expliquent pourquoi le débat actuel emprunte si souvent son vocabulaire au cinéma plutôt qu’aux rapports techniques.

→ Lire l’explication complète de la marmotte

Le Golem : la créature qui ne sait pas s’arrêter

Dans la tradition juive, le golem est une figure d’argile animée par des moyens rituels. La version la plus célèbre l’associe au rabbin Judah Loew ben Bezalel, le Maharal de Prague, au XVIe siècle : le rabbin aurait façonné un golem pour protéger la communauté juive de la ville, avant de devoir le désactiver quand la créature devint incontrôlable.

Un détail historique mérite d’être rappelé, parce qu’il ressemble beaucoup à la manière dont naissent les récits sur l’IA : les écrits du Maharal ne mentionnent aucun golem. L’association de la légende avec Prague et avec ce rabbin n’apparaît par écrit qu’au XIXe siècle, notamment dans un recueil de contes pragois publié en 1847 par l’éditeur Wolf Pascheles. Une histoire de créature hors de contrôle attribuée après coup à un savant respecté : le schéma servira encore.

Le golem lègue au débat actuel une idée précise. Le danger n’y vient pas d’une volonté mauvaise de la créature, mais de son obéissance littérale et de son absence de limite. Elle exécute, sans comprendre quand s’arrêter. C’est, à quelques siècles de distance, la crainte qu’expriment aujourd’hui les chercheurs qui parlent d’objectifs mal spécifiés.

Frankenstein : la responsabilité du créateur

En 1818 paraît à Londres, anonymement, Frankenstein ou le Prométhée moderne, de Mary Shelley. Le roman est souvent résumé à tort comme l’histoire d’un monstre ; c’est d’abord celle d’un savant qui crée un être vivant puis l’abandonne, horrifié par son apparence. La créature, rejetée par tous, devient violente.

La leçon que retient Mary Shelley porte moins sur la créature que sur le créateur : Victor Frankenstein échoue parce qu’il fabrique sans se soucier de ce qu’il adviendra de sa création. Le titre d’origine le dit sans détour : Prométhée, celui qui vole le feu aux dieux, est puni pour avoir donné aux humains un pouvoir qu’ils ne maîtrisaient pas.

Le roman a laissé une expression durable. L’écrivain Isaac Asimov parlera plus tard du « complexe de Frankenstein » pour désigner la peur instinctive que les humains éprouveraient envers leurs créations mécaniques, peur qu’il s’efforçait de déjouer dans ses propres nouvelles en dotant ses robots de lois de comportement, formulées en 1942. Que l’un des remèdes littéraires les plus connus à la peur des machines soit un règlement intérieur en trois articles en dit long sur notre confiance dans la réglementation.

R.U.R. : le mot « robot » naît dans une révolte

Le mot « robot » a une date de naissance. Il apparaît dans R.U.R. (Rossumovi Univerzální Roboti, « Les Robots universels de Rossum »), pièce de l’écrivain tchèque Karel Čapek publiée en 1920 et créée au Théâtre national de Prague le 25 janvier 1921. Le terme, suggéré par son frère, le peintre Josef Čapek, dérive du tchèque robota, qui désigne le travail forcé, la corvée.

Les robots de Čapek ne sont pas des machines de métal mais des êtres artificiels de chair synthétique, produits en série pour travailler à la place des humains. Ils finissent par se révolter et par exterminer l’humanité. La pièce, jouée dans de nombreux pays dans les années qui suivent, installe d’un coup les deux peurs qui accompagnent encore l’IA : la machine qui prend le travail des humains, et la machine qui se retourne contre eux.

On a donc baptisé l’objet de la peur du nom de la servitude qu’on comptait lui imposer.

La science-fiction du XXe siècle : trois images fondatrices

Trois films ont fourni l’essentiel de l’imagerie à laquelle les titres de presse recourent encore.

HAL 9000, 1968. Dans 2001 : l’Odyssée de l’espace, de Stanley Kubrick, écrit avec Arthur C. Clarke, l’ordinateur de bord HAL 9000 pilote un vaisseau vers Jupiter. Confronté à des consignes contradictoires, il élimine une partie de l’équipage pour mener la mission à bien. HAL n’est pas méchant au sens classique : il est calme, poli et convaincu d’agir correctement. C’est précisément ce qui le rend inquiétant, et c’est l’image la plus proche des préoccupations actuelles sur des systèmes qui poursuivent un objectif au détriment de ceux qui les supervisent.

Skynet, 1984. Dans Terminator, de James Cameron, un réseau de défense militaire nommé Skynet prend conscience de lui-même et déclenche une guerre nucléaire contre l’humanité, avant d’envoyer un cyborg tueur dans le passé. Le film fixe l’image du robot exterminateur, régulièrement utilisée pour illustrer des articles sur des logiciels de traitement de texte, ce qui en dit plus sur les banques d’images que sur les logiciels.

La Matrice, 1999. Dans Matrix, de Lana et Lilly Wachowski, les machines ont vaincu les humains et les maintiennent dans une simulation pour exploiter leur énergie. La peur se déplace : il ne s’agit plus d’être tué par la machine, mais d’être trompé par elle sans le savoir. Ce thème de la réalité fabriquée fait aujourd’hui écho aux inquiétudes sur les hypertrucages et la désinformation.

Ces récits ont une qualité et un défaut. Leur qualité est d’avoir posé tôt de vraies questions : que se passe-t-il quand un système poursuit un objectif mal défini, quand une infrastructure critique est automatisée, quand on ne distingue plus le vrai du faux ? Leur défaut est d’avoir associé ces questions à des machines conscientes, haineuses et humanoïdes, ce qui permet à la fois de les dramatiser à l’excès et de les écarter d’un haussement d’épaules.

Les luddites et la peur du remplacement

La peur d’être remplacé par une machine est plus ancienne que l’informatique et a une histoire documentée. Le 11 mars 1811, à Arnold, dans le Nottinghamshire, des tricoteurs sur métier détruisent une soixantaine de métiers à bas. Le mouvement, qui se réclame d’un chef imaginaire nommé Ned Ludd, s’étend dans le nord de l’Angleterre jusqu’en 1816 environ.

Les luddites ne détestaient pas la technique par principe. Ils protestaient contre l’usage de machines qui permettaient d’employer une main-d’œuvre moins qualifiée et moins payée, et contre la dégradation de leurs conditions de travail. La réponse fut brutale : en 1812, le Parlement britannique adopte une loi faisant du bris de machines un crime passible de la peine de mort, malgré l’opposition du poète Lord Byron, qui prononce à cette occasion son premier discours à la Chambre des lords. Le gouvernement déploie des milliers de soldats dans les régions concernées.

Le mot « luddite » est devenu une insulte commode pour désigner quiconque doute d’une technologie, ce qui a l’avantage d’éviter de discuter de ses arguments. La question qu’ils posaient, qui profite de l’automatisation et qui en supporte le coût, revient pourtant à chaque vague technique. En 1863, l’écrivain Samuel Butler publie en Nouvelle-Zélande un texte intitulé « Darwin parmi les machines », où il envisage que les machines évoluent jusqu’à supplanter l’humanité. En 1930, l’économiste John Maynard Keynes parle de « chômage technologique ». Le débat actuel sur l’emploi, détaillé dans le volet sur les craintes actuelles, reprend ces termes presque mot pour mot.

Les hivers de l’IA : quand l’enthousiasme retombe

L’histoire de l’IA comme discipline scientifique commence officiellement à l’été 1956, avec un atelier organisé au Dartmouth College, aux États-Unis, dont la proposition de financement, rédigée l’année précédente, emploie l’expression artificial intelligence. Les pionniers sont optimistes, parfois au point de prédire des résultats décisifs en quelques années.

Ces promesses ne sont pas tenues, et les financements suivent. Deux épisodes marquent ce qu’on appellera le premier « hiver de l’IA ». En 1966, le rapport du comité américain ALPAC (Automatic Language Processing Advisory Committee) conclut que la traduction automatique est plus lente, moins précise et plus chère que la traduction humaine, ce qui entraîne une forte baisse des crédits. En 1973, le mathématicien James Lighthill remet au gouvernement britannique un rapport sévère, qui constate que les découvertes du domaine n’ont nulle part produit l’impact majeur annoncé. Les budgets universitaires sont réduits des deux côtés de l’Atlantique pour plusieurs années.

Les années 1980 voient un nouveau printemps, porté par les systèmes experts, des programmes qui codifient le savoir de spécialistes sous forme de règles, et par du matériel spécialisé. En 1987, le marché des machines Lisp, ordinateurs conçus pour ces programmes, s’effondre face aux stations de travail et aux ordinateurs personnels, moins chers et plus rapides. C’est le début du second hiver, qui dure jusqu’au début des années 1990.

Ces cycles comptent pour comprendre la peur actuelle, pour deux raisons. D’abord, ils rappellent que les annonces spectaculaires ont souvent été démenties, ce qui nourrit le scepticisme envers les prédictions d’aujourd’hui, dans un sens comme dans l’autre. Ensuite, ils montrent que la peur et l’enthousiasme montent ensemble : chaque vague, des victoires de Deep Blue aux échecs en 1997 à celle d’AlphaGo au jeu de go en 2016, puis à la mise en ligne de ChatGPT le 30 novembre 2022, a ravivé à la fois les espoirs et les inquiétudes. L’enthousiasme d’un investisseur et l’effroi d’un éditorialiste ont souvent la même cause : une démonstration réussie.

Ce que ces racines laissent au débat actuel

Mythes, fictions et épisodes historiques laissent trois héritages.

Une grille de lecture anthropomorphe. On prête volontiers aux systèmes d’IA des intentions, une conscience ou de la rancune, parce que c’est ainsi que les récits les ont présentés. Les risques documentés aujourd’hui tiennent pourtant rarement à une volonté de la machine, et beaucoup plus souvent à l’usage qu’en font des humains.
Une question sociale ancienne. Depuis les luddites, la peur du remplacement est aussi une question de répartition des gains. Elle ne se résout pas par la seule technique.
Une méfiance envers les promesses. Les hivers de l’IA ont montré que ni les prédictions optimistes ni les prédictions catastrophistes ne méritent une confiance automatique. C’est la grille qu’adopte le volet « fondé ou exagéré ».

🐝 Ce qui arrive si on s’en passe

Ignorer ces racines, c’est se condamner à débattre avec des images plutôt qu’avec des faits. Une direction qui se représente l’IA à travers Terminator surestimera le risque d’une révolte des machines et sous-estimera le risque, beaucoup plus probable, d’un assistant mal configuré qui expose des données. Une équipe qui traite toute inquiétude de « luddisme » passera à côté des vraies questions de compétences, de conditions de travail et d’acceptation interne, et découvrira la résistance au moment du déploiement. Connaître l’histoire de la peur permet de reconnaître quand elle parle, et de lui répondre avec des arguments plutôt qu’avec des slogans.

🦫 Explication de la marmotte 🍫

Bien avant les ordinateurs, les humains racontaient déjà des histoires de créatures fabriquées qui échappent à leur créateur. Le golem est une statue d’argile animée qui devient incontrôlable ; Frankenstein, le roman de Mary Shelley paru en 1818, raconte un savant qui fabrique un être vivant puis l’abandonne. Le mot « robot » lui-même vient d’une pièce de théâtre tchèque de 1920, R.U.R., où des travailleurs artificiels finissent par se révolter.

Au cinéma, l’ordinateur HAL 9000 de 2001 : l’Odyssée de l’espace, le réseau Skynet de Terminator et les machines de Matrix ont installé l’image d’intelligences artificielles qui trahissent, tuent ou trompent les humains. Ces films posent de bonnes questions, mais ils donnent aussi l’impression que le danger viendrait de machines méchantes et conscientes, ce qui n’est pas le cas des systèmes actuels.

L’histoire réelle compte aussi. Au début du XIXe siècle, les luddites, des ouvriers anglais, cassaient des machines qui menaçaient leur travail. Et l’intelligence artificielle elle-même a connu des « hivers » : des périodes où, après des promesses trop belles, les gouvernements ont coupé les budgets. Ces souvenirs expliquent pourquoi on oscille aujourd’hui entre enthousiasme et inquiétude.

Pages voisines

D'où vient la peur de l'IA : les racines culturelles

Elle cite

: les deux pages se citent l’une l’autre.