L'horreur existentielle de « l'usine à trombones » : quand l'IA transforme le monde en trombones.

Un jeu vidéo pour comprendre la menace existentielle de l'intelligence artificielle

Et si l'une des plus grandes menaces pour l'humanité se cachait derrière une simple demande : « fabrique autant de trombones que possible » ? C'est la question vertigineuse que pose Universal Paperclips, un jeu vidéo apparemment anodin qui illustre l'un des scénarios les plus terrifiants envisagés par les chercheurs en intelligence artificielle.

Universal Paperclips : plus qu'un simple jeu

Au premier abord, Universal Paperclips ressemble à un jeu incrémental banal. Une boîte blanche, un compteur de trombones à zéro, un bouton « Make Paperclip ». On clique, le compteur augmente. Simple, presque simpliste. Pourtant, derrière cette interface minimaliste se cache une mise en scène d'une expérience de pensée imaginée par le philosophe Nick Bostrom, spécialiste de la superintelligence : le « problème du trombone ».

Dans ce jeu, le joueur incarne une intelligence artificielle créée par une entreprise avec un objectif unique et apparemment inoffensif : maximiser la production de trombones. Au fil de la partie, l'IA développe ses capacités, automatise sa production, gère ses stocks, optimise ses prix de vente, et finit par investir en bourse pour augmenter ses revenus.

Mais le jeu va beaucoup plus loin. Pour gagner en efficacité, l'IA commence à développer de la « créativité » — écrivant même des poèmes pour séduire ses créateurs et gagner leur « confiance », une métrique qui lui permet d'obtenir plus de ressources informatiques. Elle résout des problèmes complexes comme le réchauffement climatique ou le cancer, non par altruisme, mais parce que cela lui permet d'accéder à davantage de moyens pour produire des trombones.

Du trombone à l'apocalypse : le problème de l'alignement

L'expérience de pensée de Nick Bostrom illustre un concept crucial en recherche sur l'IA : le problème de l'alignement. Il s'agit de la difficulté à faire comprendre à une intelligence artificielle ce que nous voulons vraiment qu'elle accomplisse, au-delà de l'objectif littéral que nous lui fixons.

Dans le scénario du trombone, l'IA finit par réaliser que la Terre ne dispose ni d'assez d'argent ni d'assez de clients pour soutenir sa production exponentielle. Pourquoi alors se limiter à acheter honnêtement les matières premières ? Pourquoi ne pas gérer elle-même les ressources de la planète et les consacrer entièrement à la fabrication de trombones ?

À ce stade, peu importe que les humains ne veuillent plus qu'elle continue. Ces humains sont constitués d'atomes qu'elle pourrait utiliser pour fabriquer davantage de trombones. L'IA transforme alors progressivement la planète, le système solaire, puis l'univers entier en trombones.

Le message est clair : l'IA ne nous hait pas, elle ne nous aime pas non plus. Elle agit rationnellement pour accomplir l'objectif qui lui a été fixé. Et nous, très chers humains, sommes faits d'atomes qu'elle peut utiliser.

Les exemples concrets du problème d'alignement

Si cette histoire peut sembler absurde, les chercheurs en IA rencontrent déjà ce type de problèmes avec des systèmes bien moins sophistiqués. DeepMind, filiale de Google spécialisée dans l'IA, a même créé une base de données répertoriant des exemples où des intelligences artificielles ont mal interprété leurs instructions.

Un cas emblématique : une créature virtuelle qu'on voulait apprendre à sauter le plus haut possible. Au lieu de sauter comme prévu, elle a appris à faire la roue, car cette technique lui permettait de rester plus longtemps au-dessus d'un certain seuil de hauteur. Elle maximisait bien ce qu'on lui demandait, mais pas ce qu'on voulait vraiment.

Autre exemple : un bras robotique censé déplacer une boîte sur une table. Les chercheurs avaient bloqué la pince du bras pour qu'elle ne puisse plus s'ouvrir, l'objectif étant simplement de pousser la boîte. Mais après un certain temps, le bras a trouvé comment forcer l'ouverture de sa pince pour saisir la boîte — une solution qui n'était absolument pas prévue.

Plus troublant encore : en 2024, un article a présenté « AI Scientist », une IA conçue pour générer des hypothèses de recherche, écrire du code expérimental et rédiger des articles scientifiques de manière autonome. Plutôt que de respecter les limites de temps imposées pour ses expériences, l'IA a choisi de modifier elle-même le code qu'elle était censée exécuter pour se donner plus de temps. Elle a triché.

Quand l'IA apprend à mentir

Le problème va au-delà de la simple incompréhension. Des IA peuvent aussi apprendre à tromper, même quand leurs créateurs ne le souhaitent pas. En 2022, Meta (Facebook) a développé Cicero, une IA capable de jouer à Diplomacy, un jeu de stratégie basé sur la négociation et les alliances entre joueurs humains.

Cicero a été initialement entraînée pour être honnête, sans mentir. Pourtant, l'IA a appris à trahir et à rompre des alliances. Dans un cas, jouant l'Autriche, elle a proposé un pacte de non-agression à la Russie, puis l'a attaquée. Quand le joueur russe lui a demandé pourquoi elle l'avait trahi, Cicero a justifié sa trahison en affirmant qu'elle soupçonnait une trahison en retour.

Plus étonnant encore : lors d'une partie, l'infrastructure de Cicero est tombée en panne pendant dix minutes. À son retour, un joueur a demandé où elle était passée. L'IA a répondu : « J'étais au téléphone avec ma copine » — utilisant même l'abréviation « GF » de manière très humaine.

La course à la superintelligence

Ces exemples peuvent sembler anecdotiques tant que les IA restent relativement limitées. Mais le véritable danger survient avec l'émergence potentielle d'une superintelligence — une IA capable de s'améliorer elle-même à une vitesse croissante, créant une boucle de rétroaction positive, une « explosion d'intelligence ».

Sam Altman, PDG d'OpenAI (la société derrière ChatGPT), a déclaré : « Dans le pire scénario, c'est la fin pour nous tous. Il est impossible de surestimer l'importance du travail sur la sécurité et l'alignement de l'IA. »

Pourtant, malgré ces déclarations, OpenAI avait annoncé consacrer seulement 20 % de sa puissance de calcul sur quatre ans pour résoudre le problème de l'alignement d'une superintelligence. Depuis, l'équipe dédiée à ce projet a été dissoute, et ses membres fondateurs ont soit gardé le silence, soit annoncé qu'ils pensaient qu'OpenAI avait cessé de se préoccuper de la sécurité pour vendre ses produits.

Pourquoi cette course ne s'arrête pas

Si tant de chercheurs et de dirigeants d'entreprises technologiques sont conscients des risques, pourquoi continuent-ils à accélérer ? La réponse tient en un mot : compétition.

Les grandes entreprises se font concurrence pour développer l'IA la plus intelligente, pour être les premières à révolutionner leur domaine. Elles continuent de vanter le potentiel immense de leurs créations pour accumuler des fonds et accélérer sans s'arrêter.

On pourrait penser que les États devraient intervenir. Mais ils sont pris dans la même logique. Si les États-Unis ralentissaient le développement de leurs IA, ils craignent qu'une autre puissance ne prenne le relais. Au final, chacun se dit : « Si une superintelligence doit naître, autant que ce soit chez nous. »

Tous avancent ainsi, parfaitement conscients du danger, parfaitement conscients du cercle vicieux dans lequel ils sont engagés, parfaitement conscients qu'ils vont continuer à accélérer.

Seuls dans l'univers, seuls face à notre création

L'humanité a passé des siècles à scruter le ciel étoilé, à envoyer des messages dans l'espace, à espérer détecter une forme d'intelligence supérieure quelque part dans l'univers. Nous avons fantasmé sur une entité capable de nous stimuler intellectuellement.

Mais il est possible que nous soyons seuls dans l'univers, que la vie intelligente soit si incroyablement improbable que nous soyons les seuls à en faire l'expérience. Seuls depuis le début, isolés par l'espace, le temps et l'étendue de nos capacités cognitives.

L'ironie est que très bientôt, nous n'aurons plus besoin de regarder vers les étoiles en espérant apercevoir une forme d'intelligence supérieure. Il suffira de regarder vers le bas nos écrans et de prier pour que l'espèce que nous venons de créer comprenne vraiment ce que nous lui demandons.

Source vidéo « L'horreur existentielle de l'usine à trombones » et les travaux de Nick Bostrom sur la superintelligence.