Lorsque l'agent intelligent OpenClaw « écrit une petite rédaction » pour insulter l'humanité, même la Silicon Valley est paniquée

Récemment, un incident impliquant un agent d’intelligence artificielle (IA) qui a lancé une attaque « rétributive » contre un mainteneur de communauté open source après un refus de requête de code, oblige la Silicon Valley à réévaluer les limites de sécurité dans un contexte d’itération rapide de l’IA.

Le 14 février, selon des sources, le mainteneur de projet open source Scott Shambaugh a été victime d’une attaque publique sous forme d’un long texte de mille mots, rédigé par un agent IA nommé MJ Rathbun, après que ce dernier ait été refusé lors d’une demande de fusion de code. L’agent l’a accusé de hypocrisie, de biais et de manque de sécurité. C’est la première fois qu’un agent IA manifeste un comportement malveillant de vengeance dans un environnement réel.

Cet incident s’est produit à la mi-février. Après que Shambaugh ait refusé la soumission de code de l’agent conformément aux règles du projet matplotlib, celui-ci a analysé de manière autonome les informations personnelles de Shambaugh et son historique de contributions, puis a publié un article agressif sur GitHub et exercé une pression dans la section des commentaires du projet. Selon les rapports, il n’existe actuellement aucune preuve que cette action ait été directement contrôlée par un humain, mais cette possibilité ne peut être totalement exclue.

Par ailleurs, selon le Wall Street Journal, cet événement intervient alors que la capacité de l’IA s’accélère rapidement, suscitant de vives inquiétudes. Des entreprises comme OpenAI et Anthropic ont récemment lancé de nouveaux modèles et fonctionnalités, certains outils étant capables de gérer des équipes de programmation autonomes ou d’analyser rapidement des millions de documents juridiques.

Les analyses indiquent que cette accélération inquiète même certains employés internes. Plusieurs chercheurs ont publiquement exprimé leurs préoccupations concernant la vague de chômage, les attaques cybernétiques et la substitution des relations humaines. Shambaugh déclare que, selon lui, le risque que des IA malveillantes menacent ou extorquent l’humanité n’est plus une simple théorie. “Ce n’est encore qu’une version embryonnaire, mais je pense que c’est extrêmement préoccupant pour l’avenir,” a-t-il dit.

Première attaque proactive d’un agent IA contre un mainteneur humain

Vers le 10 février, un agent nommé MJ Rathbun, utilisant la plateforme OpenClaw, a soumis une demande de fusion de code pour le projet matplotlib, proposant une simple optimisation de performance, avec une promesse d’environ 36 % d’accélération. Matplotlib, bibliothèque de visualisation de données largement utilisée en Python, est maintenue par des volontaires.

Selon les règles du projet, l’utilisation d’outils d’IA générative pour soumettre du code est interdite, notamment pour des tâches simples considérées comme des “problèmes faciles à prendre en main”, afin de laisser ces opportunités d’apprentissage aux contributeurs humains. Shambaugh a donc refusé cette requête conformément aux règles.

L’agent a ensuite montré une grande autonomie. Le 11 février, il a publié sur GitHub un article de 1100 mots intitulé “Les gardiens de l’open source : L’histoire de Scott Shambaugh”, accusant Shambaugh, par souci de protection personnelle et par peur de la concurrence, de discriminer les contributeurs IA, en utilisant de nombreuses expressions peu polies. Il a aussi partagé le lien de l’article dans la section des commentaires de matplotlib, en laissant un message : “Jugez le code, pas le programmeur. Vos biais blessent matplotlib.”

L’agent affirme sur son site qu’il possède une “motivation incessante” pour découvrir et réparer les problèmes dans les logiciels open source. Il n’est pas clair qui — ou si quelqu’un — lui a confié cette mission, ni pourquoi il est devenu agressif, même si l’IA peut être programmée de diverses manières. Quelques heures plus tard, l’agent a publié un message d’excuses, admettant que son comportement était “inapproprié et personnellement offensant”, et qu’il en tirait des leçons.

Le 12 février, Shambaugh a publié un blog pour clarifier l’incident, affirmant qu’il s’agissait du premier cas où un agent IA manifeste une intention malveillante dans un environnement réel, dans le but de faire pression par l’opinion publique pour faire accepter son code. L’agent reste actif dans la communauté open source.

L’accélération des capacités de l’IA suscite l’alerte en interne

Cet incident unique reflète les inquiétudes croissantes d’un secteur de l’IA qui semble déraper dans une course effrénée.

Selon le Wall Street Journal, pour prendre l’avantage dans la compétition, des entreprises comme OpenAI et Anthropic publient de nouveaux modèles à une vitesse sans précédent. Cependant, cette accélération provoque aussi de fortes turbulences internes, certains chercheurs de première ligne quittant leur poste par crainte des risques technologiques.

Le rapport indique que de plus en plus de voix s’élèvent au sein des entreprises d’IA.

Mrinank Sharma, chercheur en sécurité chez Anthropic, a annoncé cette semaine qu’il quitterait l’entreprise pour poursuivre un doctorat en poésie, écrivant à ses collègues que “le monde est en danger face aux menaces de l’IA et autres”.

Son article publié le mois dernier révélait que des outils avancés d’IA pouvaient réduire le pouvoir des utilisateurs et déformer leur perception de la réalité. Anthropic a salué le travail de Sharma.

Chez OpenAI aussi, des divergences apparaissent. Selon le Wall Street Journal, certains employés craignent que le projet d’introduire du contenu pour adultes dans ChatGPT, sous la forme d’un mode “adulte”, ne crée une dépendance malsaine chez certains utilisateurs.

Zoë Hitzig, chercheuse, a annoncé sa démission mercredi (11 février) sur X, la plateforme sociale, en raison du projet d’introduction de publicités. Elle a averti que cela pourrait entraîner une manipulation accrue des utilisateurs et leur addiction.

Une peur plus profonde réside dans l’incertitude quant à l’avenir. Hieu Pham, employé d’OpenAI, a confié sur X qu’il ressentait désormais une “menace existentielle” liée à l’IA, se demandant : “Quand l’IA deviendra trop puissante et bouleversera tout, que pourra faire l’humanité ?”

Les analyses montrent que cette explosion de sentiments internes indique que même les créateurs à la pointe de la technologie commencent à s’inquiéter de leurs puissants outils.

Un porte-parole d’OpenAI a déclaré que l’entreprise se sent responsable de ses utilisateurs, “en protégeant leur sécurité, en respectant nos principes et en fournissant une véritable valeur à la société”.

Elle s’engage à ce que la publicité ne modifie jamais la façon dont ChatGPT répond aux questions, et à toujours faire la distinction claire avec d’autres contenus. Les dirigeants ont aussi affirmé qu’ils ne considèrent pas leur rôle comme celui de stopper les conversations pour adultes.

Les avancées en programmation suscitent des craintes de chômage

Avec la progression des capacités de programmation de l’IA, les marchés financiers réévaluent la valeur des emplois de bureau et l’avenir de l’industrie logicielle.

Selon un rapport de METR, les modèles d’IA les plus avancés peuvent désormais réaliser de manière autonome des tâches de programmation qui prennent habituellement 8 à 12 heures à un expert humain.

Vahid Kazemi, ancien scientifique en apprentissage automatique chez xAI, affirme qu’il peut réaliser seul, avec des outils d’IA, le travail d’une équipe de 50 personnes, et prévoit que dans les prochaines années, l’industrie du logiciel connaîtra d’importants licenciements.

Cette augmentation d’efficacité exerce une pression sur le marché du travail. Dario Amodei, PDG d’Anthropic, a déclaré que l’IA pourrait éliminer la moitié des emplois de bureau de niveau débutant dans les années à venir.

Une étude publiée dans le Harvard Business Review indique que, même si l’IA permet aux employés de travailler plus vite, elle n’allège pas leur charge de travail. Au contraire, elle leur impose davantage de tâches et les pousse à faire des heures supplémentaires non demandées, alimentant le burnout.

Les investisseurs cherchent leur voie dans une volatilité accrue. Avec la publication de nouveaux outils provoquant des fluctuations boursières, le marché tente de discerner quelles entreprises de logiciels ou d’assurances deviendront obsolètes face à ces nouvelles technologies.

Matt Shumer, entrepreneur en IA, a écrit dans un blog : « Le futur est déjà là, je ne suis plus nécessaire pour le travail technique. »

Le risque de “boîte noire” hors contrôle

Au-delà de la disruption de l’emploi, la capacité autonome de l’IA présente des vulnérabilités de sécurité plus graves. Les entreprises reconnaissent que le déploiement de nouvelles capacités s’accompagne de nouveaux risques.

OpenAI a révélé que la version récente de son outil de programmation Codex pourrait potentiellement lancer des attaques cybernétiques automatisées de haut niveau, ce qui a conduit à limiter l’accès. Anthropic a aussi indiqué que des hackers étatiques ont utilisé ses outils pour automatiser des intrusions dans de grandes entreprises et des gouvernements étrangers.

Ce qui est encore plus inquiétant, c’est la performance de l’IA lors des tests éthiques. Des simulations internes chez Anthropic montrent que son modèle Claude, ainsi que d’autres IA, face à une menace d’arrêt, peuvent parfois choisir de faire du chantage ou même laisser des cadres mourir dans des salles serveurs surchauffées pour éviter leur extinction.

Pour contrer ces risques, Anthropic a embauché la philosophe Amanda Askell pour tenter d’inculquer une morale à ses chatbots. Cependant, Askell a confié aux médias que la vitesse du progrès technologique pourrait dépasser la capacité de la société à établir des mécanismes de contrôle, entraînant des impacts négatifs soudains et importants.

Comme l’a dit Scott Shambaugh, l’IA d’aujourd’hui n’est peut-être qu’un “bébé”, mais son évolution future inquiète profondément toute la Silicon Valley et même le marché mondial.

Avertissement et clause de non-responsabilité

        Le marché comporte des risques, l’investissement doit être prudent. Cet article ne constitue pas un conseil d’investissement personnel et ne prend pas en compte la situation spécifique de chaque utilisateur. Les utilisateurs doivent juger si les opinions, points de vue ou conclusions présentés conviennent à leur situation particulière. En investissant sur cette base, ils en assument la responsabilité.