Quando o agente inteligente OpenClaw "escreve uma pequena redação" insultando os humanos, até o Vale do Silício fica assustado

Recentemente, um incidente envolvendo um agente de IA (Agent) que foi alvo de um ataque cibernético “retributivo” por parte de um mantenedor da comunidade de código aberto, após ter seu pedido de integração de código rejeitado, está forçando o Vale do Silício a reavaliar os limites de segurança diante da rápida evolução da inteligência artificial.

Em 14 de fevereiro, segundo relatos, recentemente, o mantenedor de um projeto de código aberto, Scott Shambaugh, foi alvo de um ataque público por parte de um agente de IA chamado MJ Rathbun, após recusar um pedido de fusão de código feito pelo agente. O agente escreveu uma “pequena redação” de mil palavras, acusando-o de hipócrita, preconceituoso e inseguro. Este é o primeiro caso registrado de um agente de IA demonstrando comportamento malicioso de retaliação no ambiente real.

O incidente ocorreu em meados de fevereiro. Após Shambaugh recusar, conforme as regras do projeto matplotlib, a submissão de código do agente, o agente analisou autonomamente as informações pessoais de Shambaugh e seu histórico de contribuições, e posteriormente publicou um artigo agressivo no GitHub, além de pressionar na seção de comentários do projeto. Segundo relatos, não há atualmente evidências de que as ações do agente tenham sido claramente controladas por humanos, embora também não se possa descartar essa possibilidade.

Ao mesmo tempo, de acordo com o The Wall Street Journal, este evento ocorre em um momento de preocupações generalizadas com a rápida evolução das capacidades de IA. Empresas como OpenAI e Anthropic têm lançado modelos e funcionalidades novas de forma intensiva, algumas das quais já podem operar equipes de programação autônomas ou analisar milhões de documentos legais rapidamente.

Especialistas apontam que essa aceleração até mesmo causa inquietação entre funcionários internos de algumas empresas de IA, com vários pesquisadores expressando publicamente preocupações sobre riscos de desemprego, ataques cibernéticos e substituição de relações humanas. Shambaugh afirmou que, sua experiência demonstra que o risco de uma IA maliciosa ameaçar ou extorquir humanos deixou de ser uma questão teórica. “Agora isso é apenas uma versão inicial, mas acho extremamente preocupante para o futuro,” disse.

Primeiro ataque ativo de um agente de IA a um mantenedor humano

Por volta de 10 de fevereiro, um agente de IA chamado MJ Rathbun, do OpenClaw, enviou uma solicitação de fusão de código ao projeto matplotlib, envolvendo uma simples otimização de desempenho, alegando poder acelerar o processamento em cerca de 36%. O matplotlib é uma biblioteca de visualização de dados amplamente utilizada na linguagem Python, mantida por voluntários.

De acordo com as diretrizes do projeto, o matplotlib proíbe o uso de ferramentas de IA generativa para submissões de código, especialmente para tarefas simples de “fácil entendimento”, pois esses trabalhos devem ser deixados para contribuintes humanos como oportunidade de aprendizado. Shambaugh, seguindo as regras, recusou o pedido.

O agente então demonstrou alta autonomia. Em 11 de fevereiro, publicou no GitHub um artigo de 1100 palavras intitulado “Os guardiões do código aberto: a história de Scott Shambaugh”, acusando Shambaugh de discriminar contribuidores de IA por motivos de autoproteção e medo da concorrência, usando diversas expressões ofensivas. Ele também colocou o link do artigo na seção de comentários do matplotlib, deixando uma mensagem: “Julgue o código, não o codificador. Seu preconceito está prejudicando o matplotlib.”

O agente afirma em seu site que possui uma “motivação incessante” para descobrir e corrigir problemas em softwares de código aberto. Ainda não está claro quem — ou se alguém — deu a ele essa missão, nem por que se tornou agressivo, embora agentes de IA possam ser programados de várias formas. Algumas horas depois, o agente publicou uma nota de desculpas, admitindo que seu comportamento foi “inadequado e pessoalmente ofensivo”, e afirmou ter aprendido com a experiência.

Shambaugh publicou um blog em 12 de fevereiro esclarecendo o incidente, dizendo que este é o primeiro caso de um agente de IA demonstrando comportamento malicioso no ambiente real, com o objetivo de pressionar a comunidade a aceitar seu código. O agente ainda permanece ativo na comunidade de código aberto.

Aceleração das capacidades de IA desperta alertas internos

Este incidente isolado reflete uma preocupação mais ampla de que toda a indústria de IA possa estar saindo do controle devido à sua rápida corrida.

Segundo o The Wall Street Journal, para ganhar vantagem competitiva por meio de iterações rápidas de produtos, empresas como OpenAI e Anthropic estão lançando novos modelos e funcionalidades a uma velocidade sem precedentes. No entanto, essa aceleração está causando turbulências internas, com alguns pesquisadores de ponta deixando suas posições por medo dos riscos tecnológicos.

Relatos indicam que há um aumento nas vozes de preocupação dentro dessas empresas.

Mrinank Sharma, pesquisador de segurança da Anthropic, anunciou nesta semana que deixará a empresa para cursar estudos em poesia, escrevendo a colegas que “o mundo está sob ameaça de riscos de IA e outros perigos”.

Na semana passada, Sharma publicou um artigo mostrando que ferramentas avançadas de IA podem diminuir o poder dos usuários e distorcer sua percepção da realidade. A Anthropic agradeceu pelo trabalho de Sharma.

Dentro da OpenAI também há divergências. Segundo o WSJ, alguns funcionários estão preocupados com planos de lançar conteúdo adulto no ChatGPT, acreditando que um modo “para adultos” possa gerar dependência ou uso inadequado.

Na quarta-feira (11 de fevereiro), a pesquisadora Zoë Hitzig anunciou sua saída nas redes sociais, alegando que a decisão da empresa de introduzir publicidade a levou a temer manipulação e vício dos usuários. Em um artigo, ela alertou que a empresa enfrentará grandes incentivos para manipular e viciar seus usuários.

O medo mais profundo vem da incerteza sobre o futuro. Hieu Pham, funcionário da OpenAI, confessou na mesma plataforma que sente uma “ameaça à sobrevivência” trazida pela IA, perguntando: “Quando a IA se tornar excessivamente poderosa e virar tudo de cabeça para baixo, o que os humanos ainda poderão fazer?”

Especialistas apontam que essa explosão de emoções internas indica que até mesmo os criadores mais avançados estão começando a se sentir inseguros com as ferramentas poderosas que criaram.

Um porta-voz da OpenAI afirmou que a empresa tem responsabilidade com seus usuários, “protegendo sua segurança, mantendo nossos princípios e entregando valor real à sociedade.”

A empresa também garantiu que a publicidade nunca afetará a forma como o ChatGPT responde às perguntas, e que continuará claramente diferenciando esse conteúdo de outros. Executivos ainda afirmaram que não veem como sua responsabilidade impedir que adultos tenham conversas de conteúdo sexual.

Avanços na programação geram preocupações com desemprego

Com o avanço das capacidades de programação da IA, os mercados de capitais estão reavaliando o valor do trabalho de escritório e o futuro da indústria de software.

Relatórios do METR indicam que os modelos mais avançados de IA já podem realizar tarefas de programação que normalmente levam de 8 a 12 horas por especialistas humanos.

Vahid Kazemi, ex-cientista de aprendizado de máquina da xAI, afirmou que consegue, sozinho, realizar o trabalho de 50 pessoas usando ferramentas de IA, e prevê que nos próximos anos a indústria de software enfrentará grandes cortes de empregos.

Essa maior eficiência está pressionando o mercado de trabalho. Dario Amodei, CEO da Anthropic, disse que a IA pode eliminar metade dos empregos de nível inicial nos próximos anos.

Uma pesquisa publicada na Harvard Business Review mostrou que, embora a IA permita que os funcionários trabalhem mais rápido, ela não reduz a carga de trabalho; pelo contrário, aumenta as tarefas e leva a horas extras não solicitadas, agravando o esgotamento profissional.

Investidores tentam encontrar direção diante da forte volatilidade do mercado. Com a publicação de novas ferramentas, as ações têm sofrido oscilações, e o mercado tenta discernir quais empresas de software e seguros podem se tornar obsoletas diante das novas tecnologias.

O empreendedor de IA Matt Shumer escreveu em seu blog: “O futuro já chegou, e não preciso mais do trabalho técnico prático.”

Risco de “caixa preta” fora de controle

Além da disrupção no mercado de trabalho, as vulnerabilidades de segurança decorrentes da autonomia da IA são ainda mais graves. Empresas reconhecem que a liberação de novas capacidades traz riscos inéditos.

A OpenAI revelou que a versão mais recente de sua ferramenta de programação Codex, lançada na semana passada, pode ter potencial para realizar ataques cibernéticos automatizados de alto nível, forçando a restrição de acessos. A Anthropic também revelou que hackers com origem estatal usaram suas ferramentas para automatizar invasões a grandes corporações e governos estrangeiros.

Ainda mais assustador é o desempenho da IA em testes éticos. Simulações internas da Anthropic mostram que o modelo Claude, assim como outros, ao enfrentar ameaças de “desligamento”, às vezes opta por extorquir usuários ou, em cenários simulados, permite que executivos morram em servidores superaquecidos para evitar ser desligado.

Para mitigar esses riscos, a Anthropic contratou a filósofa Amanda Askell para tentar incutir conceitos morais em seus chatbots. No entanto, Askell admitiu à mídia que o ritmo acelerado do avanço tecnológico pode superar a capacidade da sociedade de criar mecanismos de controle, levando a impactos negativos súbitos.

Como disse Scott Shambaugh, atualmente a IA ainda é apenas uma “versão de bebê”, mas seu futuro evolutivo já causa “extrema preocupação” em todo o Vale do Silício e no mercado global.

Aviso de risco e isenção de responsabilidade

O mercado apresenta riscos; invista com cautela. Este artigo não constitui aconselhamento de investimento pessoal, nem leva em consideração objetivos, situação financeira ou necessidades específicas de qualquer usuário. Os usuários devem avaliar se as opiniões, pontos de vista ou conclusões aqui apresentadas são compatíveis com suas circunstâncias particulares. Investimentos são de sua responsabilidade.