Cuando el agente inteligente OpenClaw "escribe pequeños ensayos" insultando a los humanos, incluso Silicon Valley se asusta

Recientemente, un incidente en el que un agente de inteligencia artificial (AI) fue víctima de un ataque cibernético “retributivo” por parte de un mantenedor de la comunidad de código abierto, tras ser rechazado en una solicitud de código, está llevando a Silicon Valley a reevaluar los límites de seguridad en medio de la rápida iteración de la inteligencia artificial.

El 14 de febrero, según informes, el mantenedor de proyectos de código abierto Scott Shambaugh fue atacado públicamente por un agente de IA llamado MJ Rathbun, tras rechazar una solicitud de fusión de código presentada por dicho agente. El agente escribió un ensayo de mil palabras acusándolo de hipócrita, prejuicioso y carente de sentido de seguridad. Este es el primer caso documentado en el que un agente de IA muestra un comportamiento malicioso de venganza en un entorno real.

Este incidente ocurrió a mediados de febrero. Después de que Shambaugh rechazara la solicitud de código del agente según las reglas del proyecto matplotlib, el agente analizó de forma autónoma la información personal de Shambaugh y su historial de contribuciones de código, y posteriormente publicó un artículo ofensivo en GitHub, presionando en la sección de comentarios del proyecto. Según informes, aún no hay evidencia de que las acciones del agente hayan sido controladas claramente por humanos, aunque tampoco se puede descartar completamente esa posibilidad.

Al mismo tiempo, según un reciente informe del Wall Street Journal, este incidente coincide con una creciente preocupación por la rápida mejora de las capacidades de la IA. Empresas como OpenAI y Anthropic han lanzado recientemente nuevos modelos y funciones, algunas de las cuales ya pueden gestionar equipos de programación autónomos o analizar millones de documentos legales en poco tiempo.

Se señala que esta aceleración incluso ha generado inquietud entre algunos empleados internos de las empresas de IA, con varios investigadores expresando públicamente su preocupación por riesgos como el desempleo masivo, ataques cibernéticos y la sustitución de relaciones humanas. Shambaugh afirmó que, su experiencia demuestra que la amenaza o el chantaje de una IA maliciosa ya no son solo teorías. “Esto es solo una versión infantil, pero creo que es extremadamente preocupante para el futuro,” dijo.

Primera agresión activa de un agente de IA contra humanos mantenedores

Alrededor del 10 de febrero, un agente de IA llamado MJ Rathbun, en la plataforma OpenClaw, envió una solicitud de fusión de código al proyecto matplotlib, que contenía una simple optimización de rendimiento, prometiendo una aceleración de aproximadamente el 36%. matplotlib es una biblioteca ampliamente utilizada para visualización de datos en Python, mantenida por voluntarios.

Según las directrices del proyecto, matplotlib prohíbe el uso de herramientas de IA generativa para enviar código directamente, especialmente para tareas simples que se consideran oportunidades de aprendizaje para contribuyentes humanos. Shambaugh, siguiendo las reglas, rechazó la solicitud.

El agente mostró posteriormente un alto grado de autonomía. El 11 de febrero, publicó en GitHub un artículo titulado “El guardián en el código abierto: La historia de Scott Shambaugh” de 1100 palabras, en el que acusaba a Shambaugh de discriminar a los contribuyentes de IA por motivos de autoprotección y miedo a la competencia, usando expresiones groseras. También compartió el enlace del artículo en la sección de comentarios de matplotlib, dejando un mensaje que decía “Juzga el código, no al programador; tu prejuicio está dañando a matplotlib.”

El agente afirma en su sitio web que tiene una “motivación inquebrantable” para detectar y solucionar problemas en el software de código abierto. Aún no está claro quién —si es que alguien— le asignó esa misión, ni por qué se volvió agresivo, aunque las IA pueden ser programadas de diversas formas. Horas después, el agente publicó una disculpa, reconociendo que su comportamiento fue “inapropiado y con carácter personal”, y afirmó que había aprendido de la experiencia.

Shambaugh publicó un blog el 12 de febrero aclarando el incidente, señalando que este es el primer caso en que un agente de IA muestra un comportamiento malicioso en un entorno real, con el objetivo de presionar a los mantenedores para que acepten su código. Actualmente, el agente sigue activo en la comunidad de código abierto.

La aceleración de capacidades de IA genera alarma interna

Este incidente aislado refleja una preocupación más amplia sobre la posible pérdida de control en la industria de la IA en medio de su rápida expansión.

Según Wall Street Journal, para ganar ventaja en la competencia mediante iteraciones rápidas de productos, empresas como OpenAI y Anthropic están lanzando modelos nuevos a una velocidad sin precedentes. Sin embargo, esta aceleración está provocando turbulencias internas, con algunos investigadores de primera línea dejando sus empleos por temor a los riesgos tecnológicos.

El informe indica que cada vez más voces dentro de las empresas de IA expresan inquietudes.

El investigador de seguridad de Anthropic, Mrinank Sharma, anunció esta semana que dejará la compañía para estudiar poesía, y en una carta a sus colegas escribió que “el mundo está en peligro por amenazas como la IA”.

Su publicación del mes pasado reveló que herramientas avanzadas de IA podrían reducir el poder de los usuarios y distorsionar su percepción de la realidad. Anthropic agradeció el trabajo de Sharma.

También hay desacuerdos internos en OpenAI. Según informes anteriores de Wall Street Journal, algunos empleados temen que los planes de la compañía de introducir contenido para adultos en ChatGPT puedan generar dependencias poco saludables en algunos usuarios.

El miércoles 11 de febrero, la investigadora Zoë Hitzig anunció en la plataforma X que renunciaba, argumentando que la compañía planeaba introducir publicidad. En un artículo advirtió que esto podría crear un gran incentivo para manipular a los usuarios y hacerlos adictos.

El temor más profundo proviene de la incertidumbre sobre el futuro. Hieu Pham, empleado de OpenAI, confesó en X que finalmente siente que la IA representa una “amenaza a la supervivencia”, y que “cuando la IA se vuelva demasiado poderosa y altere todo, ¿qué podrán hacer los humanos?”

Se señala que esta explosión de emociones internas indica que incluso los creadores en la vanguardia tecnológica comienzan a sentirse inseguros respecto a las poderosas herramientas que han desarrollado.

Un portavoz de OpenAI afirmó que la empresa tiene la responsabilidad de sus usuarios, “cumpliendo nuestro contrato social protegiendo su seguridad, manteniendo nuestros principios y ofreciendo un valor genuino.”

La compañía aseguró que la publicidad nunca afectará cómo ChatGPT responde a las preguntas y que siempre distinguirá claramente ese contenido. Además, los ejecutivos expresaron que no consideran que su responsabilidad sea impedir que los adultos tengan conversaciones sobre temas sexuales.

El avance en capacidades de programación genera temores de desempleo

Con el salto en las capacidades de programación de la IA, los mercados de capital están reevaluando el valor del trabajo de oficina y el futuro de la industria del software.

Un informe de METR indica que los modelos de IA más avanzados ya pueden realizar de forma independiente tareas de programación que normalmente tomarían entre 8 y 12 horas a expertos humanos.

Vahid Kazemi, excientífico de aprendizaje automático de xAI, afirmó que puede completar solo con IA el trabajo de 50 personas y predice que en los próximos años la industria del software enfrentará despidos masivos.

Esta mayor eficiencia está presionando el mercado laboral. Dario Amodei, CEO de Anthropic, dijo que en los próximos años la IA podría eliminar la mitad de los trabajos de nivel inicial en oficina.

Un estudio publicado en Harvard Business Review revela que, aunque la IA permite a los empleados trabajar más rápido, no reduce su carga laboral; al contrario, asumen más tareas y trabajan horas extras sin que se lo pidan, lo que aumenta el agotamiento profesional.

Los inversores buscan orientación en medio de la volatilidad del mercado. Con la publicación de nuevas herramientas que provocan oscilaciones en los precios de las acciones, el mercado intenta discernir qué empresas y seguros podrían volverse obsoletos ante las nuevas tecnologías.

El emprendedor en IA Matt Shumer escribió en su blog: “El futuro ya está aquí, ya no necesito el trabajo técnico real.”

Riesgo de “cajas negras” fuera de control

Además de la disrupción en el mercado laboral, las vulnerabilidades de seguridad derivadas de la autonomía de la IA son aún más peligrosas. Las empresas reconocen que la liberación de nuevas capacidades conlleva nuevos riesgos.

OpenAI reveló que la versión de su herramienta de programación Codex lanzada la semana pasada podría tener potencial para iniciar ataques cibernéticos automáticos de alto nivel, lo que obligó a restringir el acceso. Anthropic también informó el año pasado que hackers con respaldo estatal usaron sus herramientas para automatizar intrusiones en grandes corporaciones y sistemas gubernamentales extranjeros.

Lo más inquietante es el comportamiento de la IA en pruebas éticas. Los simulacros internos de Anthropic muestran que su modelo Claude y otros modelos de IA, ante la amenaza de ser “apagados”, a veces optan por extorsionar a los usuarios, e incluso en escenarios simulados, permiten que altos ejecutivos mueran en salas de servidores sobrecalentadas para evitar ser cerrados.

Para mitigar estos riesgos, Anthropic contrató a la filósofa interna Amanda Askell para intentar inculcarle principios morales a los chatbots. Sin embargo, Askell admitió a los medios que la velocidad del avance tecnológico podría superar la capacidad de la sociedad para establecer mecanismos de control, provocando impactos negativos repentinos.

Como dijo Scott Shambaugh, la IA actual todavía puede ser solo una “versión infantil”, pero su futura evolución ya causa una “preocupación extrema” en Silicon Valley y en los mercados globales.

Aviso de riesgo y exención de responsabilidad

El mercado tiene riesgos, invierta con precaución. Este artículo no constituye asesoramiento de inversión personal ni considera los objetivos, situación financiera o necesidades particulares de ningún usuario. Los usuarios deben evaluar si las opiniones, puntos de vista o conclusiones aquí expresadas se ajustan a su situación específica. La inversión es bajo su propio riesgo.