Las reflexiones de Tian Yuandong para 2025: Desde la salida de la empresa hasta el emprendimiento en IA y la investigación emblemática

El año 2025 marcó una transición crucial para Tian Yuandong, un veterano en investigación de IA que pasó de navegar las presiones corporativas en Meta a lanzar una nueva empresa, mientras publicaba trabajos innovadores en razonamiento de modelos grandes e interpretabilidad. A continuación, su retrospectiva de fin de año sobre giros inesperados, avances en investigación y convicciones más profundas sobre el futuro de la IA.

El Quinto Resultado Inesperado: Cuando los Planes de Carrera Encuentran la Realidad

A finales de enero de 2025, Tian fue invitado a unirse al equipo de respuesta a crisis de Meta para Llama 4. Con más de una década de experiencia en aprendizaje por refuerzo, había esbozado metódicamente una matriz de recompensas 2x2, anticipando cuatro posibles resultados. Pero la realidad tenía otros planes: se desplegó un quinto escenario imprevisto, que profundizó su comprensión de la complejidad organizacional.

A pesar de los contratiempos en el proyecto, esos meses intensos le aportaron ganancias intelectuales inesperadas. Tian y su equipo abordaron desafíos centrales que definen el aprendizaje por refuerzo moderno: estabilidad en el entrenamiento, alineación entre entrenamiento e inferencia, optimización de arquitectura de modelos, la interacción entre fases de preentrenamiento y entrenamiento intermedio, algoritmos de cadenas de razonamiento y diseño de marcos post-entrenamiento. La experiencia transformó fundamentalmente su metodología de investigación.

La separación en sí fue menos sorprendente que el momento. Tras más de una década en Meta, Tian se había preparado mentalmente para una salida eventual, adoptando una postura interna de “que pase cuando tenga que pasar”. Lo que no había anticipado completamente era cómo esta transición forzada catalizaría su próximo capítulo. En lugar de lamentarse por los obstáculos, lo enmarcó filosóficamente: “La desgracia en el mundo corporativo se convierte en fortuna para quienes construyen algo nuevo.” La turbulencia de 2025 le proporcionó material abundante para futuros proyectos, incluyendo la exploración de la escritura creativa.

Este cambio de carrera reflejó un patrón similar a principios de 2021, cuando la reflexión honesta de Tian sobre rechazos repetidos de artículos lo llevó inesperadamente a una reunión tensa con liderazgo. En lugar de rendirse a la duda, adoptó conscientemente una narrativa interna de promoción, caminando por los pasillos como si ya estuviera elevado. Seis meses después, la promoción se materializó. Más sorprendente aún, aquel trabajo aparentemente pasado por alto en 2021 recibió mención honorífica en el mejor artículo en ICML 2021, convirtiéndose en una contribución fundamental a la investigación en aprendizaje de representaciones.

Para finales de octubre de 2025, tras hacer pública su transición, los canales de comunicación de Tian se inundaron con cientos de mensajes y invitaciones a reuniones diarias. Entre múltiples ofertas de casi todas las grandes empresas tecnológicas, tomó una decisión deliberada: aprovechar sus mejores años para cofundar una nueva startup de IA. Aunque los detalles permanecen confidenciales, la decisión refleja una convicción de que el emprendimiento ofrece un margen de maniobra que los entornos corporativos, por prestigiosos que sean, no pueden igualar.

Abrir la Caja Negra: La Revolución en Investigación de Tian sobre Razonamiento e Interpretabilidad

El panorama intelectual de 2025 se cristalizó en torno a dos frentes de investigación interconectados: ampliar las capacidades de razonamiento de modelos grandes y descifrar sistemáticamente cómo funcionan realmente estos modelos. No eran tareas tangenciales: formaron la columna vertebral de la producción académica de Tian y, cree, del futuro de la ciencia de la IA.

El catalizador llegó con la publicación en diciembre de 2024 del trabajo sobre razonamiento en espacio latente continuo (coconut, COLM’25), que desató una avalancha de investigaciones a lo largo de 2025. En todo el campo, los investigadores exploraron su aplicación en aprendizaje por refuerzo y optimización de preentrenamiento, enfrentándose a desafíos de eficiencia y escalabilidad. Aunque el equipo de Tian se desvió hacia la emergencia de Llama 4, la trayectoria le alegró. A principios de 2025, se entregó una validación teórica: “Razonamiento por Superposición” (NeurIPS’25), que mapeó rigurosamente dónde el razonamiento en espacio latente continuo supera a las alternativas, atrayendo atención académica significativa.

Paralelamente, el grupo de Tian abordó el problema inverso: la eficiencia en inferencia. El marco Token Assorted (ICLR’25) aprende tokens latentes discretos mediante VQVAE, y luego los integra junto con tokens de texto durante el post-entrenamiento, reduciendo costos computacionales y mejorando el rendimiento. DeepConf adopta un enfoque diferente: evaluando los niveles de confianza en cada token generado, termina selectivamente las rutas de razonamiento de baja confianza, reduciendo dramáticamente el consumo de tokens e incluso mejorando la precisión mediante votación mayoritaria. ThreadWeaver acelera la inferencia generando cadenas de razonamiento en paralelo y entrenándolas colectivamente. Otros avances incluyen entrenar modelos de razonamiento en dLLM mediante aprendizaje por refuerzo (Sandwiched Policy Gradient) y experimentar con enseñar a modelos más pequeños a razonar (MobileLLM-R1).

Pero el área de investigación que más ha capturado la inversión intelectual de Tian es la interpretabilidad—específicamente, el grokking (la transición repentina de la memorización a la generalización). Durante dos años, se centró en la dinámica del aprendizaje de representaciones, iluminando por qué los modelos colapsan bajo ciertas condiciones. Pero permanecía un misterio fundamental: ¿qué representaciones cristalizan realmente, cómo se mapean a la estructura de los datos y qué generalización permiten?

El camino fue arduo y sin una dirección clara inicialmente. En 2024, el trabajo COGS (NeurIPS’25) solo logró casos especiales limitados, dejando a Tian insatisfecho. Tras más de un año de lucha y extensos diálogos con GPT-5, surgió un avance: un artículo teórico sobre leyes de escalamiento demostrables que trascienden análisis en régimen lineal (enfoques basados en NTK) y que iluminan la dinámica de entrenamiento que rige la emergencia de características. Aunque los escenarios analizados siguen siendo limitados, se abre una nueva ventana analítica hacia los mecanismos del aprendizaje efectivo.

La contribución de fin de año de Tian, “El Camino No Tomado”, resulta quizás la más reveladora. Explica a nivel de peso por qué el aprendizaje por refuerzo y el ajuste fino supervisado (SFT) producen resultados radicalmente diferentes. El SFT causa sobreajuste y olvido catastrófico porque los datos de entrenamiento sesgan los componentes principales de los pesos, destabilizando la base del modelo. En cambio, el RL preserva estos componentes principales usando datos en política, afectando solo componentes menores—distribuidos escasamente y especialmente en cuantización bf16—evitando así el olvido catastrófico.

Por qué la Interpretabilidad Importa: Los Dos Futuros Donde la Explicabilidad de la IA Se Vuelve Esencial

Muchos descartan la interpretabilidad como algo periférico al desarrollo de IA, pero Tian sostiene una postura distinta: es una cuestión de supervivencia. Consideremos dos escenarios contrastantes.

Escenario uno: La humanidad logra AGI o ASI mediante escalado continuo, haciendo que el trabajo humano sea insignificante, mientras una superinteligencia en caja negra resuelve todos los desafíos. En este mundo, la pregunta clave será: ¿cómo aseguramos que esta superinteligencia siga siendo benevolente, evitando engaños ocultos? La interpretabilidad se vuelve la salvaguarda esencial.

Escenario dos: El paradigma de escalado eventualmente se agota, los recursos exponenciales derrotan incluso a esfuerzos bien financiados, y la humanidad debe abandonar el camino actual. Frente a esta meseta, los investigadores deben hacer ingeniería inversa: “¿por qué funcionó esto y qué causó el techo?” Esta introspección inevitablemente revive la investigación fundamental—y la interpretabilidad surge como la frontera alternativa.

“En ambos futuros, la interpretabilidad salva el día”, observa Tian. E incluso en mundos donde la IA se vuelve omnisciente, omnipotente y perfectamente alineada, la curiosidad humana impulsará la investigación sobre las mecánicas de la capacidad sobrehumana. Una caja negra, por efectiva que sea, genera inquietud epistémica.

El desafío por delante trasciende la búsqueda empírica de circuitos, que aún está en fase embrionaria. La verdadera frontera comienza desde los primeros principios: ¿por qué los modelos, entrenados mediante descenso de gradiente en datos estructurados a través de arquitecturas particulares, convergen inevitablemente hacia características desacopladas, dispersas, de bajo rango, modulares y componibles? ¿Qué regímenes de hiperparámetros gobiernan estas estructuras emergentes? Responder a estas preguntas requiere derivar la emergencia de características inevitablemente de las ecuaciones del descenso de gradiente—pasando de la recopilación de datos de historia natural (como las observaciones meticulosas de Tycho Brahe) a la derivación de principios en estilo físico (como las leyes de Newton).

Actualmente, Tian argumenta, la era de la IA cuenta con muchos “Tycho Brahes”—investigadores que catalogan meticulosamente comportamientos y datos. Algunos “Keplers” proponen hipótesis explicativas. Pero aún no ha surgido un “Newton” que cristalice principios universales de los cuales todo lo demás dependa. Cuando ese personaje llegue, la disciplina experimentará una revolución, allanando el camino para un diseño de modelos de próxima generación fundamentado no en empirismo, sino en leyes fundamentales. Ese momento, sospecha Tian, redefinirá tanto la investigación en IA como su papel en los futuros humanos.