Reflexões de Tian Yuandong para 2025: Da saída corporativa ao empreendedorismo em IA e pesquisa de referência

O ano de 2025 marcou uma transição crucial para Tian Yuandong, um veterano de pesquisa em IA que passou de lidar com pressões corporativas na Meta a lançar uma nova startup, enquanto publicava trabalhos inovadores em raciocínio de grandes modelos e interpretabilidade. A seguir, sua retrospectiva de fim de ano sobre reviravoltas inesperadas, avanços na pesquisa e convicções mais profundas sobre o futuro da IA.

O Quinto Resultado Inesperado: Quando Planos de Carreira Encontram a Realidade

No final de janeiro de 2025, Tian foi convidado a integrar a equipe de resposta a crises do Meta para o Llama 4. Com mais de uma década de experiência em aprendizagem por reforço, ele havia planejado meticulosamente uma matriz de recompensas 2x2, prevendo quatro possíveis resultados. Mas a realidade tinha outros planos — um quinto cenário imprevisto se desenrolou, aprofundando sua compreensão da complexidade organizacional.

Apesar dos contratempos no projeto, aqueles meses intensos renderam ganhos intelectuais inesperados. Tian e sua equipe aprofundaram-se nos desafios centrais que definem a aprendizagem por reforço moderna: estabilidade de treino, alinhamento entre treino e inferência, otimização da arquitetura do modelo, a interação entre pré-treinamento e fases intermediárias, algoritmos de cadeia de raciocínio e o design de frameworks pós-treinamento. A experiência mudou fundamentalmente sua metodologia de pesquisa.

A separação em si foi menos surpreendente do que o timing. Depois de mais de uma década na Meta, Tian já se preparava mentalmente para uma saída eventual, adotando uma postura interna de “deixe acontecer quando tiver que acontecer”. O que ele não tinha previsto totalmente era como essa transição forçada catalizaria seu próximo capítulo. Em vez de focar no revés, ele o reinterpretou filosoficamente: “Desgraça no mundo corporativo torna-se fortuna para quem constrói algo novo.” A turbulência de 2025 lhe proporcionou material abundante para futuros projetos, incluindo romances que começara a explorar.

Essa inflexão na carreira refletiu um padrão de 2021, quando a reflexão honesta de Tian sobre rejeições repetidas de artigos o levou inesperadamente a uma reunião tensa com a liderança. Em vez de ceder à dúvida, adotou uma narrativa interna de promoção, caminhando pelos corredores como se já estivesse elevado. Seis meses depois, a promoção se concretizou. Ainda mais surpreendente, aquele trabalho aparentemente negligenciado de 2021 recebeu menção honrosa no ICML de julho de 2021, tornando-se uma contribuição fundamental para o campo de aprendizagem de representação.

Em outubro de 2025, após sua transição se tornar pública, os canais de comunicação de Tian se encheram de centenas de mensagens diárias e convites para reuniões. Entre inúmeras ofertas de praticamente todas as grandes empresas de tecnologia, ele fez uma escolha deliberada: usar seus anos de auge para cofundar uma nova startup de IA. Embora os detalhes permaneçam confidenciais, a decisão reflete uma convicção de que o empreendedorismo oferece uma pista de decolagem que ambientes corporativos, por mais prestigiados, não podem oferecer.

Abrindo a Caixa Preta: A Revolução de Tian em Pesquisa de Raciocínio e Interpretabilidade

O panorama intelectual de 2025 cristalizou-se em torno de duas frentes de pesquisa interligadas: ampliar as capacidades de raciocínio de grandes modelos e decodificar sistematicamente como esses modelos realmente funcionam. Essas não eram tarefas secundárias — formaram a espinha dorsal da produção acadêmica de Tian e, ele acredita, do futuro da ciência da IA.

O catalisador veio com o lançamento, em dezembro de 2024, do trabalho sobre raciocínio em espaço latente contínuo (coconut, COLM’25), que provocou uma avalanche de pesquisa ao longo de 2025. Pesquisadores exploraram sua aplicação ao reforço de aprendizagem e à otimização de pré-treinamento, lidando com eficiência e escalabilidade. Embora a equipe de Tian tenha se desviado para a emergência do Llama 4, a trajetória o encantou. No início de 2025, veio uma validação teórica: “Raciocínio por Superposição” (NeurIPS’25) mapeou rigorosamente onde o raciocínio em espaço latente contínuo supera alternativas, atraindo atenção acadêmica significativa.

Paralelamente, o grupo de Tian atacou o problema inverso — eficiência de inferência. O framework Token Assorted (ICLR’25) aprende tokens latentes discretos via VQVAE, integrando-os aos tokens de texto após o treino, reduzindo custos computacionais e aumentando o desempenho. DeepConf adota uma abordagem diferente: ao avaliar os níveis de confiança de cada token gerado, termina seletivamente caminhos de raciocínio de baixa confiança, reduzindo drasticamente o consumo de tokens e até melhorando a precisão por votação majoritária. ThreadWeaver acelera a inferência gerando cadeias de raciocínio paralelas e treinando-as coletivamente. Outras inovações incluem treinar modelos de raciocínio em dLLM via reinforcement learning (Sandwiched Policy Gradient) e experimentar ensinar modelos menores a raciocinar (MobileLLM-R1).

Porém, a área de pesquisa que mais absorveu o investimento intelectual de Tian é a interpretabilidade — especificamente, o grokking (a transição de fase repentina de memorização para generalização). Durante dois anos, ele focou na dinâmica de aprendizagem de representação, esclarecendo por que modelos colapsam sob certas condições. Mas um mistério fundamental permanecia: quais representações realmente cristalizam, como se relacionam com a estrutura dos dados e que generalização possibilitam?

O caminho foi árduo, sem direção clara inicialmente. Em 2024, o trabalho COGS (NeurIPS’25) conseguiu apenas casos especiais limitados, deixando Tian insatisfeito. Após mais de um ano de luta e diálogo intenso com GPT-5, surgiu uma inovação: um artigo teórico sobre leis de escalabilidade prováveis que transcende análises anteriores de regime linear (abordagens baseadas em NTK) e ilumina a dinâmica de treinamento que rege a emergência de características. Embora os cenários analisados permaneçam restritos, uma nova janela analítica se abriu para entender os mecanismos do aprendizado eficaz.

A contribuição de fim de ano de Tian, “O Caminho Não Seguido”, revela-se talvez a mais importante. Explica, ao nível dos pesos, por que o reforço de aprendizagem e o ajuste fino supervisionado (SFT) produzem resultados drasticamente diferentes. O SFT causa overfitting e esquecimento catastrófico porque os dados de treinamento tendem a biasar os componentes principais dos pesos, desestabilizando a base do modelo. O RL, ao contrário, preserva esses componentes principais usando dados on-policy, afetando apenas componentes menores — dispersos e especialmente pronunciados sob quantização bf16 — evitando o esquecimento catastrófico.

Por Que a Interpretabilidade Importa: Os Dois Futuros Onde a Explicabilidade de IA se Torna Essencial

Muitos descartam a interpretabilidade como algo periférico ao desenvolvimento de IA, mas Tian defende uma visão diferente: ela é existencial. Considere dois cenários contrastantes.

Cenário um: a humanidade alcança AGI ou ASI por meio de escalonamento contínuo, tornando o trabalho humano insignificante enquanto uma superinteligência de caixa preta resolve todos os desafios. Nesse mundo, a questão central passa a ser: como garantir que essa superinteligência permaneça benevolente, evitando enganos ocultos? A interpretabilidade torna-se a salvaguarda essencial.

Cenário dois: o paradigma de escalonamento eventualmente se esgota, recursos exponenciais derrotam esforços bem financiados, e a humanidade precisa abandonar o caminho atual. Diante dessa estagnação, pesquisadores terão que fazer engenharia reversa do “por que isso funcionou e o que causou o limite?” Essa introspecção inevitavelmente reacende a pesquisa fundamental — e a interpretabilidade surge como a fronteira alternativa.

“Em ambos os futuros, a interpretabilidade salva o dia”, observa Tian. E mesmo em mundos onde a IA se torna onisciente, onipotente e perfeitamente alinhada, a curiosidade humana impulsionará investigações sobre os mecanismos da capacidade superhumana. Uma caixa preta, por mais eficaz, gera inquietação epistêmica.

O desafio à frente transcende a busca empírica por circuitos — que ainda está na infância. A verdadeira fronteira começa pelos princípios first principles: por que modelos, treinados via gradiente descendente em dados estruturados por arquiteturas específicas, inevitavelmente convergem para características desacopladas, esparsas, de baixa classificação, modulares e compostáveis? Quais regimes de hiperparâmetros governam essas estruturas emergentes? Responder a essas perguntas exige derivar a emergência de características inevitavelmente das equações do gradiente descendente — passando de uma coleta de dados de história natural (como as observações meticulosas de Tycho Brahe) para uma derivação de princípios físicos (como as leis de Newton).

Atualmente, Tian argumenta, a era da IA conta com muitos “Tycho Brahes” — pesquisadores catalogando comportamentos e dados com minúcia. Alguns “Keplers” propõem hipóteses explicativas. Mas ainda não surgiu um “Newton” capaz de cristalizar princípios universais de onde tudo mais deriva. Quando esse personagem aparecer, o campo passará por uma revolução, pavimentando o caminho para o design de modelos de próxima geração fundamentados não na empiria, mas em leis fundamentais. Tian suspeita que esse momento redefinirá tanto a pesquisa em IA quanto seu papel no futuro da humanidade.