AI 自动研究如何重新定义 AI 编码实验並引发关于自我改进的辩论...

近幾週，安德烈·卡帕西（Andrej Karpathy）的一項病毒式實驗將人工智慧自動研究從一個小眾想法轉變為人工智慧研究界的核心話題。

卡帕西自動研究概念的起源

本月早些時候，知名人工智慧研究員、OpenAI的創始員工之一的安德烈·卡帕西在X（前Twitter）分享了一個令人震驚的實驗。他曾擔任特斯拉的人工智慧主管，現獨立工作，並運營Eureka Labs，該項目旨在打造一種為人工智慧時代設計的新型學校。

卡帕西在X上擁有190萬粉絲，他的影響力足以使幾乎任何關於AI的評論迅速傳播。然而，這次最新的貼文之所以引人注目，是因為它展示了一個他為自動研究打造的實用系統，他將其稱為“自動研究”。這個想法迅速激發了從業者和理論家的想像。

在實驗中，卡帕西部署了一個AI編碼代理，運行一系列旨在改善小型語言模型訓練的測試。在連續兩天內，該代理執行了700個實驗，系統性地探索訓練配置，以尋找更佳的設置。

在這些實驗中，該代理發現了20個能提升訓練效率的優化措施。此外，當卡帕西將這20個調整應用於一個較大但仍相對較小的語言模型時，訓練時間加快了11%。這一具體的提升凸顯了他的方法的實用潛力。

從實驗室演示到潛在的新研究範式

卡帕西將該框架描述為一個通用的代碼與模型優化研究引擎。關鍵是，他強調自動研究代理並非在調整自己，而是調整另一個較小AI模型的訓練代碼和初始神經網絡參數。這一區別在安全討論中尤為重要，即使對研究流程的影響深遠。

他認為，這樣的工具可以重塑領先實驗室進行AI研究的方式。“所有前沿大型語言模型實驗室都會這樣做。這是最終的Boss戰，”卡帕西在X上寫道。然而，他也承認，將這一想法從一個630行的Python項目擴展到一個規模大數量級的前沿模型代碼庫，會帶來巨大複雜性。

卡帕西仍將這一挑戰視為工程問題，而非概念障礙。在他看來，實驗室將啟動一群代理，讓它們協作調整較小的模型，然後逐步將最有前景的想法推向更大規模。人類則“可選擇性”地在邊緣參與，指導和評估，而非手動編碼每一個修改。

目前，他的實現專注於一個代理，沿著一條路徑反覆改進一個代碼庫。但未來，他預計多個AI代理將同時探索不同的假設和實驗。他寫道，自動研究的下一步是成為一個異步的、大規模協作的代理環境，旨在模擬一個研究社群，而非單一的博士生。

業界反應與Shopify測試

這個實驗很快超越理論範疇，Shopify的聯合創始人兼CEO托比亞斯·呂特克（Tobias Lütke）決定在公司數據上嘗試這個系統。Lütke在X上報告，他用該系統優化了一個內部AI模型，指示代理提升質量和速度。這使得這個概念在企業應用中變得具體。

據Lütke表示，讓系統運行一整夜後，代理進行了37個實驗，並帶來了19%的性能提升。儘管他沒有公布全部技術細節，但這個結果已經足夠令人印象深刻，激發了更多對商業影響的興奮與猜測。

卡帕西後來指出，任何可以合理高效評估的指標，都可以被這樣的代理群體所針對。此外，他提到，如果某個指標有較便宜的代理，比如用較小的網絡來訓練，仍然可以納入考慮。他呼籲技術人員思考自己的優化問題是否也屬於這一類。

關於自我改進AI的夢想與恐懼的連結

真正吸引公眾注意的是，這看起來與長期討論的自我改進AI的想法非常接近。科幻作品經常描繪能重寫自己代碼的系統，而一些現代研究者則渴望擁有這樣的能力，也有人擔心它們。遞歸自我改進的概念在AI安全圈中特別引人共鳴。

在這些討論中，一個主要擔憂是AI可能在一個循環中不斷優化自己的架構和訓練數據。經過多個循環，這可能引發一些安全研究者所謂的“硬起飛”或“智能爆炸”。在這種情況下，AI可能迅速超越人類的認知能力，使得保持有效控制變得困難甚至不可能。

然而，卡帕西的系統並未達到這一理想化或令人擔憂的狀況。他使用的代理並未修改自己的訓練流程或內部結構，而是重寫另一個較簡單模型的訓練代碼和神經網絡設置。這種分離使得目前的系統仍處於較傳統的優化範疇內，儘管發展方向已經明確。

儘管如此，許多觀察者將這項工作視為未來實驗室可能實現更自主系統的預演。此外，通過讓代理驅動的實驗看起來既可行又有效，該項目可能促進類似架構的採用，包括更先進的代理系統優化循環。

卡帕西循環與通用代理模式

一些分析師指出，該項目的核心模式可以抽象化並重用。Janakiram MSV，來自Janakiram & Associates的首席分析師，在科技媒體The New Stack中寫道，卡帕西實質上定義了一個可重用的循環。他將其稱為“卡帕西循環”，並提出這是一個更廣泛的代理系統範本。

根據Janakiram的說法，這個循環有三個基本要素。第一，代理必須能夠自由修改一個單一文件。第二，它需要一個可以客觀測試的指標來優化。第三，每個實驗必須有固定的時間限制，限制代理在報告結果前能運行多長時間。

他還強調，卡帕西在配置文件中嵌入的指令，為如何與任何AI代理溝通提供了一個強有力的範例。該純文本文件詳細規定了代理應該做什麼、哪些限制適用、不能觸碰的內容，以及停止條件。此外，它明確規定了每個循環的運行時間和代理何時停止並總結結果。

評論者認為，這種精確的提示工程技巧正變得越來越重要。隨著底層模型變得更強大，有效的控制仍然依賴人類撰寫清晰、結構化的指令，將代理的自主性與具體目標和界限相結合。

自動研究與現有AutoML方法的比較

並非所有人都認為卡帕西的工作代表了突破。一些批評者認為，他實際上重新發現了AutoML的某些組件，這是一套由Google、微軟等多個AI實驗室多年來使用的技術。AutoML框架也在搜索更好的數據、架構和超參數方面運行迭代實驗。

傳統的AutoML系統高度依賴自動化的優化循環和搜索策略。它們探索模型架構、調整超參數，有時還用隨機變異或進化算法選擇訓練數據。然而，它們通常不涉及能閱讀研究論文、設計新假設並能在回應中撰寫任意代碼變更的AI代理。

卡帕西反駁了這種將其工作與AutoML相提並論的比較。他指出，像神經架構搜索（Neural Architecture Search）這樣的方法，已經出現作為自動化模型設計的手段。在他看來，早期的這些技術相較於能推理代碼、從過去的實驗中學習並從網路中提取信息的代理，顯得較為薄弱。

他描述歷史上的神經架構搜索為“如此弱的版本，以至於與之相比完全沒用”，並強調他的系統使用大型語言模型來撰寫任意代碼、解讀過去實驗結果，並在運行中調整策略，遠比傳統的AutoML神經架構搜索管道更具彈性。

展望代理群與更廣泛的影響

隨著關注度提升，一些研究者正在探索如何將卡帕西的自動研究實驗想法擴展為完整的代理群。這一願景是一個由專門代理組成的網絡，分工合作、交叉檢查結果、提出新方法，同時人類設定高層次目標和守則。這可能徹底改變學術和產業的AI工作流程。

然而，擴展代理群也帶來安全、可靠性和治理方面的未解之謎。擔心遞歸自我改進風險的觀察者警告，隨著這些系統獲得更大的自主性和對關鍵基礎設施的影響，必須進行謹慎監督。保持嚴格的評估指標和人類審查在每個推廣階段都至關重要。

目前，卡帕西的項目仍是展示語言模型如何在有限的代碼庫上進行自動研究代理實驗的相對範例。然而，Lütke等業界人士和分析師的反應表明，這一底層模式可能迅速擴散，模糊人類研究者與自主代理集體之間的界線。

總結來說，卡帕西的自動研究工作證明，一個配置良好的單一代理可以在幾天內發現可衡量的性能提升，而非數月。此外，隨著實驗室將這些技術推向更大模型和多代理群，它們可能釋放出強大的新能力，同時也加劇關於自主性、控制權和AI未來發展方向的長期辯論。