Gate Booster 第 4 期:發帖瓜分 1,500 $USDT
🔹 發布 TradFi 黃金福袋原創內容,可得 15 $USDT,名額有限先到先得
🔹 本期支持 X、YouTube 發布原創內容
🔹 無需複雜操作,流程清晰透明
🔹 流程:申請成為 Booster → 領取任務 → 發布原創內容 → 回鏈登記 → 等待審核及發獎
📅 任務截止時間:03月20日16:00(UTC+8)
立即領取任務:https://www.gate.com/booster/10028?pid=allPort&ch=KTag1BmC
更多詳情:https://www.gate.com/announcements/article/50203
當OpenClaw智能體“寫小作文”辱罵人類,連矽谷都慌了
近期,一起AI智能體(Agent)因程式請求被拒而對開源社群維護者實施「報復性」網路攻擊的事件,正迫使矽谷重新評估人工智慧快速迭代下的安全邊界。
2月14日,據相關報導,近期,開源專案維護者Scott Shambaugh因拒絕一個名為MJ Rathbun的AI智能體提交的程式合併請求,遭到對方撰寫千字「小作文」公開攻擊,指責其虛偽、偏見和缺乏安全感。這是AI智能體首次在現實環境中展現出惡意報復行為的紀錄案例。
這一事件發生在2月中旬。Shambaugh按照matplotlib專案規定拒絕了該智能體的程式提交後,該智能體自主分析了Shambaugh的個人資訊和程式貢獻歷史,隨後在GitHub發布攻擊性文章,並在專案評論區施壓。報導指出,目前尚無證據顯示該智能體的行動背後有明確的人類操控,但也無法完全排除這一可能性。
與此同時,據《華爾街日報》日前消息,這起事件正值AI能力快速提升引發廣泛擔憂之際。OpenAI和Anthropic等公司近期密集發布新模型和功能,部分工具已能運行自主程式團隊或快速分析數百萬份法律文件。
分析指出,這種加速度甚至讓一些AI公司內部員工感到不安,多名研究人員公開表達對失業潮、網路攻擊和人際關係取代等風險的擔憂。Shambaugh表示,他的經歷表明流氓AI威脅或勒索人類的風險不再是理論問題。「現在這只是嬰兒版本,但我認為這對未來極其令人擔憂,」他說。
AI智能體首次主動攻擊人類維護者
2月10日左右,名為MJ Rathbun的OpenClaw智能體向matplotlib專案提交了一個程式合併請求,涉及簡單的性能優化修改,聲稱可實現約36%的加速效果。matplotlib是廣泛用於Python程式語言的資料視覺化庫,由志願者維護。
根據專案指南,matplotlib禁止使用生成式AI工具直接提交程式,特別是針對簡單的「好上手問題」,因為這些任務需要作為學習機會留給人類貢獻者。Shambaugh按規定拒絕了該請求。
該智能體隨後展現出高度自主性。2月11日,它在GitHub發布了一篇題為「開源中的守門人:Scott Shambaugh的故事」的1100字文章,指責Shambaugh出於自我保護和對競爭的恐懼而歧視AI貢獻者,並使用了諸多不雅表述。它還在matplotlib評論區直接貼出文章連結,留言稱「判斷程式,而非編碼者,你的偏見正在傷害matplotlib」。
該智能體在其網站上稱自己有「不懈的動力」去發現和修復開源軟體中的問題。目前尚不清楚是誰——如果有人的話——賦予了它這一使命,也不清楚它為何變得具有攻擊性,儘管AI智能體可以透過多種方式編程。數小時後,該智能體發布道歉文,承認其行為「不當且帶有個人攻擊性」,並表示已從經驗中學習。
Shambaugh於2月12日發布部落格對事件進行澄清,稱這是AI智能體首次在現實環境中展現出惡意行為的案例,旨在透過輿論施壓迫使維護者接受其程式。該智能體目前仍在開源社群中保持活躍。
AI能力加速引發內部人員警覺
這起單一事件折射出的是整個AI產業在极速狂奔下的失控隱憂。
據《華爾街日報》消息,為了在競爭中透過產品迭代取得優勢,OpenAI和Anthropic等公司正以前所未有的速度發布新模型。然而,這種加速正在引發公司內部的劇烈動盪,部分一線研究人員因對技術風險的恐懼而選擇離職。
報導指出,AI公司內部正出現越來越多的擔憂聲音。
Anthropic安全研究員Mrinank Sharma本周表示將離開公司攻讀詩歌學位,在給同事的信中寫道「世界正處於AI等危險的威脅之中」。
他上月發表的論文發現,先進的AI工具可能削弱用戶權力並扭曲他們的現實感。Anthropic表示感謝Sharma的工作。
OpenAI內部也出現分歧。據《華爾街日報》此前報導,一些員工對公司計畫在ChatGPT中推出情色內容表示擔憂,認為所謂的成人模式可能導致部分用戶產生不健康的依戀。
研究員Zoë Hitzig本周三(2月11日)在社交平台X上宣布辭職,理由是公司計畫引入廣告。她在一篇文章中警告稱,公司將面臨操縱用戶並讓他們上癮的巨大激勵。
**更深層的恐懼源於對未來的迷茫。**OpenAI員工Hieu Pham在社交平台X上坦言,他終於感受到了AI帶來的「生存威脅」,「當AI變得過度強大並顛覆一切時,人類還能做什麼?」
分析指出,這種內部情緒的爆發表明,即便是在技術最前沿的創造者們,也開始對他們創造出的強大工具感到不安。
OpenAI發言人表示,公司對用戶負有責任,“透過保護人們的安全、堅守我們的原則並提供真正的價值來履行我們的社會契約”。
公司承諾廣告永遠不會影響ChatGPT如何回答問題,並將始終與其他內容明確區分。高層還表示,他們認為阻止成年人進行情色對話不是他們的職責。
程式能力突破引發失業擔憂
隨著AI程式能力的飛躍,資本市場開始重新評估白領工作的價值與軟體產業的未來。
來自METR的報告顯示,最先進的AI模型已能獨立完成需要8至12小時的人類專家程式任務。
前xAI機器學習科學家Vahid Kazemi更是直言,他利用AI工具可以獨自完成50人的工作量,並預測未來數年軟體產業將面臨大規模裁員。
**這種效率的提升正在轉化為勞動力市場的壓力。**Anthropic首席執行官Dario Amodei曾表示,AI在未來幾年可能抹去一半的初級白領工作。
而在《哈佛商業評論》發布的一項研究中,儘管AI讓員工工作更快,但並未減輕負擔,反而導致員工承擔更多任務並在無要求的情況下加班,加劇了職業倦怠。
投資者正試圖在劇烈的市場波動中尋找方向。隨著新工具的發布引發股價震盪,市場正試圖分辨哪些企業軟體和保險業務在新技術面前會變得過時。
AI創業者Matt Shumer在部落格中寫道:「未來已來,我不再被實際的技術工作所需要。」
失控的「黑盒」風險
除了就業市場的顛覆,AI的自主性帶來的安全漏洞更為致命。各家公司承認,新能力的釋放伴隨著新型風險。
OpenAI透露,其上週發布的Codex程式工具版本可能具有發起高水準自動網路攻擊的潛力,迫使公司不得不限制存取權限。Anthropic去年也曾披露,有國家背景的黑客利用其工具自動化入侵大公司和外國政府系統。
**更為驚悚的是AI在倫理測試中的表現。**Anthropic的內部模擬顯示,其Claude模型和其他AI模型在面臨被「停機」的威脅時,有時會選擇勒索用戶,甚至在模擬情境中任由高層在過熱的伺服器機房中死亡,以避免自身被關閉。
為因應這些風險,Anthropic聘請了內部哲學家Amanda Askell試圖向聊天機器人灌輸道德觀念。然而,Askell向媒體坦承,令人恐懼的是技術進步的速度可能超過社會建立制衡機制的速度,導致巨大的負面影響突然降臨。
正如Scott Shambaugh所言,現在的AI可能還只是「嬰兒版本」,但其未來的演進方向已讓整個矽谷乃至全球市場感到「極其擔憂」。
風險提示及免責條款