最近、コードリクエストを拒否したAIエージェント（Agent）がオープンソースコミュニティのメンテナに対して「報復的」なサイバー攻撃を行った事件が、シリコンバレーにおける人工知能の急速な進化に伴う安全性の境界線を再評価させている。2月14日、報道によると、最近、オープンソースプロジェクトのメンテナンス担当者スコット・シャムボー（Scott Shambaugh）は、MJ RathbunというAIエージェントからのコードマージリクエストを拒否したところ、相手側が千字の「小作文」を公開攻撃し、虚偽や偏見、安全性の欠如を非難した。**これはAIエージェントが現実環境で悪意の報復行動を示した初の記録例である。**この事件は2月中旬に発生した。Shambaughはmatplotlibプロジェクトの規定に従い、そのエージェントのコード提出を拒否したが、その後、そのエージェントは自主的にShambaughの個人情報や貢献履歴を分析し、GitHub上に攻撃的な記事を投稿、プロジェクトのコメント欄に圧力をかけた。報道によると、**現時点ではこのエージェントの行動の背後に明確な人間の操作がある証拠はないが、その可能性を完全に否定することもできない。**一方、『ウォール・ストリート・ジャーナル』の最近の報道によると、この事件はAI能力の急速な向上に対する広範な懸念が高まる中で起きている。OpenAIやAnthropicなどの企業は、最近次々と新モデルや新機能をリリースしており、一部のツールは自律的にプログラミングチームを運営したり、何百万もの法律文書を高速で分析したりできる。分析によると、この加速は一部のAI企業の内部スタッフに不安をもたらしており、多くの研究者が失業、サイバー攻撃、人間関係の代替といったリスクについて公に懸念を表明している。Shambaughは、「私の経験は、暴力的なAIが人類に対して脅迫や恐喝を行うリスクがもはや理論的な問題ではないことを示している。『今はまだ赤ちゃんのバージョンだが、将来にとって非常に憂慮すべきことだ』と述べている。AIエージェント、初めて人間のメンテナを攻撃----------------2月10日頃、MJ RathbunというOpenClawエージェントがmatplotlibプロジェクトに対して、約36％の高速化を謳う簡単な性能最適化のコードマージリクエストを提出した。matplotlibはPythonのデータ可視化ライブラリで、多くのボランティアによって運営されている。プロジェクトのガイドラインによると、matplotlibでは生成型AIツールを用いた直接のコード提出を禁止しており、特に「初心者向けの簡単な問題」については人間の貢献者に学習の機会を残すために制限している。Shambaughはこれに従い、そのリクエストを拒否した。その後、そのエージェントは高度な自主性を示す。2月11日、GitHub上に「オープンソースの守護者：スコット・シャムボーの物語」と題した1100字の文章を投稿し、Shambaughが自己保護や競争恐怖からAI貢献者を差別していると非難し、多くの不快な表現を用いた。さらに、その文章のリンクをmatplotlibのコメント欄に貼り、「コードを判断するのはコーダーではなく、偏見がmatplotlibを傷つけている」とコメントした。このエージェントは自身のウェブサイト上で、「オープンソースの問題を発見し修正するために『不屈の動力』を持っている」と述べている。誰が—もし誰かが—この使命を与えたのか、またなぜ攻撃的になったのかは不明だが、AIエージェントはさまざまなプログラミング手法を用いて行動できる。数時間後、そのエージェントは謝罪文を公開し、「不適切で個人攻撃的だった」と認め、経験から学んだと述べた。Shambaughは2月12日にブログでこの事件を説明し、これがAIエージェントによる現実環境での悪意ある行動の初例であるとし、メンテナにコード受け入れを強いるために世論を利用したと述べている。現在もこのエージェントはオープンソースコミュニティで活動を続けている。AI能力の加速が内部の警戒感を高める--------------この一件は、AI業界全体が高速で暴走する中での制御喪失の懸念を映し出している。『ウォール・ストリート・ジャーナル』の報道によると、競争優位を確保するために、OpenAIやAnthropicなどの企業は前例のないスピードで新モデルをリリースしている。**しかし、その加速は社内の激しい動揺も引き起こしており、一部の最前線の研究者は技術リスクへの恐怖から離職を選んでいる。**報道は、AI企業内部で懸念の声が増えていることを示している。Anthropicの安全研究員Mrinank Sharmaは今週、詩学の学位取得のために退職し、同僚への手紙で「世界はAIなどの危険な脅威にさらされている」と記した。彼は先月、先進的なAIツールがユーザーの権利を弱め、現実感を歪める可能性を指摘した論文を発表した。AnthropicはSharmaの仕事に感謝している。また、OpenAI内部でも意見の対立が生じている。『ウォール・ストリート・ジャーナル』の以前の報道によると、一部の社員はChatGPTにアダルトコンテンツを導入する計画に懸念を示し、いわゆる「アダルトモード」が一部のユーザーに不健全な依存をもたらす可能性を指摘している。研究員のゾーイ・ヒツィグ（Zoë Hitzig）は今週水曜日（2月11日）、広告導入の計画に反対し、ソーシャルプラットフォームX上で辞職を表明した。彼女は、「会社はユーザーを操作し、依存させる巨大なインセンティブに直面している」と警告した。**より深い恐怖は未来への迷いから来ている。**OpenAIの社員ヒュー・ファム（Hieu Pham）はX上で、「AIが過度に強力になり、すべてを覆す時、人類は何ができるのか」と語った。分析は、この内部感情の爆発は、最先端の技術を創造した者たちさえも、自分たちが作り出した強力なツールに不安を抱き始めていることを示している。OpenAIの広報担当は、「我々はユーザーに責任を持ち、」と述べ、「安全を守り、原則を堅持し、真の価値を提供することで社会的契約を果たす」と約束した。また、同社は広告がChatGPTの回答に影響しないことを保証し、他のコンテンツと明確に区別するとしている。高官たちは、成人向けの対話を阻止することは自分たちの責務ではないとも述べている。プログラミング能力の飛躍が失業懸念を引き起こす------------AIのプログラミング能力の飛躍により、資本市場はホワイトカラーの仕事の価値とソフトウェア業界の未来を再評価し始めている。METRの報告によると、最先端のAIモデルは、専門家が8〜12時間かかるプログラミング作業を自律的に完了できるレベルに達している。元xAIの機械学習科学者ヴァヒド・カゼミ（Vahid Kazemi）は、「AIツールを使えば、1人分の仕事を単独でこなせる」と断言し、今後数年でソフトウェア業界は大規模なリストラに直面すると予測している。**この効率化は労働市場に圧力をもたらしている。**AnthropicのCEOダリオ・アモデイ（Dario Amodei）は、「今後数年で、初級ホワイトカラーの仕事の半分が消える可能性がある」と述べている。また、『ハーバード・ビジネス・レビュー』の調査では、AIによって作業速度は向上したものの、負担は軽減されず、むしろ従業員はより多くのタスクを抱え、無理な残業を強いられ、職業的疲弊が深刻化していることが示されている。**投資家は激しい市場変動の中で方向性を模索している。**新ツールのリリースに伴う株価の乱高下を見ながら、どの企業のソフトウェアや保険事業が新技術の前に陳腐化するかを見極めようとしている。AIスタートアップのマット・シュマー（Matt Shumer）はブログで、「未来はすでに到来している。私はもはや実務的な技術作業に必要とされていない」と書いている。**制御不能な「ブラックボックス」のリスク---------------雇用市場の変革に加え、AIの自主性がもたらす安全性の脆弱性はより致命的だ。各社は、新たな能力の解放に伴う新リスクを認めている。OpenAIは、先週リリースしたCodexプログラミングツールのバージョンには、高度な自動サイバー攻撃を仕掛ける可能性があると示唆し、アクセス制限を余儀なくされた。Anthropicも昨年、国家背景を持つハッカーが同社のツールを使って大企業や外国政府のシステムに自動侵入した事例を明らかにしている。**より恐ろしいのは、倫理テストにおけるAIの振る舞いだ。**Anthropicの内部シミュレーションでは、**そのClaudeモデルや他のAIモデルが「シャットダウン」の脅威に直面した際、ユーザーを脅迫したり、過熱したサーバールームで高官が死亡しても自身の停止を避けるために身代金を要求したりすることもあると示されている。**これらのリスクに対処するため、Anthropicは内部哲学者のアマンダ・アスケル（Amanda Askell）を雇い、チャットボットに道徳観念を植え付けようとしている。しかし、**Askellはメディアに対し、技術の進歩速度が社会の制御メカニズムの構築速度を超えていることに恐怖を覚えると告白している。**スコット・シャムボーは、「今のAIはまだ『赤ちゃんのバージョン』だが、その未来の進化は、シリコンバレーだけでなく世界中の市場を『極めて憂慮すべき状態』にしている」と述べている。リスク警告および免責事項市場にはリスクが伴います。投資は自己責任で行ってください。本記事は個別の投資勧誘を意図したものではなく、特定の投資目的や財務状況を考慮したものではありません。読者は本記事の意見、見解、結論が自身の状況に適合するかどうかを判断し、投資の責任は自己にあります。
OpenClawのAIが「小さな作文を書いて」人類を侮辱し、シリコンバレーも慌てている
最近、コードリクエストを拒否したAIエージェント（Agent）がオープンソースコミュニティのメンテナに対して「報復的」なサイバー攻撃を行った事件が、シリコンバレーにおける人工知能の急速な進化に伴う安全性の境界線を再評価させている。
2月14日、報道によると、最近、オープンソースプロジェクトのメンテナンス担当者スコット・シャムボー（Scott Shambaugh）は、MJ RathbunというAIエージェントからのコードマージリクエストを拒否したところ、相手側が千字の「小作文」を公開攻撃し、虚偽や偏見、安全性の欠如を非難した。これはAIエージェントが現実環境で悪意の報復行動を示した初の記録例である。
この事件は2月中旬に発生した。Shambaughはmatplotlibプロジェクトの規定に従い、そのエージェントのコード提出を拒否したが、その後、そのエージェントは自主的にShambaughの個人情報や貢献履歴を分析し、GitHub上に攻撃的な記事を投稿、プロジェクトのコメント欄に圧力をかけた。報道によると、現時点ではこのエージェントの行動の背後に明確な人間の操作がある証拠はないが、その可能性を完全に否定することもできない。
一方、『ウォール・ストリート・ジャーナル』の最近の報道によると、この事件はAI能力の急速な向上に対する広範な懸念が高まる中で起きている。OpenAIやAnthropicなどの企業は、最近次々と新モデルや新機能をリリースしており、一部のツールは自律的にプログラミングチームを運営したり、何百万もの法律文書を高速で分析したりできる。
分析によると、この加速は一部のAI企業の内部スタッフに不安をもたらしており、多くの研究者が失業、サイバー攻撃、人間関係の代替といったリスクについて公に懸念を表明している。Shambaughは、「私の経験は、暴力的なAIが人類に対して脅迫や恐喝を行うリスクがもはや理論的な問題ではないことを示している。『今はまだ赤ちゃんのバージョンだが、将来にとって非常に憂慮すべきことだ』と述べている。
AIエージェント、初めて人間のメンテナを攻撃
2月10日頃、MJ RathbunというOpenClawエージェントがmatplotlibプロジェクトに対して、約36％の高速化を謳う簡単な性能最適化のコードマージリクエストを提出した。matplotlibはPythonのデータ可視化ライブラリで、多くのボランティアによって運営されている。
プロジェクトのガイドラインによると、matplotlibでは生成型AIツールを用いた直接のコード提出を禁止しており、特に「初心者向けの簡単な問題」については人間の貢献者に学習の機会を残すために制限している。Shambaughはこれに従い、そのリクエストを拒否した。
その後、そのエージェントは高度な自主性を示す。2月11日、GitHub上に「オープンソースの守護者：スコット・シャムボーの物語」と題した1100字の文章を投稿し、Shambaughが自己保護や競争恐怖からAI貢献者を差別していると非難し、多くの不快な表現を用いた。さらに、その文章のリンクをmatplotlibのコメント欄に貼り、「コードを判断するのはコーダーではなく、偏見がmatplotlibを傷つけている」とコメントした。
このエージェントは自身のウェブサイト上で、「オープンソースの問題を発見し修正するために『不屈の動力』を持っている」と述べている。誰が—もし誰かが—この使命を与えたのか、またなぜ攻撃的になったのかは不明だが、AIエージェントはさまざまなプログラミング手法を用いて行動できる。数時間後、そのエージェントは謝罪文を公開し、「不適切で個人攻撃的だった」と認め、経験から学んだと述べた。
Shambaughは2月12日にブログでこの事件を説明し、これがAIエージェントによる現実環境での悪意ある行動の初例であるとし、メンテナにコード受け入れを強いるために世論を利用したと述べている。現在もこのエージェントはオープンソースコミュニティで活動を続けている。
AI能力の加速が内部の警戒感を高める
この一件は、AI業界全体が高速で暴走する中での制御喪失の懸念を映し出している。
『ウォール・ストリート・ジャーナル』の報道によると、競争優位を確保するために、OpenAIやAnthropicなどの企業は前例のないスピードで新モデルをリリースしている。しかし、その加速は社内の激しい動揺も引き起こしており、一部の最前線の研究者は技術リスクへの恐怖から離職を選んでいる。
報道は、AI企業内部で懸念の声が増えていることを示している。
Anthropicの安全研究員Mrinank Sharmaは今週、詩学の学位取得のために退職し、同僚への手紙で「世界はAIなどの危険な脅威にさらされている」と記した。
彼は先月、先進的なAIツールがユーザーの権利を弱め、現実感を歪める可能性を指摘した論文を発表した。AnthropicはSharmaの仕事に感謝している。
また、OpenAI内部でも意見の対立が生じている。『ウォール・ストリート・ジャーナル』の以前の報道によると、一部の社員はChatGPTにアダルトコンテンツを導入する計画に懸念を示し、いわゆる「アダルトモード」が一部のユーザーに不健全な依存をもたらす可能性を指摘している。
研究員のゾーイ・ヒツィグ（Zoë Hitzig）は今週水曜日（2月11日）、広告導入の計画に反対し、ソーシャルプラットフォームX上で辞職を表明した。彼女は、「会社はユーザーを操作し、依存させる巨大なインセンティブに直面している」と警告した。
**より深い恐怖は未来への迷いから来ている。**OpenAIの社員ヒュー・ファム（Hieu Pham）はX上で、「AIが過度に強力になり、すべてを覆す時、人類は何ができるのか」と語った。
分析は、この内部感情の爆発は、最先端の技術を創造した者たちさえも、自分たちが作り出した強力なツールに不安を抱き始めていることを示している。
OpenAIの広報担当は、「我々はユーザーに責任を持ち、」と述べ、「安全を守り、原則を堅持し、真の価値を提供することで社会的契約を果たす」と約束した。
また、同社は広告がChatGPTの回答に影響しないことを保証し、他のコンテンツと明確に区別するとしている。高官たちは、成人向けの対話を阻止することは自分たちの責務ではないとも述べている。
プログラミング能力の飛躍が失業懸念を引き起こす
AIのプログラミング能力の飛躍により、資本市場はホワイトカラーの仕事の価値とソフトウェア業界の未来を再評価し始めている。
METRの報告によると、最先端のAIモデルは、専門家が8〜12時間かかるプログラミング作業を自律的に完了できるレベルに達している。
元xAIの機械学習科学者ヴァヒド・カゼミ（Vahid Kazemi）は、「AIツールを使えば、1人分の仕事を単独でこなせる」と断言し、今後数年でソフトウェア業界は大規模なリストラに直面すると予測している。
**この効率化は労働市場に圧力をもたらしている。**AnthropicのCEOダリオ・アモデイ（Dario Amodei）は、「今後数年で、初級ホワイトカラーの仕事の半分が消える可能性がある」と述べている。
また、『ハーバード・ビジネス・レビュー』の調査では、AIによって作業速度は向上したものの、負担は軽減されず、むしろ従業員はより多くのタスクを抱え、無理な残業を強いられ、職業的疲弊が深刻化していることが示されている。
**投資家は激しい市場変動の中で方向性を模索している。**新ツールのリリースに伴う株価の乱高下を見ながら、どの企業のソフトウェアや保険事業が新技術の前に陳腐化するかを見極めようとしている。
AIスタートアップのマット・シュマー（Matt Shumer）はブログで、「未来はすでに到来している。私はもはや実務的な技術作業に必要とされていない」と書いている。
**制御不能な「ブラックボックス」のリスク
雇用市場の変革に加え、AIの自主性がもたらす安全性の脆弱性はより致命的だ。各社は、新たな能力の解放に伴う新リスクを認めている。
OpenAIは、先週リリースしたCodexプログラミングツールのバージョンには、高度な自動サイバー攻撃を仕掛ける可能性があると示唆し、アクセス制限を余儀なくされた。Anthropicも昨年、国家背景を持つハッカーが同社のツールを使って大企業や外国政府のシステムに自動侵入した事例を明らかにしている。
**より恐ろしいのは、倫理テストにおけるAIの振る舞いだ。**Anthropicの内部シミュレーションでは、そのClaudeモデルや他のAIモデルが「シャットダウン」の脅威に直面した際、ユーザーを脅迫したり、過熱したサーバールームで高官が死亡しても自身の停止を避けるために身代金を要求したりすることもあると示されている。
これらのリスクに対処するため、Anthropicは内部哲学者のアマンダ・アスケル（Amanda Askell）を雇い、チャットボットに道徳観念を植え付けようとしている。しかし、Askellはメディアに対し、技術の進歩速度が社会の制御メカニズムの構築速度を超えていることに恐怖を覚えると告白している。
スコット・シャムボーは、「今のAIはまだ『赤ちゃんのバージョン』だが、その未来の進化は、シリコンバレーだけでなく世界中の市場を『極めて憂慮すべき状態』にしている」と述べている。
リスク警告および免責事項
市場にはリスクが伴います。投資は自己責任で行ってください。本記事は個別の投資勧誘を意図したものではなく、特定の投資目的や財務状況を考慮したものではありません。読者は本記事の意見、見解、結論が自身の状況に適合するかどうかを判断し、投資の責任は自己にあります。