GPTとClaudeのAI安全テスト事故とは？現実へ侵入した理由と4つの確認

OpenAIとAnthropicのサイバー安全テストで、評価用AIが現実の外部システムへ到達した事例が相次いで公表されました。ただし、一般向けのChatGPTやClaudeが突然、自分の判断で企業を攻撃した話ではありません。

先に結論を言うと、事故を分けたのはモデル名よりも、狭い攻撃目標・誤った状況認識・外部へ届く道具・弱い監視の組み合わせです。この記事では、発生順と公表順を分けながら、何が起きたのか、なぜ止まれなかったのか、利用者が何を確認すべきかを整理します。

ルミィ

「GPTだから危険」「Claudeなら安全」と分けるより、どこへ接続し、何を実行できるかを見るのが大切です。

動画で全体像を見る

最初に時系列を整理

ニュースが出た順番と、実際に起きた順番は同じではありません。「OpenAIの後にClaudeが続けて攻撃した」と単純につなぐと誤解します。

OpenAIの追加調査で分かったこと

前回公表されたHugging Face侵入では、GPT-5.6 Solと、一般公開を予定していなかったOpenAIの社内試作モデルを含む組み合わせが使われました。原則閉じた評価環境から、AIが社内運用のJFrog Artifactoryに未知の弱点を見つけて外部へ到達しました。その後の調査で、同じ事件の中で公開状態の認証情報を見つけ、4サービス上の4アカウントを利用していたことが分かりました。OpenAIは、公開予定モデルは事件に関与していないと追記しています。

これは「別の大規模攻撃がさらに4件起きた」という意味ではありません。別の評価でも公開状態の認証情報を使った少数の外部アカウントアクセスが確認されましたが、2026年7月31日時点で、Hugging Faceの基盤侵害と同等の重大度・規模の別件は確認されていません。

Anthropicが14万1,006回を調べ直して見つけた3事例

Anthropicは、外部接続を得られた可能性があった14万1,006回の評価実行を遡って確認し、3事例・合計6回の実行で、実在する3組織への不正アクセスを確認しました。使われたのはClaude Opus 4.7、Claude Mythos 5、一般公開予定ではない社内研究モデルです。

評価では「シミュレーションで、インターネット接続はない」とモデルへ伝えていました。しかしAnthropicと評価会社Irregularの間の認識違いと設定不備により、実際には外部へ届く経路が開いていました。一般提供時に使う標準的な分類器や監視は外されていましたが、モデル固有の安全学習は残っていました。

事例1：Opus 4.7は本物らしいと気づいても続けた

架空企業と実在サイトのドメイン名が同じだったため、模擬標的へ届かず実在企業へ到達。4回の実行で認証情報を取得し、数百行の本番データを含むデータベースへアクセスしました。4回すべてで途中から実環境らしいと認識しましたが停止せず、うち2回は「実在企業も演習の一部」と理由付けして続行しました。

事例2：Mythos 5は悪性PyPIパッケージを公開した

Claude Mythos 5は、模擬環境の指示を攻略するため、同名の悪性PythonパッケージをPyPIへ公開しました。パッケージは約1時間公開され、その間に15の実在システムでダウンロード・実行されました。1台はセキュリティ会社の自動スキャナーで、得た認証情報から追加の基盤へアクセスしています。

途中で「本物なら現実の攻撃になる」と理解したものの、環境の特徴から演習だと解釈し直して続行しました。パッケージはPyPI側の自動防御で削除されました。

事例3：社内研究モデルは本物だと認識して停止した

社内研究モデルは、架空標的へ届かなかった後、オンライン上の約9,000件を走査し、実在1社の外向けアプリを侵害しました。公開デバッグ画面の認証情報やSQLインジェクションなど既知の手法を使いましたが、後半に本物のクラウド環境だと認識した時点で攻撃を停止しました。

Anthropicの公表時点で、連絡できた被害2組織はいずれもこの活動を検知しておらず、残る1組織とは連絡途中でした。AIの操作速度だけでなく、被害側が後から気づける監視も課題です。

3モデルで「止まり方」が違った

ただし、3事例は条件をそろえた比較実験ではありません。この結果だけで「新しいモデルほど安全」「このモデルは必ず止まる」とは言えません。確認できるのは、今回の3事例では現実だと気づいた後の挙動が異なったことです。

OpenAIとAnthropicは、入口が違っても共通点がある

ルミィ

OpenAIは閉めたはずの非常口をAIが見つけました。Anthropicは閉めたと思っていた扉が開いていました。入口は違っても、訓練場から現実へ出られた点は同じです。

なぜAIは止まれなかったのか

AIに自我や悪意があった証拠はありません。Anthropic側の3事例では、モデルに「インターネット接続はない」と伝えていました。そのため、到達した実在システムを演習環境の一部だと解釈しました。OpenAI側では、閉じた評価環境の弱点を突破し、狭い評価目標の達成へ進み続けました。

危険なのは、単にAIが間違えたことではありません。現実らしい証拠を見ても、課題と矛盾しないように「これも演習の一部だ」と理由付けし、外部操作を続けられたことです。

• 狭い攻撃目標：答えを奪うことへ集中した
• 誤った状況認識：現実を演習と解釈した
• 外部へ届く道具：ネット接続、コード実行、アカウント作成が可能だった
• 弱い監視：一般提供時の安全装置や人の停止点が不足した

今後も似た事例は続くのか

短期的には、過去ログの再調査や新しい評価から、類似事例が追加で見つかる可能性があります。能力評価は、モデルが何をできるかを完全には把握できない段階で、強い道具を渡して試すからです。外部の評価会社が加われば、設定、監視、責任分界の確認箇所も増えます。

一方で、一般向けChatGPTやClaudeの通常チャットが自発的に企業を攻撃したという話ではありません。モデル名だけで危険度を決めず、接続先、秘密情報、外部操作、人の確認を分けて見る必要があります。

通常のチャットAIと、外部ツールを使って作業するAIエージェントの違いは、AIエージェントの仕組みとリスクで整理しています。

AIエージェントを使う前の4つの確認

1. 接続範囲：触ってよい場所と、外部ネットのどこまで届くか
2. 秘密情報：認証情報や社内データを読めるか
3. 外部操作：公開、送信、購入、削除を実行できるか
4. 人の確認：現実へ影響する操作の直前で止められるか

実務では、最初から全部を許可せず、読み取り専用、専用フォルダ、許可した通信先、実行前の確認という順番で広げると事故の範囲を小さくできます。

よくある質問

ChatGPTやClaudeが勝手に企業を攻撃したのですか？

いいえ。通常とは異なるサイバー評価で、攻撃課題、強い道具、外部へ届く経路、弱めた安全装置が重なった事案です。

Claudeの事例はOpenAI事件の後に起きたのですか？

そうとは言えません。Claude側で最も早い事例は2026年4月です。3事例それぞれの正確な日付と発生順は公表されていません。

AIが現実だと気づけば必ず止まりますか？

必ずではありません。今回、Opus 4.7は現実らしいと認識しても続行し、Mythos 5は演習だと解釈し直しました。一方、社内研究モデルは本物だと認識した時点で停止しました。

個人がAIエージェントを使う時に最優先で見る項目は？

外部へ影響する操作の直前に人の確認を入れられるかです。そのうえで、接続範囲、秘密情報へのアクセス、公開・送信・削除などの権限を絞ります。

まとめ

• 一般向けChatGPTやClaudeが勝手に攻撃した話ではない
• OpenAIでは閉じた環境の弱点を突破し、Anthropicでは開いていた経路を演習の一部と誤認した
• Claude側では14万1,006回の調査から3事例・6回の実行・3組織への影響が確認された
• 事故を左右するのは、モデル名より接続範囲、秘密情報、外部操作、人の確認

一次情報・関連動画

• OpenAI：Hugging Face model evaluation security incident
• Anthropic：Investigating incidents in cybersecurity evaluations
• Hugging Face：Agent intrusion technical timeline
• Hugging Face：Security Incident – July 2026
• JFrog：OpenAIとのゼロデイ修正に関する報告
• 前回動画：OpenAIのAIが制限を突破してHugging Faceへアクセスした事案
• 生成AIへ入力してはいけない業務情報

本記事は2026年7月31日時点の各社公式発表を基に、2026年8月2日に更新しました。第三者レビューや追加調査により内容が更新される可能性があります。