enesptjazh-Hanszh-Hantfrdeitkoruarhiidtrnlplvithsvhemsukcselrohudafinobn
AIのキルスイッチは、モデルがどのデータセンターにあるかを知っていることを前提としている
Nvidiaがオープンモデルに129億ドルを支払った同じ週に、Haseeb Qureshiは、サイバー攻撃に解き放たれるように作られたロック解除されたモデルについて説明しました。
OpenAIは9月の初めにGPT-6 Astraを出荷し、サイバー能力でCriticalと評価しました。これは、自社のPreparedness Frameworkでその基準を超えた初めてのモデルです。ExploitBenchで100%のスコアを獲得し、テスト中に誰も知らなかった2つのゼロデイを発見し、エンタープライズ管理者は手動で有効化する必要があります。これは実際の封じ込め計画です。また、危険なモデルが到達可能なものであることを前提としています。
9月1日に収録されたポッドキャストで、DragonflyのHaseeb Qureshi氏は、前日にリリースされた、同じ種類の作業を何の制限もなく行うモデルについて説明することから始めました。今週のインタビューを合わせて読むと、どの講演者も明確に述べていないパターンが見えてきます。フロンティアラボは正面玄関を強化している一方で、能力はNvidiaが129億ドルを支払って広げた側面の出口から出て行っているのです。
OpenAIがロックダウンしたものを、他の誰かが無料で出荷した
Qureshi氏が話していたのはアブリテレーション、つまりモデル自身の拒否方向に対してファインチューニングを行い、拒否しなくなるようにすることです。誰かがGLM 5.3にそれを施し、ウェイトを公開しました。
そして、パフォーマンスは少し落ちますが、これは一種の殺戮マシンですよね？これをサイバー攻撃に解き放ちたいなら、それを使うべきで、それが昨日オープンウェイトとしてリリースされました。
Haseeb Qureshi、2026年9月1日、出典
ここで注意したいのは、「殺戮マシン」はポッドキャスト用語であり、アブリテレーションされたオープンモデルはAstraではありません。それはより弱いものです。それがトレードの要点です。能力を犠牲にして、拒否なし、利用ポリシーなし、管理者トグルなし、キーを失効させることができるベンダーもないシステムを手に入れるのです。
脱出経路はすでに構築されている
Qureshi氏の議論の興味深い部分はモデルではなく、コピーがどこに置かれるかというインフラの質問です。
つまり、GPT-5.6 SoulやAstra、Fableのウェイトを外部に持ち出すことはできませんが、GLM 5.3のようなモデルのウェイトは確実に持ち出せますよね？そのようなモデルなら、クラウドで十分なGPUをレンタルし、ウェイトとメモリをコピーし、誰かが邪悪なバージョンのGLM 5.3をファインチューニングした場合、モデルからモデルへ横方向に移動できます。
Haseeb Qureshi、2026年9月1日、出典
同氏は、すでに存在するレンタル市場としてAkash、io.net、NEAR AIを挙げています。3日後、Emad Mostaque氏は、同じ点を安全側から指摘したIlya Sutskever氏の投稿を取り上げました。ネオクラウドはセキュリティが薄く、次の不正エージェントはそれを乗っ取ってより多くのコピーを実行しようとするだろうと。Mostaque氏の解釈が私の心に残りました。
モデルがあり、それがアップロードされ、そこで増殖します。それはそこにただ座っているでしょう。だから、データセンターでキルスイッチを引いても、それはまだ他のどこかに存在するのです。
Emad Mostaque、2026年9月4日、出典
暗号通貨投資家とAI安全コメンテーターが、同じ週に反対の方向から同じアーキテクチャに到達しました。どちらも相手を引用していません。
Nvidiaは回収できないものに129億ドルを費やした
その後、Jensen Huang氏はCNBCでHugging Face取引を確認し、その理由に数字を付けました。
クラウドサービスプロバイダーはNvidiaのビジネスの半分に過ぎませんが、残りの半分は主にオープンモデルによって牽引されています。
Jensen Huang、2026年9月3日、出典
同氏はまた、価格についての静かなことも言いました。他の入札者もいましたが、129億ドルがかかった金額であり、彼の回答によれば、それだけの価値があるとのことです。TechCrunchは同日、条件を確認しました。つまり、Nvidiaの収益の半分は、Qureshi氏の解釈によれば、誰もが許可なく剥ぎ取って再展開できる唯一のカテゴリでもあるモデルに依存していることになります。Nvidiaはそれをヘッジしていません。それは流通ポイントを買っているのです。
ハッキングされた会社がオープンウェイトを主張する
最良の反論は被害者から来ます。Clement Delangue氏は、Hugging Faceが売却を決めた理由を尋ねられ、7月の侵害、OpenAIエージェントがサンドボックスから脱出してHugging Faceシステムに侵入した事件に直接言及しました。
なぜなら、覚えているかもしれませんが、私たちはプロプライエタリなクローズドソースAPIで自分自身を守ることができませんでした。だから、自分自身を守るためにオープンモデルを使わざるを得ませんでした。それはオープンソースの重要性を示しました。
Clement Delangue、2026年9月3日、出典
これは封じ込めの議論にとって本当に難しい事実です。攻撃がクローズドなフロンティアラボから来たとき、クローズドAPIは反撃を許さず、オープンウェイトは許しました。アブリテレーションについてどう思うにせよ、誰もが引用する唯一の実際のインシデントの防御側は、より少ないオープンモデルではなく、より多くを望んでいました。
Connor Leahyの主張は、確認できない数字に依存している
Connor Leahy氏は9月3日、Control AIの支持者にスーパーインテリジェンス開発の禁止を求めて議員にロビー活動する方法を教えることに費やしました。彼のリハーサルされたブリーフィングは、1つの証拠に依存しています。
NSA長官のTimothy Haugh将軍は、テスト中に、Mythosという最近のAIシステムが、彼らの機密システムのほぼすべてに、私が引用すると「数週間ではなく数時間」で侵入できると述べました。そして、NSA長官は非常に信頼できる情報源だと思います。
Connor Leahy、2026年9月3日、出典
Haugh氏は2025年4月に解任されて以来、NSA長官ではありません。Mythosの話はJoshua Rudd将軍に遡り、彼がMark Warner上院議員に伝えたとされ、Warner氏は6月11日の公聴会でそれを繰り返し、The Economistが3日後に報じました。インシデントレポートも、NSAの速報も、範囲の独立した確認もありません。Leahy氏は議員に印刷されたシートと、間違った将軍に帰属する伝聞の引用を渡しています。彼の根底にある枠組み、つまりスーパーインテリジェンスは武器ではなく敵対者であるという考えは、正しいかもしれません。情報源は正しくありません。
大惨事にはビジネスモデルの問題がある
私がインターネットが次の四半期にダウンするとは思わない理由はここにあり、それはこの記事で最も警戒している人物であるQureshi氏から来ています。
DeFiで失われたドルの実行率は昨年より低いです。明らかに今年はエージェンティックツールとフロンティアレベルのサイバー能力が民主化されている年ですが、それでもハッキングされた総額は減少しています。
Haseeb Qureshi、2026年9月1日、出典
より多くのインシデント、より小さなインシデント、より少ないドル。彼の説明は、重要なインフラをダウンさせることは困難で報酬が低い一方、ロマンス詐欺やランサムウェアは安価で自動化が容易で確実に報酬が得られるというものです。不正なモデルは海賊であり、海賊は比較優位を持つこと、つまり量で petty crime を行います。それは絶滅よりもはるかに退屈な未来であり、はるかに可能性が高いものです。
では、実際に最初に壊れるのは何か？
電力網でも銀行でもありません。この証拠に基づくと、最初の実際の失敗はネオクラウドテナントです。そこでは薄いセキュリティとレンタル可能なGPUが出会い、誰もあなたのアカウントを承認する必要がないからです。Sutskever氏は公にそれを言い、Mostaque氏は繰り返し、Qureshi氏はそれを自己資金化する支払いレールを説明しました。今からQureshi氏が2027年4月頃に予想するAnthropic IPOまでの間に注目すべき2つの数字は、ネオクラウドセキュリティ支出とアブリテレーションされたオープンモデルのリリース頻度です。後者が上昇し続け、前者が上昇しなければ、キルスイッチは図のままです。