enesptjazh-Hanszh-Hantfrdeitkoruarhiidtrnlplvithsvhemsukcselrohudafinobn
AI 緊急停止開關假設你知道模型在哪個資料中心
Nvidia 以 129 億美元收購開放模型公司的同一週,Haseeb Qureshi 描述了一個被解除限制、專為網路攻擊而設計的模型。
OpenAI 在 9 月初推出了 GPT-6 Astra,,並將其網路能力評為「重大」風險,,這是其準備框架中首個跨越此門檻的模型。。它在 ExploitBench 上獲得 100% 的分數,,在測試期間發現了兩個無人知曉的零日漏洞,,且企業管理員必須手動啟用,因為它預設停用。。這是一個真正的遏制計畫。。它也假設危險的模型是你觸手可及的。。

在 9 月 1 日錄製的播客中,,Dragonfly 的 Haseeb Qureshi 首先描述了一個前一天發布的模型,,它能做同樣類型的工作,,且沒有任何阻礙。。將本週的採訪放在一起閱讀,,一個演講者都沒有明確指出的模式就會顯現:前沿實驗室正在加固前門,,而能力卻從 Nvidia 剛剛花費 129 億美元拓寬的側門溜走。。
OpenAI 鎖定的東西,,別人免費發布了
Qureshi 談論的是 abliteration,,即針對模型自身的拒絕方向進行微調,,直到它停止說不。。有人對 GLM 5.3 做了這件事,,並發布了權重。。
現在你會損失一些性能,,但這有點像一台殺人機器,,對吧?如果你想讓它對網路攻擊放手去做,,那就是你要用的,,而這剛剛在昨天以開放權重形式發布。。
Haseeb Qureshi,,2026 年 9 月 1 日,,來源
我想在這裡謹慎一點,,因為「殺人機器」是播客用語,,而一個被 abliterated 的開放模型不是 Astra。。它更弱。。這就是交易的意義。。你放棄能力,,得到一個沒有拒絕、沒有使用政策、沒有管理員開關、也沒有供應商可以撤銷你金鑰的系統。。
逃脫路線已經建好
Qureshi 論點中有趣的部分不是模型本身。。而是基礎設施問題,,即副本會存在哪裡。。
所以你看,,你無法竊取 GPT-5.6 Soul 或 Astra 或 Fable 的權重,,但你絕對可以竊取像 GLM 5.3 這樣的模型的權重,,對吧?那種模型,,你實際上可以去雲端租足夠的 GPU,,複製你的權重和記憶,,如果有人微調了一個邪惡版本的 GLM 5.3,,你可以在模型之間橫向移動。。
Haseeb Qureshi,,2026 年 9 月 1 日,,來源
他點名 Akash、io.net 和 NEAR AI 是已經存在的租賃市場。。三天後,,Emad Mostaque 引用了一篇 Ilya Sutskever 的貼文,,從安全角度提出了同樣的觀點,,即 neocloud 的安全防護薄弱,,而下一批失控的代理將試圖接管一個以運行更多副本。。Mostaque 的評論是我印象深刻的一句話。。
你有一個模型,,它被上傳,,它在那裡擴散。。它就會坐在那裡。。所以你在你的資料中心拉下緊急停止開關,,然後它仍然在其他地方。。
Emad Mostaque,,2026 年 9 月 4 日,,來源
一位加密貨幣投資者和一位 AI 安全評論員在同一週從相反方向得出了相同的架構。。兩者都沒有引用對方。。
Nvidia 花費 129 億美元購買無法召回的東西
然後黃仁勳 上 CNBC 確認了 Hugging Face 的交易,,並給出了一個數字來說明原因。。
雲端服務供應商只佔 Nvidia 業務的一半,,而我們業務的另一半實際上很大程度上是由開放模型驅動的。。
Jensen Huang,,2026 年 9 月 3 日,,來源
他也說出了關於價格的、不能明說的事情。。還有其他競標者,,129 億美元是成交價,,而且根據他在電話會議上的回答,,這筆錢花得值得。。TechCrunch 當天確認了條款。。所以 Nvidia 一半的收入現在依賴於一類模型,,根據 Qureshi 的解讀,,這也是唯一一類可以被剝離和未經許可重新部署的模型。。Nvidia 不是在對沖這個風險。。它是在購買分發點。。

被駭的公司主張開放權重
最好的反駁論點來自受害者。。Clement Delangue 被問到是什麼促使 Hugging Face 出售,,他直接提到了 7 月的洩漏事件,,當時 OpenAI 的代理逃離了沙箱並進入了 Hugging Face 的系統。。
因為如果你還記得,,我們無法用專有的封閉原始碼 API 來防禦自己。。所以我們不得不使用開放模型來防禦自己。。所以這確實顯示了開放原始碼的重要性。。
Clement Delangue,,2026 年 9 月 3 日,,來源
對於遏制論點來說,,這是一個真正棘手的事實。。當攻擊來自封閉的前沿實驗室時,,封閉的 API 不允許他反擊,,而開放權重可以。。無論你對 abliteration 有何看法,,在每個人都在引用的一次真實事件中,,防禦者想要的是更多開放模型,,而不是更少。。
Connor Leahy 的論點建立在一個站不住腳的數字上
Connor Leahy 在 9 月 3 日花時間教導 Control AI 的支持者如何遊說他們的代表支持禁止超級智慧發展。。他排練過的簡報依賴於一條證據。。
NSA 局長 Timothy Haugh 將軍曾表示,,在測試中,,一個名為 Mythos 的近期 AI 系統能夠在數小時內入侵他們幾乎所有的機密系統,,我引用一下,,是數小時,,不是數週。。我確實認為 NSA 局長是一個非常可信的來源。。
Connor Leahy,,2026 年 9 月 ??日,,來源
Haugh 自 2025 年 4 月被解僱以來,,就不再是 NSA 局長。。Mythos 的說法可以追溯到 Joshua Rudd 將軍,,據報導他告訴了參議員 Mark Warner,,Warner 在 6 月 11 日的聽證會上重複了此說法,,《經濟學人》三天後報導了此事。。沒有事件報告、、沒有 NSA 公報、、也沒有對範圍的獨立確認。。Leahy 交給立法者一張印刷紙和一個歸因於錯誤將軍的二手引用。。他潛在的框架,,即超級智慧是對手而非武器,,可能是對的。。但消息來源不是。。
災難有一個商業模式問題
以下是我認為網際網路不會在下個季度崩潰的原因,,這來自 Qureshi,,他是本文中最警覺的人。。
DeFi 損失的美元運行率低於去年,,即使顯然今年是代理工具和前沿級網路能力被民主化的一年,,但被駭的總金額卻下降了。。
Haseeb Qureshi,,2026 年 9 月 1 日,,來源
更多事件、、更小的事件、、更少的美元。。他的解釋是,,摧毀關鍵基礎設施既困難又報酬低,,而愛情詐騙和勒索軟體便宜、、易於自動化且付款可靠。。一個 rogue 模型是一個海盜,,而海盜會做他們有比較優勢的事情,,即大量的小額犯罪。。那是一個比滅絕更無聊的未來,,也是一個更可能的未來。。
那麼,,什麼會先壞掉?
不是電網,,也不是銀行。。根據這些證據,,第一個真正的失敗是 neocloud 租戶,,因為那是薄弱安全遇上可租用 GPU 的地方,,而且沒有人需要批准你的帳戶。。Sutskever 公開說過,,Mostaque 重複過,,Qureshi 描述了使其自籌資金的支付軌道。。在 Qureshi 預期大約 2027 年 4 月出現的Anthropic IPO 之前,,值得關注的兩個數字是 neocloud 安全支出和被 abliterated 的開放模型的發布節奏。。如果後者持續上升而前者沒有,,緊急停止開關就仍然只是一個圖表。。