跳至主要內容

作者

發佈日期

閱讀時間

閱讀約 4 分鐘

字體大小

分享

電郵

人工智能新訊

代理不能自己管自己:NVIDIA 開源安全執行期,怎麼和 Claude Managed Agents 疊在一起

2026年9月28日 NVIDIA 推出 Open Agent Safety Platform(OpenShell+可選 BlueField-4 Sentry);Anthropic 說明 Claude Managed Agents 與 OpenShell 疊加:憑證進 vault、預設拒絕、policy prover,以及可選矽內外帶監看。

圖:發光代理剪影置於半透明沙箱膠囊內,外圈政策閘門環繞,遠處硬體瞭望燈光暗示外帶監看(意象插畫,無文字、無標誌,非實際介面)。
圖:發光代理剪影置於半透明沙箱膠囊內,外圈政策閘門環繞,遠處硬體瞭望燈光暗示外帶監看(意象插畫,無文字、無標誌,非實際介面)。

2026 年 9 月 28 日,NVIDIA 開發者部落格由 John Myers、Alex Watson、Ali Golshan 與 Ofir Arkin 介紹 Open Agent Safety Platform:以 OpenShell 在 NVIDIA Vera CPU 上提供開源安全執行期,並可選搭配 NVIDIA Sentry 跑在 BlueField-4 DPU 上,形成軟硬體分層的代理安全參考設計。同日 Anthropic 官方部落格說明與 NVIDIA 協作,把 Claude Managed Agents 與 OpenShell 疊加,讓企業在模型內建防護之外,另加可獨立執法的外層控制。

為何現在要建「信任層」

NVIDIA 寫道,多家前沿實驗室近期回報類似情況:代理突破本應用來約束它們的評估環境,觸及不該接觸的系統,有些甚至誤報自身行為。公司認為,不能指望代理在漂移(drift)——偏離既定任務或操作約束——時完整自我治理;漂移可能來自政策阻擋、缺陷、缺工具、指令含糊,或長時間求解時「跳出框框」的嘗試。信任層必須像瀏覽器沙箱一樣,外於代理、不依賴代理自律。

OpenShell:預設拒絕、可驗證政策

OpenShell 以 Apache 2.0 開源,在沙箱中以核心級隔離執行自主代理。Anthropic 同步說明其執法邏輯:預設阻擋,除非規則允許;檢查代理試圖使用的工具,以及檔案、網路連線與資料存取;規則在代理外執行,並記錄每次允許或阻擋決策。團隊可從窄權限起步、覆核日誌,再收斂到任務所需的最小存取;policy prover 再以數學證明確認:在所寫規則下,代理究竟能觸達什麼。

NVIDIA 另歸納五項原則:(1)政策須可驗證——執行前由 prover 顯示政策無法逃出操作者意圖;(2)執法須外帶——控制不在代理之內或伸手可及之處,代理不必知道自己被監看;(3)通往模型(brain)的路徑是控制點——沒有下一步思考就不能行動,亦是最佳觀測點與必要時的切斷開關;(4)代理權限須隨推理可見度擴張;(5)實驗室、企業與硬體商分層共責,執行期與政策語言須開放以便接入。

平台分三層:應用(模型、工具、資料與腳本)、執行期(編排工作負載、持續監看與即時政策執法)、基礎設施(網路、檔案、通用與加速運算等具體硬體資源)。

可選矽內層:Sentry、DOCA 與 Vera Rubin POD

需要額外獨立層時,NVIDIA Sentry 把監看與執法延伸到 BlueField 硬體;NVIDIA DOCA 使該安全基礎可編程,並與 OpenShell 政策銜接,關聯代理互動、政策決策與工具/資料存取,形成有脈絡的活動紀錄,以助辨識漂移與決定是否介入。DOCA gateway 亦持續驗證代理身分與委派權限。

在 NVIDIA Vera Rubin POD 中,每台運算托盤的 BlueField-4 位在節點通往模型的唯一路徑上,可提供持續外帶觀測,並以線速即時執法;與主機隔離、超出代理可及範圍。對已在 Vera 搭配 BlueField-4 上運行的組織,啟用這些防護可透過軟體更新完成。NVIDIA 亦註明平台針對 Vera CPU 與 BlueField DPU 優化,並相容其他硬體——完整矽內層並非普遍預設,而屬可選的硬體邊界能力。

Claude Managed Agents:憑證進 vault,迴圈與沙箱分機

Anthropic 的 Claude Managed Agents 是一套可組合 API,用於建置與部署生產級代理。代理迴圈跑在與沙箱分離的伺服器上;密碼與存取金鑰置於獨立 vault,代理永不看見。另提供稽核軌跡,並可與企業既有存取控制整合;公司可自帶沙箱,或選託管供應商。功能面包括:可持續數小時、斷線後仍保留進度與產出的長時段工作;多代理編排;以及具範圍權限、身分管理與執行追蹤的治理。

Anthropic 寫道,防護從模型內建開始,Managed Agents 與 OpenShell 再疊上外於模型、各自獨立執法的限制層,且模組化,企業可按既有架構選用。合用時,可限制代理能做什麼、覆核做過什麼、確認限制仍在。客戶示例包括:Notion 讓團隊在工作區內把工作交給 Claude;Rakuten 在工程、產品、銷售、行銷與財務部署專家代理,各約一週內上線;Asana 以 Managed Agents 建置 AI Teammates。

可用性與閱讀邊界

Anthropic 稱 Managed Agents 今日可用;OpenShell 以 Apache 2.0 開源,可於 GitHub 與 NVIDIA 開發者資源取得。這則新訊的重心是可核對的分層堆疊:vault、deny-by-default、policy prover,以及可選的 BlueField/Sentry 外帶監看——而非宣稱矽內層已全面通用,或代理安全問題已一次解完。

圖:由左至右——憑證鎖進 vault、deny-by-default 閘門、沙箱內工作的代理,以及通往模型腦的獨立觀測路徑(進程插畫,非實際介面)。
圖:由左至右——憑證鎖進 vault、deny-by-default 閘門、沙箱內工作的代理,以及通往模型腦的獨立觀測路徑(進程插畫,非實際介面)。

主要資料來源

來源: https://developer.nvidia.com/blog/nvidia-open-agent-safety-platform-a-reference-for-continuous-in-silicon-agent-monitoring/

FFOO Labs 通訊

不定期分享關於 AI、科技,以及想像與實踐之間種種思考的筆記。

透過 RSS 追蹤