跳至主要內容

作者

發佈日期

閱讀時間

閱讀約 3 分鐘

字體大小

分享

電郵

人工智能新訊

DeepMind 推 Genie 4:即時互動世界模擬加入原生音訊與對話,研究預覽將開放 AI Ultra

DeepMind 2026-10-27:Genie 4 新一代世界模型;原生多模態音訊/環境聲/互動對話;Gemini Omni 錨定真實;Gemini 3.8 Flash 迴路引導;可信測試者預覽;將開放 Google AI Ultra/Project Genie;SynthID;早期實驗限制如實披露。

夢幻可探索浮島風景與柔和環境光,象徵即時互動世界模擬(意象插畫,無文字、無標誌)。

Google DeepMind 於 2026 年 10 月 27 日宣布推出 Genie 4:新一代世界模型,強調前所未有的真實感,並提升即時互動模擬能力。文章署名 Raia Hadsell、Diego Rivas、Hang Qi。Genie 4 原生多模態,可同時生成音樂類音訊、環境聲,以及與世界互動的對話——DeepMind 稱這是其首個能原生生成音訊的即時世界模型。

建基於 Gemini 家族:真實錨定與連貫推理

Genie 4 納入並延伸 Gemini 家族能力:Gemini Omni 把模擬錨定在真實世界的外觀與行為;其他 Gemini 模型則提供維持模擬連貫與連續所需的複雜推理。使用者可啟動事件,由 Genie 4 模擬接下來世界如何回應、如何發聲,以及人物如何移動、反應與說話。

鍵盤/鏡頭操控與音訊波紋匯入可探索場景,象徵即時轉向與原生音訊(意象插畫,無文字、無標誌)。
鍵盤/鏡頭操控與音訊波紋匯入可探索場景,象徵即時轉向與原生音訊(意象插畫,無文字、無標誌)。

鍵盤/鏡頭操控與音訊波紋匯入可探索場景,象徵即時轉向與原生音訊(意象插畫,無文字、無標誌)。

鍵盤/鏡頭操控與音訊波紋匯入可探索場景,象徵即時轉向與原生音訊(意象插畫,無文字、無標誌)。

即時轉向:自然語言與鍵盤

官方示範中,使用者以標準鍵盤控制導航與鏡頭,並以文字提示即時引導場景——例如改天氣、移動鏡頭、引入新人物或物件;Gemini 會依當下場景語境調整提示。在使用者輸入之間,Gemini 也會持續監察並引導場景,讓世界連貫推進。物理與人物動作真實感亦有提升:可模擬空氣動力學、碰撞等;角色能自然移動、對環境有機回應,並可即時操控。

原生音訊與對話;Gemini 3.8 Flash 作迴路引導

Genie 4 是 DeepMind 首個原生生成音訊的即時世界模型:每個世界帶有場景環境聲,並引入可即時適應的互動對話。為在即時模擬中處理複雜多步事件,Gemini 3.8 Flash 作為迴路中的引導代理人:持續觀察場景、把目標拆成步驟、檢視畫格以核對進度;當世界或使用者介入改變時,即時調整計劃。DeepMind 亦在實驗 Gemini 4 Argon 與 Genie 4、Gemini Robotics 的結合——例如模擬 Apptronik Apollo 人形機器人下棋,由 Argon 拆解任務步驟並以文字字幕即時導向 Genie 渲染。

可信測試者、供應與安全

研究預覽正向創意產業、新聞、教育、遊戲與工程等領域的可信測試者推出,用途包括預視、檔案照片轉模擬、遊戲概念原型、企業「從零到一」情境等。隨後將開放予 Google AI Ultra 訂戶於 Project Genie,以及 Gemini API 與 Google AI Studio 的早期存取合作夥伴;Project Genie 設有 Genie 4 等候名單。

安全方面採與其他模型一致的嚴格防護;預覽前完成內部安全評估;Genie 4 產出的所有影片與音訊均附 SynthID 浮水印。官方同時坦言限制:仍屬早期實驗;較長時段或多輪複雜編輯後,細節與物件恆常性可能漂移;複雜物理、即時音訊準確度、清晰文字、空間準確度與長期一致性仍是進行中的研究方向。未來願景指向混合世界模型:Gemini 負責結構與敘事規劃,Genie 負責外觀、聲音與即時回應的像素級渲染。

主要來源:

  • Google DeepMind, “Genie 4: A new generation of world simulation,” 2026-10-27, https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/
  • Google, “We’re announcing Genie 4…,” 2026-10-27, https://blog.google/innovation-and-ai/models-and-research/google-deepmind/introducing-genie-4/

來源: https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/

FFOO Labs 通訊

不定期分享關於 AI、科技,以及想像與實踐之間種種思考的筆記。

透過 RSS 追蹤