Handshake AI Research 於 2026 年 9 月公開預印本 StudentBench：在 GRE Quantitative 與 Verbal 上，比較 AI 輔導、真人專家輔導與無輔導對照。分析涵蓋約 2,383 名成人受試、合共約 2,469 場有效 session，並記錄逾 175,000 則學生–AI 對話。核心結果是：匯總 AI 輔導與真人專家輔導在 GRE 學習增益上統計等價（p=.015）；其中 Gemma 4 31B 個別通過與真人的等價檢定（p=.044），且按論文所用成本定義，每百分點增益的推論成本約為真人參考的 1/918。平台公開於 studentbench.org。
「補習智能體值不值得聘」這類問題，往往停在體感或單一產品示範。StudentBench 把問題改寫成可核對的實驗：同一套前測／後測、同一小時教學時長、對照真人與無輔導，再用等價檢定（TOST）而不是單純「誰分更高」來回答。
研究怎麼設計
每名學生先完成一輪與 GRE 時長相仿的前測（Quantitative 27 題／47 分鐘，Verbal 27 題／41 分鐘），用約五分鐘複習錯題，再隨機進入三種條件之一：
- AI 輔導：由其中一個 LLM 導師負責課綱規劃、練習題生成與一小時文字對話輔導；
- 真人專家輔導：一對一視像通話；
- 無輔導對照：觀看與 GRE 無關的教育影片。
其後完成難度與概念對應、但題目不同的後測。前測與後測表格會隨機對調，避免把試卷難度差誤當成學習增益。題目由前 ETS／Kaplan GRE 出題者新編，刻意不用公開舊題，以降低模型訓練資料污染。AI 導師全程看不到後測。
學習增益定義為後測正確率減前測正確率（百分點）。比較時以 ANCOVA 等方式校正前測分數與試卷表格等共變項；AI–真人等價則採雙單側檢定（TOST），主分析界線為 ±0.25 個匯總標準差（合併 GRE 約對應 ±4.09 百分點），並另報更嚴的 ±0.20 SD。
第二研究另請 51 位專家導師，就 AI 生成的課綱與內嵌練習題完成 2,028 對成對評審，把「課綱規劃」「練習題設計」與對話教學行為分開打分。
關鍵結果：匯總等價，但不是「每個模型都一樣」
匯總所有 AI 導師後，合併 Quantitative 與 Verbal 的學習增益與真人專家統計等價（p=.015）；同一比較亦通過更嚴的 ±0.20 SD 界線（p=.023）。調整後 AI–真人差異約為 −0.58 百分點（90% CI [−2.18, 1.03]）。
相對無輔導對照，調整後 AI 增益約為：
- Quantitative：+6.86 百分點；
- Verbal：+5.47 百分點；
- 合併：+6.15 百分點（約多對 1.5–2 題，以 27 題計）。
必須同時讀清楚邊界：
- 等價是匯總結果，不是「所有模型皆等價」。 論文在七個 GRE 子領域中，有五個領域的最佳 AI 導師平均增益超過該領域真人平均；但模型之間仍有差異，個別等價檢定另計。
- Quantitative 在 ±0.25 SD 下亦建立等價；Verbal 匯總則未以同樣方式建立個別／分科等價。 全科均值上，真人輔導在 Verbal 仍保有最高整段均值；Quant 上則有多個 AI 平均增益高於真人。
- 學習增益量測的是即時前後測，不是數月後的長期保留。
成本、延遲與投入鏈
論文把「每一百分點學習增益要花多少錢」寫成可比較單位：場次平均成本 ÷ 平均增益。真人參考採公開市場報價 每小時 75 美元；AI 端則是課綱、練習與一小時對話的推論成本（約 97% API 呼叫可重建）。在此定義下，Gemma 4 31B 達到與真人等價的 GRE 學習增益（p=.044），每百分點成本約為真人參考的 918 分之一（論文示例：約 0.0052 美元對 4.81 美元／百分點；該模型整場平均推論成本約 0.067 美元）。另有五個 AI 導師亦通過個別等價檢定；成本光譜很寬——同批模型場次平均推論成本約從 0.067 美元到逾 20 美元不等。
Quant 路徑上，探索性分析描出一條關聯鏈（皆 p<.002）：較快的 AI 回覆 ↔ 更多學生訊息 ↔ 更多首次答對的練習 ↔ 更大學習增益。Verbal 未呈現同樣顯著的關聯——Verbal 學生往往訊息較少、單則較長，訊息數作為「投入」指標在兩科不可直接互換。
專家成對評審另顯示：課綱與練習題偏好上，部分模型家族（如 Anthropic 系）分數突出；但教學能力排行榜與最終學習增益並非一一對應——延遲與練習量可能解釋為何某些「教學行為分數」非最高的模型，仍能達到人類水平增益。
限制與仍須保留的句子
論文自己標出的限制，應原樣留在敘事裡：
- 沒有長期保留追蹤——立即增益不能自動外推為數月後仍在。
- 沒有「只做練習題、不與導師互動」的對照——因此無法單獨拆出「對話輔導」相對「自習練習」的增量。
- 樣本與場景：英語讀寫成人、Handshake 平台招募的有償研究；未測多語、多裝置或真實校園部署。
- 成本倍數依賴定義：AI 為推論成本，真人為 75 美元／小時參考——換市場價或計入平台／人力管理成本，倍數會變。
- 領導榜評的是專家偏好與對話行為，不是直接等於學習增益。
研究經 BRANY IRB 核准；資料與程式碼開源，平台免費開放。
這對「要不要聘 AI 導師」意味甚麼
在 StudentBench 的設定裏——一小時、GRE Quant／Verbal、最小軟體支架、與真人專家及無輔導對照並列——匯總 AI 輔導已能產生與真人統計等價的即時學習增益，且部分開源／輕量模型在單位成本上拉開巨大差距。這回應的是 Bloom「二個標準差問題」的可負擔版本：個別化輔導若不再主要受家庭支付能力限制，機會結構會改變。
它並不自動推出「全面取代真人」，也不推出「任意聊天機器人都能教」。較穩妥的讀法是三句：
- 能力已跨過可核對的等價門檻（匯總；部分模型個別亦然），尤其在 Quantitative；
- Verbal 與長期保留仍是真人優勢與未解問題並存的地帶；
- 延遲、練習與投入可能和模型「教得好不好看」同樣重要——評測若只看課綱品味而忽略學生實際做對多少題，會漏掉增益機制。
StudentBench 把「AI 能否教人」從口號拉回實驗桌：數字公開、限制寫明、平台可進。補習智能體值不值得聘，答案不再是感覺，而是條件句——在何種科目、何種成本定義、以及你是否接受「即時增益」作為當下指標。
主要資料來源
- Curtis Northcutt, Inaara Hasmani, Kevin Feng, Trevor Khangi, Andreas Plesner, Jonas Mueller（Handshake AI Research）：StudentBench: AI and human tutoring yield equivalent GRE learning gains（arXiv:2609.28470，2026 年 9 月）
- StudentBench 平台：https://studentbench.org
