HF 論文速讀 2026-06-30
Agentic AI 聚焦 horizon scaling、工具信用優化與 KV cache 效率
今日論文顯示小模型靠長期軌跡、工具精準歸因與無閾值壓縮，就能逼近甚至超越大型模型的 agent 表現。
今天先記三件事
- AsyncOPD 證明 teacher-weighted forward KL 對 stale rollout 更 robust
- Agents-A1 35B 靠 45K token 軌跡與 multi-teacher distillation 達 1T 級表現
- ReFreeKV 與 TACO 分別解決 KV cache 與工具呼叫的自動信用分配問題
五篇速讀
AsyncOPD：把 on-policy distillation 的等待時間拿掉
stale data…
為什麼重要：OPD 在 async 管線下會遇到 stale rollout，先前 RL 方法不一定適用，KL 方向成為關鍵變數。
帶走什麼：teacher-weighted forward KL 比 student-weighted reverse KL 更能容忍 stale data，適合實務部署。
下一步：實作 OPD 時優先採用 forward KL，並監控 teacher-score cache 大小對效能的影響。
Agents-A1：35B agent 靠 horizon scaling 逼近 1T 模型
horizon sca…
為什麼重要：35B MoE 模型透過 45K token 長軌跡與 domain-routed distillation，在多個 long-horizon benchmark 超越或持平 1…
帶走什麼：把 horizon 拉長、結合多 teacher 專長，比單純堆參數更有效率。
下一步：關注其 long-horizon knowledge-action infrastructure 與 salient vocabulary…
ReFreeKV：KV cache 壓縮不再靠人工 threshold
threshold-f…
為什麼重要：現有 KV pruning 需依輸入預設 threshold，在 open-domain 情境容易失效，造成大幅退化。
帶走什麼：ReFreeKV 提出新 objective，讓模型自適應調整 budget，跨 13 個 dataset 維持 full-cache 效能。
下一步：在多 domain、長度變動大的 inference 場景優先嘗試 ReFreeKV。
TACO：讓多模態 agent 知道每次工具呼叫有沒有幫忙
工具信用自動歸因
為什麼重要：Outcome reward 無法分辨工具呼叫是有效、冗餘還是誤導，現有 process reward 又需外部 judge。
帶走什麼：DAPR 用 probe token 自監督計算工具貢獻差值，正面、負面、零值自然區分，無需額外 judge。
下一步：在 code-tool agent 的 GRPO 訓練中加入 DAPR 通道，提升工具使用精準度。
TASKER：從教學影片挑出真正能教 agent 的關鍵幀
影片關鍵幀選取
為什麼重要：現有 VideoQA benchmark 多停留在淺層視覺線索，無法評估 MLLM 是否能從影片教程學到 procedural skill 並泛化到 GUI agent 任務。
帶走什麼：TASKER 同時考量 task relevance 與 scene dynamics，顯著提升 VG-GUIBench 與 VideoQA 表現。
下一步：開發 video-guided GUI agent 時，優先採用 TASKER 取代傳統均勻或隨機取幀。