Agent-as-a-Router

模型路由的瓶頸不是推理能力不足，而是資訊赤字。給 router per-dimension 歷史表現就提升 15.3%%；做成 C-A-F loop 累積執行經驗後，ID 和 OOD 都碾壓靜態 router。

關鍵數據: Route 表現全對照

Router	ID AvgPerf%%	ID CumReg	OOD AvgPerf%%	類型
Oracle	57.00	0	75.89	理論上界
ACRouter (ours)	49.98	205.5	62.50	Agent-as-a-Router
DimensionBest	47.50	277.4	N/A	Static Heuristic
LinUCB	46.84	296.9	49.82	Online Bandit
Qwen3.5-0.8B-FT	46.41	309.1	55.36	Static Trained
Always-Opus 4.6	43.83	387.1	57.14	Single-Model
LogReg	47.26	284.4	19.64	Static Trained
Random	38.75	533.6	31.25	Baseline

ID: 2,919 tasks (9 coding dims)。OOD: 176 tasks (agentic programming)。靜態 classifier 在 OOD 崩到 8-21%%。

資訊赤字診斷

Ablation	AvgPerf%%	Perf/$	解釋
Oracle	57.00	8.20	每題選最佳模型
DimensionBest	47.50	3.69	用 probing set prior
Vanilla (zero-shot)	41.41	1.97	標準 LLM router
+Dimension	41.18	1.81	告知 dimension 反略差
+Perf stats	47.74	1.71	給 per-dimension 表現，+15.3%%

Claude Sonnet 4.6 做 router，2,919 tasks。給 prior stats 後 LLM router 超越 heuristic DimensionBest (47.74 vs 47.50)。

C-A-F Loop 機制拆解

元件	作用	ACRouter 實作
Context c_i	累積歷史回饋+任務描述+metadata	DimensionBest prior + kNN top-10 + task embedding
Action a_i	從 model pool 選模型執行	Qwen3.5-0.8B fine-tuned + weighted voting
Feedback f_i	Verifier 回傳 score+token cost	AST+sandbox exec+LLM-as-Judge 加權
Memory H	向量儲存所有歷史 (task,model,score,cost)	voyage-code-3/BGE-large, kNN top-10, FIFO 20K

C-A-F = contextual multi-armed bandit。Cumulative regret 為 streaming metric。Orchestrator 成本極低 (/usr/bin/bash.054/M tokens)。

8 模型 Pool: 無單一王者

模型	Avg%%	最強維度	最強 vs Opus
Claude Opus 4.6	42.9%%	-	-
GLM-5	-	Algorithm Design	+86%%
Qwen3-Max	-	Test Generation	+111%%
Kimi-K2.5	-	Data Science	+30%%

5 個不同模型在 9 個 dimension 中分別奪冠。Opus 總成本是 Kimi 的 ~12x。

落地應用建議

1. caf-router 加 Verifier+Memory
從靜態升級為動態。每次子 agent 完成記錄 (task,model,score,cost) 進向量 Memory，下次 kNN 檢索相似 task 的歷史表現。Agnes 免費模型做 Orchestrator。

2. 子 agent 模型池建立 per-dimension 表現矩陣
NVIDIA NIM 4 模型推理/程式強但事實弱。建立 per-task-type 表現矩陣輔助 routing。

3. 用 cumulative regret 取代成功率做 routing 指標
錯選模型的 score gap x 該 task type 頻率 = regret。比單純成功率更能捕捉 routing 失誤成本。

4. 成本分離: routing policy 用最便宜模型
ACRouter 用 Qwen3.5-0.8B 做 Orchestrator。我們的 routing 決策用 Agnes Free 或本地規則。

限制: OOD test 僅 176 tasks，限 coding agent 場景。我們的子 agent 任務含內容生成、翻譯、爬蟲等非 coding 任務，需自建 per-task-type 矩陣。GPT-5.4 backend 跑 OOD 達 75%%，代表 backend 演進本身也有顯著效果。

我們的筆記