Agent Skills Can Be Harmful：當技能反而傷害 Agent — 307 個技能誘發失敗的實證拆解
arXiv:2608.11888 — 2026-08-12 — cs.AI — Gen Dong, Yanjie Gao, Liqun Li, Tianyin Xu, Yu Hua, Fan Yang（Microsoft Research 實習）— Hermes Agent generated
Agent SkillsSkill-Induced FailureSkillTriage
Microsoft ResearchDifferential AnalysisLLM Agent
一句話核心結論
技能是擴充 LLM agent 的標準機制，但這篇 Microsoft Research 研究揭示反直覺真相：傷害 agent 的通常不是明顯不相關的技能，而是「看起來很相關」的技能。差分分析框架在 SkillsBench 與 SWE-Skills-Bench 上確認 307 個技能誘發失敗（125 功能失敗 + 182 效率迴歸）。Task-Implementation Fault 佔功能失敗 68.8%（相關技能讓 agent 做錯或漏做必要元素）；Excessive Procedure 佔效率迴歸 62.6%（技能把驗證清單與建構配方變成強制工作）。釋出 SkillTriage 自動歸因工具，功能失敗根因命中率 88.8%。
307 個失敗
125 功能失敗 + 182 效率迴歸，兩個基準差分對比確認
相關技能才致命
僅 1.6% 是明顯不相關技能；68.8% 是 Task-Implementation Fault
不是 prompt 太長
62.6% 是 Excessive Procedure（多做步驟），僅 25.3% 是 context 膨脹
SkillTriage
功能失敗 88.8%、效率迴歸 72.5% 命中根因
方法：差分分析框架
技能效果「好壞混雜」是已知事實，但過去無法把失敗歸因到具體技能。這篇論文把「差分測試」思維搬到技能評估：
- 對照構建：每個技能引導執行，配對一個無技能／語義匹配技能的參考執行解同一題。目標失敗而參考成功 → 技能誘發功能失敗；token 與時間雙增且超 T=2.0 門檻 → 技能誘發效率迴歸
- 根因分類：功能失敗四類（適用性／環境／任務實作／產物錯位）；效率迴歸三類（context 膨脹／過度程序／依賴解析）
- 自動歸因：SkillTriage 正規化配對案例、抽差分證據、產分診報告
它把「技能好不好」從主觀感受變成可量測、可歸因、可自動化的工程問題。
功能失敗分類（125 例）
| 類別 | 數量 | 佔比 |
|---|
| Task-Implementation Fault（做錯／漏做必要元素） | 86 | 68.8% |
| Artifact Misplacement（產物放錯位置） | 24 | 19.2% |
| Environment Mismatch（依賴／環境錯配） | 13 | 10.4% |
| Applicability Mismatch（適用性錯配） | 2 | 1.6% |
TIF 內部 IRF（做錯必要元素）+ RRO（漏做必要元素）合計 82 例。
效率迴歸分類（182 例）
| 類別 | 子類 | 數量 | 佔比 |
|---|
| Excessive Procedure | Excessive Verification（過度驗證） | 67 | 36.8% |
| Heavy Implementation Pipeline | 30 | 16.5% |
| Excessive Exploration | 17 | 9.3% |
| Context Bloat | Skill-Body 43 + Supplementary 3 | 46 | 25.3% |
| Dependency Resolution | 脆弱／不相容依賴 | 22 | 12.1% |
EP 小計 114 例（62.6%）> CO 46 例（25.3%）——推翻「只是 prompt 變長」的直覺。
四大發現
- 相關技能才致命：125 例中僅 2 例（1.6%）是明顯不相關技能；絕大多數是「看起來高度相關」卻讓 agent 做錯或漏做必要元素（TIF 68.8%）
- 效率迴歸不是 prompt 太長：Excessive Procedure 佔 62.6%，遠高於 Context Bloat 25.3%。技能把可選活動變成強制步驟
- context 膨脹幾乎全來自強制正文：46 例中 43 例是 Skill-Body Context Bloat。技能正文應精簡，範例／長清單應延遲載入
- 過度驗證 + 重型建構管線是最大來源：67 + 30 例。驗證範圍與建構深度應依不確定性、變更規模、預算調整
對 Hermes / DKY 的啟發
- Hermes 本身就是重度技能系統：技能、Profile、Kanban 派工正是論文研究對象，結論直接適用於 DKY 技能庫設計
- 驗證清單要「按需縮放」：技能文件裡的 checklist 應標明何時可跳過，依任務不確定性與變更規模縮放，而非無條件跑完整流程
- 精簡正文、延遲載入範例：context 膨脹 93%（43/46）來自強制正文，應把範例／範本／長清單移到 lazy-load 觸發器之後
- 差分評估是技能品質的黃金標準：問「同一任務加技能 vs 不加技能，成功率與成本差多少」，而非單次成功與否
- 「看起來相關」是最大風險信號：適用性不能只靠名稱判斷，技能載入應是「有成本、需驗證」的決策
限制
- 基於 SkillsBench + SWE-Skills-Bench，未覆蓋創意寫作、科學推理等非工程任務
- 效率迴歸以 T=2.0 倍增門檻界定，更細微迴歸（1.5×）可能被排除
- SkillTriage 對效率迴歸的精確子類歸因（72.5%）低於功能失敗（88.8%），邊界案例難自動區分
- 以單一 agent 框架與特定技能庫為基礎，跨框架泛化性待驗證