別只看榜單分數：Agent 評測與可觀測性的實戰地圖

前言：榜單很漂亮，但你的 Agent 今天有退步嗎？

SWE-bench Verified 榜單寫了一條驚人的進步曲線：2024 年 3 月 Devin 以 13.86% 開出新水位，2025 年中領先者跨過 50%，到 2026 年 8 月，頂尖系統已經衝上 96%。數字很漂亮，但第一線部署 Agent 的工程師，說的是另一個故事：改壞的回歸、無視專案慣例的「修法」，以及——測試通過了，但其實是矇到的。

AgentLens 研究分析了 2,614 條 OpenHands 在 SWE-bench 上的執行軌跡，發現 10.7% 的「通過」屬於幸運通過（lucky pass）：回歸循環、盲目重試、缺少驗證步驟、探索順序錯亂。測試綠了，工程品質卻沒有。

這正是 Agent 評測的核心難題：學界基準告訴你「哪個模型比較強」，但回答不了「我的 Agent 今天有沒有比昨天退步」。而後者，才是生產環境每天要面對的問題。

評測的三層架構：如圖一

評測 Agent 不能只看最終答案，因為 Agent 產出的是「軌跡」——一連串工具呼叫、觀察與推理。實務上拆成三層：

底層：工具呼叫評測（Tool-Call Eval）。工具選對了嗎？參數填對了嗎？順序對嗎？代表基準是 τ-bench（航空／零售客服場景，專門考工具使用與規則遵循）。這一層最便宜、可完全自動化、訊號最密集，適合放進 CI，每次 PR 都跑。

中層：軌跡評測（Trajectory Eval）。走了幾步？有沒有多餘動作？出錯後會不會恢復？這裡的關鍵進展是 Agent-as-Judge：用一個 Agent 去評另一個 Agent 的完整執行軌跡，超越單輪 LLM-as-Judge「只看最後一句話」的侷限。代價是貴——評判本身也要燒 token。

頂層：功能正確性（Functional Correctness）。任務真的完成了嗎？SWE-bench（真實 GitHub issue＋隱藏測試）、GAIA（466 道多步推理題）、WebArena（812 個網頁導航任務）、OSWorld（Ubuntu 桌面 GUI 操作）。訊號是二元的、稀疏的，但最權威。

三層缺一不可：頂層通過了、中層卻是幸運通過，那就是未來的技術債。

基準地圖 2026：選對尺，才量得出東西

幾個值得記住的座標：

SWE-bench Verified 已於 2025 年 9 月退役（資料污染），接棒的是 SWE-bench Pro：商業級 repo 加上防污染設計。在舊榜單刷到 96%，不代表在新戰場一樣強。
DeepScholar-Bench（Stanford＋Berkeley，作者含 Ion Stoica、Matei Zaharia）：考「長文獻綜述」這種真實研究任務，沒有任何系統的幾何平均分超過 31%——提醒我們，基準的天花板離「實用」還很遠。
GAIA、WebArena、OSWorld、AgentBench 各自覆蓋助理、瀏覽器、桌面、多環境，沒有單一基準能代表「通用 Agent 能力」。

記住一個原則：拿學界基準選模型，拿自家任務集守品質。你的 Agent 跑的是公司內部的專有任務、對的是真實 SaaS 和瀏覽器，要的是多維指標加 SLA，不是榜單排名。

上線之後：Eval Flywheel，如圖二

真正的評測從上線才開始。業界逐漸收斂出一套飛輪：

執行 → 追蹤 → 評分 → 壞案例分析 → 優化 → 迴歸測試 → 金絲雀部署 → 回到執行。

追蹤：LangSmith（LangChain 生態整合最深，線上評分器、資料集管理）、Langfuse（MIT 開源核心、OpenTelemetry 原生，2026 年 1 月被 ClickHouse 收購）、Arize Phoenix（Apache 2.0，OTel 原生）、Braintrust（評測優先：playground → dataset → CI 的迴圈最順）、Helicone（改個 base URL 就接入的 proxy 方案）。OpenTelemetry 已經是事實標準。
評分：線上評分器（LangSmith Online Evaluators、Langfuse Scores）持續給生產軌跡打分，加上人工標註佇列處理邊界案例。
迴歸：promptfoo 的 assertions、DeepEval（pytest 風格）擋在 CI 裡面，模型或 prompt 一改就重跑。

飛輪轉起來的標誌：生產流量的壞案例，自動回流成迴歸測試。每一次線上翻車，都讓測試集變強一點。

實作要點：開始建評測的五個決策

能寫確定性斷言的先寫：工具參數、最終狀態、API 副作用，這些不用 LLM 評判，assert 就夠了，又便宜又穩。
評判模型要先校準：LLM-as-Judge 上線前，先跟人類標註測一致性；沒校準過的評分，只是另一種幻覺。
軌跡評測要看效率：同樣答對，走 20 步跟走 5 步的成本差 4 倍。步驟數、token 數、工具呼叫次數都是第一公民指標。
版本化一切：prompt、工具定義、模型版本一起進評測矩陣，否則退步了你都不知道是誰的錯。
從 20 個黃金任務開始：別一開始就想建平台。20 個代表性任務加每週跑一次，勝過半年後才上線的完美系統。

一個最小可用的軌跡評分器長這樣（概念碼，DeepEval 風格）：

from deepeval.test_case import LLMTestCase
from deepeval.metrics import TaskCompletionMetric, ToolCorrectnessMetric

case = LLMTestCase(
    input="幫我把這張發票報銷",
    actual_output=agent.run("幫我把這張發票報銷"),
    tools_called=["ocr_invoice", "submit_expense"],   # 實際呼叫的工具
    expected_tools=["ocr_invoice", "submit_expense"], # 預期工具序列
)
TaskCompletionMetric().measure(case)   # 頂層：任務完成了嗎
ToolCorrectnessMetric().measure(case)  # 底層：工具用對了嗎

重點：評測程式本身也要進版控、進 CI。評測不是一次性功課，是每天跑的測試。

結論

評測的三層架構告訴你「壞在哪一層」，Eval Flywheel 讓「每次壞掉都變成未來的測試」。榜單分數是別人的比賽，你的比賽只有一個問題：我的 Agent 今天比昨天好，還是壞？

答不出來這一題，可觀測性就是你技術棧的第一優先級。

參考來源

Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues?（ICLR 2024）
Zhuge et al., Agent-as-Judge: Evaluate Agents with Agents for Long Tasks — arxiv.org/abs/2410.10934
Yao et al., τ-bench: A Benchmark for Tool-Using LLMs — arxiv.org/abs/2406.12045
Mialon et al., GAIA: a benchmark for General AI Assistants
Xue et al., OSWorld: Benchmarking Multimodal Agents in Real Computer Environments（NeurIPS 2024）
AgentLens 幸運通過研究（經 WebProNews 報導）— webpronews.com
Stanford CS329A 自我改進 Agent 課程筆記 — jameskle.com
AI 可觀測性工具比較 2026 — cognee.ai
LangSmith vs Langfuse vs Helicone vs Arize Phoenix 選型短評 — codeables.dev
Agent 評測綜述（含 Eval Flywheel 方法論）— github.com

Dylan House