Harness Atlas

COURSE 01 · Harness Engineering

Evals(評価)

ハーネスを磨くには、良くなったかを測る必要がある。最後の結果だけでなく、途中の軌跡(trajectory)を見る。成功率・進捗率、見かけだけの成功、LLMを審判にする方法を見る。

これは詳細編「詳しく学ぶ(トピック別)」のレッスンです。ハーネスを設計し磨く営みには、良くなったかを測る物差しが要ります。それがEvals(評価)です。

なぜ測るのが難しいか

ハーネスを変えたとき、本当に良くなったのかは、感覚では分かりません。だから評価します。ただ、エージェントの評価には固有の難しさがあります。作業が多段だからです。

最後の成果物だけを見る評価では足りません。たまたま正解にたどり着いただけかもしれないし、途中で何度も遠回りしたかもしれない。そこで、結果に加えて、そこへ至る軌跡(trajectory)も見ます。

何を見るか

公開されている評価の考え方では、おおむね次を見ます(調査時点:2026年11月)。

  • 結果:成果物の完成度と、目的に合っているか
  • 軌跡の質:どのツールを選び、引数は正しく、エラーからどう立て直したか。計画と実行の筋道
  • 成功率:タスクを達成できた割合
  • 進捗率:達成したサブゴールの割合。全部はできなくても、どこまで進んだか
読む 直す 検証 結果 軌跡:ツール選択・立て直し・計画 結果:完成度・適合 見かけだけの成功に注意(自信満々でも未達のことがある)
最後の結果だけでなく、そこへ至る軌跡(trajectory)も評価する。

見かけだけの成功に注意

厄介な失敗があります。エージェントが自信満々に「完了しました」と言うのに、実は達成できていない。見かけだけの成功です。これを見逃さないために、成功の判定は、ループしていないか、無駄がなかったかを見たうえで、最後に下す。順序を工夫して、甘い判定を避けます。

測り方:LLMを審判にする

軌跡の良し悪しは、人が全部見ると大変です。そこで、別のモデルを審判に立てる方法(LLMを審判にする、agent-as-a-judge)が広がっています。審判役が、行動の記録を読み、計画・ツール利用・結果を複数の観点で採点します。評価も設計対象であり、物差しが甘ければ、磨いているつもりで的を外します。

次に読む

ここまでで、トピック別の詳細編はひととおり終わりです。次は、各ハーネスが実際にこれらをどう作っているかを見ます。まずClaude CodeとCodexのハーネスを比較するから「各ハーネスの中身」へ。横並びの比較はハーネス比較、束ねる話はMeta-Harnessコースへ。

前のレッスンコースへ戻る次のレッスン