COURSE 01 · Harness Engineering
Evals(評価)
ハーネスを磨くには、良くなったかを測る必要がある。最後の結果だけでなく、途中の軌跡(trajectory)を見る。成功率・進捗率、見かけだけの成功、LLMを審判にする方法を見る。
これは詳細編「詳しく学ぶ(トピック別)」のレッスンです。ハーネスを設計し磨く営みには、良くなったかを測る物差しが要ります。それがEvals(評価)です。
なぜ測るのが難しいか
ハーネスを変えたとき、本当に良くなったのかは、感覚では分かりません。だから評価します。ただ、エージェントの評価には固有の難しさがあります。作業が多段だからです。
最後の成果物だけを見る評価では足りません。たまたま正解にたどり着いただけかもしれないし、途中で何度も遠回りしたかもしれない。そこで、結果に加えて、そこへ至る軌跡(trajectory)も見ます。
何を見るか
公開されている評価の考え方では、おおむね次を見ます(調査時点:2026年11月)。
- 結果:成果物の完成度と、目的に合っているか
- 軌跡の質:どのツールを選び、引数は正しく、エラーからどう立て直したか。計画と実行の筋道
- 成功率:タスクを達成できた割合
- 進捗率:達成したサブゴールの割合。全部はできなくても、どこまで進んだか
見かけだけの成功に注意
厄介な失敗があります。エージェントが自信満々に「完了しました」と言うのに、実は達成できていない。見かけだけの成功です。これを見逃さないために、成功の判定は、ループしていないか、無駄がなかったかを見たうえで、最後に下す。順序を工夫して、甘い判定を避けます。
測り方:LLMを審判にする
軌跡の良し悪しは、人が全部見ると大変です。そこで、別のモデルを審判に立てる方法(LLMを審判にする、agent-as-a-judge)が広がっています。審判役が、行動の記録を読み、計画・ツール利用・結果を複数の観点で採点します。評価も設計対象であり、物差しが甘ければ、磨いているつもりで的を外します。
次に読む
ここまでで、トピック別の詳細編はひととおり終わりです。次は、各ハーネスが実際にこれらをどう作っているかを見ます。まずClaude CodeとCodexのハーネスを比較するから「各ハーネスの中身」へ。横並びの比較はハーネス比較、束ねる話はMeta-Harnessコースへ。