AIの「高性能」を自分の作業で確かめる：比較用10問の作り方

選びたいのは、点数より「任せる作業」

新しいAIの発表で高いスコアを見ても、自分の長い資料を正しく整理できるかまでは分かりません。必要なのが議事録から担当者と期限を取り出すことなら、まずその作業の成功条件を書きます。文章が自然でも担当者を間違えれば、使う前に修正が必要です。

Anthropicの評価設計の解説は、入力に対する採点だけでなく、実際に得られた結果を確認することや、複数回の試行で変動を見ることを説明しています。ここではその考え方を、個人でも用意できる小さな比較へ当てはめます。出典：AnthropicのAI評価設計の解説

以下は当サイトが作成した評価のたたき台です。実際の製品比較を実施した結果ではありません。特定モデルの順位や、普遍的な合格ラインを示すものでもありません。

普段の作業から10問を用意する

最初の10問は、作りやすさより自分が困る場面を優先します。次の配分は開始用の例であり、統計的に十分な件数という意味ではありません。

比較には公開資料か、機密情報を含まない架空データを使えます。同じ問題文を使い、Web検索や添付ファイルなど利用できる機能も記録します。ある候補だけに追加のヒントを渡した場合は、その差を残さないと結果の意味が変わります。

架空の議事録で、合格条件を先に決める

次はこの記事のために作成した架空の議事録です。実在の会社や会議とは関係ありません。

試作品の確認会は10月12日を仮予定とする。会場が確保できない場合は翌週へ延期。田中は10月5日までに候補会場を二つ調べる。予算の上限は次回会議で決める。

指示は「担当者、期限、作業、未確定事項を表にする。書かれていない情報は未確定とする」とします。採点時は、田中の期限が10月5日であること、確認会が仮予定であること、予算額を創作していないことを別々に確認します。

たとえば「10月12日に開催決定」と書いた回答は、日付が一致していても条件を落としています。反対に「予算は未確定」と答えた回答は、空欄を埋めなかったから低品質なのではなく、元の情報に忠実です。この違いを採点前に決めておくと、見栄えに引っ張られにくくなります。

正確さ・形式・修正時間を別々に記録する

架空の計算例として、手作業に12分かかり、AIへの準備に2分、待ち時間に1分、確認と修正に6分かかったなら、合計は9分で短縮は3分です。「生成は1分だった」とだけ記録すると、実際の改善幅を大きく見積もってしまいます。

比較の目的は一つの総合点を作ることに限りません。「短い文章は任せられるが、条件が多い資料は手作業で確認する」という作業の分け方も、有用な結論です。

一度の成功で決めず、弱い問題を残す

候補ごとに同じ問題を複数回試し、毎回合格した問題と、結果が揺れた問題を分けて残します。比較する日時、表示されているモデル名、利用設定も記録します。結果の差が小さいときは、10問だけで優劣を断定せず、実際の作業に近い問題を追加します。

得意な問題を増やして見かけの合格率を上げるより、間違えると困る問題を残しておくほうが、次の更新時の確認に役立ちます。NISTも生成AIの評価を、対象や課題を定めて計測する活動として進めています。万能な一つの点数を探すより、何を測った比較かを確かめる姿勢が大切です。出典：NIST GenAI評価プログラム

まず一つの作業を選び、問題文、正解条件、回答、修正時間の四つを記録するところから始めてください。それがあれば、新しい発表を見たときにも、自分の作業で改善したかを比べられます。