名前が同じでも条件が違う

ベンチマークの数字は条件で変わる。モデルの版、推論の設定、プロンプトの形式、few-shotの数、ツールを使えるか、考える時間をどれだけ与えたか。モデル名が同じでも、発表ごとに条件が違えば数字は比べられない。

推論モデルが「考えてから答える」ようになってから、条件の差はいっそう広がった。何トークン考えたか、どのツールを許したか、何回やり直したか。表の脚注には書いてあることが多いのに、見出しの数字だけが独り歩きする。

誰が測ったか

次に見るのは、誰が測ったかだ。開発した企業の発表、第三者の評価機関、独立した研究者の再現。それぞれ利害が違う。企業は自社に有利な条件を選びやすい。第三者の評価は条件を公開していることが多いが、評価項目が実務に合っているとは限らない。

「第三者評価」とあっても、資金や機材の提供を受けていることがある。機関の名前だけで安心せず、評価の設計と資金の出どころを見る。表の出典が自社ブログだけなら、それは一次資料ではあるが、独立した検証ではない。

数字が示さないもの

ベンチマークは、決められた課題での正解率やスコアを示す。示さないのは、実務での費用、応答の遅さ、失敗したときの復旧の手間、日本語の自然さ、社内データでの出来だ。長い文書の要約、表の読み取り、指示の解釈あたりは、点数と実務の手触りがずれやすい。

料金も同じだ。100万トークンあたりの単価が安くても、同じ仕事に何倍ものトークンを使うなら請求額は逆転する。ベンチマークの点数と、自分の仕事一件あたりの費用は別の指標だ。

読むときの三つの問い

数字を見たら三つ問う。何を測ったのか。課題、データ、評価方法は何か。誰が測ったのか。利害と、条件の公開度はどうか。自分が使う条件と同じか。言語、文書の長さ、ツール、予算、待てる時間。

どれか一つでも答えられない数字は、比較の材料にしない。書く側も、表の数字だけを引かず、条件と出典を添える。読者が自分で確かめられる形にする。

ベンチマークは入口

ベンチマークは候補を絞るための入口だ。最後の判断は、自分の仕事に近い小さな評価セットでする。同じ指示を10件、20件投げて、正しさ、速さ、費用、直しやすさを見る。発表の数字より地味だが、自分の用途に合うかはそこで分かる。

数字は結論ではない。何を測り、誰が測り、自分に当てはまるかを確かめてから使う。ブンリンAIラボの特集でも、発表の比較表をそのまま並べず、条件と食い違いを確かめるようにしている。