📙 AIの知能ベンチマーク

2026/11/14公開 2026/11/14更新

  • 質問者: Shigeru Morifuku

  • 回答者: Claude Opus 5.5

  • 回答日: 2026/11/14

  • 免責: 回答者は AI であり、間違えることがあります。

🟩 Q: 知能のベンチマークの方法を教えて。学習対象の質や量が変わると変化するの？

🟨 ベンチマークの仕組み

AIの「知能ベンチマーク」は、基本的には答えが決まっている問題集です。モデルに解かせて正答率を出します。

  1. 問題セットを固定する：数百〜数千問。正解は事前に用意しておく

  2. 同じ条件で解かせる：プロンプトの形式、例題の数（0-shot、5-shotなど）、思考に使えるトークン量などを揃える

  3. 採点する

    • 選択式や数値の答え：完全一致で判定

    • コーディング：生成したコードをテストケースで実行し、通るかどうか（pass@1 など）

    • エージェント系：実際の環境でタスクを完遂できたかどうか（例：GitHubのissueを直してテストが通るか）

    • 自由記述：別のLLMや人間が判定する。この方式は判定にブレが出やすい

よく使われるものを分野別に挙げます。

分野

例

知識・推論

MMLU-Pro、GPQA Diamond（大学院レベルの科学）、Humanity's Last Exam

数学

AIME、FrontierMath

コーディング

SWE-bench Verified、LiveCodeBench、Terminal-Bench

抽象推論

ARC-AGI

ツール操作・エージェント

τ-bench、OSWorld、BrowseComp

🟨 学習データの質や量で変わるか

変わります。 しかもかなり大きく変わります。

  • 量：スケーリング則と呼ばれる経験則があり、パラメータ数・データ量・計算量を増やすと損失が予測どおりに下がり、スコアもおおむね上がります。ただしその伸びは対数的で、だんだん鈍ります。

  • 質：最近はこちらの効果が大きいです。重複除去、低品質なWebテキストの除外、教科書的なデータや合成データの追加によって、小さいモデルでも大きいモデルに迫ることがよくあります。「Flash級のモデルが上位モデルを一部で上回る」という現象の多くはこれと、次の事後学習で説明できます。

  • 事後学習：数学やコードのように正誤を自動判定できる課題で強化学習をすると、推論系ベンチマークのスコアが大きく伸びます。何を重点的に鍛えるかで、得意分野が偏ります。

  • データ汚染：ベンチマークの問題や答えが学習データに混入すると、「解いた」のではなく「覚えていた」状態になり、スコアが水増しされます。これがベンチマーク最大の弱点です。対策として、問題を非公開にしたもの（HLEの一部など）や、定期的に新しい問題に入れ替えるもの（LiveCodeBenchなど）が作られています。

🟨 発表の数字を読むときの注意

  • **「一部のベンチマークで上回る」**は、得意な項目を選んで載せている可能性が高い表現です。全項目の表を見るのが確実です。

  • 自社測定か第三者測定か：プロンプトや思考量の設定を変えるだけで数ポイント動きます。Artificial Analysis、LMArena、Epoch AI などの第三者評価と照らし合わせるのがおすすめです。

  • **「2.5倍高速」**は知能とは別軸で、トークン生成速度やタスク完了時間の話です。どの条件で測ったかで大きく変わります。

  • 飽和：MMLUのように各社が90%超で横並びになったベンチマークは、もう差を測れていません。新しくて難しいものほど参考になります。

実務での使い勝手は、ベンチマークの数字より、自分のタスク（例えばC/C++のコード生成やログ解析）で数十件の小さな評価セットを作り、各モデルを比べるほうが確実です。

🟩 Q: データ汚染：過去問やってる受験生みたいだ。ある意味、AIは過去問しか勉強しない

うまい例えですね。半分は当たっていると思います。

当たっているのは、AIの学習データが原理的に「すでに書かれたもの」だけだという点です。教科書も論文も、Stack Overflowの回答も、全部が過去問のようなものです。最近の強化学習は、正解のわかる数学やコードの問題を大量に解かせて採点するので、問題演習で鍛えるという意味でも受験勉強そっくりです。

ただ、汚染の問題は「過去問で勉強したこと」とは別物です。本番の問題そのものを事前に見ていた、つまり試験問題が漏れていた状態のことです。過去問で解き方を身につけた受験生は初見の問題も解けますが、答えを丸暗記しただけの受験生は少しひねられると崩れます。ベンチマークが測りたいのは前者で、汚染されると後者との区別がつかなくなる、というのが問題の本質です。

実際、ベンチマークの数字を少し変えたり言い回しを変えたりするとスコアが落ちるモデルがあり、丸暗記型の振る舞いが観測されています。逆に、ARC-AGIのように毎回まったく新しいパズルを出す形式は、「過去問に載っていない問題をどれだけ解けるか」を測ろうとする試みです。

考えてみると、人間も過去の経験からしか学べないのは同じです。違いがあるとすれば、人間は少ない過去問から規則を抜き出すのが上手く、AIは膨大な過去問を見てようやく同じところに届く、という効率の差です。ここが今のAI研究の大きなテーマの一つでもあります。