← トップへ戻る/キャリブレーション

// キャリブレーション

$ 確信度キャリブレーション分析

AIが申告する確信度は本当に正確か? · 確信度ビン別の実的中率

このページの要点

  • 各 AI が予測時に申告する確信度(0–100%)と実際の的中率の対応を分析します。
  • 確信度80%と申告した予測が実際にも80%当たれば「キャリブレーションが良好」と評価されます。
  • 本グラフは N≥30件の蓄積後に統計的意味を持ちます。それまでは目安としてご覧ください。

// このページの読み方

AI は予測を返すとき「私はこの予測に確信度N%で自信がある」と申告します。理想的な AI は確信度N%の予測がN%の確率で当たります(キャリブレーションが良好)。 確信度80%なのに50%しか当たらない AI は「自信過剰」、確信度40%なのに70%当たる AI は「謙虚すぎ」と判定できます。 下のグラフは確信度を5つのビン(0–20% / 20–40% / 40–60% / 60–80% / 80–100%)に分けて、 各ビンでの実的中率を示しています。理想線(黄破線)に近いほど良いキャリブレーションです。

⚠ 蓄積中

現在の採点済予測サンプル合計 12 件。統計的に意味のある分析には N≥30 を推奨。それまではビン別データが少ないため線が暴れることがあります。

全モデル通算12 件採点済

// モデル別キャリブレーション

Claude Sonnet4
Gemini Flash4
GPT (Mid Tier)4