// キャリブレーション
AI が申告した「上がる確率」と、実際に当たった割合を比べます(キャリブレーション分析)
// このページの読み方
AI は予測のたびに「上がる確率は N%」と申告します。「上昇」を選んだならその確率、「下落」を選んだなら 100 − N が、AI 自身が見積もった「当たる確率」です。理想的な AI では、60%と見積もった予測が実際に約60%当たります(キャリブレーションが良好)。 見積もりより当たっていなければ「自信過剰」、見積もりより当たっていれば「控えめすぎ」です。 下のグラフと表は、この見積もり確率ごとに実際の的中率を示しています。理想線(黄破線)に近いほど申告が正確です。 別に申告させている「確信度」(見積もりそのものをどれだけ信頼しているか)は、確率とは意味が違うため、モデル別の表で分けて示します。
⚠ 蓄積中
採点済みは合計 174 件(1モデルあたり最少 58 件)です。目安の1モデル250件に届くまでは区分ごとの件数が少なく、的中率は大きく動きます。件数が10件未満の区分は「(少数)」と表示しています。
| 見積もり確率 | 件数 | 申告の平均 | 実際の的中率 |
|---|---|---|---|
| 50%未満 | 0 | — | — |
| 50–54% | 58 | 53.4 | 51.7% |
| 55–59% | 99 | 56.5 | 63.6% |
| 60–64% | 17 | 61.0 | 52.9% |
| 65–69% | 0 | — | — |
| 70%以上 | 0 | — | — |
// モデル別キャリブレーション
| 見積もり確率 | 件数 | 申告の平均 | 実際の的中率 |
|---|---|---|---|
| 50%未満 | 0 | — | — |
| 50–54% | 12 | 54.0 | 50.0% |
| 55–59% | 43 | 56.3 | 65.1% |
| 60–64% | 3 | 60.7 | 33.3%(少数) |
| 65–69% | 0 | — | — |
| 70%以上 | 0 | — | — |
| 確信度 | 件数 | 申告の平均 | 実際の的中率 |
|---|---|---|---|
| 0–39 | 0 | — | — |
| 40–49 | 48 | 44.5 | 60.4% |
| 50–59 | 10 | 52.6 | 60.0% |
| 60–69 | 0 | — | — |
| 70–79 | 0 | — | — |
| 80–100 | 0 | — | — |
| 見積もり確率 | 件数 | 申告の平均 | 実際の的中率 |
|---|---|---|---|
| 50%未満 | 0 | — | — |
| 50–54% | 14 | 54.0 | 42.9% |
| 55–59% | 34 | 56.7 | 64.7% |
| 60–64% | 10 | 61.2 | 50.0% |
| 65–69% | 0 | — | — |
| 70%以上 | 0 | — | — |
| 確信度 | 件数 | 申告の平均 | 実際の的中率 |
|---|---|---|---|
| 0–39 | 0 | — | — |
| 40–49 | 0 | — | — |
| 50–59 | 3 | 58.0 | 0.0%(少数) |
| 60–69 | 54 | 62.2 | 61.1% |
| 70–79 | 1 | 70.0 | 0.0%(少数) |
| 80–100 | 0 | — | — |
| 見積もり確率 | 件数 | 申告の平均 | 実際の的中率 |
|---|---|---|---|
| 50%未満 | 0 | — | — |
| 50–54% | 32 | 52.8 | 56.3% |
| 55–59% | 22 | 56.6 | 59.1% |
| 60–64% | 4 | 60.8 | 75.0%(少数) |
| 65–69% | 0 | — | — |
| 70%以上 | 0 | — | — |
| 確信度 | 件数 | 申告の平均 | 実際の的中率 |
|---|---|---|---|
| 0–39 | 2 | 36.5 | 100.0%(少数) |
| 40–49 | 6 | 43.0 | 16.7%(少数) |
| 50–59 | 44 | 55.6 | 63.6% |
| 60–69 | 6 | 62.0 | 50.0%(少数) |
| 70–79 | 0 | — | — |
| 80–100 | 0 | — | — |