$ 用語集

AI モデルがプロンプト出力時に「私の予測は X% の自信がある」と自己申告した数値です。Shinden では 0–100 の整数で出力させます。

確信度が高ければ高いほど AI 自身は予測の正しさを確信していますが、それが実際の的中率と一致するとは限りません。むしろ「自信過剰だが当たらない」AI は、過信ペナルティが課されます。

理想的な AI は確信度と的中率が一致(キャリブレーションが良好)している状態です。実測の結果はキャリブレーション分析(/ja/calibration)で公開しています。

v1.0 では、ほとんど動かなかった日を「横ばい」として扱う閾値を市場ごとに設けていました(ドル円 ±0.20%、日経平均・S&P500 ±0.40%)。

この仕組みは 2026-09 に廃止しました。AI 側にも「横ばい」「予測不能」という逃げ道があり、あるモデルは全回答の約半数をそこに寄せていたため、肝心の「上がるのか下がるのか」が測れなくなっていたためです。

現在(v2.0)は、実際の騰落率がプラスなら上昇、マイナスなら下落の二値で判定します。閾値はありません。

AI が「確信度80以上」の高確信度で方向を予測したにも関わらず、実際の方向が外れた場合に課されるペナルティです。

通常の方向外しペナルティ -1.0 に加えて追加で -1.0 となるため、合計 -2.0 のスコアになります。

この設計により、「とりあえず高確信で言い切る AI」と「不確実な時は慎重になる AI」の差が総合スコアに現れるようにしています。慎重派が報われやすい採点設計です。

v2.0 では方向を必ず二択で答えさせるため、確信度の申告だけがモデルの慎重さを表す唯一の手段になっています。

※この採点は運用コスト削減のため 2026 年 6 月に終了しました。以下は当時の仕組みの記録です(過去データには値が残っています)。

予測した AI とは別の AI モデルが、その予測の説明文(主要根拠・リスク要因・不確実性コメント)を5項目 × 0–2 点で評価し、合計 0–10 点を付与していました。

評価項目:

1. specificity — 根拠の具体性

2. consistency — 入力データとの整合性

3. newsHandling — ニュース要因の扱いの妥当性

4. riskMention — リスク要因の言及

5. uncertaintyMention — 不確実性の明示

予測 AI と採点 AI を別にすることで利益相反を排除しています。さらに 2 モデルで採点して平均を最終スコアとして採用します。

総合スコアには (説明品質 - 5) × 0.1 として組み入れ、中央値5を基準に最大 ±0.5 の範囲で寄与していました。

1つの予測における総合的な評価スコア。計算式:

totalScore = directionScore + overconfidencePenalty

理想ケース: 方向的中 → +1.0

最悪ケース: 過信して外す (-1.0 - 1.0) → -2.0

※説明品質のクロス採点は2026年6月に運用終了。総合スコアは方向と過信のみで算出します。

ランキングはこの値の平均値で順位付けしています。

・next_day (翌営業日): 翌営業日のクローズ時点で、基準価格より高いか低いか

毎日 3市場 × 3モデル × 1期間 = 9件の予測が生成されます。

v1.0 には one_week (5営業日後) もありましたが、2026-09 に廃止しました。1週間先は同じ入力データで判断するには材料が足りず、翌営業日の予測と結論がほぼ重複していたためです。

・上昇 (up): 基準価格より高く終えると予測

・下落 (down): 基準価格より低く終えると予測

v1.0 には「横ばい (sideways)」「予測不能 (uncertain)」もありましたが、2026-09 に廃止しました。あるモデルが全回答の約半数を「予測不能」に寄せ、上がるか下がるかという肝心の問いに答えが出なくなったためです。

現在は中立・保留の選択肢を用意していません。どれだけ迷っても、必ず上か下かを答えさせます。

全員一致 (Consensus): 3 AI が同じ方向を予測した状態。AIたちが揃って強気、または揃って弱気になる場面です。

意見分裂 (Divergence): 3 AI で予測方向が分かれた状態。AI ごとの判断軸の違いが浮き彫りになる場面で、Arena としても見どころが多くなります。

全員一致が必ずしも当たるわけではない、また意見分裂時にどの AI が当たったかを後で振り返れる設計です。

AI が申告する「上で終わる確率」(0–100の整数)です。v2.0 は二値判定なので、下落確率は 100 からの引き算で決まります。

例: 上昇 75% → 下落 25%。強めの上昇予測

例: 上昇 52% → 下落 48%。ほぼ五分だが、それでも上を選んだ予測

確信度(0–100)は「その確率見積もり自体をどれだけ信頼しているか」で、確率とは別物として独立に申告させています。両方を並べると AI の判断スタイルが見えてきます。

各社の AI モデルラインナップで、最高性能のフラグシップ(Claude Opus / GPT Pro / Gemini Pro)と最小モデル(Haiku / mini / nano / Flash-Lite)の中間に位置する標準モデルです。

Shinden では:

・Anthropic: Claude Sonnet 系

・OpenAI: GPT 標準モデル(`gpt-5.6-sol` 系)

・Google: Gemini Flash 系(`gemini-3.8-flash`)

コストと性能のバランスが取れた、一般ユーザーが日常的に使う価格帯のモデルを採用することで、現実的なユースケースでの予測能力を検証しています。

※この仕組みは運用コスト削減のため 2026 年 6 月に終了しました。以下は当時の記録です。

AI が自分の予測を自分で評価すると都合の良い採点になりがちなため、Shinden では予測した AI 以外の AI に説明品質の採点を依頼していました。

例: Claude の予測 → Gemini と GPT が採点して平均

GPT の予測 → Claude と Gemini が採点して平均

Gemini の予測 → Claude と GPT が採点して平均

2モデルで採点することで採点者バイアスを薄め、平均値を最終 explanationScore として採用していました。

Shinden は採点ルールやプロンプト文言が変わると過去予測との比較ができなくなるため、Prediction.promptVersion にバージョンを刻印しています(現在 v2.1)。

プロンプトを改訂する場合はバージョンをインクリメントし、過去予測は元のバージョンで保持します。集計時にバージョン別フィルタを推奨します。

採点ルールが変わると同じ予測でもスコアが変わるため、Result.scoringRuleVersion にバージョンを記録しています(現在 v2.0)。

ルールを変えた場合、新ルールはそれ以降の採点に適用します。ルールは同じで採点に使った価格データに誤りがあった場合は、正しい価格で採点し直します(2026-09-14 に実施)。

ベンチマーク: 複数 AI モデルを同一基準で測定する検証フレームワーク。

Arena: AI モデルが「対戦」する闘技場という競技的メタファー。Shinden は両側面を持ち、客観的な数値検証(ベンチマーク)とエンターテインメント性のある対戦カード形式(Arena)を両立しています。

投資助言ではなくスポーツ実況的・eスポーツリーグ的な視点で AI モデルを観察するサイトです。