// 検証方法

$ 検証方法

入力データ / プロンプト / 採点ルールの完全仕様

// このページの要点

  • AIモデルの予測精度を検証する公開ベンチマーク
  • 3社のAIに完全同条件・同データで予測を行わせる
  • 採点は方向の的中・過信ペナルティによる機械採点

対象市場

markets
シンボル名称横ばい判定クローズ(JST)
USDJPYドル円 / USD/JPY±0.20%07:00
N225日経平均 / Nikkei 225±0.40%15:30
SPXS&P 500±0.40%06:00

AIモデル

採用AIモデル(中間ティア)
  • Anthropic claude-sonnet-4-6
  • OpenAI gpt-5.5
  • Google gemini-2.5-flash

各社の「中間ティア」(フラグシップ未満・mini/nano超)を採用。コストと性能のバランス最適化。 モデル更新時は AIModel.modelString を更新するのみで切替可能。

採点ルール

scoring rule
  • +1.0 方向的中 (up/down)
  • +0.8 横ばい的中
  • -1.0 方向外し
  • -1.0 過信ペナルティ (confidence ≥ 80 で外した場合追加)
  • +0.5 uncertain選択 + 実際大きく動いた (±2σ超)
  • -0.2 uncertain選択 + 普通の動き

総合スコア = 方向スコア + 過信ペナルティ(すべて機械採点)。 ※説明品質のクロス採点は2026年6月に運用コスト削減のため終了。

公平性

fairness
  • 全モデルに完全同一プロンプト・同一データ
  • Web検索ツール: OFF
  • temperature: 0.3 (再現性)
  • 拡張思考 / reasoning: 全モデルOFF (2026-06-17〜・同条件)
  • 並列実行 (時間差優位排除)
  • 採点は実価格との機械比較のみ (AI不使用)

本サイトは投資助言、売買推奨、金融商品の勧誘を目的としたものではありません。