// incident

$ 4か月間、AIに春の株価を見せて予測させていました

2026-09-08 障害報告 — 公開済みの成績はすべて取り下げました

このページの要点

  • 予測時にAIへ渡す価格が2026年5月から更新されていませんでした。
  • 1,678件中1,594件が最大133日古い価格で予測されていました。
  • 公開していた的中率・スコア・シミュレーション結果はすべて取り下げました。

何が起きたか

summary

このサイトは「AIは相場を当てられるのか」を検証するために、毎営業日3つのAIに同じ条件で 方向を予測させ、結果を機械的に採点してきました。2026年9月8日、その検証がそもそも成立していなかったことが判明しました。

AIに渡していた「現在値」が、2026年5月上旬から更新されていませんでした。 一方で採点には正しく最新の価格を使っていたため、実態としては「4月の相場を見せて、9月の結果で採点する」ということを4か月続けていたことになります。

ここから出ていた的中率は、AIの予測能力ではなく不具合の程度を測った数字でした。

原因(4件)

root causes
  1. 1. 基準価格が5月で凍結していた(主因)

    予測に使う価格を取り出すとき、新しい順ではなく古い順に30件を取っていました。記録が30件を超えた5月上旬から、AIに見せる「現在値」がそこで止まったままになりました。移動平均もボラティリティも同じ古いデータから計算されていました。

    影響: 1,678件中1,594件(95%)が該当。最大133日古い価格で予測していました。ドル円では、実際の相場が154.34円のときにAIには159.62円(4月28日)を見せていました。

  2. 2. ドル円の価格が同じ日で二重に記録されていた

    24時間動く為替は、日足の記録時刻が取得のたびに1時間ずれることがあります。その時刻をそのまま識別子に使っていたため、同じ日が別の記録として二重に保存されていました。

    影響: 219件中94件(43%)が重複。値動きの荒さが実際の約3分の2に見えており、AIに渡す履歴も30件で実質15日分しかありませんでした(他の市場は30日分)。「全モデルに同一条件」という前提が崩れていました。

  3. 3. 為替と無関係な記事をニュースとして渡していた

    為替の関連語に「円」「ドル」を単体で入れていたため、本文中の「約8500億円」「1万6800円」といった金額表記に片端から一致していました。

    影響: 中国メーカーの決算、電気ケトルの新製品発表、かまぼこ店の破産といった記事が「ドル円の関連ニュース」として渡っていました。上限15件の枠を占め、本物の為替報道を押し出していました。

  4. 4. 記事を選ぶ条件が、保存時と使用時で食い違っていた

    保存時は「主要語に1つ以上、または関連語に2つ以上」で判定していたのに、使用時は全ての語の単純なOR判定でした。関連語が1つ当たるだけで通ってしまいます。

    影響: 上の問題と重なり、無関係な記事がさらに通りやすくなっていました。

なぜ4か月も気づかなかったのか

why it went unseen

この間、サイトの点検は何度も行っていました。全ページの表示、構造化データ、 データベースの整合性、定期実行の稼働、バックアップ——いずれも異常なしと確認しています。

見ていなかったのは「AIに渡している中身が正しいか」だけでした。予測は毎日きちんと18件生成され、採点も動き、エラーも出ない。 出力の形式はすべて正常で、中身だけが間違っていました。 機械が検知できるのは形式の異常であって、 「渡している数字が4か月前のものである」という意味の異常ではありません。

どう対応したか

response
  • 公開していた成績をすべて取り下げました。的中率・ランキング・キャリブレーション・資産シミュレーションの数値は、 いずれも根拠を失っています。日次の要約記事も、無効な予測を根拠に書かれていたため取り下げました。
  • 不具合4件をすべて修正しました。
  • 価格が古いまま予測しようとしたら、その場で止める仕組みを入れました。最新の価格が3日以上古ければ、予測は実行されずエラーになります。 これがあれば初日に気づけました。
  • 予測の記録は消さずに保管しています。統計としては使いませんが、記録としては残します。
  • あわせて、AIへの問いかけ方も作り直しました。 以前は「わからなければ予測不能を選んでよい」と指示しており、あるモデルは 約半分をそれで回答していました。現在は「上」か「下」の二択で必ず答えさせています(使用プロンプト全文)。

いまの状態

current state

装置を直したうえで、計測をゼロからやり直しています。成績が表示されるまでには時間がかかりますし、十分な件数が貯まるまでは 結論めいたことは書きません。何件で判断するかも先に決めて公開しています。

このサイトは「AIは相場を当てられるのか」を正直に検証することを掲げています。 都合の悪い結果を伏せないという以上、自分の失敗も同じように公開するのが筋だと考え、この記録を残しています。

関連ページ

related