AI競馬予想の精度はどう確かめる？学習データ・検証期間・買い目の確認点

AIを使う競馬予想には、着順を推定するもの、勝つ確率を出すもの、馬の能力を独自の指数で示すものなどがあります。「AI予想」という共通の名前が付いていても、出力の意味も、馬券への変換方法も同じではありません。最初に確認するのは、何を予測している仕組みなのかです。

この記事は特定のAIサービスの性能を評価したものではありません。公開説明と配信された予想から、利用者がどのように精度を確かめるかを整理します。AIの名称、開発費、学習した件数だけでは、実際の利用条件での成果は判断できません。

指数と確率と買い目を分ける

「指数90」が勝率90％を意味するとは限りません。サービス内での相対的な強さを示す数字かもしれず、尺度の説明が必要です。勝率を出している場合も、複勝圏に入る確率と1着になる確率では対象が違います。

さらに、馬を高く評価することと、具体的な券種・組合せを選ぶことは別の処理です。上位評価の馬が3着に入っても、指定された単勝馬券は外れます。「AIが上位馬を当てた」という説明だけで、配信された買い目が的中したと解釈しないようにします。

過去検証と公開後の結果を分ける

過去のデータにさかのぼって計算した結果は、実際にその時点で配信されていた記録とは違います。後から良い条件を選んだ可能性や、当時は使えなかった情報が混ざった可能性を確認する必要があります。scikit-learnの公式資料は、予測時点に使えない情報が評価へ混入するデータ漏洩を説明しています。

たとえば「最終オッズを使って選び、締切前に購入できたものとして計算する」という仮定は、利用者が同じタイミングで再現できるかを検討しなければなりません。JRAもオッズは概算の払戻率と説明しています。予想時点のオッズと確定後の払戻を同じものとして扱わないでください。

公開後の記録では、予想の配信時刻と変更履歴を残します。結果が出る前に何を提示していたかが分かれば、後から良い回だけ選ぶことを防ぎやすくなります。

学習に使った期間と評価した期間を見る

試験問題を事前に覚えていた人の点数と、初めての問題を解いた点数が違うように、AIでも調整に使ったデータと性能を評価するデータを分ける必要があります。公開説明に学習期間と評価期間の区切りがあるかを確認します。Googleの機械学習教材でも、学習用とテスト用のデータを分ける考え方が説明されています。

「過去10年を分析」とだけ書かれていても、その10年で調整して同じ10年の成績を示しているのか、別の期間で評価したのかは分かりません。仕組みの詳細すべてが公開されていなくても、どの期間の結果なのかは利用者が確認したい基本情報です。

対象レースを選ぶ条件も重要です。不得意だった条件を後から除外すると、見かけの成績が良くなることがあります。除外条件が事前に決まっていたのか、集計後に決められたのかを分けて読みます。

数字は母数と費用を添えて読む

的中率80％という数字には、何を1回と数えたのかが必要です。推奨馬のうち1頭が入れば成功なのか、指定買い目が1点でも当たれば成功なのかで意味が変わります。多くの点を提示すれば、的中の機会と同時に購入額も増えます。

仮に100レース中60レースで的中しても、総購入額100,000円に対して払戻80,000円なら、馬券の収支は20,000円のマイナスです。情報料があればさらに別に加算します。この計算例はAIの性能に関する実測ではなく、的中と利益が別の指標であることを示すものです。

月ごと、競馬場ごと、券種ごとに分けた結果があれば、偏りを確認できます。ただし細かく分けるほど各区分の件数が少なくなるため、数レースの差を安定した特徴と断定しないことも大切です。

モデルの更新後は別の条件として記録する

AIが更新されれば、同じサービス名でも予想の作り方が変わる可能性があります。「改善版」と宣伝されていても、更新後の公開記録がまだ少なければ、その性能は未確認です。更新前の長期成績と更新後の短期成績を区別して表示できるかを見ます。

利用者のメモには、サービス名、バージョン表示があればその名称、更新日、予想時刻、対象レース、券種、点数を残します。名称が分からなければ「更新告知あり・詳細不明」と書けば十分です。分からないモデルの内部構造を推測して評価する必要はありません。

説明の納得感と予測性能を混同しない

もっともらしい予想理由が付いていても、それだけでは性能の証明になりません。逆に、難しい数式がないから精度が低いとも言えません。理由の説明は理解を助けるもの、成績の記録は結果を確かめるものとして役割を分けます。

生成AIが文章化した解説では、存在しないレース条件や古い情報を含む可能性にも注意が必要です。開催日、馬名、距離、馬場などの基本情報は公式資料と照合します。説明に具体的な誤りがあった場合は、その箇所を保存し、予想結果とは別の品質上の問題として記録してください。

契約前に尋ねたいこと

• 精度は何を成功として計算しているか。
• 学習・調整の期間と公開後の検証期間は分かれているか。
• 外れを含む全件の記録が確認できるか。
• 情報料と推奨馬券代はどこまで含まれるか。
• 更新日や買い目の変更履歴を確認できるか。

AIなら人間より必ず優秀ですか？

その名称だけでは比較できません。同じ期間・対象レース・費用の条件で記録を比べる必要があります。「AI搭載」を結果の保証として読まないことが出発点です。

学習データが多いほど良いですか？

量だけでなく、データの品質、時点、対象との適合性が関係します。利用者が内部を検証できない場合は、公開前に固定された予想と、公開後の成績を重点的に確認してください。

精度の説明に購入できない条件がないか

AIの検証結果に「最終オッズを使って買い目を決定した」と書かれていたら、その数字がいつ入手できるかを確認します。発売締切後に確定した情報で過去の買い目を選び直す方式では、利用者が実際に購入する時点の条件を再現できません。モデルの性能の説明として意味があっても、そのまま提供予想の実績とは呼べない場合があります。

同じように、結果が出てから除外したレース、予測が出なかった日、通信障害で配信されなかった回が集計に入っているかも確認します。正常に出力された予測だけの精度と、契約期間を通じて利用者へ届いたサービス全体の結果は、異なる評価対象です。

専門用語を理解できなくても、「結果の前に同じ情報を受け取れたか」「書かれた金額で購入できたか」「失敗した回も記録されたか」という三つの質問は使えます。技術の名称の新しさより、利用条件と検証条件が一致していることを重視してください。