この研究では、LLMsがスポーツ統計情報を正確に処理する際に直面する課題が明らかにされました。主な要因として、以下の点が挙げられます。
長さの影響: 提供されたコンテキストの長さが増すと、タスクの複雑さも増加し、モデルの性能が低下します。特に全試合得点数など外れ値データから影響を受ける可能性があります。
情報密度: NBAやNFLゲーム間で情報密度に差異があるため、より多くの得点プレイデータを含むNBAゲームではモデルのパフォーマンス低下傾向が見られました。
関連情報: モデルへ提供される関連しない非必須情報（選手名やチーム名）は一部モデルで予測精度向上に寄与します。しかし、これら要素を欠落した場合は逆効果となります。
以上から、現在のLLMsは複雑な推論タスクへ対応する能力不足や外れ値・高密度情報等への適切な取り扱い方法不足等からスポーツ統計処理で苦戦していることが考えられます。