従来の自己回帰モデルとσ-GPTの性能差がデータセットサイズによってどのように変化するかを調査することで、両者の長所短所をより明確に把握できます。データセットサイズが小さい場合、シャッフルされた順序でトレーニングされたモデルは、より多くのメモリゼーションを示す傾向があるかもしれません。一方、データセットサイズが大きい場合、モデルはより一般化されたパターンを学習する可能性が高くなります。このような比較を通じて、従来の自己回帰モデルとσ-GPTの性能差がデータセットサイズによってどのように変化するかを明らかにし、両者の適用範囲や限界をより詳細に理解することができます。