言語モデルのパフォーマンスにおいて、インランゲージトレーニングデータの利用可能性は重要な影響を与えます。MELAで行われた実験結果から明らかになったように、特定言語でのトレーニングデータがその言語への理解と予測能力を向上させることが示されました。例えば、英語でトレーニングした場合、英語文書の処理や予測タスクにおいて高い精度が得られる傾向があります。他方、異なる言語でトレーニングすると、その他の言語への適応性やパフォーマンスは低下する可能性があります。