事前学習時の損失関数の設計がマルコフ行列特性の獲得に影響を与えるという知見は興味深い。他の事前学習手法を用いた場合、どのような特性が獲得されるだろうか。
本研究で示されたように、事前学習時の損失関数の設計は、モデルがマルコフ行列特性を獲得するかどうかに大きな影響を与える。具体的には、GPT-2のように次トークン予測を目的とした損失関数は、モデルが現在の状態に対して強い注意を向けるように促す。この特性は、短期的な計画能力が求められる環境において有利に働く。一方で、他の事前学習手法、例えばBERTのような双方向性のモデルや、CLIPのように異なるタスクに特化したモデルを用いた場合、マルコフ行列特性は必ずしも獲得されない可能性がある。これらのモデルは、文脈全体を考慮することに重点を置いているため、短期的な注意を強化することが難しい。したがって、事前学習手法の選択は、獲得される特性や、最終的なタスクにおけるパフォーマンスに直接的な影響を与えると考えられる。