言語モデリングに階層構造は必要か？インクリメンタルな言語処理における記憶との関係について

理論言語学、特に統語論において、「階層構造」は単語の組み合わせが句や文となる入れ子関係を表現する木構造であり、文法や言語現象のモデル化に重要な概念とされてきた[1]。しかし近年、大規模言語モデル（LLM）[2,3]は、こうした階層構造を明示的に扱うことなく、極めて高い言語処理能力を達成している。この事実は、「そもそも言語のモデル化において、階層構造は本当に必要なのか？」という根本的な問いを生む。仮に、言語のモデル化に階層構造が本質的に不要であるならば、テキストのみから構造を計算する教師なし構文解析タスク[4,5]は、ある種の帰納バイアスなしには原理的に困難である可能性が示唆される。また、言語モデルの内部機序を明らかにするプロービング[6]等において、正解構造として参照されるツリーバンク[7]の木構造そのものの妥当性が揺らぐ可能性もある。したがって、言語のモデル化における階層構造の必要性と役割を明らかにすることは、工学的な性能向上のみならず、言語の数理的性質を理解する上でも重要な課題である。本研究では、形式言語を対象とし、インクリメンタルな次トークン予測という観点から、言語のモデル化に必要な構造を考察する。既存研究において、トークンと構造の両方を予測する統語的言語モデリングでは、ツリーバンクの木構造をモデル化することにより、トークン予測性能や統語的汎化能力が向上することが示されている[8,9]。しかし、階層構造が「いつ」「どのような」役割を果たすことで言語のモデル化に寄与するのかは明らかになっていない。この問題に対し、本研究では心理言語学におけるNow-or-Neverbottleneck仮説[10]に着目する。Christiansenら[10]は、人間が言語をインクリメンタルに処理する際、限られた記憶容量で情報を保持するために、入力を即座に情報圧縮し、その連鎖が階層構造となることを主張している（図1）。本研究では、この考えを人間に限らず一般のモデルへと拡張し、「次トークン予測において、階層構造は必要な情報を記憶保持するために必要であり、かつ、具体的に必要な構造はモデルの記憶容量に依存する」という仮説を検証する。この作業仮説に基づき、本研究ではモデルの記憶容量（コンテキストウィンドウサイズ）をパラメタとして「記憶を補完し次トークン予測を行うために必要な階層構造」を計算するアルゴリズムを提案する。そして、このアルゴリズムにより計算された深Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).4記憶を保持するための階層構造ここでは、前節で定式化した「トークン構造系列」を具体的に計算する方法について述べる。本研究では、曖昧性のない確率文脈自由文法𝐺が与えられていると仮定し、𝐺から生成されたトークン列𝑥に対して、記憶の保持に必要な構造を導出する。この計算において、特に「文脈自由性」が重要となる。まず、系列𝑥𝑡−11をボトムアップ構文解析した際に得られる、部分木の根ノードのタプルをBUNodes𝐺(𝑥𝑡−11)とする。4）確率文脈自由文法の性質上、𝐺から生成されたトークン列𝑥の𝑡番目のトークン𝑥𝑡を予測するために必要な情報は、高々BUNodes𝐺(𝑥𝑡−11)に集約される。例えば、図2(a)においてトークン𝑤3を予測するには、それまでのトークン列bos,𝑤1,𝑤2に関する情報が保持されていればよい。ここで、bosは非終端記号𝐵から、(𝑤1,𝑤2)は𝑋3からそれぞれ文脈自由に生成されるとすれば、保持すべき情報は「𝐵および𝑋3から生成された」という事実のみで十分である。これは、bos,𝑤1,𝑤2をボトムアップ構文解析した際の部分木の根ノードのタプル(𝐵,𝑋3)に相当する。このように、表層のトークン列ではなく非終端記号（抽象化された構造）を必要な情報として保持することは、Now-or-Neverbottleneck仮説[10]における「情報圧縮」のプロセスとして解釈できる。次に、トークン列𝑥に対して、モデルのコンテキストウィンドウサイズ𝑚を考慮したトークン構造列mem𝑚(𝑥)を構成する。基本的なアイデアは、「必要な情報が圧縮された構造が、常にコンテキストウィンドウ内に収まるようにする」というものである。が貪欲に推論されるため、推論された構造は常に確率1で予測されるものとして考えられることに注意されたい。4）𝐺は曖昧性がないためBUNodes𝐺の出力は一意に定まる。01SS→NPVPS→VPNPVPVP→NPVPVP→VPNPNP→VPNPNP→NPVPPPPP→NPPPPP→PPNPNP→PPNPNP→NPPPこれに基づき、mem𝑚(𝑥)を以下のように定める：mem𝑚(𝑥)=𝑥𝑚1·BUNodes𝐺(𝑥𝑚1)····𝑥𝑚·(𝑖+1)−1𝑚·𝑖+1·BUNodes𝐺(𝑥𝑚·(𝑖+1)−11)···𝑥|𝑥|この構成では、最初を除き、𝑚−1個のトークンごとに、その時点までの系列を要約した構造が予測される。図2(b-d)に、異なる𝑚でmem𝑚を適用した結果を示す。情報圧縮の連鎖によって階層構造が形成されており、𝑚が大きいほど、次トークン予測に用いられる階層構造は浅くなる傾向が確認できる。5実験設定実験では、トークン構造系列を生成する際のコンテキストウィンドウサイズ𝑚（次トークン予測に用いる階層構造の深さ）と、モデルのコンテキストウィンドウサイズ𝑘（モデルの記憶容量）の二つの変数を操作し、トークン予測性能への影響を分析する。データ実験に用いるコーパス𝐷は、曖昧性のない確率文脈自由文法𝐺からランダムサンプリングにより生成する。本研究では問題を単純化するため、導出木が完全二分木となり、かつBOS・EOSトークンを除いた葉数が常に32となるような文法を用いる。生成規則の設計はWhiteら[19]にならい、表1に示すパラメタS・VP・PPを変更することで、パターンの異なる合計8つの文法を用いる。5）5）生成規則などの詳細については第A章に記す。org/licenses/by/4.0/).系列を生成する際のコンテキストウィンドウサイズ𝑚を表す。Tはテキストのみで学習した結果を表す。モデルと評価帰納バイアスの影響を排除し、純粋にコンテキストウィンドウサイズの影響を評価するため、本実験ではデータ内の(context,target)ペアの出現頻度に基づく単純なカウントベースのモデルを用いる。6）モデルのトークン予測性能の評価には、コーパス𝐷を用いてモデル𝑀𝑘と真の分布𝐺の間でKLダイバージェンスを計算する。6実験結果・考察実験の結果、文法間で全体の傾向に顕著な差異は見られなかった。ここでは代表として文法(S,VP,PP)=(1,1,1)の結果について議論する。図3は、各モデルのコンテキストウィンドウサイズ𝑘=2,...,8でのトークン予測性能（KLダイバージェンス）を示す。ここで、横軸はトークン構造系列を生成する際のコンテキストウィンドウサイズ𝑚であり、Tはテキストのみで学習した結果を表す。6.1確率文脈自由文法でNow-or-Neverbottleneck仮説は成り立つ階層構造を用いたモデルのKLダイバージェンスは、テキストのみの場合よりも小さく、0に近い値となっている。この結果は、例えば𝑘=2のようにモデルの記憶容量（コンテキストウィンドウサイズ）が限られる場合でも、適切な階層構造を用いることで、真の分布をほぼ再現可能であることを示しており、確率文脈自由文法においてNow-or-Neverbottleneck仮説が成り立つことを示唆する。6.2モデルの記憶容量が小さいほど、深い階層構造が必要になる例えば、モデルのコンテキストウィンドウサイズが𝑘=2の場合、性能向上が見られるのは𝑚=2の6）推論時にはバックオフスムージングを用いる。ときのみであるのに対し、𝑘=4の場合は𝑚=4でも性能向上が見られる。この結果から、𝑚が小さいほど構造予測の頻度が増え、階層構造は深くなることを考慮すると（図2）、モデルの記憶容量𝑘が小さいほどより深い階層構造が必要になる一方、𝑘が十分に大きい場合は、深い階層構造は必要なく、浅い階層構造でも十分に言語をモデル化できると言える。以上より、モデルの記憶容量に依存して必要な階層構造が変化することが示唆される。6.3自然言語の統語構造は記憶の保持に寄与するか？本実験の結果から、もし自然言語の統語構造が文脈自由であるならば、インクリメンタル処理において記憶の保持に寄与しうると考えられる。しかし、ツリーバンクの木構造が文脈自由ではない可能性が示唆されており[20]、実際に記憶の保持に寄与するかは明らかではない。一方で、十分大きな確率文脈自由文法であれば自然言語を近似できるため[21]、本研究の手法を用いて、言語学的な正解構造と文脈自由に近似した構造の間でトークン予測性能の差を分析することが可能となる。これにより、自然言語の統語構造が記憶の保持にどの程度寄与するかの定量的な分析が可能になると考えられる。7結論と今後の展望本研究では、確率文脈自由文法を用い、次トークン予測において階層構造は記憶の保持に必要であり、かつ、モデルの記憶容量に依存して必要な階層構造の深さが変化することを示した。具体的には、統語的言語モデリングの抽象化を行い、記憶の保持に必要な階層構造の計算手法を提案した。なお、記憶の保持に必要な階層構造は一意ではない。そうした構造間の関係性の解明により、言語が持つ階層構造の数理的性質の理解に繋がることが期待される。org/licenses/by/4.0/).