Transformerベース言語モデルの内部表現には統語構造が表現されていることが示唆されているが，入力が各層を伝播する中で統語構造が構築される過程は依然として不明確である．本研究では，Transformerベース言語モデルにおける，統語構造の構築過程を定量的に分析するための新しい手法としてDerivationalProbing（派生的プロービング）を提案する．これにより，文の局所的な構造と大域的な構造が，単語表現が各層を伝播する過程でどのように構築されるかを検証することが可能となる．BERTとGPT-2を用いた実験では，BERTは局所的な構造を構築してから大域的な構造を構築するボトムアップな方法をとるのに対し，GPT-2は局所的な構造と大域的な構造をよりパラレルに構築する傾向があることが示された．また，主述の一致タスクのケーススタディでは，BERTモデルが最終的に正しい統語構造を導出する場合でも，大域的な構造の構築が行われる層の位置が，タスクのパフォーマンスに影響を与えることが示され，大域的な構造を構築する最適な層の範囲が存在することを示唆した．

近年，事前学習済み言語モデルは，自然言語処理の幅広いタスクにおいて目覚ましい成功を収めている．同時に，これらのモデルが具体的に何を学習し，言語知識をどのように表現しているかについて活発に分析が進められている[1,2,3]．中でも，言語モデルの単語表現を直接分析して潜在的な統語構造を明らかにすることを目的として構造プロービング(StructuralProbing)[4]が提案されている．[4]は，BERT[5]の単語埋め込み空間の幾何学的構造が依存構造木の距離をエンコードしていることを示し，モデルが全体として正しく統語構造を表現できていることを主張した．しかし，構造が構築される過程については必ずしも明らかになっ言語モデルが統語構造を構築する過程を分析するための手法である．ていない．結果として得られる表現だけでなく，それらが層を通じてどのように構築されるかを理解することは，より包括的な理解のために不可欠であり，これらの表現が言語モデルによりどのように利用されているかのより深い理解にも繋がる可能性がある（cf.[1]）．一方，[6]はBERTの各層がどのようなタスクを解くのに寄与しているかを検証し，その道具として特定のタスクがどの層で解かれているかを特定する指標であるExpectedLayerを導入した．しかし，彼らの研究は言語モデルがどの層でどのタスクを解いている傾向があるかについての示唆を与えるものの，統語構造の構築の過程を直接分析するものではない．そこで，本研究ではDerivationalProbing（派生的プロービング;図1）という新しいプロービング手法を提案する．この手法は，構造プロービング[4]とExpectedLayer[6]を組み合わせた新しい手法である．この方法により，文の局所的な構造（主語名詞句，目的語名詞句，前置詞句など）と大域的な構造（主動詞とそれと直接の依存関係を持つ語同士の関係）の両方が，モデルの層を通じてどのような順序で構築されるかを検証することが可能となる．提.案手法をBERT[5]とGPT-2[7]に適用した実験により，BERTは局所的な構造を構築してから大域的な構造を構築するボトムアップな方法をとるのに対し，GPT-2は局所的な構造と大域的な構造をよりパラレルに構築する傾向があることが示された．さらに，主述の一致タスクのケーススタディでは，モデルが最終的に正しい統語構造を導出できている場合でも，その構造構築の過程によりタスク性能が左右されることが示唆された．具体的には，BERTモデルでは，大域的な構造が構築される層が特定の層よりも低層もしくは高層になることでタスク性能が低下することが示され，大域的な構造を構築する最適な層の範囲が存在することが示唆された．