対称的な系列集合を用いた教師なし構文解析モデルの分岐バイアスの検証

本研究は，教師なし構文解析モデルが「潜在的な分岐バイアスを持たない」ための必要条件を検証することを目的とする．教師なし構文解析とは，テキスト（系列の集合）のみから，その背後にある木構造を出力するというタスクであり，低資源言語への対応や認知的・言語学的な視点から研究されてきた[1,2,3,4,5]．分岐バイアスとは，構文解析モデルが学習・出力しやすい木構造に偏りがあることを指す．特に，木構造が右に深いときを右分岐，左に深いときを左分岐と言う（図1下部）．ときに，構文解析モデルが分岐バイアスを持つことは望ましくない．というのも，モデルがある種の構造のみを学習しやすいということは，他の構造を持つ言語への適用性が下がることを意味するからである．例えば，英語は右分岐な言語として知られるが，日本語は左分岐とされる．右分岐バイアスを持つモデルは英語に対する精度が高くなりやすい一方で，日本語に関しては精度が低くなりやすい．実際に，Liら[6]は，言語により高精度となるモデルが異なることを報告しており，モデルが分岐バイアスを持つことが示唆されている．以上のように，潜在的な分岐バイアスはモデルのある種の「アドホックさ」として考えられ，モデルの分岐バイアスを分析することは重要である．そこで，本研究では，分岐の偏りの無い対称的な系列集合を学習データに用いる分析手法を提案する（図1）．これにより，学習の結果，モデルの導出する構造に偏りが生じる場合は，モデルそのものに分岐バイアスが内在することを示すことが可能となる．また，データセット中の系列の頻度を調整することで，対称性がくずれた場合のモデルの挙動についても分析を行う．