木構造自己注意機構を用いた教師なし統語構造解析

様々な文字媒体が存在する今日において，それに伴い様々な文体を持つ文が存在している．例えば，X（旧Twitter）における文は，これまで統語構造解析の主な対象となっていた英字新聞コーパスなどと比べて，文法規則にとらわれない自由な文体を持つことが挙げられる．文法規則にとらわれないコーパスでは，従来の構文規則によるルールベースの手法を用いるだけでは，構文構造を解析することができない文が数多く存在することとなる．一方で，Transformer[1]は高い汎用性を持つことから機械翻訳にとどまらず，様々な自然言語処理課題に対して採用され，高い成果を挙げている．自己注意機構とは，文中の各単語間の関連性を表すスコアを算出するもので，潜在的に統語構造情報を捉えている可能性が考えられることから，これを工夫した統語構造解析手法が提案されている[2][3]．深層学習を統語構造解析に用いることで，文を連続値の情報であるベクトルで扱うことが可能となり，従来の文法規則のマッチングによる処理とは違い，より頑健な処理を実現できるという利点がある．そこで本研究では，Xコーパスをはじめとするソーシャルメディアのような実データに対応するような自己注意機構を用いた教師なし統語構造解析モデルを提案する．