木構造自己注意機構を用いた教師なし統語構造解析

X(旧Twitter)などのソーシャルメディアでは，口語に近い文体で文章が記述される傾向にある．こうした文は文法規則にとらわれない自由な文体で，構文構造について従来のルールベースの手法では解析することができない文が数多く存在する．そこで本研究では，実データの例としてXコーパスを対象に，深層学習を用いて統語構造解析を行う教師なし学習モデルを提案する．提案手法では，条件付き確率場（CRF）による構文木の解析精度の向上を促すよう，Transformerの自己注意機構を入力文の統語構造を反映するように変更したエンコーダを用いる．提案モデルを用いることで，従来のモデルと比較してXコーパスにおける構文解析精度が向上することが確認された．