\label{sec:introduction}複単語表現(MWE)は，統語的もしくは意味的な単位として扱う必要がある，複数の単語からなるまとまりである\cite{Sag:2002}．MWEはその文法的役割に基づいて以下の4種に分類することができる（\tabref{tab:categories_of_mwes}）:(1)複合機能語\footnote{本稿では副詞，接続詞，前置詞，限定詞，代名詞，助動詞，to不定詞，感動詞のいずれかとして機能するMWEを複合機能語として定義する．}({\itanumberof}，{\iteventhough})，(2)形容詞MWE({\itdeadonone'sfeet}，{\itoutofbusiness})，(3)動詞MWE(VMWE)({\itpickup}，{\itmakeadecision})，(4)複合名詞({\ittrafficlight})．これ以降，MWEの文法的役割をMWE全体品詞と呼ぶことにする．\begin{table}[b]\caption{複単語表現(MWE)の文法的役割に基づく分類}\label{tab:categories_of_mwes}\input{01table01.tex}\end{table}上記の中でも特に複合機能語は統語的な非構成性を持ちうる．即ち，構成単語の品詞列から複合機能語のMWE全体品詞が予測し難い，というケースがしばしば存在する．たとえば，``byandlarge''は次の文で副詞として機能しているが，構成単語の品詞列（``IN''（前置詞または従属接続詞），``CC''（並列接続詞），``JJ''（形容詞））からこれを予測することは難しい．\begin{quote}{\bf\underline{Byandlarge}},theseeffortshavebornefruit.\end{quote}このようにMWEはしばしば非構成性を持つため，テキストの意味を自動理解する上でMWE認識は重要なタスクである\cite{newman:2012,berend:2011}．また，統語的な依存構造の情報を利用する応用タスクにおいて，MWEを考慮した依存構造（\figref{fig:a_number_of}b）の方が単語ベースの依存構造（\figref{fig:a_number_of}a）よりも好ましいと考えられる．MWEを考慮した依存構造では各MWEが統語的な単位となっているのに対し，単語ベースの依存構造ではMWEの範囲は表現されていない．MWEを考慮した依存構造の利点を享受しうる応用タスクの例としてはイベント抽出が挙げられる\cite{Bjorne2017}．イベント抽出ではイベントトリガーの検出とイベント属性値の同定が必要となるが，イベントトリガーとイベント属性値のいずれもMWEになりうる．また，イベントトリガーとイベント属性値を結ぶ依存構造上の最短経路は，しばしばイベント属性値の同定において特徴量として利用されている\cite{Li:2013}．\begin{figure}[b]\begin{center}\includegraphics{26-4ia1f1.eps}\end{center}\hangcaption{単語ベースの依存構造とMWEを考慮した依存構造の比較．前者ではMWE(``anumberof'')の範囲が表現されていないのに対して，後者ではMWEが依存構造の単位となっている．}\label{fig:a_number_of}\end{figure}上述のように，MWEを考慮した依存構造解析は重要な研究課題である．そこで次にMWEを考慮した依存構造コーパスの構築方法について述べる．伝統的に，英語の依存構造コーパスはPennTreebank\cite{Marcus:1994}などのツリーバンク（句構造コーパス）からの自動変換によって構築されてきた．しかし既存のほとんどの英語ツリーバンクでは，MWEが句構造の部分木になっていることは保証されていない（\figref{fig:not_subtree}）．このため，句構造からの自動変換で得られた依存構造において，MWEの構成単語群を単純にマージすることによって，MWEを考慮した依存構造を得られるとは限らない（\figref{fig:a_number_of}）\cite{Kato:2016}．本稿ではこれ以降，あるMWEが句構造の部分木になっている時，{\bfMWEが句構造と整合的である}，と記述する．コーパス中の全てのMWEの出現が句構造と整合的であるならば，我々はこれを{\bfMWEと整合的な句構造コーパス}，と記述する．\citeA{Kato:2016}はOntonotes5.0\cite{Pradhan:2007}をMWEと整合的にすることによって，MWEを考慮した依存構造コーパスを構築した．しかし\citeA{Kato:2016}は複合機能語のみを対象としており，他のMWEは取り扱っていない．\begin{figure}[t]\begin{center}\includegraphics{26-4ia1f2.eps}\end{center}\hangcaption{MWEの範囲が句構造のいずれの部分木の範囲とも一致しない場合の例．図中の矩形はMWEの範囲を示す．}\label{fig:not_subtree}\end{figure}そこで本稿では，より多くの種類のMWEをカバーするために，新たに形容詞MWEのアノテーションを行う．その上で，Ontonotesコーパスが複合機能語および形容詞MWEと整合的になるように句構造木を修正する．その後，依存構造への自動変換を行い，MWEを考慮した大規模な依存構造コーパスを構築する（\ref{sec:corpus}章）．依存構造に新たに統合するMWEとして，形容詞MWEを選択した理由を以下に述べる．第一に，複合名詞は統語的には構成的であるため，依存構造中の単位として扱うことで得られる利点は限定的である．また，複合名詞は高い生産性を持つため，辞書マッチングによる候補抽出を行うと，十分な網羅率が得られない可能性がある．したがって，複合名詞については，辞書に依存しないコーパスアノテーションが望ましいため，形容詞MWEよりもアノテーションコストが高い．第二に，動詞MWE(VMWE)は一般に非連続な出現を持ちうるため({\it{\bfpick}..{\bfup}})，句構造で部分木としてまとめる事ができないケースが存在する．このため，VMWEを考慮した依存構造コーパスを構築するためには，連続MWEとは異なるアプローチが必要となる．この点は今後の課題とする．また，文の意味理解が必要な応用タスクにおいては，句動詞など，非連続な出現を持ちうるMWE(VMWE)の認識も重要である．VMWEの認識を行う上で，連続MWEを考慮した依存構造，特に，依存構造中の動詞からparticleや直接目的語へのエッジは，有用な特徴量として利用できると期待される．そこで本研究では所与の文に対して，(i)連続MWE（複合機能語と形容詞MWE）を考慮した依存構造，(ii)VMWEの双方を予測する問題に取り組む（\ref{sec:model}章）．連続MWEを考慮した依存構造解析のモデルとしては，以下の3者を検討する：(a)連続MWE認識を系列ラベリングとして定式化し，予測した連続MWEを単一ノードにマージした上で依存構造解析を行うパイプラインモデル，(b)連続MWEの範囲と全体品詞を依存関係ラベルとして符号化し（head-initialな依存構造），単語ベースの依存構造解析を行うモデル(Single-task(parser))，そして(c)上記(b)および，連続MWE認識との階層的マルチタスク学習モデル(HMTL)\cite{Sanh:2018}である．HMTLでは，上位タスクのエンコーダーは，下位タスクのエンコーダーからの出力と，単語分散表現などの入力特徴量の双方を受け取る．HMTLを用いる動機を以下に述べる．連続MWEを考慮した依存構造解析は，連続MWE認識と，連続MWEを統語構造の単位とする依存構造解析とに分解できる．したがって，head-initialな依存構造の解析器を単体で学習させるよりも，連続MWE認識を下位タスクとして位置付け，下位タスクのエンコーダーが捉えた特徴量も利用した方が，解析精度が向上すると期待される．Head-initialな依存構造の解析は，Deepbiaffineparser\cite{Dozat:2017}を用いて行い，連続MWE認識器としてはbi-LSTM-CNNs-CRFモデル\cite{Ma:2016}を用いる．本研究でOntonotes上に構築した，複合機能語と形容詞MWEを考慮した依存構造コーパスを用いた実験の結果，連続MWE認識については，パイプラインモデルとHMTLベースのモデルがほぼ同等のF値を示し，Single-task(parser)を，連続MWE認識のF値で約1.7ポイント上回っていることを確認した．依存構造解析については，テストセット全体およびMWEを含む文において，各手法はほぼ同等のラベルなし正解率(UAS)を示した．一方，正解のMWEの先頭単語に着目すると，Single-task(parser)およびHMTLベースのモデルがパイプラインモデルをUASで少なくとも約1.4ポイント上回った．また，VMWE認識については，MWEの構成単語間のギャップを扱えるように拡張したBIO方式\cite{lrec_schneider:2014}を用いて系列ラベリングとして定式化し，(d)bi-LSTM-CNNs-CRFモデル(Single-task(VMWE))および(e)連続MWE認識，連続MWEを考慮した依存構造解析，Single-task(VMWE)のHMTLを検討する．VMWEのデータセットとしては，Ontonotesに対するVMWEアノテーションを用いる\cite{Kato:2018}．実験の結果，VMWE認識において，(e)が(d)に比べて，F値で約1.3ポイント上回ることを確認した．本稿で構築した，複合機能語および形容詞MWEを考慮した依存構造コーパスはLDC2017T16\footnote{https://catalog.ldc.upenn.edu/LDC2017T16}の次版としてリリースする予定である．