ゼロ照応解析とは，テキスト中の述語の省略された項（ゼロ代名詞）を検出し，項として埋めるべき格要素を同定するタスクである．格要素は先行詞としてテキスト中で言及されている場合もあれば，言及されていない場合もある．前者の場合，先行詞は述語と同じ文中にある（文内ゼロ照応）か，先行する文中にある（文間ゼロ照応）\footnote{この研究では後方照応は扱わない．}．後者（外界ゼロ照応）の例として，テキストの著者である主語が明示的に言及されない場合などがある．\begin{quote}$(1)大岡山商店街でも(\phiガ)お洒落な建物を\underline{見かける}ようになった．カフェテリアが特に多くて，今月も新しく(\phiガ)(\phiニ)\underline{オープンしてる}．$\end{quote}例~(1)では「見かける」のガ格と「オープンしてる」のガ格，ニ格が省略されている．「オープンしてる」のガ格の格要素は同文中に言及されている「カフェテリア」であり（文内ゼロ照応），ニ格の格要素は前文で言及されている「大岡山商店街」である（文間ゼロ照応）．一方，「見かける」のガ格の格要素はテキスト中では明示的に言及されていない「著者」である（外界ゼロ照応）．本論文では特に日本語のゼロ照応解析を取り扱うが，項の省略が起こるpro-drop言語は日本語だけではなく，他に中国語，イタリア語，スペイン語などがあり，各言語で日本語ゼロ照応解析と類似したタスクに取り組む研究が数多くある\cite{Chen-Chinese-2016,Yin-Chinese-2017,Yin-Zero-2018,Yin-Deep-2018,Iida-A-2011,Rello-Elliphant-2012}．また英語では意味役割付与タスクがゼロ照応解析に似た研究として挙げられる\cite{Zhou-End-2015,He-Deep-2017}．日本語ゼロ照応解析は，日本語述語項構造解析の部分問題であり，自動要約\cite{Yamada_Designing_2017}や情報抽出\cite{Sudo_Automatic_2001}，機械翻訳\cite{Kudo_A_2014}など様々な自然言語処理アプリケーションの精度改善にとって重要であるため，緊急に解決されるべき課題として盛んに研究されている\cite{Sasano-A-2011,Hangyo-Japanese-2013,Ouchi-Neural-2017,Matsubayashi-Revisiting-2017,Matsubayashi2018,Shibata2018,Kurita2018}．本研究の貢献は大きく二つに分けられる．第一に大規模均衡コーパス上で日本語ゼロ照応解析を行い評価したことと，第二にこの大規模均衡コーパス上で文内・文間ゼロ照応解析を可能にするための解候補削減手法を提案したことの二点である，従来のゼロ照応解析研究は，新聞記事のみからなる『NAISTテキストコーパス』(NTC)\cite{Iida-Annotating-2007}で評価を行うものが多かった．従って，それらの評価ではテキストドメインの違いによる影響が考慮されていない．ゼロ照応解析結果の応用を考えた時，複数ドメインの文書に対しても頑健なゼロ照応解析手法の有用性は高い．我々は『現代日本語書き言葉均衡コーパス』(BCCWJ)\cite{Maekawa-2014aa}を評価実験に使用した．BCCWJは13ドメインにまたがって構築された約一億語からなる日本語均衡コーパスである．このうちの約100分の2にあたる約二百万語からなるコアデータに対しては，人手による述語項構造と照応関係の付与がされている．また，BCCWJは新聞，雑誌，書籍，白書，Yahoo!知恵袋，Yahoo!ブログの6ドメインにまたがったテキストを含んでいる．ドメインによるゼロ照応解析の性能の違いを調べるために，我々はBCCWJを使用した．表~\ref{tab:distance-distribution}はBCCWJコアデータセットの述語と格ごとの格要素の距離の分布を示している．ここでの距離は述語と格要素の間の文数である．距離0は文内照応を示しており，距離1以上は文間ゼロ照応を示している．この表から，文中に格要素の出現するゼロ照応のうち，半数以上のゼロ照応が文間ゼロ照応であることがわかる．表~\ref{tab:genre-distribution}はテキストドメインごとに分類した述語とガ格の格要素との距離の分布を示している．この表から，文内，文間ゼロ照応のドメインごとの違いが確認できる．OW（白書）のガ格には文内ゼロが多く出現している一方で，PM（雑誌），OC(QA)のガ格には文内ゼロ比率が少なく，5文前までの文間ゼロが多く出現している．また，PM（雑誌），OY（ブログ）のガ格は7文以上前の文間ゼロが他のドメインと比較して多く出現しており，このようなドメインごとの述語と格要素間の距離の違いが文間ゼロ照応解析の精度に影響を及ぼす原因だと予測できる．これらの観察から，異なるタイプのテキスト上で評価実験を行うことの重要性が示唆される．\begin{table}[b]\begin{minipage}[t]{189pt}\caption{格要素と述語の距離の分布}\label{tab:distance-distribution}\input{09table01.tex}\end{minipage}\hfill\begin{minipage}[t]{210pt}\caption{文書ドメインごとのガ格ゼロ照応の分布(\%)}\label{tab:genre-distribution}\input{09table02.tex}\end{minipage}\end{table}表~\ref{tab:distance-distribution}に示すとおり現実の文書には文間ゼロ照応が頻出するが，従来のゼロ照応解析研究の多くは，文内ゼロ照応のみに焦点を絞っている\cite{Iida-Intra-2015,Shibata-Neural-2016,Ouchi-Neural-2017,Matsubayashi-Revisiting-2017,Matsubayashi2018,Kurita2018}．\citeA{Ouchi-Neural-2017}は，文内ゼロ照応のみを取り扱う理由として，探索範囲の問題を指摘している．文間ゼロ照応では，格要素候補をテキスト全体から探す必要があるため，文内ゼロ照応解析に比べて探索範囲が拡大する．\citeA{Matsubayashi-Revisiting-2017,Matsubayashi2018}と\citeA{Kurita2018}は解析に際して文脈素性を取り入れるために，リカレントニューラルネットワーク(RNN)を導入し，格要素候補と述語が含まれる文を読み込ませている．しかしこれと同じ手法を文間ゼロ照応解析において適用しようとすると，テキスト全体をRNNに入力として与える必要がある．長距離の文脈を記憶する仕組みを持つLSTMやGRUを使用しても，システムがテキスト全体における長距離の依存関係を十分に学習できるとは限らない．また，テキスト全体を記憶しなくても，選択的に抽出された文脈情報のみで解析できる可能性がある．先述の研究と異なり，\citeA{Sasano-A-2011}と\citeA{Hangyo-Japanese-2013}，\citeA{Shibata2018}は，文内・文間ゼロ照応解析手法を提案している．しかし，彼らは新聞コーパスとWebコーパスを用いて評価実験を行っており，複数ドメインコーパスを用いた評価実験は行っていない．また，\citeA{Shibata2018}は各entityごとにembeddingを割り当て，現在解析対象としている述語より文書の前方におけるRNNの解析結果を用いて，それぞれのembeddingを逐次更新することで文脈情報を使用している．これら2つの問題に対して，本研究では様々なドメインの文書への対応を可能とするために大規模格フレームを利用し，述語が取りうる複数の格要素の組合せから最適なものを選ぶ．大規模コーパスから得られた述語の格フレームに関する統計的情報を使用することで，特定のドメインにのみ出現する事例数の少ない格フレームに対しても対処できるようになると考えられる．解候補となる格要素の組合せが膨大になる問題に対しては，格フレームを使用した解候補削減手法を取り入れることで，より汎用性の高い文内・文間ゼロ照応解析モデルを提案する．ひとつのモデルで文内・文間のゼロ照応解析を同時に行う際，各格に対してそれぞれ独立に解析を行うより，他の格の情報を利用して複数格を同時に解析する方がより良い精度が得られると考えられる．\citeA{2010C-994}はCoNLL-2009SharedTaskデータを用いた述語項構造解析において，述語項構造の大域的な情報を取り扱う因子を素性として取り入れることで，日本語を含む7種類すべての言語の精度が改善することを確認している．しかし複数格を同時に解析する際には，先行詞の広大な探索範囲の問題に対処する必要がある．特に機械学習を適用する際，正解の候補となる名詞の組合せが大幅に増加する．BCCWJの場合では，格フレーム候補が平均20個，ガヲニ格の格要素候補が平均10個出現するため，組合せは$20\times10\times10\times10=\text{約20,000}$通り考えられ，このうち正しい格フレームと格要素の組合せは一つのみである．結果としてデータ中の正例と負例の比率が約1対20,000と著しく不均衡となる．このような偏った訓練データは不必要に計算量を増幅させ，かつモデルの汎化を妨げる要因となる．我々は，学習に不要な負例を削減するために，解析対象述語に対応する格フレームを用いた効率的な解候補削減手法を提案する．この提案手法により，正解を候補に残しつつ，約1,000分の1にまで解候補を削減することに成功した．また，我々はRNNにローカルアテンション機構\cite{Luong-Effective-2015}を導入することで，前文中のどの部分に注意を向けて解析するかをシステムに学習させた．本研究の提案手法は二つの構成要素からなり，一つは格フレーム内の単語分散表現を使用した解候補削減アルゴリズムで，もう一つは解候補削減に使用した分散表現を利用するニューラルネットゼロ照応解析モデルである\footnote{https:\slash\slash{}github.com\slash{}yamashiros\slash{}Japanese\_zero\_anaphora}．なお，BCCWJを訓練・テストに用いた文内・文間のガヲニ格を対象とするゼロ照応解析は．本研究が初の試みである．\begin{table}[b]\caption{関連研究}\label{tab:related-work}\input{09table03.tex}\end{table}