# 論文
## 外界一人称と二人称を考慮する日本語述語項構造解析の分野適応

\author{
珊瑚彩主紀 $\dagger \cdot$ 西川仁 ${ }^{\dagger}$ 徳永健伸 $\dagger$
}

本稿では, 日本語述語項構造解析に分野適応の技術を導入することを提案する. 述語項構造がアノテーション付けされた現代日本語書き言葉均衡コーパス (BCCWJ-PAS) において，メディアの違いにより項の種類の出現頻度が異なることがわかった. 特に外界照応においてその傾向は顕著である。過去の日本語述語項構造解析の多くは,新聞記事コーパスを対象にしているために, この傾向には注目していなかった. この問題に取り組むため, まず，RNN ベースの述語項構造解析器をべースラインとして使用し， 3 種類の異なる分野適応技術とその組み合わせを導入した. 現代日本語書き言葉均衡コーパス (BCCWJ-PAS) を用いた評価実験では, 述語項構造解析には分野依存性があることがわかった. 特にガ格とチ格の解析では, 分野適応が日本語述語項構造解析の性能向上に有効であることが確認され，QA テキストの解析においてべースラインと比較し F1 值が最大で, 0.030 向上した.

キーワード：日本語述語項構造解析，ゼロ照応，外界照応，分野適応

## Domain Adaptation in Japanese Predicate-Argument Structure Analysis considering First and Second Person Exophora

\author{
Mizuki Sango $^{\dagger}$, Hitoshi Nishikawa $^{\dagger}$ and Takenobu Tokunaga ${ }^{\dagger}$
}

\begin{abstract}
This paper proposes introducing domain adaptation into Japanese predicate-argument structure (PAS) analysis. Our investigation of a Japanese balanced-corpus revealed that the distribution of argument types differs across text media. The difference is particularly significant when the argument is exophoric. Previous Japanese PAS analysis research has disregarded this tendency as studies have targeted mono-media corpora. This investigation begins with a PAS analyzer based on a recurrent neural network as its baseline and extends it by introducing three kinds of domain-adaptation techniques and their combinations. Evaluation experiments using a Japanese balanced-corpus (BCCWJ-PAS) confirmed the domain dependency of the PAS analysis. The domain adaptation is effective in improving the performance of the Japanese PAS analysis, especially in the the nominative case. The maximum F1 score in the QA text analysis (0.030) improved in comparison to the baseline.
\end{abstract}

Key Words: Japanese Predicate-Argument Structure Analysis, Zero Anaphora, Exophora, Domain Adaptation


## 1 本研究の位置付け

述語項構造解析は, 様々な自然言語処理アプリケーションの土台となる技術である. 本研究が対象とする日本語のような談話指向言語では, 文から項が省略されることが多い (Kayama 2003). これらの省略された項は, ゼロ代名詞とみなされる。項は述語との係り受け関係があるか否かにより，係り受け関係有りかゼロ照応かに分けられる。 ゼロ照応は, 項がテキスト中に現れるか否かにより，文脈照応か，外界照応かに分けられる，文脈照応は，項が述語と同一文内に出現するか否かにより，文内照応か，文間照応に更に分けられる。

例 1.1)メールを書いて ${ }_{v_{1}}$ 送ったよ $v_{2}$. 読んでね $v_{3}$.

例えば, 例 (1.1) は， 3 つの述語 $\left(v_{1}, v_{2}, v_{3}\right)$ と 1 つの明示的な項候補（メール）を含んだテキストである. 例 (1.1)を述語項構造解析した結果は表 1 のようになる。ここで, 角括弧で囲まれた要素は外界照応, 丸括弧は文内照応, 二重丸括弧は文間照応である， $v_{1}$ のヲ格の項である「メール」は，格標識「を」によって明示的に示されており， $v_{1}$ との係り受け関係を持っている。このような名詞は, 括弧をつけないで示している。また, ラベル none は, 述語がその格に対して，項を取らないことを示している。

日本語述語項構造解析は, 意味役割付与 (Zhou and Xu 2015; He, Lee, Lewis, and Zettlemoyer 2017) タスクと類似しているが, ゼロ代名詞の照応解析と, 表 1 において角括弧で示されている外界照応の同定まで行う点において異なる. 日本語述語項構造解析は, 単語が省略されうるという点において, 中国語やトルコ語, またロマンス語であるスペイン語, ポルトガル語のような null-subject 言語におけるゼロ照応解析と類似している (Iida and Poesio 2011; Rello, Baeza-Yates, and Mitkov 2012; Chen and Ng 2016; Yin, Zhang, Zhang, and Liu 2017).

過去の日本語述語項構造解析の研究では, 形態素及び, 構文解析から得られた様々な特徴を利用している (Matsubayashi and Inui 2017; Hayashibe, Komachi, and Matsumoto 2011; Imamura, Higashinaka, and Izumi 2014; Shibata, Kawahara, and Kurohashi 2016; Ouchi, Shindo, Duh, and Matsumoto 2015; Yoshikawa, Asahara, and Matsumoto 2013; Taira, Fujita, and Nagata 2008).近年のアプローチでは，中間解析を必要としない end-to-end の手法による解析もある (Ouchi, Shindo, and Matsumoto 2017; Matsubayashi and Inui 2018).

表 1 例 (1.1)の述語項構造解析結果

本論文は，日本語の文内述語項構造解析を対象とし，以下の 2 つの貢献をした，第一に，文内述語項構造解析において，外界照応の一部を取り入れるように問題を整理した点である。そのために, 本研究では, 外界照応を 3 つのサブカテゴリ, つまり, 書き手である外界一人称 (exo1),読み手である外界二人称 (exo2), その他の外界三人称 ${ }^{1}$ (exoX) に分類する. 日本語のような談話指向言語では，2 者間で行われる会話の際，外界一人称，外界二人称が省略されることが多い. そのため, 文内述語項構造解析においても外界一人称，外界二人称まで解析することは必要であると我々は考えている。例 (1.2)は, サブカテゴリ化の必要性を示している.

例 1.2) サンドイッチ食べる。

（私は）サンドイッチを食べる。／（あなたは）サンドイッチを食べる？

外界照応の書き手 (exo1) と読み手 (exo2) の両方が, 動詞「食べる」の項候補であり, どちらを取るかにより文の意味が変わってくる。これら，2つの意味を区別するために外界照応のサブカテゴリ化が必要である.

第二に，日本語述語項構造解析に分野適応の技術を導入する. Surdeanu, Johansson, Meyers, Màrquez, and Nivre (2008) と, Hajič, Ciaramita, Johansson, Kawahara, Martí, Màrquez, Meyers, Nivre, Padó, Štěpánek, Straňák, Surdeanu, Xue, and Zhang (2009) は訓練データとテストデー 夕の分野（メディア）が異なると，意味役割付与の性能が低下することを報告している．Yang, Zhuang, and Zong (2015) は, 深層学習手法に分野適応を導入することでこの問題に対して取り組んだ. Imamura et al. (2014)を除いて, 日本語述語項構造解析の過去の研究のほとんどが, 新聞記事という単一の種類のテキストのみを対象としていたため, 分野依存性は問題ではなかった. 対話文を解析するために Imamura et al. (2014) は新聞記事を使って述語項構造解析器を訓練している，また，平，田中，藤田，永田 (2014) は, ビジネスメール文を解析するために, 新聞記事を使って述語項構造解析器を訓練している。その結果, 係り受け関係にある述語項や，同一文内にある述語項の場合は，学習済みモデルを比較的流用できる可能性があるが，外界照応については訓練データが足りず解析精度が低いためモデルを作り直す必要があることを述べている。しかし, その他の種類のメディアのテキストについて, 述語項構造解析を行った研究はこれまで行われていない，我々は様々な種類のメディアのテキストを日本語述語項構造解析の対象とするために, 現代日本語書き言葉均衡コーパス (BCCWJ)2 (Maekawa, Yamazaki, Ogiso, Maruyama, Ogura, Kashino, Koiso, Yamaguchi, Tanaka, and Den 2014)を使用した. BCCWJ には, 紙媒体として, 新聞記事, 書籍, 雑誌, 白書といったメディアのテキスト, 電子媒体として，インターネット上の QA テキスト，ブログテキストといった様々な種類のメディアから集


められたテキストを含んでいる，我々は，約 200 万の単語から構成され，共参照と述語項関係が注釈付けされた BCCWJ のコアデータセット (BCCWJ-PAS) を使用した。次章で詳述するが，外界照応の出現分布はメディアによって大きく異なるため，そのテキストのソースメディアを考慮する必要がある.

本研究では, リカレントニューラルネットワーク (Recurrent Neural Network: RNN) ベー スのベースモデルから始め，以下の 5 種類の分野適応手法を導入し，各手法の有効性を評価する。

(1) Fine-tuning (FT) 手法では，まず，訓練デー夕全体を用いてモデルを学習させる。学習されたパラメータを初期値とし，ターゲット領域のメディアの訓練データを用いて第 2 段階の学習を行う。

(2) Feature augmentation (FA) 手法では，全体で共有されるネットワークと分野固有のネットワークを同時に訓練する (Kim, Stratos, and Sarikaya 2016)，分野共通の知識は共有のネットワークで，分野固有の知識は分野固有のネットワークで学習されることを期待している.

(3) Class probability shift (CPS) 手法では, 項の種類毎に, 項の出現確率の事前分布が分野によって異なることを考慮し，ネットワークが出力する確率にバイアスをかける。

(4) Voting (VOT) 手法では，上記 3 つの手法による多数決をとり，出力を決定する.

(5) Mixture (MIX) 手法では, 上記 (1) から (3)の 3 つの手法を単一のネットワークに組み合わせる.

各手法の詳細は，4節にて説明する。

## 1.1 本論文の構成

本論文は次のように構成されている。第 2 章では, 日本語述語項構造解析における既存研究と本研究の位置付け，コーパスを分析して得られた述語項構造解析の分野依存性について述べる. 第 3 章では, 本研究において使用するリカレントニューラルネットワークベースのモデルについて詳述する。第 4 章では，第 3 章で提案したべースラインモデルに対して導入する 5 種の分野適応手法について詳述する。第 5 章では第 3 章, 及び, 第 4 章で説明したべースラインと分野適応を行ったモデルに対しての評価実験結果とその考察を述べる。第 6 章では，評価実験・考察を踏まえ，今後の方向性を示し結論とする.

## 2 述語項構造解析

本稿では，文内述語項構造解析を対象とする，ただし，外界一人称，外界二人称を文内にある仮想的な項として扱い，一般的な文内照応に加えてこれらの一部の外界照応も解析対象とす

る. 過去の述語項構造解析の関連研究, 及び, その関連研究が対象としてきた項種別について,概説する。

## 2.1 関連研究

日本語述語項構造解析に関する先行研究では様々な種類の項（項種別）を対象としてきた.表 2 は，先行研究が解析の対象としている項を項種別にまとめたものである．表の列は，言語学的観点から項の種類を分類している。項は述語との係り受け関係があるか否かにより，係り受け関係有り (intra(dep)) かゼロ照応かに分けられる。 ゼロ照応は, 項がテキスト中に現れるか否かにより，文脈照応か，外界照応かに分けられる，文脈照応は，項が述語と同一文内に出現するか否かにより, 文内照応 (intra(zero)) か, 文間照応 (inter) に更に分けられる. intra(dep) と, intra(zero) はどちらも項が述語と同一文内に出現する. 外界照応には，様々な分け方が存在する. NAIST Text Corpus 1.5 (飯田，小町，乾，松本 2007）と，それに基づいた Imamura et al. (2014) では，外界照応を外界一人称 (exo1), 外界二人称 (exo2), その他の外界照応 (exoX) の 3 種類に分類している。また, Hangyo, Kawahara, and Kurohashi (2013) は, 外界照応を author (外界一人称と同じ), reader（外界二人称と同じ），US:person（外界の人），US:matter（外界のコト)，US:situation（外界の状況）の５つに分類している．ラベル none は，述語がその格に対して，項を取らないことを示す。例えば，自動詞はヲ格をとらない。したがって自動詞のヲ格は none となる. Taira et al. (2008), Imamura, Saito, and Izumi (2009), Sasano and Kurohashi

表 2 先行研究が対象としている項種別

(2011), Hayashibe et al. (2011) は, 外界照応と, noneを区別していない. これらは, 表 2 では, $\triangle$ として示している.

## 2.2 本研究の問題設定

本論文では解析対象のコーパスである BCCWJ-PAS に習い, 外界照応を 3 つのサブカテゴリ，書き手を示す外界一人称 (exo1)，読み手を示す外界二人称 (exo2)，及びその他の外界三人称 (exoX) に分けた。ただし, 外界一人称 (exo1), 外界二人称 (exo2) はともに単数のみを扱う.以下では，項種別を示すために表 2 に示すラベルを使用する。

表 2 から，文間照応よりも，文内照応が盛んに研究されていることがわかる．文間照応の解析は, 文内照応と比較して，より広い空間を探索することが必要になるため, より困難な問題といえる，外界照応 exo1と exo2の項の解析は，文間照応と異なり，探索空間を大幅に増加させない. 次節で詳述するとおり, 様々なメディアのテキストに対して, 文内述語項構造解析をする際，書き手である exo1，読み手である exo2 まで含めて解析することは重要である.

本研究では, 文内述語項構造解析に加え，外界一人称，外界二人称を解析対象とする． exoX と interは，解析対象の述語は，実際に項を取るが，文内には項が現れていないという点において同じであるため, 文内述語項構造解析で解析器が exoXと interを区別することはできない. そのため，今回は unknown というラベルを付け，一䌂めにして扱った。これが我々の研究で, exoXが $\triangle$ となっている理由である. まとめると, 本研究では, intra(dep), intra(zero), exo1, exo2, none, そして exoXと interをまとめた unknownを扱う。解析の対象とする述語は，BCCWJ-PAS において，述語と示されているもののうち，動詞と，事態性名詞とする。

## 2.3 項種別毎の分布による分野依存性

日本語述語項構造解析に関する先行研究では，単一「メディア」のテキストを扱っており，その多くは新聞記事からなる NAIST Text Corpus 1.5 を使用していた. 本研究の提案手法の評価には BCCWJ-PAS を用い，BCCWJ-PASにより定義されている QA テキスト（Yahoo!知恵袋）, ブログテキスト (Yahoo!ブログ), 白書, 書籍, 雑誌, 新聞の 6 種のメディアを用いた. メディアによりテキストの特性が異なる可能性があるため，述語項構造解析の性能はメディアの特性の影響を受ける可能性がある。本研究の目的の 1 つは, メディア固有の特性を考慮するために分野適応の技術を導入し, それが日本語述語項構造解析に有効であることを確認することである.

表 3 は，BCCWJ-PAS で定義されている各メディアのテキストの平均文長を示したものである.インターネットコンテンッである QA とブログのテキストは, 他のテキストに比べ短い傾向がある。文の長さは, 文内述語項構造解析において, 項の候補数や, 述語と項の距離に影響する。

表 4 は，6つのメディアに対して格毎に項種別毎の分布の割合を示したものである. 白書は,
表 3 BCCWJ-PAS における各メディアのテキストの平均文長（形態素数）

表 4 BCCWJ-PAS におけるメディア毎の, 格毎の項種別の出現分布 $(\%)$

 &  &  &  &  &  &  &  \\

他のメディアとは異なり，いずれの格も文内ゼロ照応よりも文間ゼロ照応のほうが明らかに少ない．これは，文内に照応先の項が明示されているケースが多いためであると考えられる。これは，表 3 の白書の平均文長が長くなっていることからも示唆される。ガ格の exo1 と exo2の外界照応の分布（影付きの行）は，メディア全体を通して顕著に異なっている．QAの exo1 と exo2 は他のメディアと比較して，かなり高い数值を示している．これは，QAは，対話掲示板形式の QA テキストであるため，質問者や回答者としての書き手 (exo1) と読み手 (exo2) がテキスト中で明示的に言及されないためである. ブログも exo1 と exo2が高い数值となっているが，これは， QAとは異なり，ブログテキストは，ブログ著者としての書き手 (exo1) が話題の中心となることが多いためであると考えられる，白書は，他のメディアとは異なり，外界三人
称 (exoX) の出現頻度が高い.これは，白書という性質上，組織・集団・団体に対して言及した記述が多く，逆に書き手 (exo1) や読み手 (exo2) を意識した記述は少ないためであると考えられる.また，白書のヲ格も他のメディアとは異なる分布となっている．白書のテキストを見たところ，白書特有の事態性名詞（開発，活用，利用，報告など）が繰り返し多様されており，これらはヲ格を取るため, none は少なくなり, その分 intra(dep)が多くなっている.

出版物（書籍，雑誌，新聞）は，社会的に関心が高く，客観性のある話題が中心となり，テキスト中に情報が欠損してないことが求められるため，外界照応が出現することは少ない．出版物の中では, 雑誌の書き手 (exo1) と読み手 (exo2) の出現頻度が比較的高い. これは, 今回対象とした出版物の中では, 雑誌が最も著者, 読者を意識した記述が多いためであると考えられる.

## 3 深層リカレントモデル

我々は，以下の 3 つの層からなるリカレントニューラルネットワーク (RNN) モデルを用いて，日本語述語項構造解析を実現する。

入力層単語を特徴ベクトルに変換する。

隠れ層 bi-directional RNN 層と全結合層.

出力層ソフトマックス関数により，2 値分類を行う。

我々のモデルは, 1 文を入力とし, 文内の述語ごとに解析を行う. 文内の解析対象の述語に対する項になりやすさを表す尤度を, 入力文の各単語それぞれについて算出する。そして, 全単語を比較して最尤単語を項として選択する. 本研究では, 過去の日本語述語項構造解析に習い, 主要な 3 つの格であるガ格， ヨ格，二格を解析対象とするため，格ごとに 3 つのモデルを使用する．3つのモデルはそれぞれ独立なので，同一の単語が複数の格の項と解析される場合があるが，その場合の対処については何も行っていない.これは，今回使用した BCCWJ-PAS コーパスでは，項が含まれている文節の主辞に項のアノテーションが付与されているため, 同一の単語が，複数の格の項としてアノテーションされていることがあるためである．1文には複数の述語が含まれる場合があるが，その場合は，素性として入力する解析対象の述語の位置を変えた同一文を複数回入力することで，それぞれの述語について解析を行う.

## 3.1 モデルの概要

我々のモデルは, 各単語にバイナリラベルを出力する。 その単語がターゲットの述語に対する解析対象の格の項であるか否かを示すため, それぞれの格に対して別々にモデルを用意する必要がある。図 1 に，モデルの概要を示す。これは, 次のように形式的に表せる.

$
\overline{\boldsymbol{x}}=\boldsymbol{w}_{a} \oplus \boldsymbol{w}_{f} \oplus \boldsymbol{b}_{f}
$

図 1 日本語述語項構造解析のための深層リカレントモデル

$
\begin{aligned}
\boldsymbol{h}^{1} & =\operatorname{BiLSTM}(\overline{\boldsymbol{x}}) \\
\boldsymbol{h}^{2} & =\operatorname{linear}\left(\boldsymbol{h}^{1}\right) \\
p & =\operatorname{softmax}\left(\boldsymbol{h}^{2}\right)
\end{aligned}
$

我々のモデルは, 1 文ずつ入力文を受け取る. モデルは, 入力文中の単語 $\left.\{w_{t}\right.\}_{0}^{T}$ を, 対応する単語の特徵ベクトル $\left.\{\overline{\boldsymbol{x}}_{t}\right.\}_{0}^{T}$ に変換する. 単語の特徴ベクトル $\overline{\boldsymbol{x}}$ は, 単語埋め込みベクトル $\boldsymbol{w}_{a}$,品詞埋め込みべクトル $\boldsymbol{w}_{f}$, 及び, 構文的特徴べクトル $\boldsymbol{b}_{f}$ を連結したべクトルとして表現される.特徴ベクトル $\overline{\boldsymbol{x}}$ は， 1 層以上の双方向型の Long short-term memory recurrent neural network (BiLSTM) に入力される (Schuster and Paliwal 1997; Graves, Fernández, and Schmidhuber 2005). そして, $\operatorname{BiLSTM}(\cdot)$ は, 各単語に対して, ベクトル $\boldsymbol{h}^{1}$ を計算し出力する. $\operatorname{linear}(\cdot)$ 関数は, $\boldsymbol{h}^{1}$ を受け取り， $\boldsymbol{h}^{2}=\left(h_{0}^{2}, h_{1}^{2}\right)$ を出力する. $h_{0}^{2}$ は単語が述語の項となる程度を表わす値であり, $h_{1}^{2}$ は単語が述語の項にならない程度を表わす値である。最後に $\operatorname{softmax}(\cdot)$ 関数は, $\boldsymbol{h}^{2}$ を受け取り確率 $p$ を出力する.

仮想項本研究のモデルでは, none, exo1, exo2, そして unknown という 4 つのラベルを出力するために，文の先頭の単語の前にそれらを示す仮想項を追加した. これらの仮想項を以下のように割り当てる.
none noneに対してはゼロベクトルを割り当てる.

exo1「僕」の単語べクトルを割り当てる。これは，日本語で一般的な一人称代名詞の一つである。

exo2「おまえ」の単語べクトルを割り当てる。これは，日本語で一般的な二人称代名詞の一つである。

unknown「これ」の単語ベクトルを割り当てる。これは，日本語で一般的な三人称代名詞の一つである.

日本語には一般的な一人称代名詞，二人称代名詞が複数存在する。今回使用した単語埋め込みベクトルは，その性質上，一人称代名詞と二人称代名詞のコサイン類似度が高く, 「私」と「あなた」のコサイン類似度は，それぞれ語彙集合の中で最も高い。そのため，「私」と「あなた」 を exo1，exo2の仮想項として採用してしまうと，exo1と exo2をうまく区別できない可能性がある.「僕」は一般的な一人称代名詞の中心に近く，また，二人称代名詞からは比較的遠い.「おまえ」も同様に, 一般的な二人称代名詞の中心に近く, また, 一人称代名詞からは比較的遠い. そのため，今回は，仮想項の exo1，exo2にそれぞれ「僕」，「おまえ」を採用する。

## 3.2 入力層

単語埋め込み, 品詞埋め込み, および構文的特徴の 3 つの特徴を定義する.

単語埋め込み我々は, Suzuki, Matsuda, Sekine, Okazaki, and Inui $(2016)^{3}$ にって日本語

Wikipedia から作成された単語埋め込みを使用する. 今回使用した単語埋め込みの語军サイズ (形態素数) が $1,015,474$, 今回使用した述語項構造のアノテーションがされた現代日本語書き言葉均衡コーパス (BCCWJ-PAS) に対しての未知語の割合は $4.69 \%$ であった.未未知語はいずれも同一のUNKとして扱い，UNK にはランダムに初期化したベクトルをセットした.

品詞埋め込み各単語には, CaboCha4 と同じ品詞夕グが人手で付与されている。本研究では,品詞埋め込みとして, 単語の品詞夕グ, 及び, 3 種類の品詞細分類夕グ, 活用型, 活用形の 6 種類の夕グそれぞれに対して，5 次元のランダムべクトルを割り当てる。したがって品詞埋め込みは，6層のベクトルを連結することによって作る 30 次元のベクトルによって表す. 欠落している層は, ゼロべクトルで埋める。

構文的特徴構文的特徴ベクトルには，以下の 4 種類の特徴が含まれている.

（1）コーパスに注釈付けられている文節に基づく単語が各文節において主辞か否かを示す二值ベクトル.

（2）コーパスに注釈付けられている文節に基づく文頭からの文節距離を示す整数値の特徴べクトル（入力文の最初の文節の単語は, この値がゼロとなる）.
^{4}$ CaboCha/南瓜: Yet Another Japanese Dependency Structure Analyzer http://taku910.github.io/cabocha/
}

(3) 解析されるターゲットの述語からの距離を示す整数値の特徵ベクトル.

(4) その単語が解析対象の述語であるか否かを示す二値べクトル

## 3.3 隠れ層

隠れ層では, 各時刻 $t$ に, 特徵べクトル $\overline{\boldsymbol{x}}_{t}$ と $\boldsymbol{h}_{t-1}^{f}$ を前向き $\operatorname{LSTM}\left(\mathrm{LSTM}^{f}\right)$ に入力し $\boldsymbol{h}_{t}^{f}$ を計算する。逆に, 各時刻 $t$ に, 特徴ベクトル $\overline{\boldsymbol{x}}_{t}$ と $\boldsymbol{h}_{t+1}^{b}$ を後ろ向き $\operatorname{LSTM}\left(\mathrm{LSTM}^{b}\right)$ に入力し $\boldsymbol{h}_{t}^{b}$ を計算する，BiLSTM は，各時刻 $t$ で $\boldsymbol{h}_{t}^{f}$ と $\boldsymbol{h}_{t}^{b}$ を連結し， $\boldsymbol{h}_{t}^{1}$ を出力する.

$
\begin{aligned}
\boldsymbol{h}_{t}^{1} & =\operatorname{BiLSTM}\left(\overline{\boldsymbol{x}}_{t}\right) \\
& =\operatorname{LSTM}^{f}\left(\overline{\boldsymbol{x}}_{t}, \boldsymbol{h}_{t-1}^{f}\right) \oplus \operatorname{LSTM}^{b}\left(\overline{\boldsymbol{x}}_{t}, \boldsymbol{h}_{t+1}^{b}\right)
\end{aligned}
$

Matsubayashi and Inui (2018)は，任意の $k$ 層の双方向型の GRU (BiGRU) を用いている。本モデルもこれに習い，BiLSTMには，任意の $k$ 層の BiLSTM を利用する.

次に， 2 次元べクトル $\boldsymbol{h}_{t}^{2}$ を得るために, linear($\cdot$) 関数に $\boldsymbol{h}_{t}^{1}$ を入力する.

$
\boldsymbol{h}_{t}^{2}=\operatorname{linear}\left(\boldsymbol{h}_{t}^{1}\right)
$

## 3.4 出力層

出力層では, 単語が対象とする述語の項であるか否かを判断する。 $\operatorname{softmax}(\cdot)$ 関数は, 2 次元べクトル $\boldsymbol{h}_{t}^{2}$ を単語がどの程度対象とする述語の項としてふさわしいかを示す確率値に変換する。

$
p_{t}=\operatorname{softmax}\left(\boldsymbol{h}_{t}^{2}\right)
$

$p_{t}$ は時刻 $t$ の単語が項である確率を示す. 我々のモデルは, 最も高い確率 $p_{y}$ を持つ単語を項として選択する。

$
y=\underset{0 \leq t \leq T}{\arg \max }\left(p_{t}\right)
$

## 4 分野適応

## 4.1 ベースライン

分野適応に対するべースラインには，以下の５つのベースラインモデルを用意した.

(1) Each-D モデルは，単一のメディアのみのデー夕を使い訓練したモデルである.

(2) All モデルは，すべてのメディアのデータを使って訓練したモデルである.

(3) Small モデルは, 各メディアの訓練データを $75 \%$ に減らし, 訓練データのデータサイズを小さくしたモデルである.

(4) Out-D モデルは，アウトドメインのデータのみを使い訓練したモデルである.

(5) One-H モデルは， すべてのメディアを使って訓練したモデルであるが，All モデルとの違いとして，各メディアを示すための 6 次元の one-hot ベクトルが入力層に追加されている.このモデルは, 分野適応のベースラインとして用いる.

これらのベースラインモデルに対して，以下の 5 種類の分野適応手法を使ったモデルを用意した.

## 4.2 Fine-tuning (FT)

1つ目の手法は再学習を行う手法である。すべてのメディアのデータを使ってモデルを訓練し, All モデルを構築する。次に，初期パラメータをAll モデルのパラメータにし，ターゲットのメディアのデータのみを使って, 訓練することで, 各メディアに特化したモデルを構築する.

## 4.3 Feature augmentation (FA)

2 番目の手法は， すべてのメディアで共通するネットワーク $\operatorname{BiLSTM}^{c}$ に加え，各メディア $m$ に対して固有の $\mathrm{BiLSTM}^{m}$ を用意する手法である (Kim et al. 2016) . このモデルの概要は以下のようになる.

$
\begin{aligned}
\overline{\boldsymbol{x}} & =\boldsymbol{w}_{a} \oplus \boldsymbol{w}_{f} \oplus \boldsymbol{b}_{f} \\
\boldsymbol{h}^{1} & =\operatorname{BiLSTM}^{m}(\overline{\boldsymbol{x}}) \oplus \operatorname{BiLSTM}^{c}(\overline{\boldsymbol{x}}) \\
\boldsymbol{h}^{2} & =\operatorname{linear}^{m}\left(\boldsymbol{h}^{1}\right) \\
p & =\operatorname{softmax}\left(\boldsymbol{h}^{2}\right)
\end{aligned}
$

メディア毎に固有の $\operatorname{BiLSTM}^{m}$ は, そのメディアが固有に持っている特性を学習し, 共通の $\operatorname{BiLSTM}^{c}$ は述語項構造解析の一般的な特性を学習することを狙っている。すべてのメディアから無作為に選択したバッチ毎にこのモデルを訓練する。

## 4.4 Class probability shift (CPS)

3 つ目の手法は, 各格について, メディア毎の項種別毎の出現分布の違いを反映させる. 第 2 章の表 4 から，メディア毎の項種別毎に出現分布に違いがあることが分かった. そこで，モデルの出力に対して，項の種類毎に解析対象のメディアに応じた出現分布で重み付けを行うことで，出現分布の違いを反映させる，訓練データ中で，あるメディア $m$ において，解析対象の格として，項種別 $t p$ が出現する確率を $p_{t p}^{m}$ とする。項種別の分布は解析対象のメディアによって
異なるため, この分布の差を以下のように利用し，重み付けする.

重み付けには，まず，各メディア $m$ に対して，2つの関数 $f^{m}(h)$ と $g^{m}(h)$ を次のように定義する。

$
\begin{aligned}
f^{m}(h) & =\frac{p_{t p}^{m}}{p_{t p}^{\text {All }}} \cdot h \\
g^{m}(h) & =\left(1-\frac{p_{t p}^{m}}{p_{t p}^{\text {All }}}\right) \cdot h
\end{aligned}
$

$t p$ は, none, exo1, exo2, unknown, intra のいずれかとなる. ただし, intra ラベルは, 文内照応の係り受け有り (intra(dep)) と文内ゼロ照応 (intra(zero))の両方を含む.

2 次元べクトル $\boldsymbol{h}^{2}=\left(h_{0}^{2}, h_{1}^{2}\right)$ の $h_{0}^{2}$ は単語が述語の項となる程度を表わす値であり, $h_{1}^{2}$ は単語が述語の項とならない程度を表わす値である.

$
\begin{aligned}
\overline{\boldsymbol{x}} & =\boldsymbol{w}_{a} \oplus \boldsymbol{w}_{f} \oplus \boldsymbol{b}_{f} \\
\boldsymbol{h}^{1} & =\operatorname{BiLSTM}(\overline{\boldsymbol{x}}) \\
\boldsymbol{h}^{2} & =\operatorname{linear}\left(\boldsymbol{h}^{1}\right) \\
\boldsymbol{h}^{3} & =\left(f^{m}\left(h_{0}^{2}\right), g^{m}\left(h_{1}^{2}\right)\right) \\
p & =\operatorname{softmax}\left(\boldsymbol{h}^{\mathbf{3}}\right)
\end{aligned}
$

式 (18) は, メディア間の項種別の分布を調整することで, 出力を重みづけする.

## 4.5 Voting (VOT)

この手法は, 上記 3 つの手法の出力の多数決を取る. もし, 3 つの手法の出力がすべて異なる場合は，最も確率の高い出力を採用する.

## 4.6 Mixture (MIX)

最後の手法は，上記 3 つの Fine-tuning, Feature augmentation, Class probability shift を 1 つのモデルとして組み合わせたものである。モデルのネットワークは以下の式のように Feature augmentation, Class probability shift を1つに組み合わせる.

$
\begin{aligned}
\overline{\boldsymbol{x}} & =\boldsymbol{w}_{a} \oplus \boldsymbol{w}_{f} \oplus \boldsymbol{b}_{f} \\
\boldsymbol{h}^{1} & =\operatorname{BiLSTM}^{m}(\overline{\boldsymbol{x}}) \oplus \operatorname{BiLSTM}^{c}(\overline{\boldsymbol{x}}) \\
\boldsymbol{h}^{2} & =\operatorname{linear}^{m}\left(\boldsymbol{h}^{1}\right) \\
\boldsymbol{h}^{3} & =\left(f^{m}\left(h_{0}^{2}\right), g^{m}\left(h_{1}^{2}\right)\right) \\
p & =\operatorname{softmax}\left(\boldsymbol{h}^{\mathbf{3}}\right)
\end{aligned}
$

このネットワークを使って, Fine-tuning と同じように，すべてのメディアのデータを使ってモデルを訓練し，次に，ターゲットのメディアのデータのみを使って，訓練する.

## 5 実験

## 5.1 実験設定

現代日本語書き言葉均衡コーパスの述語項構造がアノテーションされたコアデータ・セット (BCCWJ-PAS) を使い評価を行う，評価値として，システムが出力した項の位置が BCCWJ-PAS で正解の項を表現している位置と一致すれば正解とし，しなければ不正解とする。ただし，共参照関係がある項については，いずれの項を出力しても正解とする。各メディア毎にデータを訓練用に $70 \%$ ，開発用に $10 \%$ ，テスト用に $20 \%$ に分け使用した。各モデルを最大 10 エポック訓練し，開発用データにおいて最も F1 值が高いモデルを使用した。

ハイパーパラメータ単語埋め込みと品詞埋め达みの次元数は, それぞれ 200 と 30 , 各ハイパー パラメータは, ベースラインの 1 つであるAll モデルに対して, 開発データでの F1 值の全メディアの平均值が最大となるように値を定め，それをすべてのモデルで使用した．多層 BiLSTM の層の深さ $k$ に $\{1,2,3\}$ から 3 を, BiLSTM のドロップアウト率に $\{0.0,0.1,0.2,0.3\}$ から 0.2 を，学習時のバッチサイズに $\{16,32,64\}$ から 64 とした。本研究のモデルは, weight decay は 0 とし, Adam (Kingma and Ba 2014) を使い， $\alpha$ には, $\{0.01,0.001,0.0001,0.00001\}$ から 0.001, $\beta=0.9$ として最適化する. Fine-tuning については, weight decayのみ 0.0001 とした.

## 5.2 ベースライン実験結果

表 5 ，表 6 ，表 7 は，それぞれガ格， ヨ格，二格の各ベースラインモデルの実験結果を示している，それぞれ，行見出しがターゲットのメディアを，列見出しが各モデルを示している．また行見出しの隣にテストデータの項数（テスト項数）を, 列見出しの下に訓練データの項数（訓練項数）を示している。セルの各スコアはテストデータに対する F1 值である。なお，Small,

表 5 ガ格のベースライン実験結果（F1 値）

表 6 ヨ格のベースライン実験結果（F1 値）

表 7 ニ格のベースライン実験結果（F1 値）

Out-D, One-H モデルは, All モデルに対して McNemar 検定を行い得られた P 値の有意水準が 0.05 以下の場合†を， 0.01 以下の場合 ‡を，それぞれ右肩に示している.

Each-D モデルは，訓練データのメディアが解析対象のメディアの F1 值に与える影響を確認するために用意したモデルである。ガ格， ヨ格，二格ともに，訓練データのデータ量がメディアによっては大きく違うにもかかわらず，全体的に，訓練データとテストデータが同じ（インドメイン）メディアの場合, モデルの F1 値が高い. ただし, 解析対象がブログテキストの場合,訓練データが同じメディアであるブログテキストよりも，新聞の方が $\mathrm{F} 1$ 値が高い結果となっている。これは，ブログテキストの訓練データのデータ量が新聞のテキストに比べ圧倒的に少ないためであると考えられる，Each-Dモデルの結果から，ほとんどのメディアにおいては，解析対象のメディアで訓練させたほうがF1 值が高く分野依存性があることがわかる.

ガ格， ヨ格，ニ格ともに，All モデルは, Small モデルよりもF1 值が高い. これは, 訓練デー 夕の量が多い方が $\mathrm{F} 1$ 値が向上することを示している。これらの実験結果から, 訓練デー夕の量と，データのメディアの両方を考慮することが必要であるといえる。

ガ格， ヨ格，二格ともに，All モデルは，すべてのメディアにおいて，Each-Dモデルよりも F1 値が高い. これは，インドメインのデータの他に，アウトドメインの訓練データも学習デー タとして有効に機能することを示している.

ただし，訓練データからインドメインのデータを削除すると，データ量の効果が期待できず性能が低下する。Out-D モデルは，夕ーゲットメディアが新聞である場合5を除いて，Small モデルよりも訓練データのデータ量が多い。にもかかわらず，ガ格では，解析対象が雑誌の場合を除いて, Small モデルよりも F1 値が低い. ヨ格においても, 解析対象が白書の際は 0.037 , 新聞の際は 0.024, Out-D モデルのほうが低い. ヲ格の解析対象がその他のメディア, 及び, 二格については, Small モデルと，Out-D モデルとであまり大きな差は見られないが，Out-D モデルのほうが優位に働くということはない. つまり，訓練データがターゲットメディアのデータを含んでいない場合, データサイズは必ずしも訓練データとテストデータ間でのメディアの不一致を補うとは限らない，性能を上げるためには，訓練データにターゲットのメディアのデータが含まれていることが重要であり，インドメイン，アウトドメイン両方のデータをうまく工夫して使う必要がある.

All モデルと One-H モデルを比較すると，必ずしもOne-H モデルの F1 值が高いというわけでない. ガ格では, 解析対象がブログテキストの場合を除いてAll モデルのほうが性能が高い. つまり，入力データのメディアを判別するための素性を one-hot ゙ククトのような形で与えても，うまくメディアの違いを考慮できないことがわかる.

## 5.3 分野適応

表 8 ，表 9 ，表 10 は，それぞれガ格， ヨ格，二格の各分野適応のモデルの結果を示している. 左から順にそれぞれ, Fine-tuning (FT), Feature augmentation (FA), Class probability shift (CPS), Voting (VOT), Mixture (MIX) の結果を示している. なお, 分野適応の各モデルに対しても同様に，All モデルに対して McNemar 検定より得られた $\mathrm{P}$ 值の有意水準が 0.05 以下の場合 †を， 0.01 以下の場合 ‡を，それぞれ右肩に示している。また，比較として，左側にベースラインのAll モデルの結果を示している. 表 8 のガ格, 及び, 表 9 のヲ格に対する実験結果をみると, VoT モデルは, すべてのメディアにおいて, ベースラインと分野適応の中で最も F1 値が高

表 8 ガ格の分野適応実験結果（F1 値）


表 9 ヨ格の分野適応実験結果（F1 值）

表 10 二格の分野適応実験結果（F1 值 $)$

い. ベースラインの All モデルと比較し，ガ格においては，QAテキストで最大 0.030 , ヨ格においては，ブログテキストで 0.013 向上している。他の分野適応モデルをみてみると，FT, FA, CPS モデルのいずれも，全てのテキストメディアを通じてベースラインよりも F1 值が高いモデルは無く, 解析対象のメディアによって, 効果がある分野適応手法にはばらつきがある。一方,表 10 の二格に対する実験結果を見ると, 分野適応により一部 F1 值の向上が見られるものの, 解析対象のメディアによっては, All モデルや One-H モデルの F1 值が最も高い場合もある. ベー スラインモデルによる実験結果では，ガ格ほど顕著ではないものの， ヲ格，二格も，メディア依存性が見られた。だが，今回使用した分野適応手法は二格では，うまく働かない場合もある.

表 11 ，表 12 , 表 13 は，ガ格， ヲ格，二格それぞれの各メディアにおける項種別毎の F1 值を示している，表 4 によると，ガ格が，QAテキストでは exo1 と exo2が，ブログテキストでは exo1 が比較的頻出する。 そのため, これらの外界照応の F1 值を個別に分析することは, 正しくそのメディアに適応できたかを考える上で重要である.

表 11 では，QAテキストの exo1と exo2，ブログテキストの exo1の箇所（影付きの行）を見ると，一部，例外はあるものの All モデルと比べ，分野適応モデルの F1 值が向上している。 そのため，分野適応を導入することで，これらの外界照応が出現する際の偏りを解決できたといえる。
表 11 ガ格の実験結果詳細（F1 値）

}} & \multicolumn{10}{|c|}{ QA } \\

表 12 ヨ格の実験結果詳細（F1 値）

表 13 二格の実験結果詳細（F1 値）

また, ベースラインのAll モデルと, 分野適応手法において, 最も解析精度の高かった VOT モデルを比較すると，二格のブログテキストのintra(dep)を除き，intra(dep), intra(zero)ともに， すべて解析精度が高くなっている。 そのため，直接係り受け，及び文内ゼロ照応にも分野依存性があり，それらが分野適応の導入によって解消されたといえる。

表 14 は，All モデルでは正しく解析されなかったが，VOT モデルにより正しく解析されるようになったガ格の例を示している。ターゲットの述語は太字で示している。QAテキストには，対話文が含まれているので，最初の例にあるように，読み手 (exo2) は「やめた」のような述語のガ格に当てはまる傾向が高い。ブログテキストには，書き手が自分の経験や意見を書く事が多い．そういった場合，表 14 の 2 番目の例にあるようにガ格には，書き手 (exo1) が埋まる傾向がある，白書は，その性質上，照応先候補として組織・集団・団体が埋まりやすく，それらは外界三人称となることが多い，そのため，今回の実験設定では，unknownが埋まる傾向がある.書籍では，小説のような物語文の場合，照応先候補として物語の登場人物が埋まりやすい，逆に照応先として書き手 (exo1) や読み手 (exo2) が出てくることは稀である．例では, 文中に, 述語のガ格となる，物語の登場人物が出てきていないため，今回の実験設定では, unknown が正解となる，雑誌では，読み手が存在することが想定される，そのため，例のように読み手に訴えかける場合, その述語のガ格には読み手 (exo2) が埋まる傾向がある。新聞の例は, 新聞記事のタイトルの見出しテキストである，見出しテキストでは，最初の句がガ格を埋める場合などにおいては，その格助詞は省略されることがある。表 14 の例は，いずれも，文単体のみを見れば，All モデルの出力も一見間違いではなさそうである。だが，上記のようにそれぞれのメディアの特性を考えると，間違いであることがわかる．我々の分野適応モデルは，多数の例を観察した結果, これらの例に示されているような項の曖昧性が高い文においてメディア別の傾向をうまくとらえていることが確認できた。

表 14 分野適応により正解となった例（ガ格）

## 6 結論

本稿では，日本語の文内述語項構造解析において，外界照応まで扱うために新たな問題設定を定義し，外界一人称（書き手），外界二人称（読み手），外界三人称（その他）として区別して扱うための仮想項の導入，及び，効果的な分野適応手法を提案した。そして，我々は， RNN ベースのモデルと 3 種類の異なる分野適応技術とその組み合わせを導入し, 計 5 つ分野適応方法を提案した. 現代日本語書き言葉均衡コーパスの述語項構造がアノテーションされたコアデータ・セット (BCCWJ-PAS) を用いて，6種のメディアに対してコーパスを分析した結果,様々なメディアのテキストを述語項構造解析する際は，外界一人称，外界二人称まで含めて解析する必要があることを示し，分野により項の種類毎に出現数が違うことを示した．また，評価実験によって, 述語項構造解析の分野依存性があることを示した. 特にガ格, ヨ格の解析では，分野適応の導入によって，性能を改善できることを確認した。解析対象のメディアによって幅はあるものの, ベースラインと比較し，ガ格では， 1.6 ポイント〜最大 3.0 ポイント， ヨ格では $0.6 \sim 0.9$ ポイント上昇している. 本研究の提案した, 仮想項, 及び, 分野適応手法は, 今回提案したRNNベースモデル以外にも様々なニューラルネットモデルに対して導入可能である.

## 謝 辞

問題設定に関する議論について, 松林優一郎博士と笹野遼平博士にご意見をいただきました.厚く御礼申し上げます。また，本稿を執筆するにあたり，Enago (www.enago.jp) に英文校正をしていただきました。ありがとうございます。本論文の内容の一部は， The 32nd Pacific Asia Conference on Language, Information and Computation, 第 5 回自然言語処理シンポジウム（第 238 回自然言語処理研究発表会) で報告したものである (Sango, Nishikawa, and Tokunaga 2018;珊瑚, 西川, 徳永 2018).

## 参考文献

Chen, C. and Ng, V. (2016). "Chinese Zero Pronoun Resolution with Deep Neural Networks." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 778-788.

Graves, A., Fernández, S., and Schmidhuber, J. (2005). "Bidirectional LSTM Networks for Improved Phoneme Classification and Recognition." In Proceedings of the 15th International Conference on Artificial Neural Networks: Formal Models and Their Applications - Volume Part II, ICANN'05, pp. 799-804, Berlin, Heidelberg. Springer-Verlag.

Hajič, J., Ciaramita, M., Johansson, R., Kawahara, D., Martí, M. A., Màrquez, L., Meyers, A., Nivre, J., Padó, S., Štěpánek, J., Straňák, P., Surdeanu, M., Xue, N., and Zhang, Y. (2009). "The CoNLL-2009 Shared Task: Syntactic and Semantic Dependencies in Multiple Languages." In Proceedings of the 13th Conference on Computational Natural Language Learning: Shared Task, CoNLL '09, pp. 1-18, Stroudsburg, PA, USA. Association for Computational Linguistics.

Hangyo, M., Kawahara, D., and Kurohashi, S. (2013). "Japanese Zero Reference Resolution Considering Exophora and Author/Reader Mentions." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp. 924-934. Association for Computational Linguistics.

Hayashibe, Y., Komachi, M., and Matsumoto, Y. (2011). "Japanese Predicate Argument Structure Analysis Exploiting Argument Position and Type." In Proceedings of 5th International Joint Conference on Natural Language Processing, pp. 201-209. Asian Federation of Natural Language Processing.

He, L., Lee, K., Lewis, M., and Zettlemoyer, L. (2017). "Deep Semantic Role Labeling: What Works and What's Next." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 473-483. Association for Computational Linguistics.

飯田龍, 小町守, 乾健太郎, 松本裕治 (2007). NAIST テキストコーパス：述語項構造と共参照関係のアノテーション. 情報処理学会研究報告自然言語処理 (NL), 2007 (7), pp. 71-78.

Iida, R. and Poesio, M. (2011). "A Cross-Lingual ILP Solution to Zero Anaphora Resolution." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 804-813. Association for Computational Linguistics.

Imamura, K., Higashinaka, R., and Izumi, T. (2014). "Predicate-Argument Structure Analysis with Zero-Anaphora Resolution for Dialogue Systems." In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 806-815, Dublin, Ireland. Dublin City University and Association for Computational Linguistics.

Imamura, K., Saito, K., and Izumi, T. (2009). "Discriminative Approach to Predicate-argument Structure Analysis with Zero-anaphora Resolution." In Proceedings of the ACL-IJCNLP 2009 Conference Short Papers, ACLShort '09, pp. 85-88, Stroudsburg, PA, USA. Association for Computational Linguistics.

Kayama, Y. (2003). "L1 Aquisition of Japanese Zero Pronouns: The Effect of Discourse Factors." In Proceedings of the 2003 Annual Conference of the Canadian Linguistic Association, pp. 109-120.

Kim, Y.-B., Stratos, K., and Sarikaya, R. (2016). "Frustratingly Easy Neural Domain Adaptation." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 387-396. The COLING 2016 Organizing Committee.

Kingma, D. P. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." CoRR, abs/1412.6980.

Maekawa, K., Yamazaki, M., Ogiso, T., Maruyama, T., Ogura, H., Kashino, W., Koiso, H., Yamaguchi, M., Tanaka, M., and Den, Y. (2014). "Balanced Corpus of Contemporary Written Japanese." Language Resources Evaluation, 48 (2), pp. 345-371.

Matsubayashi, Y. and Inui, K. (2017). "Revisiting the Design Issues of Local Models for Japanese Predicate-Argument Structure Analysis." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 128-133. Asian Federation of Natural Language Processing.

Matsubayashi, Y. and Inui, K. (2018). "Distance-Free Modeling of Multi-Predicate Interactions in End-to-End Japanese Predicate-Argument Structure Analysis." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 94-106. Association for Computational Linguistics.

Ouchi, H., Shindo, H., Duh, K., and Matsumoto, Y. (2015). "Joint Case Argument Identification for Japanese Predicate Argument Structure Analysis." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 961-970. Association for Computational Linguistics.

Ouchi, H., Shindo, H., and Matsumoto, Y. (2017). "Neural Modeling of Multi-Predicate Interactions for Japanese Predicate Argument Structure Analysis." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1591-1600. Association for Computational Linguistics.

Rello, L., Baeza-Yates, R., and Mitkov, R. (2012). "Elliphant: Improved Automatic Detection of Zero Subjects and Impersonal Constructions in Spanish." In Proceedings of the 13th Conference of the European Chapter of the Association for Computational Linguistics, EACL '12, pp. 706-715, Stroudsburg, PA, USA. Association for Computational Linguistics.

珊瑚彩主紀, 西川仁, 徳永健伸 (2018). 外界一人称と二人称を考慮する日本語述語項構造解析の分野適応. 情報処理学会第 238 回自然言語処理研究会 NL-238-13, pp. 1-13.

Sango, M., Nishikawa, H., and Tokunaga, T. (2018). "Effectiveness of Domain Adaptation in Japanese Predicate-Argument Structure Analysis." In Pacific Asia Conference on Language, Information and Computation.

Sasano, R. and Kurohashi, S. (2011). "A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-scale Lexicalized Case Frames." In IJCNLP, pp. 758-766.

Schuster, M. and Paliwal, K. K. (1997). "Bidirectional recurrent neural networks." IEEE Transactions on Signal Processing, 45, pp. 2673-2681.

Shibata, T., Kawahara, D., and Kurohashi, S. (2016). "Neural Network-Based Model for Japanese Predicate Argument Structure Analysis." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1235-1244. Association for Computational Linguistics.

Surdeanu, M., Johansson, R., Meyers, A., Màrquez, L., and Nivre, J. (2008). "The CoNLL-2008 Shared Task on Joint Parsing of Syntactic and Semantic Dependencies." In Proceedings of the Twelfth Conference on Computational Natural Language Learning, CoNLL '08, pp. 159-177, Stroudsburg, PA, USA. Association for Computational Linguistics.

Suzuki, M., Matsuda, K., Sekine, S., Okazaki, N., and Inui, K. (2016). "Neural Joint Learning for Classifying Wikipedia Articles into Fine-grained Named Entity Types." In Proceedings of the 30th Pacific Asia Conference on Language, Information and Computation: Posters, pp. 535-544.

平博順, 田中貴秋, 藤田早苗, 永田昌明 (2014). ビジネスメール文に対する日本語述語項構造解析の検討. 言語処理学会第 20 回年次大会発表論文集, pp. 1019-1022.

Taira, H., Fujita, S., and Nagata, M. (2008). "A Japanese Predicate Argument Structure Analysis Using Decision Lists." In Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP '08, pp. 523-532, Stroudsburg, PA, USA. Association for Computational Linguistics.

Yang, H., Zhuang, T., and Zong, C. (2015). "Domain Adaptation for Syntactic and Semantic Dependency Parsing Using Deep Belief Networks." Transactions of the Association for Computational Linguistics, 3, pp. 271-282.

Yin, Q., Zhang, Y., Zhang, W., and Liu, T. (2017). "Chinese Zero Pronoun Resolution with Deep Memory Network." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1309-1318. Association for Computational Linguistics.

Yoshikawa, K., Asahara, M., and Matsumoto, Y. (2013). "Jointly Extracting Japanese PredicateArgument Relation with Markov Logic." Journal of Natural Language Processing, 20 (2), pp. 251-271.

Zhou, J. and Xu, W. (2015). "End-to-end Learning of Semantic Role Labeling using Recurrent Neural Networks." In $A C L$ (1), pp. 1127-1137. The Association for Computer Linguistics.

## 略歴

珊瑚彩主紀：2017 年東北大学工学部情報知能システム総合学科卒業. 2019 年東京工業大学情報理工学院情報工学系終了. 同年, 株式会社メルカリ入社. 修士 (工学). 自然言語処理, 特に述語項構造解析の研究に従事.

西川仁：2006 年慶應義塾大学総合政策学部卒業. 2008 年同大学大学院政策$\cdot$ メディア研究科修士課程修了. 同年, 日本電信電話株式会社入社. 2013 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. NTTメディアインテリジェンス研究所研究員を経て, 2015 年より東京工業大学情報理工学院助教. 2017 年 IE 経営大学院修士課程修了. 博士 (工学). 自然言語処理, 特に自動要約, 自然言語生成の研究に従事. The Association for Computational Linguistics, 言語処理学会, 人工知能学会, 情報処理学会各会員.

徳永健伸：1983 年東京工業大学工学部情報工学科卒業. 1985 年同大学院理工学研究科修士課程修了. 同年 (株) 三菱総合研究所入社. 1986 年東京工業大学大学院博士課程入学. 現在, 東京工業大学情報理工学院教授. 博士 (工学).専門は自然言語処理, 計算言語学. 情報処理学会, 人工知能学会, 言語処理学会, 計量国語学会, Association for Computational Linguistics, ACM SIGIR, Cognitive Science Society, International Cognitive Linguistics Association 各会員.