言語処理学会 第26回年次大会 発表論文集 (2020年3月)

クラウドソーシングを用いた日本語述語項構造タグ付きコーパスの拡張
阿部 航平 † 河原 大輔 † 黒橋 禎夫 †‡†京都大学‡

科学技術振興機構 CREST{abe, dk, kuro}@nlp.ist.i.kyoto-u.ac.jp

はじめに

1

テキストコーパスおよび NAIST テキストコーパス [1]

意味解析の基本的なタスクの一つとして述語項構造解析がある。これは、文章中の各述語に対して「誰が何を何にどうした」のようにそれぞれの格に当てはまる項を同定するタスクである。格には様々あるが主にガ格、ヲ格、ニ格が解析の対象とされている。例として、次の文章に対して述語項構造解析を行うことを考える。

(1)

は毎日新聞の記事をコーパスとして利用し、形態素・構文情報のほか述語項構造や共参照などの意味情報タグを付与している。また京都大学ウェブ文書リードコー
パス (KWDLC) [2] では、多様な文体や内容の収集を目指し、ウェブドメインを対象として同様の意味情報タグの付与を行っている。上記のコーパスは数千〜数万文の文章で構成されているが、近年の述語項構造解
析では深層学習を活用したモデルが利用されているこ太郎はジュースを買った。そして帰る前に飲とから、学習データ量の増加がさらなる精度向上に寄んだ。

与すると考えられる。しかし、コーパスのタグ付けは少人数の専門家によって行われており、これには膨大

この文章では、述語「買った」に関する述語項構造はなコストがかかるため大規模コーパスを作成するのは「太郎がジュースを買う」であり、述語「飲んだ」に関難しい。

する述語項構造は「太郎がジュースを飲む」である。

上記のコーパスを用いた日本語述語項構造解析の研

述語項構造解析は、係助詞句や被連体修飾詞の項の究は長く続いているが、近年は特にフルニューラルの格を同定する格解析と、存在が明示されていない項のモデルが多く提案され、それ以前の統語的な特徴量を先行詞を同定する省略解析に大別される。上記の例で用いたモデルやニューラルとの複合モデルなどを超えは、「太郎は」と「買った」の関係は格解析され、「飲る精度を達成している。例えば、複数の述語が項を共んだ」のガ格とヲ格は省略解析される。日本語では項有することが多いことに着目し文章中の述語についての省略が頻繁に起こるが、省略解析の精度は 60%弱に同時学習を行ったモデル [3] や、self-attention 等を用とどまっており、重要なタスクの一つになっている。

いた中間層で複数述語間の情報共有をさらに改良した

近年、述語項構造解析に対して深層学習を用いたモモデル [4] による精度向上が見られる。また、entity

デルが多く考案されている。モデルの学習には、人手の概念を学習に取り入れ共参照との同時学習を行ったで述語項構造タグを付与したコーパスが用いられていモデル [5] や、画像生成などで主に用いられている敵るが、それらの作成には膨大な時間的、金銭的コスト対的学習を組み込むことで生コーパスを学習の補強にがかかる。解析精度向上の一つの方法としてタグ付き用いるモデル [6] なども精度向上を達成している。

コーパスの大規模化が考えられるが、コストが大きな非専門家による協力を受けて意味的タグ付けを行っ問題となる。本研究ではクラウドソーシングを用いたた研究の例としては以下のものが挙げられる。飯田ら

大規模化の方法を提案し、それを用いたコーパス拡張[7] は、一般的な日本語話者 8 人による省略関係タグの特性を調査し、NAIST テキストコーパスとの比較を行っている。FitzGerald ら [8] は、述語項構造解析と類似した意味役割付与 (SRL) タスクを対象としてクラウドソーシングを用いてコーパスを作成した。この研究では、日常的に言語を使用している人々に短いおよび解析の結果を示す。

2

関連研究
日本語述語項構造タグ付きコーパスとして、以下の3 つが代表的なものとして用いられている。京都大学― 1547 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

のみ問題を生成する。先行詞の選択肢としては、自動解析の結果から文章中の名詞句を抽出することによって生成する。なお、先行詞が述語より後方の文に出現する頻度は少ないことから、ワーカーの負担を軽減するために、対象となる述語を含む文以降の名詞句は選択肢から除外する。文章中の名詞句に加えて、照応先が文章に出現しない外界照応用の選択肢を含める。本
研究では「著者」「読者」および「不特定」の 3 つを外界照応に関する項の候補として用いる。

3.2

クラウドソーシングによるタグ付け

コーパスの構築は Yahoo!クラウドソーシングを用
図 1: ガ格の省略についてのタグ付け作業画面いて行う。各クラウドワーカーは、数個の例文を含むタスク説明を受けた後、1 セット 10 問の問題に対しインストラクションを施すことによって比較的に高いて回答する。一つの問題に対して 10 人のワーカーか精度でタグ付けを行うことができたと示している。日

ら回答を募り、最大投票数を得た回答をタグ付け結果

本語の述語項構造タグ付きコーパスについては、高橋として採用する。

ら [9] が運転ドメインを対象として、述語項構造解析および文章読解のコーパスをクラウドソーシングを用いて構築し、その検証を行っている。

4

既存のタグ付きコーパスとの比較

4.1

クラウドソーシングによる比較用コーパスの構築

拡張コーパスの構築方法

3

本研究では、大規模な述語項構造タグ付きコーパス

クラウドソーシングで得られるタグと、十分なインを低コストで構築するためにクラウドソーシングを用ストラクションやタグ付けのすり合わせなどを経て作いる。日本語話者は省略表現を自然に用いていること成された専門家による既存のコーパスのタグを比較すから、クラウドソーシングでも比較的正しいタグを付ることにより、この方法で得られるタグ付きコーパス与できると考える。以下の節では、タグ付けのデザイの特性について調査をした。本研究では前章で述べた

ンおよびクラウドソーシングによる具体的なタグ付けとおり、ガ格、特に省略解析に関して実験および分析について述べる。

を行う。比較用のタグ付きコーパスは KWDLC を用

3.1

い、テスト用データから抽出された省略解析に関するタグ付けのデザイン問題のうち、ランダムに 900 個を選んだものをクラウ

日本語述語項構造解析で対象とされる格には主にガドソーシングでタグ付けした。

格、ヲ格、ニ格の 3 種類がある。本研究では、もっともクラウドソーシングによって集めたタグの信頼度を高頻度なガ格に絞ってコーパス拡張および解析を行う。

示すと指標として、ワーカーの票の集まり具合を利用

クラウドソーシングにおける各問題は、ある述語のする。信用する得票数の閾値を決め、最多得票の選択省略されたガ格について先行詞を問う問題とする。文肢の得票数が閾値を超えた場合のみそのタグを利用す

章中には複数の述語が存在するため、それぞれに対応る。(例えば、閾値が 5 で最多得票数が 4 の場合、そする問題を生成する。問題画面の例を図 1 に示す。先の回答は用いずタグ付けは行わない。)

行詞の選択肢は複数選択可能なものとする。
クラウドソーシングのための文書の前処理および問4.2

コーパスの比較結果

題とする述語の選定は、Juman++および KNP によ

図 2 は、最多得票数の閾値ごとの回答一致率、およる形態素・構文・格解析および齋藤ら [10] が提案したび採用されるタグ数を示したものである。5 票以上がイベントグラフを用いる。構文・格解析器 KNP は構集まった回答では、一致率は 72.0%であった。閾値を

文解析を 93%程度、格解析を 90%程度の精度で行うこ上げることで一致率が上がることから、信頼度の指標とができる。そこで、KNP の構文・格解析結果を信頼として用いることができると考えられる。しかし、閾し、ガ格が省略されていると判定された述語について値上げると得られるサンプル数は少なくなる。

― 1548 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

文章1
2
3
4
5

桐学舎の講師陣が責任を持って指導を行います。生徒ひとりひとりの特性を考慮した指導で卒業までしっかりとサポートしていきます。
すっかり暖かくなってきた昨今、体を動かす絶好のチャンスだ。
ご旅行の際ご利用いただく航空会社は予告なしに変更される場合があります。
今日も何も口にしていません。病院から戻ると疲れたのか、眠ってしまいました。
アトマイザーはその性質上、次第に汚れや焦げなどが付着していきます。
これを放置しておくと、だんだんと煙量が少なくなったり、味が落ちたりします。

goldcrowd

正誤

陣

陣

〇

昨今
航空会社
不特定

著者
航空会社
著者

×〇
×

不特定

読者

×

表 1: クラウドソーシングにより得られたガ格省略のタグ付け例
行った追加のコーパスを拡張コーパスと呼ぶ。生コー
パスの収集は KWDLC と同様の手法で行い、ウェブから収集した文章から先頭 3 文を抽出したものを使用する。3,016 文書から生成した 7,012 問についてクラウドソーシングを行った。クラウドソーシングにかかった時間は約 3 日間、金額は約 70,000 円であった。
図 2: 最多得票数の閾値と正解との一致率。横軸を n5.2として、折れ線グラフは n 票以上獲得した回答のみの一致率、棒グラフは得られたサンプル数を表す。

述語項構造解析実験の設定

述語項構造解析のベースラインモデルとして、BERT[11] と呼ばれる様々な自然言語処理のタスクに応用さ

表 1 に、閾値 5 以上としたときにクラウドソーシングによって得られた回答の例を示す。
「gold」と「crowd」
はそれぞれ専門家とクラウドワーカーによるタグを表している。
例 1 では、文をまたぐ省略に関しても正しく答えられている。(「陣」は、「講師陣」を形態素解析した際の末尾の名詞としてタグ付けされている。) 例 2 では、「昨今がチャンスだ」という述語項構造が正しいが、誤ってガ格が著者とタグ付けされている。例 3 では、何が「変更される」と思いますか？と聞くことでワーカーが受身を認識して考え、正しい答えを選択でれている手法を用いる。BERT は 2 つのステップで学習を行う手法であり、大量の生コーパスを用いて行う事前学習と、fine-tuning と呼ばれる適用するタスクに応じた学習に分かれる。本実験においては、fine-tuning に相当する層では全結合層を用いたスコア計算を行い、最もスコアの大きい選択肢を目的の項とする。
具体的な方法を以下に示す。選択肢としては、入力文章をサブワードに分割したトークン列、外界照応を表す [著者]、[読者]、[不特定]、および当てはまる項がないことを示す [NULL] を用意する。ある選択肢が目的の項であるスコアは以下のように計算する。

きている。一方、外界照応については多少の曖昧性がscorecase = v T tanh(Wcase hpred + Ucase harg ) (1)あり、外界照応のトークン間での食い違いが見られる。

ただし、hpred および harg は、BERT に各トークン

特に、正解が不特定の場合で著者や読者が選ばれるパを入力して得られた最終層の出力のうち、述語およびターンが複数存在する (例 4, 例 5)。例 4 については、着目している選択肢を表現するベクトルである。また文の曖昧性を減らすために後方に続く文章も表示する

Wcase および Ucase はそれぞれの格について存在することが有効だと思われ、今後の改善点とする。

学習パラメータ、v はスカラー値を出力する全結合層拡張コーパスを用いた述語項構造

5

本研究ではさらに、Shibata ら [5] に倣った共参照と解析
5.1である。の同時学習モデルでも実験を行う。式 (1) と同様にあるトークンからすべてのトークンおよび [NULL] トー

タグ付きコーパスの拡張

クンに対する共参照スコアを計算し、最もスコアの高クラウドソーシングでタグ付けを行ったコーパスをい項を共参照先として推定する。

モデルの学習に用いることの効果を検証するため、生す べ て の 実 験 に 共 通 し て 、BERT に は 日 本 語

コーパスを用いてクラウドソーシングによるタグ付け

Wikipedia 1,800 万文で pre-training した BERT-を行った。クラウドソーシングを利用してタグ付けをLARGE を使用する。fine-tuning は KWDLC と拡張― 1549 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ガ格ヲ格ニ格

格解析

省略

格解析省略

格解析

省略

[Shibata, ACL2018]

0.945

0.646

0.857

0.343

0.411

0.465

BERT

0.893

0.686

0.772

0.433

0.540

0.478

+クラウド (5 票以上)

0.883

0.710

0.731

0.377

0.529

0.509

+クラウド (6 票以上)

0.873

0.700

0.750

0.408

0.549

0.488

BERT+coref

0.895

0.720

0.781

0.417

0.451

0.524

+クラウド (5 票以上)

0.894

0.715

0.746

0.428

0.503

0.527

+KWDLC fine-tuning

0.893

0.724

0.742

0.430

0.519

0.532

表 2: 拡張コーパスを学習に利用した述語項構造解析の結果。“クラウド “は拡張コーパスによってガ格省略関係のサンプルを増やした状態、“coref” は共参照解析との同時学習、“KWDLC fine-tuning” は後半 3 エポックでKWDLC のみを用いて学習したことを表す。
コーパスを混合したものを用い、4 エポック行う。精7

謝辞

度は KWDLC のテスト用データを用いて F 値で評価
本研究は科学技術振興機構 CREST「知識に基づくする。

構造的言語処理の確立と知識インフラの構築」（JP-5.3

拡張コーパスを用いた述語項構造解析

拡張コーパスを追加して実験を行った結果を表 2に示す。coref は共参照の同時学習を、KWDLC fine-tuning は拡張コーパスを含めた 1 エポックの学習に続き、KWDLC の訓練データのみを用いた 3 エポックの学習を行ったことを示す。

coref を用いない場合、ガ格省略に関しては既存コーパスのみの学習でも先行研究を上回ったうえ、拡張コーパスを用いることでさらに精度を向上させることができた。ただし票数の閾値を 6 票に変化させても精度の向上が確認できず、拡張コーパスの質と学習に用いることのできるサンプル数がトレードオフになっていると考えられる。coref を同時学習した場合、ベースラインはさらに高い精度を示したものの拡張コーパスによる寄与は見られにくい。これは拡張コーパスには共参照に関するタグがないこと、質が完璧でないことから解析精度の上限が抑えられてしまうことが考えられる。
このような欠点は KWDLC のみを用いた fine-tuningを行うことで、ある程度解消することが確認できた。

6

おわりに
本研究では、述語項構造解析、特に省略解析についてのタグ付けをクラウドソーシングを用いることで効率的に行う手法を提案し、その効用を検証した。今後の課題として、クオリティコントロール等、拡張コーパスの質の向上への取り組み、およびヲ格・ニ格に関MJCR1301）の支援のもとで行われた．

参考文献[1] 飯田龍, 小町守, 井之上直也, 乾健太郎, 松本裕治. 述語項構造と照応関係のアノテーション: Naist テキストコーパス構築の経験から. 自然言語処理, 2010.
[2] 萩行正嗣, 河原大輔, 黒橋禎夫. 多様な文書の書き始めに対する意味関係タグ付きコーパスの構築とその分析. 自然言語処理, 2014.
[3] Hiroki Ouchi, Hiroyuki Shindo, and Yuji Matsumoto.
Neural modeling of multi-predicate interactions forjapanese predicate argument structure analysis. In ACL,2017.
[4] Yuichiroh Matsubayashi and Kentaro Inui. Distancefree modeling of multi-predicate interactions in end-toend Japanese predicate-argument structure analysis. InCOLING, 2018.
[5] Entity-centric joint modeling of japanese coreference resolution and predicate argument structure analysis. InACL, 2018.
[6] Shuhei Kurita, Daisuke Kawahara, and Sadao Kurohashi.
Neural adversarial training for semi-supervised Japanesepredicate-argument structure analysis. In ACL, 2018.
[7] 飯田龍, 橋本力, 鳥澤健太郎, 黒橋禎夫, 乾健太郎, 宮尾祐介,柴田知秀, 笹野遼平. 日本語書き言葉を対象とした人間の自然な省略検出の分析. 言語処理学会第 21 回年次大会発表論文集, pp. 565–568, 2015.
[8] Nicholas FitzGerald, Julian Michael, Luheng He, andLuke Zettlemoyer. Large-scale qa-srl parsing. In ACL,2018.
[9] 高橋憲生, 柴田知秀, 河原大輔, 黒橋禎夫. ドメインを限定した機械読解モデルに基づく述語項構造解析. 言語処理学会 第25 回年次大会, 名古屋, 2019.3.
[10] 齋藤純, 坂口智洋, 柴田知秀, 河原大輔, 黒橋禎夫. 述語項構造に基づく言語情報の基本単位のデザインと可視化. 言語処理学会第 24 回年次大会, 2018.
[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In ACL,
2019.

しての同様の拡張、検証を行う予定である。また、本コーパスは一般に公開する予定である。

― 1550 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.