言語処理学会 第25回年次大会 発表論文集 (2019年3月)

登場人物を考慮した日本語文章読解テストセットの作成 ∗渡会 拓人 † 横井 康孝 † 土屋 雅稔 †‡†豊橋技術科学大学 工学部 情報 · 知能工学課程 / ‡ 大学院 情報 · 知能工学専攻

を含む質問文 q ，空所に挿入し得る候補単語集合 A がはじめに1与えられた時，正しい単語 a ∈ A を選ぶタスクである．

計算機によって自然言語で記述された文章を理解する

文脈文集合 C と質問文 q が理解できている場合，かつ，ことは，自然言語処理分野における重要な目標の一つ

文脈文集合 C と質問文 q が理解できている場合に限っである．この目標を達成するには，文章理解とは何かて，正しい単語 a ∈ A が選択できるように設計されてを定義する必要があるが，直接的に定義することは非いれば，空所穴埋め問題は文章読解のベンチマークと常に困難である．そのため，文章理解を直接的に定義して利用可能と考えられる．

する代わりに，対象となる文章が理解できている場合空所穴埋め問題は，4 択問題や質問応答と比較するに限って達成できるタスクを定義することによって，と，テストセットを機械的に作ることが可能であると文章理解の度合いをベンチマークするという方針が広いう利点がある．先に述べた通り，文脈文集合 C と質く採用されている．

問文 q は，対象テキストの一部から機械的に生成でき

この方針のタスク定義には，4 択問題 [9, 11] や質問る．また，候補単語集合 A は，実際に空所に入る正解応答 [10]，空所穴埋め問題 [4, 8] などがある．4 択問題

単語 a と，正解単語と類似した機能を持つ単語を文脈は，複数文からなるパッセージ C ，パッセージ C に記

文集合 C から抽出するという方針により，機械的に生述されている内容に関する質問文 q ，解答候補集合 A成可能である．それに対して，4 択問題や質問応答でが与えられた時，正解 a ∈ A を選ぶタスクである．質は，パッセージ C とは別に，質問文 q を用意する必要

問文 q とパッセージ C が理解できている場合，かつ，がある．近年では，クラウドソーシングによって質問

質問文 q とパッセージ C が理解できている場合に限っ

文 q を作成する手法が広く用いられているが，作業者て，正解 a ∈ A が選択できるように設計されていれば，のバイアスによる問題が指摘されている [12]．

4 択問題は文章読解のベンチマークとして利用可能と以上から，本稿では，文章読解のタスク定義として，考えられる．質問応答は，解答候補集合 A が与えられ空所穴埋め問題に注目する．英語で記述された文章にない条件で正解 a を答えなければならない点のみが 4

対する空所穴埋め問題テストセットとしては，Children択問題と異なるため，4 択問題と同様に文章読解のベンBooks’ Test (CBT)[4] が広く用いられているが，日本語チマークとして利用可能と考えられる．

で記述された文章に対する空所穴埋め問題テストセッ

空所穴埋め問題 [4, 8] を，以下のように定義する．

トは，筆者らの知る限りでは存在しない．そのため本対象となるテキストに連続して出現する n + 1 個の文

稿では，日本語で記述された児童向け小説 · 物語を対象

si+n+1を，先行する n 個の文 si+nと，直後の文 si+n+1iiとする空所穴埋め問題テストセットを作成する手順と，に分割する．ここで，先行する n 個の文 si+nを文脈文i作成結果について述べる．

集合 C ，文 si+n+1 の一部を空所に置き換えた文を質問
文 q と呼ぶ．空所穴埋め問題は，文脈文集合 C ，空所2関連研究

CBT[4] は，Project Gutenberg*1 に収録された英語で記∗Construction of Japanese Reading Comprehension Testset Considering Characters† Watarai Takuto, School of Engineering, Department of Computer Science and Engineering Toyohashi University Technology‡ Yasutaka Yokoi, Masatoshi Tsuchiya, Graduate School of Computer Science and Engineering, Toyohashi University Technology

述された児童向け書籍から作成された空所穴埋め問題
テストセットである．CBT の文脈文集合 C の長さ nは 20，候補単語集合 A の大きさ |A| は 10 である．文

― 1289 ―*1 https://www.gutenberg.org/Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1 青空文庫に収録されている書籍数

脈文集合 C に対して Stanford Core NLP Toolkit[13] を用いて固有表現抽出し，抽出された固有表現から無作

全書籍数

14,999 冊

為に選択した単語を用いて，候補単語集合 A を作成し児童向け小説 (K913 に分類される書籍) 数

1,085 冊ている．固有表現には，人名，地名，組織名，時間表現，対象書籍 (新字 · 新仮名の児童向け小説) 数

810 冊

割合表現などがあるが，これらは全て区別せずに候補単語集合 A が作成されている．そのため，文脈文集合

表 2 対象書籍の著者 (対象書籍数が多い順に 10 名を抜粋)

C 全体を理解せずとも，直前の文 si+n と質問文 q のみ

著者から正解単語 a ∈ A を推定可能であるという偏りが指摘されている [6]．このように，空所穴埋め問題テストセットを，文章読解のベンチマークとして用いるためには，候補単語集合 A の作成方法は非常に重要である．

3 日本語文章読解テストセットの作
成

対象書籍数

小川未明

388 冊

宮沢賢治

64 冊

夢野久作

50 冊

新美南吉

43 冊

楠山正雄

42 冊

海野十三

37 冊

江戸川乱歩

33 冊

3.1 対象書籍の選定

豊島与志雄

30 冊

本稿では，日本語文章読解テストセットを作成する対象

竹久夢二

18 冊

テキストとして，青空文庫*2 に注目する．青空文庫は，

小酒井不木

14 冊

著作権が期限切れし public domain となった書籍を，誰計 54 名

計 810 冊もがアクセスできるようインターネット上で公開している活動である．文章読解テストセットを作成するには，明確な文章構造を持ち，解釈のぶれが少ない物語文が適していると考えられる．そのため，CBT と同様に，児童向け小説を対象としてテストセットの作成をいる書籍の 5.4% (810 冊) である．対象書籍の著者を，表 2 に示す．対象書籍の著者は 54 名いるため，表 2 には，対象書籍数が多い上位 10 名を示した．

3.2 作成手順行うことにする．
青空文庫では，各書籍に対して，表題，著者，出版年，仮名遣いなどのメタデータに加えて，日本十進分類法 (NDC) に基づく分類コードが付与されている．さらに，児童向け書籍の場合は，NDC 分類コードに「K」を前置した分類コードが付与されている．そこで本稿
では，青空文庫において，「K913」(児童向け小説 · 物

空所穴埋め問題の作成手順は，おおよそ以下のステップからなる．

1. 対象書籍を章単位に分割し，各章を文に分割する．
2. 文から候補単語を抽出する．
3. 閾値以上の候補単語が得られる箇所から，空所穴埋め問題を作成する．

語) という分類コードが付与されている書籍を対象とする．また，青空文庫には，青空文庫には旧字 · 旧仮名の以下，各ステップの詳細を述べる．

書籍も多く収録されている．しかし，既存の形態素解

3.2.1

析器や係り受け解析器の多くは旧字 · 旧仮名を未知語先に述べた通り，空所穴埋め問題とは，質問文 q に設けとして処理することになり，解析精度が低下することが予想される．そのため，本稿では，新字 · 新仮名の書籍のみを対象とする．

対象書籍の整形られた空所の単語を，文脈文集合 C に基づいて推定するタスクである．文脈文集合 C が第 i 番目の章，質問文 q が第 i + 1 番目の章に属している場合を仮定する．

以上の方針に従い，青空文庫から対象書籍を取り出した結果を表 1 に示す．対象となる書籍は，2018 年 12
月 1 日現在の青空文庫の Git リポジトリ*3 に収録されてこの場合，文脈文集合 C と質問文 q は，同一書籍内ではあるものの，非常に異なるコンテキスト下で出現しているため，文脈文集合 C から質問文 q の空所を推定できるとは考えにくい．そこで，本稿では，適切な空所*2 https://www.aozora.gr.jp/*3 https://github.com/aozorabunko/aozorabunko.git

穴埋め問題を作成するには，文脈文集合 C と質問文 qが同一の章に連続して出現していることを条件とする．

― 1290 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.



小田さんはじめ、私たちは呆気にとられて俊夫君の顔を見つめました。

種類

抽出できなかった固有表現人物名

怪人二十面相， 丁七唱 (ちょうしちとなう) ，アア，ノロちゃん，ギネ，フウフィー

消えた証拠

ヴオ，ペンネンネンネンネン・ネネム, エキモス

しばらくして小田さんは、「それでは君は白痴を尋問するのか？」と尋ねました。



図1

組織名



月世界探検隊，少年探偵団，イーハトー
ヴ火山局，読売新聞

見出し

土地名

カマジン国, 六天山塞, 地獄の一丁目，ハンムンムンムンムン・ムムネ市，火星

この条件を満たすため，最初に，対象書籍を章単位に

図 2 JUMAN++/KNP を用いて抽出できなかった固有表現分割する．しかし，青空文庫に収録されている書籍には，明示的かつ統一的な章区切り情報は付与されてい表3

人手作成した固有表現および登場人物データベースないため，見出しを手がかりとして章単位に分割する．

種類

エントリ数

見出しの例を，図 1 に示す．図 1 では「消えた証拠」が人名

1250

見出しである．青空文庫の書籍テキストファイルでは，

地名

746

見出しの前後には 2 つ以上の改行文字が連続して出現

組織名

168

することが大半であるので，これを手がかりとして見登場人物名

449

出しを抽出し，書籍を章単位に分割する．

固有物名

228

次に，各章を文単位に分割する．本稿では，句点に基づいて文を区切るという方針を採る．ただし，カギ括
弧で囲まれた台詞中に出現する句点については，区切

3.3 作成結果らないこととした．

テストセットに採用された書籍の統計情報を，表 4 に3.2.2示す．

候補単語の抽出作成した問題データの具体例を図 3 に示す．CBT と本稿では，候補単語として，以下の 5 種類を考える．

同様の形式で構成されており，1 単語が隠されて空所が1. 人名設けられた質問文 q ，空所に挿入できる 5 個の候補単

2. 地名語からなる解答候補集合 A，質問文 q の直前の 20 個の3. 組織名パッセージ C ，正解 a ∈ A が確認できる．

4. 登場人物名

4 おわりに

5. 固有物名

本稿では，日本語の空所穴埋め問題において，CBT の2 節で述べた通り，全ての固有表現を候補単語の対象とすると，不適切なテストセットになる可能性がある．
この問題を回避するために，文章読解の対象として，もっとも重要と考えられる種類の固有表現に限定して考える．

ように広く標準的に使用されるテストセットは存在していないことから，青空文庫に収録されている児童向
け小説 · 物語の内，新字 · 新仮名遣いの書籍を対象として空所穴埋め問題テストセットを作成した．今後は，作成したテストセットを用いて，日本語の省略を考慮

図 2 に，JUMAN++ 2.0.0RC2 と KNP 4.19 の組み合わせを利用して固有表現抽出を行なった結果を示す．
図 2 より明らかに，候補単語として抽出したい重要な登場人物名などの各種の固有表現が抽出できていないことが分かる．そのため，各書籍に登場する人名，地名，組織名，登場人物名のデータベースを人手作成し，抽出結果を補う．人手により作成したデータベースの諸元を表 3 に示す．

― 1291 ―表 4 対象テキストの諸元

筆者数

28

書籍数582

章数113

文数21,015

単語数

2,044,518

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.



1 いつか の 、 お とうさん の 童話 の ような 、 ふとった 鶏 が 、 この 小舎 に 来る の か と おもう と 僕 は たのしみです 。
2 金井 君 も 時時 み に 来 ます 。
3 お かあさん は 鶏 を 飼って も たべ させる もの が ない ので 、 生物 は 困る と いって い ます 。
4 僕 は 生物 は 何でも 好きです 。
5 鶏 は 、 吉田 さん の おじさん が 、 宇都宮 から 持って きて 下さる のだ そうです 。
6 吉田 さん の おじさん は 、 お 仕事 の こと で 、 たびたび 東京 へ いらっしゃい ます 。
7 早く 鶏 の お うち が 出来て 、 宇都宮 の 鶏 が 来る と いい と 思い ます 。
8 今日 は 日曜日 な ので 、 僕 は 金井 君 と 二 人 で 雑司ヶ谷 の 坂井 君 の お うち へ 約束 して おいた 竹 を もらい に 行き ました 。
9 金網 の かわり に 、 竹 の 細い ので 格子 を つくって やる のです 。
10 目白 へ 出て 、 学習 院 の 通り を 歩いて いる と 、 僕 たち ぐらい の 男の子 が 、11 「 八王子 へ 行く の は この 道 を 行ったら いい の 」 と きき ます 。
12 破れた シャツ と 、 あし の 出た つぎはぎ だらけ の ズボン で 、 小さい 風呂敷 包 を 持って い ます 。
13 髪 の 毛 が 随分 のびて いて 大人 の ように つかれた 顔 を して い ます 。
14 僕 たち は 八王子 を 知り ませ ん 。
15 「 君 は どこ から 来た の 」
16 金井 君 が たずね ました 。
17 「 遠い ところ から 来た の ‥ ‥ 」
18 「 遠い ところ って どこ な の 」
19 「 深谷 と いう ところ から 歩いて 来た の 」
20 「 へえ 、 深谷 って どこ だい 、 健 ちゃん 知って る ‥ ‥ 」
21 深谷 と いう の は 、 どこ だ か 知ら ない けれども 、 お かあさん は 、 ねぎ の 話 が 出る と 、 すぐ 、 XXXXX の ねぎ は おいしかったと いう から 、 ねぎ の 出来る ところ から 来た の かも 知れ ない と 思い ました 。
深谷包|宇都宮|雑司ヶ谷|深谷|八王子
図 3 作成した問題データした文章読解モデルの研究を行う予定である．

参考文献[1] “Attention-over-Attention Neural Networks for Reading Comprehension”,Yiming Cui,Zhipeng Chen,Si Wei,Shijin Wang,TingLiu,Guoping Hu(2017)[2] “The Stanford CoreNLP Natural Language Processing
Toolkit“,Christopher
D.
Manning,Mihai
Surdeanu,JohnBauer,Jenny Finkel,Steven J. Bethard,David McClosky[3] “Text Understanding with the Attention Sum Reader Network”,Rudolf Kadlec,Martin Schmid,Ondrej Bajgar &Jan Kleindienst(2016)[4] “THE GOLDILOCKS PRINCIPLE: READING CHILDRENSBOOKS WITH EXPLICIT MEMORY REPRESENTATIONS”,Antoine Bordes,Sumit Chopra&Jason Weston(2016)[5] “Extended Named Entity Hierarchy“,Satoshi Sekine，Kiyoshi
Sudo，Chikashi Noba(2002)[6] “How Much Reading Does Reading Comprehension Require?A Critical Investigation of Popular Benchmarks“，DivyanshKaushik，Zachary C. Lipton(2018)[7] “Natural Language Comprehension with the EpiReader“AdamTrischler,,Zheng Ye,Xingdi Yuan,Kaheer Suleman(2016)[8] “Teaching Machines to Read and Comprehend“, Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, WillKay, Mustafa Suleyman, Phil Blunsom(2015)[9] “MCTest: A Challenge Dataset for the Open-Domain Machine
Comprehension of Text“, Matthew Richardson, Christopher J.C.
Burges, Erin Renshaw(2013)[10] “SQuAD: 100,000+ Questions for Machine Comprehension ofText“, Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, PercyLiang(2016)[11] “「大学入試問題を解く」ことから見える言語, 知識, 世界理解に関する研究課題 “, 宮尾 祐介 and 川添 愛, 人工知能学会誌,
Vol. 27, No. 5 (2012)[12] “Performance Impact Caused by Hidden Bias of Training Datafor Recognizing Textual Entailment”, Masatoshi Tsuchiya, Proc.
of LREC2018, pp. 1506–1511 (2018)[13] “The Stanford CoreNLP Natural Language Processing Toolkit”,
Manning, Christopher D., Mihai Surdeanu, John Bauer, JennyFinkel, Steven J. Bethard, and David McClosky. Proc. of ACL2014
System Demonstrations, pp. 55–60 (2014)― 1292 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.