言語処理学会 第21回年次大会 発表論文集 (2015年3月)

論文間参照情報のアノテーションにおけるクラウドソーシングの利用検討
井上 絢翔

韓 東力

日本大学大学院 総合基礎科学研究科っている。論文間関係の解明を最終目標と

1. はじめにするような研究では上記の精度でも一定の論文を執筆する上で論文サーベイは重要有効性があるかもしれないが、自動付与さなタスクの 1 つである。論文サーベイによれた参照理由を異なる目的で再利用する場

く利用されているツールとして、CiNii[1]合には、連鎖的誤りを回避するためにはよや Google Scholar[2]、CiteSeerX[3]などのり正確な分類結果が必要であろう。

電子図書館が挙げられるが、キーワード検手動付与ではより高精度のアノテーショ索がいまだに主流となっており、論文間のンを行うことができるが、時間がかかるこ関連性に基づく検索がほとんど実現されてとや論文サーベイに精通している専門家をいない。

雇うのに多大なコストがかかることなどが論文サーベイを行う際によく利用されて問題点としてあげられる。

いる手法の一つに、起点となる論文(以下そこで、クラウドソーシングを利用する「起点論文」と呼ぶ)を 1 つ選定し、その論ことによりコストの問題に対処できるので文が参照している論文や、さらに参照論文はないかと考えた。以下第 2 章では本研究が参照している論文という順にサーベイのにおける基本的考え方、第 3 章ではアノテ対象を広げていくという方法がある。我々ーションの基本方針、第 4 章では評価実験

はこの方法に注目し、起点論文とそれが参の結果について述べる。

照している論文(以下「被参照論文」と呼ぶ)間の参照関係を利用した検索が行える電子2. 研究手法

図書館を新たに構築することを考えた。

クラウドソーシングとはインターネット

論文間の参照関係の付与には機械的に行上の不特定多数の作業者に仕事を依頼するうものと手動によるものがある。前者に関雇用形式で、低コストで迅速な作業が可能

す る も の と し て 難 波 ら [4] 、 小 出 ら [5] とである。本研究では、論文間参照情報のア

Teufel ら[6]の研究がある。難波らは論文間ノテーションにおけるクラウドソーシングの参照タイプを 3 種類に分類しているが、の利用可能性について検討する。

効率的な論文サーベイを行うのに分類数が論文間参照情報のアノテーションは比較不十分と思われる。小出らと Teufel らの研的難易度の高いタスクであるため、不特定

究では、それぞれ 9 種類と 12 種類の参照理多数の作業者がどの程度遂行できるのか、由を定義し機械学習を用いて参照理由を付

また専門家と比べるとどのような差がある

与しているが、精度は最大で 60%台に留まのかなど大きな不安がある。

― 736 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

本研究では上記のような検討課題を念頭に、まずは論文間参照情報をアノテーショことでタグの網羅性を保ちつつ、アノテーションの難易度低下を狙う。

ンするためのプロトタイプを構築した。次論文を引用するにあたり、「利用」や「比に、論文サーベイに精通している大学教員較」のために参照を行う場合、事前に被参を専門家に、大学生をクラウドソーシング

照論文に関する簡単な紹介が行われたケーで働く一般作業者に見立て、構築されたプスが多い。このような場合、たとえ「利用」ロトタイプを利用してアノテーションしてや「比較」を行っていたとしても同時に「背もらった結果を比較した。この過程を通じ景」も当てはまってしまうため、「背景」をて論文間参照情報のアノテーションにクラ選択する優先度を下げ、被参照論文を紹介ウドソーシングを利用する可能性を検討しする程度にとどまっている場合のみ選択でていく。

きるようにする。
また、1 つの起点論文と 1 つの被参照論

3. アノテーション

文の間に複数の参照が存在するケースがあ小出らや Teufel らの研究[5][6]では、タる。このような複数回参照を行っている場

グの種類はどちらでも単一階層で 10 種類

合は、「被参照論文の理論・方法を拡張利用前後と定められている。これを本研究で採して、最終的に起点論文の提案手法と比較用すると一般作業者によるアノテーションした」といったように複数の参照理由を付の難易度が高くなってしまうため、構築さ与できるケースが起こり得る。そのため、れたプロトタイプでは図１のようにタグの複数回参照を行っている論文のみ、複数の階層および種類を採用している。

タグを選択できるものとする。

4. 評価実験
論文サーベイに精通している教員 3 人と情報科学を専門とする大学生 13 人を対象に論文間参照情報のアノテーションを行ってもらった。
言語処理学会年次大会発表論文集に掲載されているものから異なる難易度で 3 編の図 1 論文間参照関係の分類起点論文と 10 編の被参照論文を選んだ。クラウドソーシングに近い条件で実施するた

まず第１階層に「背景」、「利用」と「比め、実験用プロトタイプはウェブシステム較」の三つのタグがあり、どれかを選択すとして構築されている。作業の時間や場所るとそれに応じた第 2 階層、そして第 3 階を選ぶ必要がなく、インターネットにアク層の候補タグが画面に順次表示されていく。

セスできる端末があればどこでも作業可能

このように少ない選択肢を段階的に与えるであった。

― 737 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1 ルートの深さによる類似度

アノテーションの結果は事前に作成されの高いタグ対を求め、それらの平均をそのた模範解答との類似度を計算することによ論文の類似度とする。

り評価された。模範解答については、著者

4.2 タグの数による一致率

らと実験に参加していなかった数名の大学

4.1 のルートの深さによる類似度計算は生が検討を重ねて作成した。結果の評価方

複数回参照の場合に最も模範解答に近いタ法は以下の 2 つである。

グとの類似度を求めているため、公平性に4.1 ルートの深さによる類似度欠けている。ここでは次式のように、選ば選択されたタグを図 1 のように樹系図にれた全てのタグに対して評価を行う。
2 ∗ 𝑁(𝑎 ∩ 𝑏)
𝑁(𝑎) + 𝑁(𝑏)見立て、その深さにより類似度を計算する。
計算式は次式で示す。

N(a)はアノテータ(a)が選択したタグの2 ∗ 𝐷𝑎𝑏 + 𝐹
𝐷𝑎 + 𝐷𝑏

数、N(b)は模範解答(b)のタグの数、N(a⋂b)

Da、Db はそれぞれアノテータ(a)が付与しはアノテータ(a)と模範解答(b)が共通してたタグの深さと模範解答(b)のタグの深さで、 選択したタグの数を表す。4.1 の評価方法とDab は a と b の共通の深さである。また Da

違い、N(a⋂b)はタグが完全一致しているもと Db のルートが完全に一致していた場合のの数である。

は類似度は 1 とする。F は a と b のラベル

4.3 結果名が一致していた場合に 1、そうでない場

表 1 は 4.1 のルートの深さによる類似度合は 0 で計算する。これは「比較」と「利計算の結果である。表の「A」、「B」と「C」

用」もしくは「単純利用」と「拡張利用」

はそれぞれ起点論文を表しており、それぞを間違えた場合でも、ラベル名が一致してれが参照している論文が「論文 A-1」、
「論いたらより近い回答として見ることができ

文 A-2」・・・となっている。
「論文 A-1」、るという考えに基づいたためである。

「論文 B-1」、「論文 B-3」と「論文 C-1」は複数回参照を行っている論文はアノテー

同じ起点論文から複数回参照された論文でタの選択した複数のタグと模範解答にあるある。大学生の平均は教員の平均に及ばな複数のタグに対してそれぞれ、最も類似度いものの、最高得点は学生が出しているこ― 738 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

とがわかる。また、教員の中央値である出している。また、ほぼシステムの初期状0.719 を超えた学生は 4 人もいることから、態でアノテーションを終えた学生を外して論文サーベイにそれほど精通していない学計算し直したところ学生の平均値は 0.611、部生でも良質なアノテーションを行うこと中央値は 0.632 まで向上した。

が可能ではないかと考えられる。
しかし、複数回参照の結果では、教員・5. 終わりに学生ともに一回参照の半分程度に留まって本研究では論文間参照情報のアノテーシいる。これは選択の幅が大きく広がったこ

ョンをクラウドソーシングにより実施するとによる難易度の上昇が原因であるとみら可能性を検討するため、独自で開発したアれる。複数回参照を除いて平均を計算した

ノテーションツールをクラウドソーシング

ところ、学生が 0.705、教員が 0.944 であに近い状態で利用してもらい、その評価をった。

行った。

さらに、類似度が明らかに低い学生(1・評価の結果により、アノテーション方法2・4)については、選択したタグの内容にシの簡易化や悪質アノテータ―の事前排除、ステムの初期状態で設定されている「背景」複数回参照の単一化などの点おいて工夫すがほとんどを占めていることがわかる。

れば、論文サーベイにそれほど精通してい表 2 は 4.2 で述べたタグの数による一致率の計算結果である。

アノテーションを行う可能性が十分あるこ

表 2 タグの数による一致率
平均
学生 10.143

学生 20.231

学生 30.320

学生 40.375

学生 50.769

学生 60.444

学生 70.643

学生 80.615

学生 90.385

学生 100.643

学生 110.462

学生 120.692

学生 130.621

教員 10.690

教員 20.538

教員 30.667

ない一般作業者でも専門家に近い、良質なとが示唆された。

中央値

また、今回の評価実験では情報系の大学生を対象にしているが、今後は他分野の作業者にもアノテーションしてもらい、作業者の分野がもたらした影響を分析する。

0.488

0.462

0.632

0.667

教員の平均値である 0.632 を超えた学生は4 人であり、最高得点はやはり学生の方が参考文献[1] http://ci.nii.ac.jp/[2] http://scholar.google.co.jp[3] http://citeseerx.ist.psu.edu/[4] 難波英嗣，神門典子，奥村学，「論文間の参照情報を考慮した関連論文の組織化」，
情 報 通 信 学 会 論 文 誌 ， 42(11) ，pp.2640-2649. (2001)[5] 小出寛史, 韓東力「論文間参照情報のデータベース化に基づく参照タイプの同定」,
自然言語処理研究会報告 2012-NL-209(2),1-7(2012)[6] Teufel， S. The Structure of ScientificArticles –Applications to Citation
Indexing and Summarization. CSLI
Publications. (2010)― 739 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.