DEIM Forum 2016 F3-3

著者キーワードを利用した学術論文閲覧支援の一手法
谷尻 淳喜†

太田

学††

高須

淳宏†††

安達

淳†††

† 岡山大学工学部情報系学科 〒 700–8530 岡山県岡山市北区津島中 3-1-1†† 岡山大学大学院自然科学研究科 〒 700–8530 岡山県岡山市北区津島中 3-1-1††† 国立情報学研究所 〒 101–8430 東京都千代田区一ツ橋 2-1-2
E-mail: †pz6d9upz@s.okayama-u.ac.jp, ††ohta@de.cs.okayama-u.ac.jp, †††{takasu, adachi}@nii.ac.jp
あらまし

非専門家が学術論文のような専門性の高い文書を読む場合，未知の語に遭遇する可能性が高く，内容を理解するのに時間がかかる．そのため論文中の専門用語等の重要語を予め自動抽出し，ユーザに提示する学術論文閲覧
支援インタフェースが開発されている．本研究では，論文から抽出した重要語と著者キーワードを word2vec により関連付けて，著者の意図に沿って重要語を組織化することを提案する．さらに，論文の節毎に重要語を特定したり，
手掛かり語により重要語を Data や Method 等のカテゴリに分類したりして，論文の閲覧を支援する方法を提案する．
実験では NTCIR-11 の論文を使用し，著者キーワードと関連付けた重要語が適切であるかどうかの評価を行った．その結果，著者キーワード 1 語に付き平均で 2.503 語の関連のある重要語を関連付けたことがわかった．
キーワード

著者キーワード，閲覧支援，学術論文閲覧インタフェース

1. は じ め に

2. 関 連 研 究

近年のタブレット端末や電子書籍閲覧端末の普及により，従2. 1 論文閲覧支援システム

来紙媒体で読んでいた文書をタブレット端末等を用いて読む機

阿辺川らは，脚注表示機能を備えた論文閲覧システム Side-会が増加した．この読書形態の変化に伴い，電子媒体を用いNoter [4] を開発した．このシステムは Web ブラウザ上で動作た閲覧に関する研究が行なわれるようになった．例えば，前野

し，表示されている論文の左右の脚注部に，Wikipedia をリ

ら [1] [2] [3] は英語の学術論文を対象に，タブレット端末によるソースとした補足情報を表示する論文読解支援機能を有してい

学術論文閲覧支援のためのインタフェースを開発した．具体的る．また，本文検索，専門用語の Web 検索，連続ページめくには，予め論文中の重要語を自動抽出してユーザに提示する機り，書き込み機能等の論文閲覧機能も充実している．彼らはま能や，任意の単語列に対して重要度等の解析結果や Web 上のた，紙や PDF 等の一般的な論文フォーマットと，開発したシ関連情報をユーザに提示する機能を提案した．

ステムの機能特性を比較した．さらに人手で発表スライドの各

本研究では，論文の構成要素の一つである著者キーワードを利用して，論文から抽出した重要語を組織化する方法を提案す

ページと論文のテキストを対応させ，システムで表示する仕組みを開発した．

る．学術論文のような専門性の高い文書には専門用語等の多く

鉢木ら [5] [6] は，OCR テキストを用いた学術論文閲覧支援の重要語が出現する．一方，著者キーワードは適切に論文の内システムを開発した．彼らは，電子化された論文の閲覧におい容を表す専門性の高い語であり，論文を理解する上で重要な情て，オンラインであるメリットが十分に生かされていないと考報源であるといえる．そこで著者キーワードと重要語を関連付

え，Web 資源を活用した論文閲覧支援を提案した．具体的にけることができれば，著者の意図に沿った有用な重要語をユー

は，論文中から専門用語を抽出し，それらの語についての解ザに提供できると考えた．また論文の構成要素として節に注目

説やツールなどの有用なページへのリンクを提供した [5]．まし，節毎に重要語を抽出して表示する機能を提案する．これにた，抽出した各専門用語で検索される論文集合と，それらに出より，ユーザは節毎に出現する重要語を確認出来るため，ユー

現する専門用語集合の間にリンクを生成し，この二部グラフに

ザの閲覧行動に沿った支援となる．

HITS アルゴリズムを適用することで，関連論文をランク付け

さらに重要語がどのカテゴリの語なのか明示することを提案して推薦した [6]．

する．例えば未知の単語が評価指標を表す語であることが分か

2. 2 重要語抽出

れば，論文の実験結果等を読む際に有用といえる．そこで重要

松尾ら [7] は閲覧対象文書のみから，語の共起情報を用いて語をこのようなカテゴリに分類する方法も提案する．

キーワードを抽出した．閲覧対象文書の頻出語を抽出し，その以下に本稿の構成を示す．2 節で本研究の関連研究を紹介し，頻出語と共起する語の頻度 (共起頻度) を求め，共起頻度がどの3 節で前野らが開発した学術論文閲覧支援インタフェースにつ程度偏っているかを，共起語が重要語であるかどうかの指標といて述べる．4 節で重要語の組織化，5 節で評価実験についてした．

説明する．6 節で本稿のまとめ，今後の課題について述べる．

湯本ら [8] は出現頻度と連接頻度に注目し，専門用語を専門
分野の用語コーパスから自動抽出する方法を提案した．単名詞

の場合，単名詞バイグラムの出現頻度からスコアを付け，複合1: BT

名詞の場合，連続する単名詞のスコアの平均をとることでスコ

2: \F13 12 Tf

アを付けた．またこれに，単名詞または複合名詞自身の出現頻

3: 288 720 Td

度も考慮し，専門用語を抽出した．

4: (ABC) Tj

今井ら [9] は係り受け関係と共起関係を導入した文書グラフを構築する方法を提案し，これを解析することで文書の特徴ベ

5: ET
図 1 フォントに着目した PDF のコード例 [2]クトルを抽出し，重要語を抽出した．構文解析した文から文節間の係り受け関係を抽出し，さらに共起関係を考慮すること
で文書グラフを構築した．重要語の抽出実験において，提案手法に IDF を付加したものは TF-IDF と比較して高い精度を示した．

2. 3 著者キーワード
相澤ら [10] は，著者キーワードが専門性の高い情報であることに着目し，大量の学術論文から収集された著者キーワードに基づく専門用語シソーラスの自動構築の可能性を探った．しかし，著者キーワードをコーパスとして用いることの問題点として，著者キーワードは一つの文献についてたかだか数語が共起するのみであることから，データのスパース性を挙げた．そこで彼女らは高次の共起を考慮することが必要であるとし，著者
キーワードを手がかりに，文献を 20 学会カテゴリのいずれかに分類するテキスト分類実験により，その有効性を示した．
内山ら [11] は，専門用語の専門度を示す客観的な指標を作成するために，著者キーワードが出現する年度数，研究領域，
文書数について分析した．彼女らは，著者キーワードはその論文の特徴的な用語であり、専門性を推測する上で重要な手掛かりとなると判断した．著者キーワードが，ある一定期間に集中的に出現する場合，それは流行している語であり，ピークが収まってもコンスタントに出現する語は特定分野において専門度の高い語であるとした．しかし，複数の分野において長い間継続的に出現する語は，頻度が小さくても論文を読む上で重要となるため，頻度以外の情報として，引用情報や文脈情報，語彙情報も必要であると述べている．

3. 学術論文閲覧支援インタフェース
本研究では，前野らが開発した学術論文閲覧支援インタフェー
ス [1] [2] [3] を改良する．そこで本節ではそのインタフェースについて説明する．本インタフェースは，英語の学術論文を対象とする，閲覧支援のためのインタフェースである．
まず 3. 1 節でインタフェースの動作について述べ，3. 2 節で論文 PDF からのテキスト抽出，3. 3 節で重要語抽出，3. 4 節
で頭字語抽出についてそれぞれ説明する．最後に 3. 5 節でイン
タフェースの操作方法と閲覧支援機能について述べる．

3. 1 インタフェースの動作
前野のインタフェース [1] は起動時，まず論文 PDF からテキストを抽出し，そのテキストを形態素解析する．形態素解析には Objective-C の NSLinguisticTagger class を用いる．次に単語毎の重要度を判定した後，論文画像を表示し，重要度の大き及び Web から収集した情報，また選択したテキストが頭字語である場合には関連用語を情報提示窓に表示する．

3. 2 学術論文 PDF からのテキスト抽出
前野らは，PDF ファイルに定義されているテキストオブジェ
クトの PDF コードを解析することで学術論文からテキストを抽出した [2]．PDF の内部構造は，Acrobat（注 1） で容易に確認することができる．

PDF のコード例を図 1 に示す．1 行目はオブジェクトの始まりを示している．2 行目の Tf はフォントを指定するオペレー
タで，これは処理方法を表す記号である．ここでは，ページ
内の \Resources で定義された F13 という名のフォントを用
い，12pt の大きさで表示することを示している．3 行目では，Td がフォントの開始位置のオペレータを示す．つまり，左から 4cm(4*72=288)，下から 10cm(10*72=720) が開始位置になる．4 行目では，Tj がテキストのオペレータを示す．つまり，テキスト文字列「ABC」を表示する．5 行目はオブジェク
トの終わりを示している．
前野らのインタフェース [2] では，まず PDF のコンテンツ
データをスキャンし，指定したオペレータ，ここではテキストデータを示す Tj をトリガーとして登録しておいたコールバッ
ク関数を呼び出し，オブジェクト，つまりテキストデータを抽出する．図 1 では， ABCをテキストとして抽出する．

本研究でも前野らと同様に，テキストオペレータの Tj 内にあるテキスト文字列をテキストとして用いる．また新たにフォントオペレータの Tf 内にあるフォントサイズを，4. 1 節で述
べる節毎の重要語抽出のために利用する．

3. 3 重要語抽出
前野らは，専門用語等の重要語の多くは名詞かつ複合名詞であるため，1 単語または 2 単語の重要語を抽出した [3]．具体的には，形態素解析により名詞，未知語を抽出し，それらの重要度を TF-IDF により計算した．単語 ti のその TF-IDF 値の算出式を以下に示す．

tf idfi = tfi ∗ log(

num
)
dfi

(1)

こ こ で ，tfi は 論 文 文 書 中 に お け る 単 語 ti の 出 現 頻 度 ，num = 16, 831, 499 であり，これは CiNii（注 2） における論文の総収録件数（2014 年 6 月 17 日時点），dfi は CiNii において ti を検索した時の検索結果数（論文数）を表す．
本研究では，これらの処理に加えて，抽出された名詞あるいい上位 30 語を重要語として重要語提示窓に表示する．ユーザが任意の単語列を選択すると，選択範囲の単語列に対し OCR（注 1）：http://www.adobe.com/jp/products/acrobat.html

で論文画像を認識し，予め判定しておいた重要度等の解析結果（注 2）：http://ci.nii.ac.jp/

は未知語を Bing（注 3） で検索し，検索結果数の多い語は一般的な語であると考え，50,000,000 件より検索結果数が少ない語を重要語とした．また抽出した重要語には一部が重複する語が多かったため，1 単語と 2 単語間で重複している語は 2 単語にまとめ，重複している 1 単語を他の語よりも大きく表示する．

3. 4 頭字語抽出
前野らが論文から抽出した頭字語は，省略語の一種であり，複数の単語からなる語の頭文字を繋げて作られた語を指す [3]．
例えば，Human Computer Interaction は一般に HCI と表記
され，省略前の Human Computer Interaction を実体語，省略後の HCI を頭字語と呼ぶ．論文中には多数の頭字語が出現するため，予め頭字語を抽出し実体語と紐付けておくことで，

図 2 前野らの情報提示窓 (前野 [1] を元に作成)

頭字語の意味を限定し正確な情報を提示することが出来る．
前野らはまた，頭字語について Wikipedia（注 4） の記事の関連項目を抽出し，関連用語の関連度を判定して提示する機能を実装した．

3. 5 インタフェースの操作方法と閲覧支援機能
前野が開発したインタフェース画面の操作方法と閲覧支援機
能について述べる [1]．画面には論文 PDF から抽出した論文画像が表示され，左右にスワイプすることでページをめくることができる．また，ピンチイン，ピンチアウトを行うと論文の拡大，縮小を行うことができる．
また画面には二つのボタンがある．一つ目の Select Textというボタンを押したのち，論文テキスト中の単語に対して左上と右下をタップすると選択した箇所が青く網がけされ，

図3

前野らの重要語提示窓 (前野 [1] を元に作成)

Wikipedia，Weblio（注 5），Bing の検索結果のページへのリンクと情報提示窓を表示する．情報提示窓には，出現頻度や重要るのは困難である．また予め重要語を確認できても，その語が度等の解析結果，Wikipedia の要約，Weblio で表示される情論文中のどこに出現するかは分からない．そこで本研究では，

報，Bing で検索された上位 3 件の結果を表示する．二つ目の論文の節毎に単語の重要度を算出して重要語を抽出し提示する．

Keyword というボタンを押すと，論文中の重要度の高い上そのため，節毎にテキストを抽出する．ここではまず節タイト

位 30 語を重要語提示窓に表示する．前野らの情報提示窓を図 2ルの抽出方法について説明する．

に示す．ここでは例として，Jeﬀ らの論文 [12] に出現する単語

論文のタイトルや節タイトルは，一般に本文のテキストにSMT を選択したときの情報提示窓を表示している． ↑ Wi

比べてフォントサイズが大きい．そこで 3. 2 節で述べた PDFのボタンをタップすると Wikipedia， We →では Weblio，

コードのフォントオペレータ Tf 内に存在するフォントサイズ

では Bing のテキストをクエリとした検索結果のペーを抽出し，これを利用する．また，本研究の実験で用いた論文↓B

ジに移動できる．また，前野らの重要語提示窓を図 3 に示す．

の節タイトルは，例えば 1. INTRODUCTIONのように，

同じく Jeﬀ らの論文 [12] の重要語提示窓を表示している．重要節タイトル番号，ピリオド，半角スペース，タイトル名で構成度の高い上位 30 語について，連続する 2 単語までの語を重要されている．本インタフェースは，英語の学術論文を対象とし語提示窓にタグクラウドで表示する．

ており，タイトル名の最初の単語の一文字目は大文字とする．
これらを利用して以下の手順で節タイトルを抽出する．

4. 重要語の組織化（ 1 ） フォントサイズとそれに対応するテキスト文字列を，本研究では，論文の論理構造等を利用した重要語の効果的なそれぞれフォントオペレータ Tf，テキストオペレータ Tj によ

提示方法を提案する．具体的には，論文の節と著者キーワードり抽出する．

を利用した重要語の提示方法と，重要語のカテゴリ分類を提案（ 2 ） 抽出したフォントサイズが，1 つ前に抽出したテキス

する．

ト文字列のフォントサイズより大きく，かつ抽出したテキスト

4. 1 節毎の重要語抽出と提示

文字列が，0 から 9 の数字，ピリオド，半角スペース，大文字ユーザが論文を読む上で，重要語 30 語を一度に全て把握す

または数字で構成されている文字列である場合，そのテキスト
文字列を節タイトルとする．

（注 3）：http://www.bing.com/（注 4）：http://en.wikipedia.org/wiki/（注 5）：http://ejje.weblio.jp/（ 3 ） 手順 1 と手順 2 を論文の終わりまで繰り返し，全ての節タイトルを抽出する．

D(wk , W ) が最大となるカテゴリに wk を分類する．

表 1 重要語のカテゴリ分類に用いる手掛かり語
カテゴリ

手掛かり語

（ 6 ） 3. 3 節の方法で抽出した論文の重要語や，4. 1 節の方

Data

set，data，collection

Methodmethod，system，base，model，tool法で抽出した節毎の重要語が wk と一致すれば，重要語を wk

Groupteam，forum，participantのカテゴリに分類する．一致する wk が無い場合，その重要語

Evaluation result，performance，evaluation，measureのカテゴリは Other とする．

4. 3 著者キーワードと重要語の関連付け
前野らは重要語を重要度順に並べて提示するだけだったが，節タイトルの抽出後，節タイトルから次の節タイトルが現れるまでのテキストを節として抽出する．節タイトルを含む節毎のテキストから，重要度の高い上位 30 語を重要語として抽出する．重要度は 3. 3 節と同様に，TF-IDF により計算した．こ
こでは，式 (1) における tfi は，節タイトルを含む節毎のテキストにおける単語 ti の出現頻度とした．
右の節タイトルの冒頭が表示されたタブを選択すると，その節の重要語を色分けして表示する．ここでは例として，Jeﬀ らの論文 [12] の 1. INTRODUCTION を選択した時の重要語提示窓を表示している．
石井ら [13] は，論文中で他の文献を引用している箇所の引用
意図を分類するために手掛かり語を用いた．本研究ではこの石井らの研究を参考に，手掛かり語を用いて，抽出した重要語を分類する．4. 2. 1 節で分類カテゴリについて述べ，4. 2. 2 節で分類手法について述べる．
本研究では，重要語の分類カテゴリを以下の 5 つと定め，またそのカテゴリ毎の手掛かり語を表 1 のように定める．本研究
では重要語の分類のため，石井ら [13] が引用意図分類のために定めたカテゴリや手掛かり語を一部変更して用いた．

Method： 手法に関する語•Group： チーム名やフォーラム等を表す語•

Evaluation： 評価に関する語•

Other： 上記のどれにも当てはまらない語提案された機械学習手法であり，文書データのみを入力としてできる．本研究では word2vec に論文のテキストの全文を学習させ，著者キーワードとの類似度が大きい重要語を，著者キー
ワードと関連付ける重要語とする．
しかし，論文の本文中に著者キーワードが現れないような場
め Wikipedia から著者キーワードの記事を抽出し，その記述を論文テキストに追加したものを入力データとする．Wikipediaの記事は，図や表等を除いた全文を使用する．
本研究では，word2vec により著者キーワードと類似度の大きい上位 100 語の単語を抽出し，これらの単語と一致する重要語を関連重要語とする．また重要語が 2 単語からなる場合，そ4. 2. 1 重要語のカテゴリ•

本研究では，著者キーワードと重要語を関連付けるために

word2vec（注 6）を用いる．word2vec は Mikolov ら [14] によって合は，論文のみでは適切なベクトル表現が得られない．そのた

4. 2 重要語のカテゴリ分類

Data： 実験に用いるデータに関する語沿った有用な重要語の提示方法を提案する．

単語のベクトル表現が得られるため，単語間の類似度が計算抽出した節毎の重要語を表示した重要語提示窓を図 4 に示す．

•

本研究では著者キーワードと関連付けることで，著者の意図にのいずれかの単語がこの 100 語のいずれかと一致すれば，関連重要語とする．
関連重要語の表示インタフェース画面を図 5 に示す．重要語
提示窓中の左に著者キーワード一覧が表示され，これらをタップすると，その関連重要語が右に表示される．また関連重要語
は 4. 1 節で述べた節毎の重要語表示と，4. 2 節で述べた Data
や Method 等のカテゴリ分類表示に対応しており，それぞれ色分けして表示する．

5. 評 価 実 験

4. 2. 2 分 類 手 法
表 1 のカテゴリ毎の手掛かり語を用いて，以下の手順で重要語を分類する．

5. 1 節タイトルの抽出実験
5. 1. 1 実 験 概 要
論文から正しく節タイトルが抽出できるかどうか，再現率と（ 1 ） 論文テキストを形態素解析し， . ， ? ， ! の出現
箇所で区切ったテキストを 1 文とする．

適合率，F 値で評価した．4. 1 節で説明した方法により抽出したテキストが，論文中の各節タイトルと一致した数を正解数と（ 2 ） 手掛かり語を含む文に含まれるその他の名詞と未知語(共起語) を，手掛かり語のカテゴリ毎に抽出する．

する．NTCIR-11 の 3 つのタスク (IMine，Math-2，Spoken-

Query&Doc) で発表された論文 31 件を実験に使用した．その（ 3 ） カテゴリ毎の共起語の集合を WD ,WM ,WG ,WE とする．また W ∈ {WD , WM , WG , WE } における各共起語 wk の出現頻度を T F (wk , W ) とする．ただし，T F (wk , W ) ≦ 1 となる wk は W から除外する．

節タイトル数は合計で 190 であった．各評価指標の算出式を以下に示す．
再現率 (R) =抽出された節タイトルの正解数
論文中の節タイトルの数(3)

適合率 (P ) =抽出された節タイトルの正解数抽出された節タイトルの数(4)（ 4 ） カテゴリ W に対する wk のカテゴリ度 D(wk , W ) を次式で計算する．

D(wk , W ) = ∑T F (wk , W )w∈W T F (w, W )(2)（ 5 ） カテゴリ Data，Method，Group，Evaluation のうち，

F値=

2RP
R+P

（注 6）：https://code.google.com/p/word2vec/(5)

図 4 節毎の重要語の表示

表 2 節タイトルの抽出実験結果

表 3 カテゴリ分類の実験結果

再現率

0.884 (168/190)

Task 名正解率

適合率

0.994 (168/169)

IMine0.600 (18/30)

F値

0.935

Math-2

0.533 (16/30)

SpokenQuery&Doc 0.433 (13/30)

5. 2 実 験 結 果

合計

0.522 (47/90)

節タイトルの抽出実験結果を表 2 に示す．表 2 の結果を見ると，適合率は高く，抽出したほとんどの文字列が正しい節タイ

ぶ．この正解カテゴリと提案手法の分類結果が一致した重要語トルであった．節タイトルのフォントサイズは，論文によってを正解とする．この分類実験では，NTCIR-11 の 3 つのタスク異なったため，値の大きさの範囲を定めて節タイトルを抽出す(IMine，Math-2，SpokenQuery&Doc) で発表された論文をタることはできなかった．しかし，比較することでフォントサイ

スク毎に 1 件選び，合計 3 件を使用した．

ズの大きい箇所を特定することができたため，おおよそ正しい5. 3. 2 実 験 結 果

節タイトルが抽出できた．しかし再現率が 0.884 であり，22 のカテゴリ分類の実験結果を表 3，カテゴリ毎の重要語の分類

節タイトルが抽出できなかった．

例を表 4 に示す． 表 3 の結果を見ると，約半分は分類を誤って節タイトルが抽出できなかった原因は 2 つあった．まず 1 ついることが分かる．中には二つのカテゴリに当てはまるような目は，適切なフォントサイズが抽出できなかったためである．

語もあったが，明らかに分類を誤っている語も多くあった．

これは実験対象の論文 31 件中に 2 件あった．これに対処する

表 4 の分類成功例では，Method に分類された CRF や Con-には，例えばフォント名等のフォントサイズ以外の情報を利用

ceptNet 等があった．これらは手法名やツール名であり，これする必要がある．2 つ目は，節タイトルが，複数のテキストオ

らの語を知らないユーザに Method として表示するのは有用

ブジェクトに分割されていたため，節タイトルとして抽出できであるといえる．表 4 の分類失敗例では，Other に分類された

なかったものがあった．このため，フォントサイズの大きいテ

Wikipedia corpus 等があった．Wikipedia corpus は，Data に

キスト文字列を含むテキストオブジェクトをまとめて抽出でき分類されるのが適当であるが，Wikipedia corpus が出現してれば，より抽出精度の向上が期待できる．

いる文に手掛かり語が含まれておらず，Other に分類されたた

また，節タイトルではない文字列を節タイトルとして抽出しめ誤りとなった．

たものが 1 件あったため，適合率が 1 とならなかった．これ

このように提案した分類手法は手掛かり語に依存するため，は，論文中の図表内の文字のフォントサイズが，本文の文字の選択する手掛かり語が重要で，さらに検討が必要である．まフォントサイズよりも小さく，さらに図表の直後の本文に箇条

た，重要語の中には，一つのカテゴリに分類するのがそもそも書きの文字列があったため，その箇条書きの文字列を節タイト

困難なものもあった．例えば，inverted index や query log は，ルとして誤抽出した．図表の位置が特定できればこれにも対応

Data に分類されるのが適当であるとしたが，Method も適当できる．

といえる．このような重要語は，複数のカテゴリに分類すれば，

5. 3 カテゴリ分類実験

有用と考えている．

5. 3. 1 実 験 概 要

5. 4 関連重要語抽出実験

本稿の第一著者が論文を読み，4. 2. 1 節で説明した重要語の1 論文から抽出する 30 語の重要語の中で，著者キーワードのカテゴリを判断し，提案手法の分類結果と比較する．カテゴリ

関連重要語となった重要語の数を求めた．具体的には，word2vec

を決める際は，一番妥当と考えられるカテゴリを一つだけ選により類似度の大きい単語を上位 n 単語 (n = 10, 50, 100, 200)

図 5 著者キーワードと関連重要語の表示
表4

カテゴリ毎の重要語の分類例

正解カテゴリ 分類成功例

分類失敗例 (誤って分類したカテゴリ)

Data

inverted index

Wikipedia corpus(Other)，

Method

CRF，ConceptNet，

query suggestions(Data)，

query classification

diversification(Evaluation)

Group

IMine Task

SpokenQuery&Doc(Evaluation)

Evaluation

baseline，precision，recall TF-IDF(Method)，Hscore(Method)query log(Method)

選び，それぞれの単語数における関連重要語の数と，著者キー

表5

ワード 1 語あたりの関連重要語の数を算出した．使用した論文

上位 n 単語は，5. 1. 1 節と同じ論文 31 件である．word2vec に学習させた

10

2.096 ( 65/31)50

8.225 (255/31)

論文の平均語彙数は 932.8(28,918/31) であった．異なる n の値に対する関連重要語数を表 5，著者キーワードと平均関連重要語数を表 6 に示す．
表 5 を見ると，単語数 n に応じて関連重要語数も増え，

n 単語毎の関連重要語数
関連重要語数

100 13.709 (425/31)
200 21.193 (657/31)

表6

著者キーワード数と平均関連重要語数一論文あたりの平均著者キーワード数

3.903 (121/ 31)

Wikipedia 記事を取得できた著者キーワード数0.198 ( 24/121)

著者キーワード 1 語あたりの平均関連重要語数 (n = 100) 4.842 (586/121)

表 7 関連重要語の適切性の評価

は，IMine における著者キーワードとして多くの論文に挙げ再現率 0.591 (29/49)

られていた．IMine は，Web 検索におけるユーザの入力クエ

適合率 0.517 (29/56)

F値

リの検索意図の発見を目的とするタスクである．query intent

0.552

は，このタスクのテーマであり，表 8 にあるように多くの重要語が関連付けられた．関連重要語の document ranking とn = 200 で 30 語のうちの約 7 割の重要語が関連重要語となっ

subtopic mining は，IMine におけるサブタスク名である．こた．n = 10 においては，30 語の重要語のうち 2.096 語が関連

れらは query intent と関連の高い語であるといえる．また，重要語として著者キーワードと関連付けられた．n = 10 の場

exhaustive search や clustering 等も，検索意図とよく結び付合，関連重要語と著者キーワードとの類似度は大きいが，関連

けられる語である．しかし，タスク名である IMine Task は関重要語の数は少なかった．n = 100 においては 13.709 語とな

連付けることができなかった．

り，半分近くの重要語が関連重要語となった．

関連重要語の少なかった著者キーワードに TF-IDF があっ

表 6 にまとめた通り，著者キーワードは一論文あたり 3.903

た．原因としては，NTCIR-11 のタスク Math-2 では，もとも語あり，Wikipedia 記事を取得できた著者キーワードは約 2 割と全体的に関連重要語が少ない傾向にあった．また TF-IDF はであった．複合語の専門用語や未知語が多く，Wikipedia 記事

Wikipedia に記事があり，その記事にある単語との類似度が大の存在しないものが多かった．また，著者キーワード 1 語あたきくなり，論文中の関連重要語の数が少なくなったことが挙げ

り平均で 4.842 語 (n = 100) の重要語が関連付けられた．しかられる．このような場合，再現率を下げることが多かった．

し，一つも関連重要語が得られなかったものから，10 語近く得

適合率を下げた著者キーワードに document similarity がられたものまであり，関連重要語数は著者キーワードによってあった．文書の類似度には，TF-IDF やコサイン類似度がよく異なった．

用いられる．そのため，類似度の計算に関する語は関連の高い

5. 5 関連重要語の評価語であるといえる．しかし，それ以外の重要語も関連付けるこ5. 5. 1 実 験 概 要とが多かった．

著者キーワードと関連付けた重要語が適切であるかどうかの関連付けた重要語には，query intent と関連付けた each clus-

評価を行った．評価方法は，本稿の第一著者が論文を読み，論

ter や search result のように，著者キーワードと関連性はある文から抽出した重要語 30 語のうち著者キーワードと関連のあといえるが，そもそも重要語として適切でない語が多かった．

る重要語を判定し，関連重要語の正解データを作成した．そしそのため，重要語の抽出方法についてさらに検討し，抽出したて再現率と適合率，F 値で評価した．実験では，NTCIR-11 の

重要語の適切性の評価を行う必要がある．

3 つのタスク (IMine，Math-2，SpokenQuery&Doc) で発表さ本手法では，word2vec の学習に論文のテキストの全文を使れた論文をタスク毎に 1 件選び，合計 3 件を使用した．再現率

用した．しかし，著者名や参考文献等のテキストを word2vecと適合率の算出式を以下に示す．F 値の定義は式 (5) と同じでの学習に使用するのは有効でないといえる．そのため，論文のある．

本文の領域のみを抜粋して学習に使用することができれば，よ抽出された関連重要語の正解数
再現率 (R) =関連重要語の正解数抽出された関連重要語の正解数
適合率 (P ) =抽出された関連重要語の数(6)

り適切な関連付けを行うことができると考えている．

6. ま と め(7)

本研究では，論文の構成要素の一つである著者キーワードを

5. 5. 2 実 験 結 果

利用した論文閲覧支援の手法を提案した．具体的には，論文の関連重要語の適切性についての評価結果を表 7，著者キーワー

節毎の重要語抽出や手掛かり語による重要語のカテゴリ分類，

ドと関連重要語の例を表 8 に示す．表 8 において太字となって

word2vec による著者キーワードと重要語の関連付けを行い，いる関連重要語は，不正解とした関連重要語である．

論文閲覧支援インタフェースにおける重要語の提示方法を提案

表 7 の評価結果より，再現率は 0.591，適合率は 0.517 となした．評価では，著者キーワードと関連付けた重要語が適切でり，F 値は 0.552 となった．また，この適合率と，表 6 に示しあるかどうかの評価を行った．その結果，著者キーワード 1 語

た著者キーワード 1 語あたりの平均重要語数の 4.842 語を掛けに付き平均で 2.503 語の関連のある重要語を関連付けたことが合わせることにより，著者キーワード 1 語に付き平均で 2.503

わかった．

語の関連のある重要語を関連付けたことがわかった．しかし，残りの 2.339 語は不適切な関連付けとなった．
表 8 の抽出例では，例えば著者キーワードの query intent

今後の課題としては，重要語と著者キーワードとの関連付け方法の改良や，重要語の表示インタフェースのさらなる検討等が挙げられる．また，本稿では，著者キーワードと関連付けた

表8
著者キーワードの例

著者キーワードと関連重要語の例

関連付けた重要語

関連付けられなかった(Task 名)

重要語

query intent

document ranking，clustering，exhaustive search， IMine Task

(IMine)search result，each cluster，subtopic mining
each cluster，subtopic mining

TF-IDF(Math-2)

search engine

inverted index

document similarity

TF-IDF，target document，

cosine similarity(SpokenQuery&Doc) cosine distance，transcription，
sumPMI，spoken document

重要語が適切に関連しているかどうかを評価した．しかし，関連付けの適切性と論文の読解への有用性は，必ず一致するとは限らない．そのため，今後は関連付け提示の有用性の評価も必要であると考えている．
また，提案手法により関連付けた重要語の中には，重要語自体が不適切なものもあった．そのため，重要語の抽出方法についてもさらなる改良が必要であると考えている．

謝辞

本 研 究 の 一 部 は ，科 学 研 究 費 補 助 金 基 盤 研 究 (B)(課 題
番号 15H02789)，科学研究費補助金基盤研究 (C)(課題番号25330384)，および国立情報学研究所公募型共同研究の援助による．ここに記して深謝する．

文

献[1] 前野明子， 電子書籍閲覧端末による学術論文閲覧支援インタ
フェースに関する研究 ，岡山大学大学院自然科学研究科修士論
文，2015．
[2] 前野明子，太田学，高須淳宏， 学術論文閲覧支援インタフェースの試作 ，第 6 回データ工学と情報マネジメントに関するフォー
ラム (DEIM 2014)，E3-3，2014．
[3] 前野明子，太田学，高須淳宏， 学術論文閲覧支援インタフェー
スのための頭字語の活用 ，第 160 回データベースシステム研究会，Vol. 2014-DBS-160，No. 16，pp. 1-8，2014．
[4] 阿辺川武，相澤彰子， 内部構造解析機能と脚注表示機能を備えた論文閲覧システム ，人工知能学会インタラクティブ，情報ア
クセスと可視化マイニング第 7 回研究会，pp. 13-18，2014．
[5] 鉢木稔浩，太田学，高須淳宏， Web 資源を利用した学術論文閲
覧支援システム ，情報処理学会研究報告，Vol. 2009-DBS-149，
No. 14，pp. 1-6，2009．
[6] 鉢木稔浩，太田学，高須淳宏， 学術論文閲覧支援システムのための関連論文推薦 ，第 3 回データ工学と情報マネジメントに関するフォーラム (DEIM 2011)，F9-4，2011．
[7] 松尾豊，石塚満， 語の共起の統計情報に基づく文書からのキーワード抽出アルゴリズム ，人工知能学会論文誌，Vol. 17，No.
3，pp. 217-223，2002．
[8] 湯本紘彰，森辰則，中川裕志， 出現頻度と連接頻度に基づく専門用語抽出 ，情報処理学会研究報告自然言語処理，Vol. 10，
No. 1，pp. 27-45，2003．
[9] 今井智宏，望月久稔， 共起関係と係り受け関係を導入した文書
グラフの解析による特徴ベクトルの抽出 ，第 7 回データ工学と情報マネジメントに関するフォーラム (DEIM 2015)，A2-3，

2015．
[10] 相澤彰子 ，影浦狭， 著者キーワード中での共起に基づく専門用
語間の関連度計算法 ，信学論（D-1），Vol. J83-D-1，No. 11，
pp. 1154-1162，2000．
[11] 内山清子，鈴木崇史，相澤彰子， 専門用語の専門度の指標に関する一考察 ，言語処理学会第 16 回年次大会 (NLP 2010)，pp.
571-574，2010．
[12] Jeﬀ Ma，Spyros Matshoukas， BBN s Systems for the
Chinese-English Sub-task of the NTCIR-9 PatentMT Evaluation ，Proceedings of NTCIR-9 Workshop Meeting，pp.
579-584，2011.
[13] 石井仁子，太田学，高須淳宏， 引用意図を利用した学術論文閲
覧支援のための適切な被引用箇所の特定 ，第 7 回データ工学と情報マネジメントに関するフォーラム（DEIM2015），F3-5，
2015．
[14] Tomas Mikolov，Ilya Sutskever，Kai Chen，Greg Corrado，Jeﬀrey Dean， Distributed Representations of Words
and Phrases and their Compositionality ，arxiv preprint
arxiv:1310.4546，pp. 3111-3119，2013．