DEIM Forum 2016 C8-6

CRF による参考文献書誌情報抽出のための辞書素性の拡充
松岡大樹†

太田学††

高須 淳宏†††

安達淳†††† 岡山大学工学部情報系学科 〒 700–8530 岡山市北区津島中 3 丁目 1 番 1 号†† 岡山大学大学院自然科学研究科 〒 700–8530 岡山市北区津島中 3 丁目 1 番 1 号††† 国立情報学研究所 〒 101–8430 東京都千代田区一ツ橋 2-1-2
E-mail: †pobp52cw@s.okayama-u.ac.jp, ††ohta@de.cs.okayama-u.ac.jp, †††{takasu, adachi}@nii.ac.jp
あらまし 膨大な文書が格納されている電子図書館を運用するためには，書誌情報データベースの整備が必要である．
特に，学術論文の参考文献欄には，タイトルや著者名などの有用な書誌情報が集約されている．本研究では ConditionalRandom Field を用いて参考文献文字列から書誌情報を自動抽出するが，その際，利用する素性が抽出精度を決定する．
これまでの研究により，辞書素性の有効性が確認されているため，本研究では，正解データを利用して参考文献文字列の全てのトークンに対応する文字列をエントリに持つ完全書誌要素対応辞書を作成し，辞書エントリの拡充により見込める抽出精度を評価した．さらに，その知見に基づいて，実際に使用する辞書エントリの拡充について考察する．
キーワード

情報抽出，Conditional Random Feild，参考文献文字列，辞書素性

1. は じ め に
多数の学術論文を蓄積している電子図書館のサービスでは，検索やソート，文書間リンク等の機能は必須といえる．しかし，そのための書誌情報を人手でデータベースに登録するコストは膨大なため，その作業を可能な限り自動化する文書解析技術が求められている．特に学術論文の参考文献欄には，関連する文献の情報が集約されており，タイトルや著者名などの書誌情報は有用である．
本研究では川上ら [1] と同様の方法で，Conditional Random

Field (CRF) [2] を用いて，参考文献文字列から書誌情報を自動抽出する．CRF を用いた参考文献書誌情報抽出においては，利用する素性が書誌情報の抽出精度を決定する．我々は，どのような素性が書誌情報の高精度抽出に有効であるのか検討し，辞書素性が有効であることを確認した [3]．そこで本研究では，正解データを利用して，参考文献文字列の全てのトークンに対応する文字列をエントリに持つ完全書誌要素対応辞書を作成し，辞書エントリの拡充により見込める抽出精度を評価する．そして，完全書誌要素対応辞書を用いた実験の結果等に基づいて辞書エントリの拡充に関して考察する．
本稿の構成は次の通りである．2 節で学術論文からの書誌情報抽出に関する研究を紹介し，続く 3 節で本研究で行う CRFによる参考文献書誌情報の自動抽出について説明する．4 節で完全書誌要素対応辞書について述べ，5 節で実験による評価を行う．そして 6 節で辞書エントリの拡充に関して考察し，最後に 7 節で本稿をまとめる．

2. 関 連 研 究
多数の学術論文を格納する電子図書館において，書誌情報の管理は必須であるが，学術論文からの書誌情報抽出では，ルー図 1 学術論文誌による参考文献文字列の書式の違い

著者名，タイトル，発行年などの書式が異なる論文誌ごとに抽出のためのルールを設定する必要がある．しかし，近年では学術論文の数が増大し，論文誌ごとにルールを設定し，管理することが困難になりつつある．そのため，学習データを準備すれば，どの学術論文にも対応することのできる機械学習が注目されている．
機 械 学 習 に よ る 書 誌 情 報 抽 出 に は ，阿 辺 川 ら [4]，Okadaら [5]，Peng ら [6] や Councill ら [7] の 研 究 が あ る ．本 研 究
で は ，CRF [2] を 用 い て 書 誌 情 報 を 抽 出 す る が ，阿 辺 川 ら[4]，Okada ら [5] は Support Vector Machine(SVM) [8] や Hidden
Marlov Model(HMM) [9] を利用して書誌情報を抽出した．阿辺川らは，pdftohtml（注 1） を用いて学術論文の PDF ファイルから，位置やフォント情報を抽出した．次に， はじめにduction などを手がかり語として，論文の本文が開始される前までをテキストとして切り出した．また，ファイル末尾の 参
考文献 ， Reference などの語を手がかり語として，参考文献文字列をテキストとして切り出した．論文の 1 ページ目の本文が開始されるまでのテキストに対しては，SVM を用いて書誌情報を抽出した．このとき，ページ上部からの距離や，フォンルや機械学習がよく用いられる．ルールを用いて論文の，例えば参考文献文字列から書誌情報を抽出する場合，図 1 のように，や Intro-（注 1）：http://pdftohtml.sourceforge.net

トサイズの差などの視覚的素性と， はじめに や 参考文献などのキーワードや文字クラスなどの言語的素性を利用した．
そして，参考文献文字列からは HMM と SVM のそれぞれを用いて書誌情報を抽出した．その際，日本語と英語では学習のモデルが異なると考え，参考文献文字列を和文と英文に分類して実験を行っている．HMM を用いた手法においては，文字クラスを入力とし，状態遷移モデルを用いて書誌情報を抽出した．
また，SVM を用いた手法においては，文字そのものを素性とし，状態遷移モデルを用いて書誌情報を抽出した．実験の結果，タイトルページからの書誌情報抽出精度が論文単位で 69.2%，参考文献文字列からの書誌情報抽出精度が，和文で 74.8%，英文で 81.6% であった．Okada らは，カンマや vol. ， no. ，
図 2 参考文献書誌情報抽出の例

pp. ， ed. といった特定の文字列をデリミタとして参考文献文字列をトークンに変換し，SVM と HMM を用いて各トー表 1 抽出する書誌情報 [1]クンに書誌要素ラベルを付与した．実験では，電子情報通信学

書誌要素

書誌要素ラベル会論文誌 Vol.J83-DII の No.1 から No.12 に掲載されている論文

AuthorRAの参考文献文字列を対象にし，97.6% の精度で書誌情報を抽出

Editor

REした．

Translator

RTR

Author Other RAOT

Peng ら [6] や Councill ら [7] は HMM や CRF を用いて書誌Title

RT

Booktitle

RBTごとに書誌要素ラベルを付与した．タイトルページにおける書Journal

RW

誌情報抽出では，英語論文 935 件を対象に，500 件を学習デー

ConferenceRCタ，435 件をテストデータとして実験を行った．著者名やタイ

VolumeRVトル，所属など 13 項目の書誌情報を抽出し，その F 値の平均

NumberRN

は 0.939 であった．一方，参考文献欄からの書誌情報抽出におPage

RPP

Publisher

RPDayRDMonthRMなど 13 項目の書誌情報を抽出し，その F 値の平均は 0.915 でYearRYあった．また，Councill らは，参考文献文字列から書誌情報をLocation

RL抽出する，CRF に基づく書誌情報抽出ツールである ParsCit をURL

RURL開発した．ParsCit では，空白文字をデリミタとして英文の参考OtherROT情報を抽出した．Peng らはタイトルページと参考文献欄の単語

いては，英語論文 500 件を対象に，350 件を学習データ，150 件をテストデータとして実験を行った．著者名や論文誌名，日付文献文字列をトークン列に変換し，そのトークン列に書誌要素ラベルを付与する．彼らの実験は，Cora データセット [10] を対よる後処理のコストを抑えながら，高品質な書誌情報が得られ象に，著者名やタイトルなど 13 項目の書誌情報を抽出し，そることを示した．これらの研究はいずれも論文タイトルページの F 値の平均は 0.950 であった．

からの書誌情報抽出であるが，本研究では川上ら [1] の研究をOhta ら [11] は，書誌情報抽出における学習データ生成コス
トの削減に関する研究を行った．Ohta らは，CRF により書誌情報を抽出する際に，能動サンプリングにより学習データを削減する方法を提案した．能動サンプリングは，CRF の学習の際に有効なデータを効率よく選択する方法である．具体的には，もとに，レイアウト情報を持たない参考文献文字列から書誌情報を抽出する．

3. CRF による書誌情報抽出
3. 1 書誌情報抽出

書誌情報抽出結果に確信度を定義し，ある時点の学習モデルに本研究では，学術論文の参考文献文字列から書誌情報を自動おいて，書誌情報抽出が困難な学習データを次回の学習データ抽出する．具体的には図 2 のように参考文献文字列をまずトーとする方法である．Ohta らの書誌情報抽出では，文書画像のクン列に変換し，その後トークン列から著者名やタイトルと学術論文のタイトルページに対して，OCR によりレイアウトいった主要な書誌情報を抽出する．参考文献文字列から抽出す

解析と文字認識を行い，CRF を用いて矩形テキスト領域に対しる書誌情報の一覧とそれに対応する書誌要素ラベルを表 1 にまて書誌要素ラベルを付与する．能動サンプリングを用いた実験

とめる [1]．表 1 の Other は他のどの書誌要素にも分類されないの結果では，書誌情報抽出精度を維持したまま，学習データ量書誌要素であり，具体的には所属機関などが含まれる．本研究を三分の一以下に削減できたと報告している．さらに Ohta ら

では図 2 に示すように，トークン列の各トークンに対して RAは [12] において，論文タイトルページから CRF により抽出しや RT などの書誌要素ラベル，または DC などのデリミタラベた書誌情報の誤り検出を確信度に基づいて行うことで，人手にルを付与する．なお，図 2 で D から始まるラベルはデリミタラ

表 2 素性テンプレート [3]素性数

内容

Unigram <token ab pos(0)>1トークン列における絶対的な出現位置<token re pos(0)>1トークン列における相対的な出現位置<num char(0)>1トークンの文字数<num word(0)>4トークン内の単語数

CRF [2] の定義を用いて，参考文献文字列をトークン列に変換<num period(0)>4トークン内のピリオド数<f kanji(0)>1

トークン内の漢字数の割合

し，そのトークン列に書誌要素ラベルを付与する．また CRF で<f hiragana(0)>1トークン内のひらがな数の割合<f katakana(0)>1トークン内のカタカナ数の割合<f alphabet(0)>1トークン内の全角アルファベット数の割合

が y = y1 , . . . , yn となる条件付き確率を以下のように与える．
 n∑ ∑
1
P (y|x) =exp λk fk (yi−1 , yi , x)
(1)
Zx
i=1 k

<f digit(0)>1トークン内の全角数字数の割合<h alphabet(0)>1トークン内の半角アルファベット数の割合<h digit(0)>1トークン内の半角数字数の割合<h symbol(0)>1トークン内の記号数の割合<first 1-4 string(0)>4トークンの先頭から四文字目までの文字列<last 1-4 string(0)>4トークンの末尾から四文字目までの文字列

ただし、Zx は，全てのラベル系列を考慮したときに確率の和が<token(0)>1

トークン自身<last char(i)>1トークンの最後の文字種

1 となるための正規化項で， n∑∑ ∑()
Zx =exp λk fk y′i−1 , y′i , x <token lc(i)>1

トークンを小文字にした文字列<capital(i)>1

トークン中の大文字の有無<digit(i)>1

トークン中の数字の有無<symbol(i)>2トークン中の記号の有無<keyword(i)>4トークン中の特徴的な文字列の有無<dictionary(i)>15 辞書的素性である．ここで， fk (yi−1 , yi , x) は (i − 1) 番目と i 番目の出力ラ<num token(0)>1

参考文献文字列のトークン数

ベルと入力系列 x に依存する任意の素性関数である．λk は素<editor(0)>1

参考文献文字列中の Editor に関する記述の有無<URL(0)>1

参考文献文字列中の URL に関する記述の有無< y(-1), y(0)>1

ラベルの遷移ベルを表し，DC(カンマ+空白) などが定義されている [1]．

種類

3. 2 CRF
本研究の書誌情報抽出では，標準的なチェーンモデルのは，入力系列 x = x1 , . . . , xn が与えられたとき，出力ラベル系列y′ ∈Y(x)i=1(2)

k性関数 fk の重みを表すパラメータで学習により定める．また，Bigram

Y (x) は入力系列 x に対する出力ラベル系列の集合である．そして，入力系列 x に対する最適な出力ラベル系列 y∗ は次式で与また，辞書素性には，どの辞書のエントリに一致したかを示すえられる．

Dict という素性があり，この素性はヒットしたエントリを持つ

y∗ = arg max P(y|x)

辞書のビットを 1 とし，2 進表現したものを 10 進数に直した素(3)y∈Y(x)

本研究の書誌情報抽出では，ラベル付与の対象である入力 xiは，参考文献文字列をトークン化して得られるトークンであり，一方，ラベル yi は，書誌要素またはデリミタのラベルである．
本稿の実験では，書誌要素ラベル付与の精度を評価するため，トークン化は人手で行った．

3. 3 素性テンプレート
本研究では工藤が作成した CRF++（注 2） を利用して書誌情報を抽出する．CRF++で用いる素性テンプレートは川上らの素性
テンプレート [1] を拡充したもの使用する [3]．これを表 2 にまとめる．素性テンプレートについて説明する．この素性テンプ
レートは 56 種類の Unigram 素性と 1 種類の Bigram 素性の合計

57 種類の素性で構成されている．これらは全て言語的な素性で，レイアウトに関する素性はない．Unigram 素性には，トークンのトークン列における出現位置や文字数，トークンを構成する文字種とその割合，トークンの先頭・末尾から四文字目までの文字列，大文字などの特定の文字や特徴的な文字列，各種辞書のエントリの有無などを用いている．また，<dictionary(i)> における辞書としては，人名（注 3），月名，地名（注 4），出版社名（注 5），論文誌名（注 6），会議名（注 7） の辞書と，学会誌名や新聞紙名などの分類困難なものをまとめた辞書の 7 種類の辞書を使用する．

性である．例えば， July という文字列が人名，月名の 2 つの辞書にヒットすると，Dict の値は 3 となる．
また，[3] において拡充した素性は，<keyword(i)> に含まれる日本語姓辞書の素性と，<dictionary(i)> に含まれる 7 種類の辞書素性である．川上ら [1] は，<keyword(i)> に含まれる日本語姓辞書においては完全一致，前方一致，後方一致，部分一致，不一致の 5 段階の照合判定を用いた．一方，<dictionary(i)> に含まれる 7 種類の辞書においては，各辞書のエントリに一致したか一致してないかの 2 段階の照合判定を用いた．これを [3] で，どの辞書においても 2 段階と 5 段階のどちらの照合判定も可能にした．よって追加した素性は，日本語姓辞書と 2 段階の照合判定を行った素性が 1 種類と，それ以外の辞書と 5 段階の照合判定を行った素性が 7 種類である．表 2 の各素性の括弧内の数
字はトークンの相対位置を表し，0 が現在のトークンである．また i ∈ {−4, −3, −2, −1, 0, 1, 2, 3, 4} である．なお，表 2 で， 数はその素性に関する要素数を表し，例えば，<first 1-4 string(0)>の場合，トークンの先頭の文字，先頭から二文字目までの文字，先頭から三文字目までの文字，先頭から四文字目までの文字という 4 つの要素を持つ．また，書誌要素ラベルの遷移を考慮するため Bigram 素性を用いる．この素性は付与される書誌要素ラベルの連接に関する情報を表し，これにより，例えば，著者名の後にタイトルがくるといった書誌要素の出現順に関する制約を考慮することができる．

（注 2）：http://taku910.github.io/crfpp/（注 3）：http://www.census.gov/genealogy/names/など

4. 完全書誌要素対応辞書（注 4）：http://www.fallingrain.com/world/index.html など（注 5）：http://www.narosa.com/nbd/PublisherDistributed.asp など（注 6）：http://science.thomsonreuters.com など（注 7）：http://www.allconferences.com/など

本研究では，正解データを利用して全てのトークンに対応する文字列をエントリに持つ完全書誌要素対応辞書を作成し，そ表3

書誌要素ラベルの再分類 [1]

書誌要素ラベル

分類名RA, RE, RTR, RAOT AUTHOR
RT, RBT

TITLE

RW, RCJOURNAL

RV, RN, RPP

VOLUME

RP

PUBLISHER

RD

DAY

RM

MONTH

RY

YEAR

RL, RURL, ROT

OTHER

図 3 変更後の Dict 素性表 5 完全書誌要素対応辞書を用いたときの抽出精度

表 4 作成した辞書
辞書

AUTHORIEICE-J IEICE-E IPSJ
7,210

6,272 6,730

3journal

論文誌

19,391

IEICE-J

0.96620.98870.97090.98950.96460.9906

TITLE

4,409

4,289 4,308

12,835IEICE-E

JOURNAL

1,551

1,747 2,026

5,004

IPSJ

VOLUME

2,221

2,181 1,763

3,441

PUBLISHER

274336400

842DAY9541167

MONTH

23313258

YEAR

60595278

OTHER

224432618

1,107

川上ら [1] の辞書 完全書誌要素対応辞書

5. 評 価 実 験
5. 1 実 験 概 要
4 節に示した完全書誌要素対応辞書を用いて書誌情報抽出精度を算出する．実験データとして，以下の参考文献文字列コーれを用いて書誌情報抽出精度を評価する．本研究においては，
表 1 に示した書誌情報を先行研究 [1] に倣って表 3 のように集約して正解判定を行うため，これに対応する辞書を作成した．よって，AUTHOR，TITLE，JOURNAL，VOLUME，PUBLISHER，DAY，MONTH，YEAR，OTHER の 9 種類の辞書を作成した．
辞書は，実験で使用する 3 つの論文誌である，電子情報通信学会
和文論文誌 (IEICE-J)，電子情報通信学会英文論文誌 (IEICE-E)，
情報処理学会論文誌 (IPSJ) の正解データから，表 1 に示した書誌要素ごとにトークンを抽出し，それを表 3 のように集約して，重複を除いて作成する．つまり，作成した辞書は正解データの全てのトークンの文字列を含んでいる．このようにして作成した辞書のエントリ数を表 4 に示す．表 4 には論文誌ごとに作成パスを利用する．

IEICE-J 2000 年の電子情報通信学会和文論文誌に含まれる参考文献文字列 4,787 件（内，和文 2,193 件）

IEICE-E 2000 年の電子情報通信学会英文論文誌に含まれる参考文献文字列 4,497 件（内，和文 0 件）

IPSJ 2000 年の情報処理学会論文誌に含まれる参考文献文字列
4,574 件（内，和文 1,537 件）
参考文献文字列に含まれる書誌要素が過不足なく抽出された参考文献文字列数を，全参考文献文字列数で割ったものを書誌情報抽出精度と定め，評価指標とする．また，この精度は 5 分割交差検定を用いて算出する．ただし，書誌要素ラベル付与においては，表 1 を先行研究 [1] に倣って表 3 のように集約し，した辞書のエントリ数と，全ての論文誌をまとめて作成した辞表 3 において同じ分類のものは正解判定において区別しない．

書のエントリ数があるが，実験は全ての論文誌をまとめて作成

そして，表 3 の分類に基づいて，CRF が全てのトークンに正しした辞書である 3journal を使用する．なお，辞書 3journal においても作成の際に重複を削除している．

CRF により書誌要素ラベルを付与する際は，作成した 9 種類の辞書を表 2 の <dictionary(i)> に含まれる人名辞書，月名辞書，地名辞書，出版社名辞書，論文誌名辞書，会議名辞書，分類困難なものをまとめた辞書と入れ替える．また，Dict はこの辞書の入れ替えに伴い，図 3 のようにする．図 3 では，あるトークンが VOLUME，DAY，MONTH の 3 つの辞書のエントリに一致した場合を示しており，このとき Dict の値は 104 になる．この結果辞書素性は，Dict 素性が 1 種類と各辞書における2 段階の照合判定を用いた素性と 5 段階の照合判定を用いた素性の 18 種類があり，合計 19 種類となる．よって，作成した辞書を用いた実験は，60 種類の Unigram 素性と 1 種類の Bigram素性の合計 61 種類の素性を用いて行う．

い書誌要素ラベルを付与した場合を成功とみなす．また，デリミタの種類の誤りは無視する．実験において，CRF++の学習パラメータはデフォルトの値を利用した．

5. 2 完全書誌要素対応辞書の効果
4 節に示した完全書誌要素対応辞書を用いて実験を行い，書誌情報抽出精度を算出した．結果を表 5 に示す．完全書誌要素対応辞書を用いた結果，川上ら [1] の辞書に比べ，IEICE-J において 2.25 ポイント，IEICE-E において 1.86 ポイント，IPSJ において 2.6 ポイント抽出精度が向上した．この結果から，辞書を拡充し，照合するエントリが増えれば抽出精度の向上が期待できることがわかる．
また，Dict と 9 種類の辞書の中でどの素性が有効であるか確かめるため，それぞれの辞書素性を 1 種類ずつを除いて比較実験を行った．なお，各辞書の素性を除いて比較するときには

表6
論文誌

エントリ追加による書誌情報抽出精度の比較

書誌情報抽出精度 エントリ追加後の書誌情報抽出精度

IEICE-J

0.96620.9659IEICE-E

0.97090.9702

IPSJ

0.9646

0.9646

3 つの辞書が特に有効であることがわかる．IEICE-E においても IEICE-J と同様に，JOURNAL 辞書の寄与が 1 番大きい．そして，図 4 の (c) より，IPSJ においては，TITLE，JOUNRALの辞書をそれぞれ除いたときの抽出精度の低下が大きい．この結果から，IPSJ においては，TITLE，JOURNAL の 2 つの辞書が特に有効であることが確認できる．IPSJ においても，前(a) IEICE-Jの 2 雑誌と同様，JOURNAL 辞書の寄与が 1 番大きい．TITLE，JOURNAL の 2 つの辞書はどの雑誌においても書誌情報抽出精度に大きな寄与を示したが，TITLE 辞書の作成は一般には困難だと考えられる．よって，実用的には JOURNAL 辞書のエントリを拡充させることにより，書誌情報抽出精度の向上が期待できる．この辞書は表 1 と表 3 より論文誌名や会議名の辞書のことである．

6. 辞書エントリの拡充に関する考察
5. 2 節の実験より，論文誌名や会議名の辞書のエントリの追加が書誌情報抽出精度の向上に有効であることがわかった．そこで，無作為に論文誌名辞書にエントリを追加して実験を行い，(b) IEICE-E

辞書にどのようなエントリを追加すれば書誌情報を高精度に抽出できるか考察する．
実験では，論文誌名辞書に日本語，および英語のエントリを追加した．日本語のエントリは NII 学術情報ナビゲータ (CiNii)の刊行物ディレクトリ（注 8），および電子情報通信学会の学術雑誌略語表（注 9） より，1,042 件追加した．また，英語のエントリは dblp（注 10） の journal の一覧より，742 件追加した．なお，これらエントリ数は既存のエントリとの重複を削除した後のエントリ数である．エントリを追加した論文誌名辞書を用いて実験を行った結果を表 6 に示す．表 6 より，いずれの雑誌においてもほとんど差は見られなかった．よって，無作為にエントリを(c) IPSJ

図 4 完全書誌要素対応辞書による比較実験

Dict 素性は常に使用しない．素性を除いて実験を行っているた
め，精度が大きく低下した素性ほど書誌情報抽出精度への寄与が大きいといえる．実験の結果を図 4 に示す．図 4 の (a) より，IEICE-J においては，TITLE，JOURNAL，VOLUME の辞書をそれぞれ除いたときに抽出精度が大きく低下していることがわ
かる．この結果から，IEICE-J においては，TITLE，JOURNAL，VOLUME の 3 つの辞書が特に有効であるといえる．その中でも JOURNAL 辞書の寄与が 1 番大きい．また，図 4 の (b) より，IEICE-E においては，AUTHOR，TITLE，JOURNAL の辞書をそれぞれ除いたときの抽出精度の低下が大きい．この結果
から，IEICE-E においては，AUTHOR，TITLE，JOURNAL の1,800 件程度追加しても，抽出精度への影響はほとんどないことがわかる．抽出精度への影響がほとんどない理由としては，
本稿で追加したエントリは無作為に選択したため，実際に実験データの参考文献にヒットするエントリが少なかったことが挙げられる．例えば英語のエントリは，全て論文誌名の正式名称を追加したため，省略して記載されている論文誌名には一致しない．よって，辞書にエントリを追加する際には，その学術論文の体裁等からよく使われている論文誌名の見当をつけて，エントリに追加することが重要である．また，論文誌名は雑誌によって省略されて表記されることがあり，それを考慮して省略名も辞書に加える必要がある．このように辞書にエントリを追加すれば，ヒットするエントリが増え，抽出精度の向上が期待（注 8）：http://ci.nii.ac.jp/journal/society/all ja.html（注 9）：https://www.ieice.org/jpn/shiori/pdf/furoku e.pdf（注 10）：http://dblp.uni-trier.de/できる．
今後は，この知見を生かし，有効であると確認できた論文誌名辞書や会議名辞書のエントリを追加していく予定である．

7. ま と め
本稿では，CRF による参考文献書誌情報の高精度抽出のために完全書誌要素対応辞書を作成し，辞書エントリの拡充により見込める抽出精度を評価した．実験の結果，完全書誌要素対応辞書を使用すれば，川上らの辞書に比べ，IEICE-J において2.25 ポイント，IEICE-E において 1.86 ポイント，IPSJ において2.6 ポイント書誌情報抽出精度が向上することを確認した．さらに，各辞書素性の中でどの辞書が有効であるか実験を行い，IEICE-J においては論文題目名，論文誌名，会議名，ボリュー
ム，ページ番号の辞書，IEICE-E においては著者名，論文題目名，論文誌名，会議名の辞書，IPSJ においては論文題目名，論文誌名，会議名の辞書が有効であることを確認した．また，辞書にどのようなエントリを追加すれば書誌情報を高精度に抽出できるかについて考察した．今後は，実験結果から得られた知見をもとに，辞書のエントリを拡充する予定である．

謝

辞本研究の一部は，科学研究費補助金基盤研究 (B)(課題番号15H02789)，科学研究費補助金基盤研究 (C)(課題番号 25330384)，
および国立情報学研究所公募型共同研究の援助による．ここに記して深謝する．

文

献[1] 川上尚慶, 太田学, 高須淳宏, 安達淳, “少量学習データによる参考文献書誌情報抽出精度の向上”, 情報処理学会論文誌データベース, vol. 8, no. 2, pp. 18–29, 2015.
[2] J. Laﬀerty, A. McCallum and F. Pereira, “Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data”,
In Proc. of 18th International Conference on Machine Learning, pp.
282–289, 2001.
[3] 松岡大樹, 太田学, 高須淳宏, 安達淳, “CRF による参考文献書誌情報抽出のための有効な素性の検討と拡充”, 情報処理学会研究報告, vol. 2015-DBS-162, no. 3, pp. 1–8, 2015.
[4] 阿辺川武, 難波英嗣, 高村大也, 奥村学, “機械学習による科学技術論文からの書誌情報の自動抽出”, 情報処理学会研究報告,
2003-FI-72/2003-NL-157, pp. 83-90, 2003．
[5] T. Okada, A. Takasu, and J. Adachi, “Bibliographic Component Extraction Using Support Vector Machines and Hidden Markov Models”, ECDL 2004, LNCS 3332, pp. 501-512, 2004.
[6] F. Peng, A. McCallum, “Accurate Information Extraction from Research Papers Using Conditional Random Fields”, HLT-NAACL
2004, pp. 329–336, 2004.
[7] I.G. Councill, C.L. Giles and M.Y. Kan, “ParsCit: An Open-Source
CRF Reference String Parsing Package”, In Proc. of language resource and evaluation conference, 2008.
[8] C.Cortes and V.Vapnik, “Support-Vector Networks”, Machine Learning, vol.20, no. 3, pp.273-297, 1995.

[9] K.Seymore, A.McCallum and R.Rosenfeld, “Learning hidden
Markov model structure for information extraction”, In AAAI 99
Workshop on Machine Learning for Information Extraction, 1999.
[10] A. McCallum, K. Nigam, J. Rennie and K. Seymore, “Automatingthe Construction of Internet Portals with Machine Learning”, Information Retrieval, vol. 3, no. 2, pp. 127-163, 2000.
[11] M. Ohta, R. Inoue, A. Takasu, “Empirical Evaluation of Active Sampling for CRF-Based Analysis of Pages”, In Proc. of IEEE IRI 2010,
pp. 13–18, 2010.
[12] M. Ohta, R. Inoue, A. Takasu, “Empirical Evaluation of CRF-Based
Bibliography Extraction from Research Papers”, IADIS International
Journal on Computer Science and Information Systems, vol. 7, no. 2,
pp. 18–31, 2012.