1.はじめに
書誌情報は電子図書館において有益な情報である．特に，学術論文の参考文献文字列は，参考文献のタイトルや著者名などの書誌情報を含んでいる．そこで，低コストで書誌情報のデータベースを構築するため，参考文献欄から参考文献文字列のみを自動抽出する研究が行われている.個々の参考文献文字列を抽出する研究として，石本ら[8]や赤澤ら[9]の研究がある．石本らは，PDF形式の論文から，自然処理言語など様々な分野で利用されている識別モデルの一つであるConditional Random Field(CRF) [1]を用いて文字列(行)に対してラベルを付与し，参考文献文字列を抽出した．しかし，参考文献領域を分断する，あるいは参考文献領域の後に続く表や図を参考文献文字列として誤抽出する問題が残った.赤澤らはこれらの課題を解決するため，ラベル付与対象の行の素性だけでなく，その前後の行の素性情報を利用してラベル付与を行った．しかし，１行のみからなる参考文献文字列が連続する場合に，ラベル付与が失敗するといった新たな問題が発生した．そこで本研究では，参考文献欄の領域検出方法と，CRFによる参考文献文字列抽出方法を改良する.本稿の構成は次の通りである．まず，2.節で本研究の関連研究を紹介する. 3.節では参考文献文字列の自動抽出方法を説明する．4.節で実験と評価について述べる．最後に，5.節で本稿をまとめる.
2. 関連研究
電子図書館に収録されている論文は膨大であるため，論文から機械学習により書誌情報を抽出する研究が行われている．阿辺川ら[7]は，Support Vector Marchine(SVM) [2]やHidden Markov Model(HMM) [3]を用いて，電子化された学術論文から書誌情報を抽出する手法を提案した．阿辺川らが使用したデータは，日本語及び英語で書かれたPostScriptファイルとPDFファイルの論文945件であり,それぞれの論文のタイトルページ及び参考文献欄から書誌情報を抽出した．書誌情報抽出の結果は，書誌情報を全て正しく抽出した論文を正解として，論文のタイトルベージは正解率が69.2%であった．また，参考文献欄からの書誌情報抽出は，日本語と英語に分けて行った.正解率は最も高いもので，日本語で74.8%,英語で81.6%であった. Pengら[4]は，英語のタイトルベージや参考文献欄からの書該情報抽出の際にCRFを用いた. Pengらはまた比較対象としてHMMを利用した．タイトルページからは著者名や所属など13項目の書誌情報を抽出し，平均のＦ値がHMMで0.756, CRFで0.939であった．一方，参考文献欄では，著者名やタイトルなど13項目の書誌情報を抽出し，平均のＦ値がHMMで0.776,  CRFで0.915であった. Councillら[5]は， CRFを用いて参考文献欄の書誌情報を抽出するオープンソースのツールParsCitを開発した.  ParsCitでは前処理として参考文献領域の検出を行う．彼らは評価のため， Coraデータセット[6]の参考文献文字列200件を対象に，著者名やタイトルなど13項目の書誌情報を抽出した．書誌情報の抽出結果は，平均の適合率，再現率が共に0.957，平均のF値は0.950であった.石本ら[8]は，学術論文から個々の参考文献文字列を自動抽出する方法を提案した．その提案手法は，PDF形式の論文から参考文献領域の開始位置を検出し，それ以降の文字列に対してCRFを用いて参考文献文字列と他を区別するためのラベル付けを行うものである．第5回データ工学と情報マネジメントに関するフォーラム(DEIM2013)の論文139件に対して行った実験では，参考文献領域の開始位置の検出には全て成功した.個々の参考文献文字列を抽出するための4種類からなるラベルの付与実験では，全てのラベル付けが成功した論文の割合が90%以上だった．しかし，参考文献領域を分断する表や図などを参考文献文字列として誤抽出するなどの問題があった.赤澤ら[9]は石本らの問題を解決するため，CRFを用いてラベルを付与する際に，ラベル付与対象の行の素性のほかに，その前後2つまでの行の素性情報を利用した.また，実験対象のデータセットとして，石本らの使用したDEIM2013の論文139件に加えて国立情報学研究所主催の第9回NTCIRワークショップ(NTCIR-9)の論文91件，情報処理学会(IPSJ)の論文誌Vol.53のNo.1からNo.3の論文127件，合計357件の論文を使用した．実験の結果，論文の正解率は論文誌の種類によって92%から96%であった．しかし，IPSJの論文では，1行のみからなる参考文献文字列が連続する場合，個々の参考文献文字列を正しく抽出できない問題があった．さらに，“ [1] ”や“ [2] ”といった番号のない参考文献文字列も正しく抽出できないことがあった．また，参考文献領域の開始位置の検出に，失敗する論文が1件あった.
3.参考文献文字列の自動抽出
3.1 概
要
ここでは参考文献文字列の自動抽出の手順を説明する．なお,この手順は石本らの方法[8]を採用している．まず，3.2節で説明する方法でPDF形式の論文をXMLファイルに変換する.次に，3.3節で説明する方法で参考文献領域の開始位置と終了位置を検出する．最後に， 3.4節の方法で，検出した領域内の全ての行に対し，CRFを用いてラベル付けを行い，個々の参考文献文字列を抽出する．本稿では，石本らの参考文献文字列の抽出法の改良を3.３節及び3.４節に示す. 3.2 論文PDFファイルから論文XMLファイルへの変換まず初めに，論文のPDFファイルをpdf2xml(#1)により変換し，図1のようなXMLファイル(以下，論文XMLファイル)を出力する. pdf2xmlはPDFファイルの本文や表,注釈やページ番号などに対してTOKEN,  TEXT,  BLOCKタグを付与する.また，図に対しては通常IMAGEタグを付与する.しかし，図中のテキストに対してはTOKEN,  TEXT,  BLOCKタグを付与する場合がある.これらのタグのうち， TEXTタグは通常，論文中の一行に対して付与される.しかし, Microsoft Word等で作成されたPDFファイルの場合, １単語に対してTEXTを付与することもある．本研究では石本ら[8]と同様に，3.4節で説明する方法でTEXTを対象にラベルを付与し，参考文献文字列を抽出する.
3.3 キーワードによる参考文献領域検出
3.2節の方法で変換した論文XMLファイルから参考文献領域を検出する.まず, 3.3.1節で参考文献領域の開始位置の検出，次に3.3.2節で参考文献領域の終了位置の検出について述べる．本研究では，開始位置以降かつ終了位置直前までの領域を参考文献領域とする. 3. 3. 1 参考文献領域開始位置検出本研究では，参考文献領域の開始位置を，“参考文献”や“文献” , “ Reference ” , “ References ” , “ REFERENCE ” , “ REFERENCES ”の文字列を手がかりに検出する．石本ら[8]は，行がそれらの文字列のみ，あるいは節番号とそれらの文字列のみの場合，参考文献領域の開始位置とした．ただし，この方法では，参考文献領域開始位置以外のの本文中に“ Reference ”という文字列が出現する場合に，開始位置を誤検出する場合があった.そこで，“ Reference ”等のキーワードのあるTEXTのx座標とy座標を抽出し，そのy座標との差が5以内かつx座標との差が200以内のTEXTが存在しない場合，参考文献領域の開始位置とするようにした.ここで，x座標の条件は，3.2節でのXMLファイルへの変換により，二段組の論文を一段組として変換する場合があるために導入した．また，y座標の条件は，本文中や装中の“ Reference ”の誤検出を防ぐために導入した.また，論文によっては“ REFERECE ”などの綴り誤りもあるため, “ Reference ”の1文字目のR以外での綴り誤りが1文字以内のものもキーワードとする. 3.3.2参考文献領域終了位置検出石本ら[8]は，参考文献領域の開始位置のみを検出した．しかし，参考文献領域の後の付録の一部を参考文献文字列として誤抽出する問題があった．そのため本稿では，“付録”や“ Appendix ”,  “ APPENDIX ”のキーワードを手がかりに参考文献領域の終了位置を検出する.開始位置検出とは異なり,単純にこれらのキーワードを含む行を終了位置として検出する.ただし，キーワードがない場合は，論文XMLファイルの末尾を終了位置とする.
3.4  CRFによる参考文献文字列の自動抽出
3.3節の方法で参考文献領域の開始位置と終了位置を検出した後，参考文献領域内のTEXTに対してCRF++0.58(建²)を用いてラベル付けを行い，参考文献文字列を抽出する. 3. 4. 1   Conditional Random Field本研究では，標準的なチェーンモデルのCRFの定義を用いて，参考文献文字列を自動抽出する．参考文献領域のTEXTの列に対して4種類のラベルを付与し，参考文献文字列と他を区別する.すなわち,入力系列x1,…., xnが与えられたとき,出力ラベル系列がyı,…., ynとなる条件付き確率を以下のように与える.
ただし， Zは，全てのラベル系列を考慮したときに確率の和が１となるための正規化項で,
である. fk(yi-1,yi,x)は, (i-1)番目とi番目の出力ラベルと入力系列×に依存する任意の素性関数である。 λは素性関数fkの重みを表すバラメータで学習により定める.また, Y(x)は入力系列×に対する出力ラベル系列の集合である．そして，入力系列×に対する最適な出力ラベル系列y*は次式で与えられる.
本研究では，石本らと同様に，ラベル付与の対象となる入力x iは,論文XMLファイルのTEXTである.ラベルy  iは, “ SRef ”, “ NRef ”, “ Page ”, “ ETC ”の4種類である．この内, “ SRef ”は参考文献文字列の開始行のTEXT, “ NRef ”は参考文献文字列の2行目以降の行のTEXTに付与する. すなわち，“ SRef ”とそれにつづく“ NRef ”が一つの参考文献文字列となる．また，“ Page ”はページ番号を表すTEXT, “ ETC ”はその他の文字列を表すTEXTに付与する.本研究では石本らと同様に，“ SRef ”とそれにつづく“ NRef ”を一つの参考文啟文字列として抽出する. 3.4.2  CRFで利用する素性石本らは参考文献文字列の抽出に表1の素性テンプレート(以下, tpl_ishimoto)を使用した. tpl_ishimotoのうち, ekw, skwは表2のような特徴的な文字列の種類を示す素性である.赤澤ら[9]は，石本らが利用したテンプレートtpl ishimotoに加えて，表３のようにラベル付与対象のTEXTの前後のTEXTの素性を反映したテンプレート(以下, tpl_akazawa1)と,それら前後のTEXTとの組み合わせの素性テンプレート(以下, tpl_akazawa2)を用いた( i ＝ −2, − 1, 1, 2).その結果,表や図などを参考文献文字列として誤抽出する問題が改善された.しかし，1行のみからなる参考文献文字列が連続している部分で，“ SRef ”ではなく“ NRef ”を付与する問題が発生した.そこで本研究では,  tpl ishimotoの一部を変更した表5(以下,
tpl_uchida)の素性テンプレートを提案する．石本らの素性テンプレートとの違いは，tpl_ishimotoでは表2のように特徴的な文字列の種類を示す素性を，tpl_uchidaでは本研究で提案する特徴素性をそれぞれ利用する点である. tpl_uchida及びtpl_ishimotoで利用する素性は以下の4種類に分類される.
a）視覚的寒性
視覚的素性は，TEXTのレイアウト情報を素性としたものである．具体的には， z座標やy座標といったTEXTの位置や前のTEXTとの間隔，TEXTを構成する文字列の幅や高さといった数値である．これらの数値はXMLファイルからTEXTの属性値として符られる．ただし，その数値は小数のため，適当な値に丸める．すなわち，TEXTの高さを表す数値は小数点以下を切り捨て，それ以外の数値は一の位を切り捨てた数値を素性として用いる．この素性は，tpl_uchida及びtpl_ishimotoで共通である.
b） 言語的素性
言語的素性は，TEXTの文字列の中身を解析して得られる情報を素性としたものである．具体的には，TEXT内の文字数や
文字列の種類，表2のような特徴的な文字列の種類を示す素性である．ただし，TEXT内の文字数は一の位を切り捨てた数値を素性とする.なお，特徴的な文字列の種類は石本らや赤澤らの素性では使用するが，提案手法では後述する特徴素性を定めるために使用する.
c）特徴素性
石本らや赤澤らが使用した素性テンプレート(tpl_ishimoto)では，言語的素性として特徴的な文字列の種類を使用した．しかしこの素性は，番号の無い参考文献文字列の開始行にNRefが付与される問題や，表のセル内の文字列やグラフ内の文字列を参考文献文字列として誤抽出する問題には，必ずしも有効とはいえなかった．そこで本研究では，特徴的な文字列の種類のみでなく，レイアウト情報もあわせて考慮した特徴素性を提案する．具体的には，特徴素性として，参考文献文字列以外に特微的な性質(ek)と，参考文献文字列に特徴的な性質(sk)の2種類を導入する．特徴素性を与える条件を表6に示す．また，表6の領域については後述する. ekのうちTBやFG，FTはそれぞれ“表”，“図”，“注釈”領域の全てのTEXTに素性の値としてセットされる．また， NSは記号や数字のみで構成されているTEXTの素性の値となる．また，“表”，“図”，“注釈”領域のTEXTの場合，NSではなく，それぞれTB，FG，FTを素性の値とする．一方，skのうちSRは，参考文献文字列の開始行に特徴的な性質を持つTEXTの素性の値となる．具体的には，“ [1] ”など特徴的な文字列や他のTEXTとのx座標の差を利用する．ここで， z座標の差を利用する理由は参考文献文字列の開始行と2行目以降で±座標が異なることが多いためである．また，REは，“参考文献欄”にあり，かつ表2のREと同様の特徴的な文字列を含むTEXTの素性の値となる．これにより，例えば表の中に表2のREと同様の特徴的な文字列が現れたとしても,そのTEXTの素性値はREとはならない．また，ekもskも表6のそれぞれのいずれの条件も満たさなければNNとする.ここで，表6の各領域について説明する．この領域は，ルールにより参考文献領域の全TEXTを“参考文献欄”，“表” “図”，“注釈”，“その他”の5つに分類したもので，ルールによる推定区分といえる.まず初めに，“参考文献欄”領域の検出について説明する．参考文献領域の開始位置の直後は参考文献文字列の開始行と考え, “参考文献欄”領域の開始位置とする．正しい“参考文献欄”では，個々の文字列の内，開始行が最も行の幅の値が大きいため，その幅を最大値として保存する．番号“ [1] ”などで始まるTEXTや保存した幅の最大値と一致するTEXTを抽出した場合，直前が他の領域のTEXTであれば“参考文献欄”領域の開始位置となる.次に，“装”及び“図”，“注釈”領域の検出について説明する．“表1 ”や“ Table ”等の特徴的な文字列を抽出した場合，あるいはyの値が等しいTEXTが連続し，それらの幅の和が既出の“参考文献欄”領域で保存したTEXTの幅の最大値と異なる場合，“表”領域とする．yの値が等しいTEXTが連続している場合，それらは表のセルである場合が多い．“図”や“ Figure ”等の特徴的な文字列がある場合，あるいはTEXTの幅が“参考文献欄”領域の文字列の幅の最大値の1/10よりも小さく，その値が等しい行を連続で抽出した場合，“図”領域とする．これらの文字列は図の中のグラフの値を表している場合が多い. “注1 ”や“ * ”等の文字列で始まるTEXTを抽出した場合は“注釈”領域とする.また，“その他”領域は，ページ番号が変わった場合や二段組の論文で左側から右側に移った場合，また連続するTEXTの間隔が一定以上だった場合で，かつ他の領域と判定されない場合，そこが開始位置となる．ここで，TEXTの問隔とは， tpl_uchidaやtpl_ishimotoで利用されているgapy(0)のことである。
d） Bigram素性
付与されるラベルの前後の連接に関する情報の素性であるBigram素性を使用する．これにより，ラベルの出現順に関する制約を考慮する．この素性は，tpl_uchida及びtpl_ishimotoで共通である.
4. 評価実験
4.1実験データ
本研究では，論文のPDFファイルをpdf2xmlで変換した論文XMLファイルを使用する．国立情報学研究所主催の第10回NTCIRワークショップ(NTCIR-10)の論文PDFファイルは104件のうち2件で，XMLファイル変換した際に“参考文献”や“ Reference ”等の手がかり語に変換誤りが発生した．そのため実験には，これら2件を除いた102件の論文と，第5回データ工学と情報マネジメントに関するフォーラム(DEIM2013)の論文139件，第9回NTCIRワークショップ(NTCIR-9)の論文91件，情報処理学会(IPSJ)の論文誌Vol.53のNo.1からNo.3の論文127件，合計459件を使用する．なお，DEIM2013の論文は石本ら[8]や赤澤ら[9]が実験に用いた論文と同一のものであり，NTCIR-9とIPSJは赤澤ら[9]が実験に用いた論文
TEXT数ラベル付与数正解数 適合率
表9   tpl_ishimotoによるラベル付与結果(DEIM2013)
表10 tpl_uchidaによるラベル付与結果(DEIM2013) TEXT数ラベル付与数正解数適合率 再現率

と同一のものである.
4.2参考文献領域検出実験
ここでは3.3節で説明した，参考文献領域開始位置，終了位宮検出手法の評価を行う．4.1節で説明した459件の論文では3.3.1節の方法により，459件全ての論文の参考文献領域の開始位置を正しく検出できた.終了位置については，以下のようであった．459件の論文のうち，参考文献領域の後に“付録”や“ Appendix ”がある論文は，DEIM2013で2件，IPSJで10件，NTCIR-9で1件， NTCIR-10で2件，合計15件であった．3.3.2節の方法により，それら15件全ての“付録”や“ Appendix ”等のキーワードを正しく検出した．そのため，459件全ての論文の参考文献領域の終了位置を正しく検出できた.
4.3参考文献文字列自動抽出実験
参考文献領域検出を行った後，全ての論文に対して，表５の提案素性により“ SRef ”, “ NRef ”, “ Page ”, “ ETC ”の4種類のラベル付与を行った．5分割交差検定によりTEXTに対するラベル付与の適合率と再現率，およびＦ値等を求める．それぞれの定義を以下に示す.
また，ラベル付与結果をもとに論文正解率も求める．ここで論文正解率とは，1論文中の参考文献領域の全TEXTに造不
表14   tpl_ishimotoによるラベル付与結果(NTCIR,参考文献領域終了位置検出無)
足なく正しいラベルを付与した論文を正解として，全論文に対する正解した論文数の割合を求めたもので，式(4.4)で定義する。また，ここで言う参考文献領域は，4.2節の検出実験の結果符られたものである.
表20   tpl uchidaに前後のTEXT(i = −2, − 1, 1, 2)の素性
表21 tpl uchidaに前後のTEXT(i = −2, − 1, 1, 2)の
表22   tpl_uchidaに前後のTEXT(i = −2, − 1, 1, 2)の素性と組み合わせ薬性を加えた場合の論文正解率
論文数|論文の正解数|論文の不正解数|論文正解率(%)本研究では，提案するtpLuchidaと，石本らが利用したtpl_ishimotoとの比較実験を行う．tpl_ishimotoでは，CRFによるラベル付与を, [8]と同様に参考文献領域の終了位置を検出せずに行った場合と，tpl_uchidaと同様に3.3.2節の方法により参考文献領域の終了位置を検出してから行った場合の2通りで実験する．また，データセットはDEIM2013，IPSJ, NTCIR(NTCIR-9とNTCIR-10をあわせたもの)の3種類に分ける.石本らと同様に参考文献領域終了位置検出を行わずにtpl_ishimotoを利用したラベル付与結果を，DEIM2013は表8, IPSJは表11，NTCIRは表14，また論文正解率は表17に示す.次に参考文献領域終了位置検出を行った場合にtpl ishimotoを利用したラベル付与結果を，DEIM2013は表9，IPSJは表12， NTCIRは表15, また論文正解率は表18に示す.そして，本研究の提案であるtpl_uchidaを利用した場合のラベル付与結果を，DEIM2013は表10，IPSJは表13，NTCIRは表16，ま[FUYU08]  Atsushi Fujii, Masao Utiyama, Mikio Yamamoto, and Takehito Utsuro. Overview of the patent translation task at the NTCIR-7 workshop. In Working Notes of the NTCIR Workshop Meeting (NTCIR), pages 389-400. National Institute of Informatics, 2008. :図2参考文献文字列の幅が1行ごとに異なる論文[10]
た論文正解率は表19に示す.
表11と表12を比べると，参考文献領域の終了位置を検出したことにより，IPSJではETCのF値が上がったことがわかる．実験に用いたIPSJの論文は，論文フォーマットが比較的整っており，参考文献領域を分断する表や図が無かった．また，付録のある論文が他のデータセットよりも多かったため，参考文献領域の終了位置検出によりETCを付与すべきTEXT数が大きく減った．しかし，参考文献領域を分断する注釈が1件あり，提案したtpLuchidaを用いてもその注釈を参考文献文字列として誤抽出した．DEIM2013では，表8と表9を比べると，参考文献領域の終了位置検出を行った場合ではＦ値が下がったことがわかる．また，NTCIRでは，表14と表15のF値，及び表17と表18の論文正解率を比べると，参考文献領域の終了位置検出を行った場合ではＦ値が上がるが，論文正解率が下がることがわかる．主に，表や図からの誤抽出や，1行が複数のTEXTに分割されている参考文献文字列に対するETCラベル付与数の増加といった問題が発生した．これらは，終了位置検出を行い，正解ラベルがETCであるTEXTの学習データ量が減少したため，参考文献文字列とその他の区別が失敗したと考えられる.また，表9，表15の石本らの方法に比べて，表10，表16の提案素性は，DEIM2013，NTCIRの論文での実験でF値が高かった．これらのデータセットでは，参考文献領域を分断する表や図などを参考文献文字列として誤抽出する問題が改善した.ただし，参考文献領域を分断する表や図の境界部分でラベル付与が正しく出来ない論文があった.また,表10,表13,表16より, “SRef”の再現率はDEIM2013とIPSJでは1だったが，NTCIRでは1にならなかった．NT- CIRでは，参考文献文字列の開始行に，“SRef”ではなく“NRef”を付与することが2件あった．この内の1件は図2のように参考文献文字列の幅が１行ごとに異なっていた.本研究では，赤澤ら[9]と同様にラベル付与対象のTEXTの前後のTEXTの情報を素性テンプレートtpl uchidaに加えた実験も行った．具体的には，tpl_akazawa1と同様にtpl_uchidaのUnigramのうちnumber(0)を除く全ての素性についてiを加えた素性テンプレートを用意した．それによる論文正解率を表20に示す。また，tpl_akazawa2と同様にtpl_uchidaとそれぞれのiとの組み合わせ素性を加えた素性テンプレート用意した．それによる論文正解率を表21に示す．最後に，それら両方の素性を加えた場合の論文正解率を表22に示す．表21，表22を表19と比較すると，DEIM2013及びIPSJで論文正解率が下がったが，NTCIRでは上がった．表21，表22では，IPSJは，1行のみの参考文献文字列が連続する場合，個々の参考文啟文字列を区別できなかった．またDEIM2013では表7の領域推定を誤った論文に対して正しくラベルが付与されなかった.また，ベージ番号にETCラベルが付与された論文もあった． NTCIRの論文では，pdf2xmlが図3の論文PDFを，図4のような論文XMLに変換した．この例では，図3の左段と右段の文字列が，図4のXMLにおいて順序が入れ替わっている．このような場合，領域推定が誤ることがあった．そのため表19では，それらの論文に対するラベル付与は失敗している．
5.まとめ
本務では，学術論文からの参考文献領域の検出方法の改良と， CRFを用いた参考文献文字列の抽出方法の改良を提案した．本研究ではまず，論文XMLファイルから“文献”や“ Reference ”等のキーワードにより参考文献領域の開始位置を検出し，“付録”等のキーワードにより参考文献領域の終了位置を検出する.次に，検出した領域からCRFにより参考文献文字列を自動抽出する．CRFによる参考文献文字列抽出では，特徴的な文字列やレイアウトを考慮した特徴素性を提案した．実験では参考文献領域検出は全て成功し，参考文献文字列抽出実験の論文正解率は論文誌の種類により95%から99%となることを確認した．本研究では，参考文献領域を分断する表や図からの誤抽出が改善した。
謝
辞
本研究の一部は，科学研究費補助金基盤研究(B)(課題番号15H02789),科学研究費補助金基盤研究(C)(課題番号25530384)，および国立情報学研究所公務型共同研究の援助による。ここに記して深謝する.
文
献
[1] J. Lafferty, A. McCallum, and F. Pereira: Conditional Ran- dom Fields : Probabilistic Models for Segmenting and label- ing Sequence Data, In Proc. of 18th International Confer- ence on Machine Learning, pp. 282-289 (2001). C. Cortes,  and V. Vapnik: Support-Vector Networks, Ma- [2] chine Learning,  Vol. 20,  No. 3,  pp. 273-297 (1995). [3] K. Seymore, A. McCallum, and R. Rosenfeld :  Learning Hidden Markov Model Structure for Information Extrac- tion, In AAAI 99 Workshop on Machine Learning for In- formation Extraction (1999). F. Peng,  A. McCallum :  Automating the Extraction from [4] Research Papers using Conditional Random Fields, HLT- NAACL 2004, pp. 329-336 (2004). I.G. Councill, C.L. Giles and M.Y. Kan : ParsCit : An open- [5] source CRF reference string parsing package, In the Pro- ceedings of Language Resources and Evaluation Conference, pp. 1-8 (2008). [6] A. McCallum, K. Nigam, J. Rennie, and K. Seymore: Au- tomating the Construction of Internet Portals with Machine Learning, Information Retrieval, Vol. 3, No. 2, pp. 127-163 (2000). [7] 阿辺川武,難波英嗣,高村大地,奥村学：機械学習による科学技術論文からの書誌情報の自動抽出，情報処理学会研究報告， 2003-FI-72/2003-NL-157, pp.83-90 (2003).石本茵，太田学，高須淳宏，安達淳： CRFによる学術論文から[8]の参考文献文字列の抽出，第6回データ工学と情報マネジメントに関するフォーラム(DEIM2014),  C5-3 (2014).赤澤琢朗，太田学，高須淳宏，安達淳： CRFによる様々な種類[9]の学術論文からの参考文献文字列の自動抽出，第７回データ工学と情報マネジメントに関するフォーラム(DEIM2015), E8-1 (2015). H. Isozaki :  OkaPU's  Japanese-to-English  Translator  for [10] NTCIR-10 PatentMT, In the Proceedings of NTCIR-10 Conference, pp. 348-349 (2013). C.W. Shih, C.W. Lee, T.H. Yang, W.L. Hsu :  IASL RITE [11] System at NTCIR-9,  In the Proceedings of NTCIR-9 Wprk- shop Meeting,  pp. 379-385 (2011).