日本語論文に特化したPDF文書解析器の構築と性能評価

学術データベースの普及やオープンサイエンスの推進により，インターネット上の学術論文の量は大幅に増加している[1]．これらの膨大な論文をマイニングすることは，研究動向の把握や，異なる研究分野間の潜在的な関連性の特定に非常に有益である．多くの研究者は，学術データベースに収録されている書誌情報を分析に用いる．しかし，各データベースは，対象とする研究分野の論文情報を網羅しているとは限らず，特に，全文へのアクセスが制限されているデータベースが数多く存在する．知識抽出のための学術情報の網羅性を高めるためには，論文PDFから直接テキストを抽出する必要がある．学術論文のレイアウトは出版社や学会によって大きく異なるため，任意の論文PDFから書誌メタデータやテキストを抽出することは容易ではなく，多くの手法が提案されてきた．中でもGROBID1）と呼ばれるオープンソースモデルは高い認識性能を示しており[2]，学術分野におけるPDF文書解析器のデファクトスタンダードになりつつある．しかし，GROBIDは英語と少量のフランス語，ドイツ語の論文でしか訓練されていないため，非ラテン文字で書1）https://github.com/kermitt2/grobidかれたPDF文書の解析にはしばしば失敗することが報告されている[3]．本研究では，日本語論文PDFに特化したGROBIDモデルを新たに構築した．モデルを訓練するために，日本語論文を収集し，それらのレイアウト要素を手動でアノテーションした．実験では，訓練用データセットを拡張した場合の性能を検証した．本研究により得られた知見はその他の非英語言語でのモデル訓練にも役立つと考えられる．