国立国会図書館におけるデジタル化資料テキスト化事業について
国立国会図書館電子情報部電子情報企画課
次世代システム開発研究室 青池

NDLデジタルライブラリーカフェ2021

国立国会図書館デジタルコレクション• https://dl.ndl.go.jp/• 国立国会図書館で収集・保存しているデジタル資料を検索・閲覧できるサービス• 館内や図書館送信で閲覧できるほか、権利上公開可能なものについてはインターネットからも閲覧できる• 書誌情報や、人手で作成された目次情報から資料を検索可能

NDLデジタルライブラリーカフェ2021

国立国会図書館デジタルコレクション

https://dl.ndl.go.jp/info:ndljp/pid/931153/32

NDLデジタルライブラリーカフェ2021

提供しているデジタル化資料の規模• 図書：99万点(36万点)• 雑誌：134万点(1万点)• 古典籍資料：9万点(8万点)
画像数でいえば、2億画像以上ある• 博士論文：24万点(1万点)• 官報：2万点(2万点)：※2021(令和3)年7月時点の数値。収録点数は概数。
カッコ内はインターネット公開点数(https://dl.ndl.go.jp/ja/intro.htmlより引用)
NDLデジタルライブラリーカフェ2021

OCRによるテキスト化
光学文字認識（こうがくもじにんしき、英:Optical character recognition）は、活字、手書きテキストの画像を文字コードの列に変換するソフトウェアである。
出典: フリー百科事典『ウィキペディア（Wikipedia）』• 最近はAI-OCRと称される、AI(機械学習)技術を利用したOCRサービスが台頭（例：Google Cloud Vision, CLOVA OCR）

• AI-OCRは、テキスト化したい対象をカバーしたデータセットを準備してそれに合わせてAIを再学習させることで、精度の向上が期待できる。
• 当館もこうした技術を利用してテキスト化をしていこう、という機運になった※デジコレでも一部資料については先行的に一般的なOCRソフトウェアを利用して処理をかけ、全文検索機能を提供している（次スライド）
NDLデジタルライブラリーカフェ2021

OCRを利用した日本語資料検索の先行事例①「国立国会図書館デジタルコレクション」
電子書籍電子雑誌や、資料のうち46,487点については先行的に既製品のOCRをかけ、全文検索機能も提供

https://current.ndl.go.jp/node/42978
検索結果の例（「社会科学」で検索）

NDLデジタルライブラリーカフェ2021

OCRを利用した日本語資料検索の先行事例②「次世代デジタルライブラリー」• 我々の部署（次世代室）で技術検討のために内製開発している検索サービス• NDC6類の著作権保護期間満了資料についてOCRテキストの全文検索が可能
https://lab.ndl.go.jp/dl/fulltext/search?keyword=社会&searchfield=contentonly

検索結果の例（「社会」で検索）

NDLデジタルライブラリーカフェ2021

OCRを利用した日本語資料検索の先行事例③「Google Books」

NDLデジタルライブラリーカフェ2021

全文検索の実現に向けたOCRテキストデータの入手
今年度（令和3年度）、2つの事業を並行して実施
1. デジタル化資料のOCRテキスト化事業（受託：LINE社）
現在当館が所有している図書雑誌等のデジタル化資料を、ほぼ全てOCRテキスト化する作業

2. OCR処理プログラムの開発事業（受託：モルフォAIソリューションズ社）
当館がこれからデジタル化する資料等のテキスト化に利用するOCRを研究開発する作業
両事業とも、テキスト化品質に対して定量的な性能要件(後述)を設けている両事業とも、既に存在するOCRサービスを単にそのまま使うのではなく、委託作業の中で当館資料を利用して研究開発を行うことで技術的なベストを追究してもらう

NDLデジタルライブラリーカフェ2021

既存のOCRサービスを使った場合の認識性能
資料種別

出版年代

カテゴリー

目標値

資料種別

出版年代 目標値

図書

1870 文系

0.63

雑誌

1870 0.63

図書1870 理系0.66

雑誌

1880 0.66

図書1880 文系0.71

雑誌

1890 0.71

図書1880 理系0.72

雑誌

1900 0.72

図書1890 文系0.73

雑誌

1910 0.73

図書1890 理系0.73

雑誌

1920 0.73

図書1900 文系0.80

雑誌

1930 0.80

図書1900 理系0.79

雑誌

1940 0.79

図書1910 文系

0.84

雑誌

1950 0.84

0.86

雑誌

1960 0.86

0.90

雑誌

1970 0.90

0.91

雑誌

1980 0.91

雑誌

1990 0.91

図書
図書

図書

1910 理系
1920 文系

1920 理系

図書

1930 文系

0.91

図書1930 理系

0.91

図書1940 文系

0.94

図書1940 理系

0.92

図書1950 文系

0.95

図書1950 理系

0.96

図書1960 文系

0.97

図書1960 理系

0.98（参考）目標値の計算式

目標値（OCRテキスト化事業の場合）：
年代ごと・資料特性ごとに33区分に分けてサンプル抽出した資料画像を複数のOCRサービスで実際にテキスト化し、性能を評価、利用したOCRサービスの中で最も性能の高かった値
NDLデジタルライブラリーカフェ2021

1. OCRテキスト化事業
ミッション「どんな年代の資料でも精度面で競合サービスに勝てる最強の日本語OCRを仕上げて、当館の活字のデジタル化資料を全部処理してください」※ただし33区分中3区分まで、目標値を越えられなくてもよい
結果：品質検査をクリア
1区分(1970年代雑誌、0.0079下回る)を除くすべての区分で目標値越え
1880年代以降については全て0.94以上を達成（1870年代についても0.90以上を達成）=ほとんどの年代において、100文字あたり94文字程度以上は正しく読めている
本件では、検索エンジンに投入するフラットなOCRテキストデータの他、構造化されたテキストデータも納めてもらうので次スライドで簡単に紹介します
NDLデジタルライブラリーカフェ2021

（参考情報）構造化テキストの詳細

ルビ等の判定NDLデジタルライブラリーカフェ2021

（参考情報）構造化テキストの詳細

NDLデジタルライブラリーカフェ2021

（参考情報）構造化テキストの詳細

NDLデジタルライブラリーカフェ2021

（参考情報）構造化データのレイアウト情報
新しい年代等、一部の資料について推定レイアウトを付与

NDLデジタルライブラリーカフェ2021

2. OCR処理プログラムの開発事業（※こちらは今回は簡単な説明にとどめます）
ミッション「どんな年代の資料でも精度面で他サービスといい勝負のできるAI OCRを開発して、当館で自由にカスタマイズやソースコード公開ができるようにしてください」• 当館側で追加学習や特定の資料に対する最適化等のカスタマイズが可能なOCRプログラ
ムの入手が目的• 当館が成果物を独占するのではなく、日本語OCRの技術的進展に寄与するため、オープンソースとして公開できるように権利処理もしてもらう• これまでの次世代室調査研究成果のプログラムやデータセット、当館外のデータセット等も案内して技術検討に利用できるように提供。受託者判断で必要なものを取り入れてもらう

現在開発中であるが、9月中旬時点で既に8割程度の区分で性能要件を達成している
NDLデジタルライブラリーカフェ2021

今年度当館が入手する予定のもの• 高品質なOCRテキストデータ• OCRテキストデータに付随する一定の構造化された情報→画像上の座標情報（全て）→見出しや図表キャプションといった推定レイアウト情報（一部）• オープンソースな日本語OCR処理プログラム• 上記3件の達成のために作成されたAI学習用データセット
権利面がクリアなものは一般に公開していくが、それ以外のものについても、研究用途であれば当館外に提供することが考えられる
NDLデジタルライブラリーカフェ2021

今後の展開全資料の高品質な全文テキストデータの提供や、全文検索によって資料画像へ到達できる強力な手段が得られればデータ利用者のニーズは万事解決。めでたしめでたし……
……で、終わらないのだというのが今日のテーマです。

情報 ≠ 知大量の情報をどのように料理していくか、今後は、全文テキストデータや画像から必要な知識を抽出することがより重要になってきます
各分野の研究者の皆さんが既に取り組まれてきた知見や、今年度の2つ目の事業で作成したOCR処理プログラムの活用等が、必要になってきます
NDLデジタルライブラリーカフェ2021

これから、を有意義にしていくために①こんなデータ資源ができました、ということを皆さんに知ってもらう
データ資源や先行する研究者の先生方の活用事例について知ってもらうことで、関心のある人に情報が届くことを期待する。利用者が増え、取組が増えることで、実現されていくこともあると考える。

②データ資源が具体的な研究においてどのように使われるのか、また皆さんから何を期待されているのかを知る
データ利用者の視点を深く理解して、OCRテキストデータや資料画像データの提供方法を検討することで、より使いやすくして二次利用の後押しをする。
→このカフェの場で、議論ができればと思います

NDLデジタルライブラリーカフェ2021