東京大学史料編纂所出版物を用いた
NDLOCRの応用事例紹介
中村覚（東京大学史料編纂所）

1

自己紹介：中村 覚（なかむら さとる）●

2012.3：東京大学 工学部 システム創成学科 卒業●

2017.3：東京大学大学院 新領域創成科学研究科 博士課程修了●

2017.4 - 現在：東京大学情報基盤センター 助教○

2019.4 - 現在：国立国会図書館 非常勤調査員●

2020.7 - 現在：東京大学史料編纂所 助教●

専門分野：情報学、人文情報学（Linked Data、デジタルアーカイブ）2

平賀譲デジタルアーカイブ●●

平賀譲 ひらが・ゆずる(1878-1943)○

海軍造船中将○第13代東京帝国大学総長(1938-1943)

彼が遺した艦艇計画・建造関係の技術資料を中心とする史料44,000点をデジタル化し公開

https://iiif.dl.itc.u-tokyo.ac.jp/repo/s/hiraga/page/home

3

発表内容
●

東京大学史料編纂所出版物への応用●

幕末維新史料・横断検索システム

参考--中村覚, 劉冠偉, 山田太造. NDLOCRを用いた東京大学史料編纂所史料集版面画像に対する検索システムの開発. 研究報告人文科学とコンピュータ（CH）, Vol.2022-CH-130, No.5, pp.1-8, 2022
年8月
中村覚. OCRテキストを用いた幕末維新史料・横断検索システムの開発. 明治維新史学会例会（2022年10月）

4東京大学史料編纂所出版物への応用5東京大学史料編纂所における研究活動

6

史料集版面ギャラリー-

課題：史料集版面の画像が公開されているのみ-

OCRによるテキスト化、およびその活用を行いたい-

史料集の本文については，編纂所が公開する「大日本史料総合データベース」でも一部利用可能であるが， 出版済みの史料集すべてが対象とはなっていない-

史料集のシリーズを横断した検索や分析を行いたい

https://www.hi.u-tokyo.ac.jp/publication/dip7比較例NDL OCR

Google Cloud Vision
頭注を正しく認識できている

割書を正しく認識できている

8

データ構築9構築の流れ
IIIFコレクション

テキストデータの加工

NDL OCR（GoogleColab）

検索用データフロントエンド（Vue.js）

Ngram Viewer用
データ
テキスト（アノテーション）付き
IIIFコレクション（IIIF Presentation
API v3）

OpenSearch（Elasticsearch）
へ投入

バックエンド（AWS Lambda）
10

NDLOCRを用いたOCR処理-

入力：IIIFマニフェストファイルを入力ファイルとしてOCR処理を適用可能な環境を
Google Colaboratoryを用いて作成--作成したノートブックは一般に公開 https://zenn.dev/nakamura196/articles/b6712981af3384

出力：入力データであるIIIFマニフェストファイルと出力データであるXMLファイルを組み合わせることで，OCRテキストをアノテーションの形式で格納するIIIFマニフェ
ストファイルを作成-

IIIF Presentation API 3.0を採用-

IIIF Content Search API 1.0に準拠したマニフェストファイルおよび APIを開発-

OCR処理結果をIIIFコレクションの形でまとめる => データセットとしての共有を支援
11

NDL OCRの適用結果の確認（IIIFコレクション）
内容●●NDL OCRの結果をIIIFのアノテーション（IIIF Presentation API v3）に変換
さらに、IIIF Content Search APIを作成し、検索機能を追加

上記はIIIFの仕様に準拠して構築しているため、IIIF対応のビューアが提供する表示や検索機能を利用できる。

12

テキストデータの加工-(1) OCR結果を用いた検索インデックスの作成-(2) OCR結果からの試験的な情報抽出-(3) Ngram Viewer用のデータ作成

13

(1) OCR結果を用いた検索インデックスの作成

14

(2) OCR 結果からの試験的な情報抽出
年月日の抽出-アノテーションタイプ「柱」の文字列を対象として、正規表現による年月日の抽出-抽出した年月日の文字列を HuTime Web
APIを用いて西暦表記に変換-

この処理において、抽出された年月日として不適切な文字列は除外される（例：〓〓三年三月）-「南朝正平二十三年 北朝應 安元年雜載」等の柱書きに対しては現在未対応

関野 樹, 暦に関するWeb API － 暦法の変換と期間の計算,
じんもんこん2017論文集, Vol.2017, pp.23-28, 2017.

15

(2) OCR 結果からの試験的な情報抽出
地名などの固有表現の抽出
固有表現の抽出に関する初歩的な取り組みとして，事前に準備した辞書を用い，辞書に含まれる文字列を抽出する-

地名-

歴史地名データを利用して，クラス が「行政地名/国」である地名(例:大和国，山城国)

大学共同利用機関法人 人間文化研究機構, 歴史地名データ,
https://www.nihu.jp/ja/publication/source_map, (参照 2022-08-01).

16

(3) Ngram Viewer 用のデータ作成-

OCR 結果から 1gram から 5gram までの文字列を作成し，検索インデックスに登録-

各 Ngram 文字列に対して，上述した処理に よって抽出した年毎の出現頻度をプロパティとして登録-

これにより，年毎の出現頻度の変化の可視化を行う

17

開発したシステム18

提供機能-

テキスト検索-Ngram Viewer-

Googleデータポータルを用いた統計分析例-

IIIFコレクションを用いたOCR結果の確認ページ

19

検索画面

20

版面画像の表示

21

「図版」を含むページの検索22

Ngram Viewer-

複数のキーワードによる検索-

正規表現による検索-

表示対象とする年代の範囲の絞り込
み23

統計分析例●

史料集の特徴を定量的に算出○

1アイテムまたはページあたりの文字数○

例1：「大日本近世史料」は刊行頻度が高いため、1アイテムあたりの文字数が少ない○

例2：「大日本古文書」は図表が多いた
め、1アイテムあたりの文字数が少ない

24

利用例

25

1840 ~ 1860 までの地震
1847年

弘化4年

5月8日

3月24日

1854年

安政元年

7月9日

6月15日

1854年

安政元年

12月23日

11月4日

1854年

安政元年

12月24日

11月5日

1855年

安政2年

11月11日

12 月 2 日

1858年

安政5年

4月9日

2月26日

善光寺地震

長野県

伊賀上野の地震

三重県伊賀市北部

安政東海地震東海

安政南海地震南海

安政江戸地震関東地方南部

飛越地震

越中・飛騨国境（現在の富山・岐阜県境）26

Ngram Viewerで「地震」を検索

拡大表示

ポイントをクリック

飛越地震

善光寺地震
安政の大地震27

ページ内ハイライト

地震

1847年

史料集版面ページ28実験的な機能：地名の抽出「地震」が含まれる「 1847」年の史料

29

幕末維新史料・横断検索システム

30

幕末維新史料・横断検索システム
東京大学史料編纂所が公開する『大日本維新史料 編年之部』『大日本維新史料 類纂之部』『大日本古文書 幕末外国関係文書』『復古記』『明治史要』『保古飛呂比』『明治維新史料選集』『維新史』などに加えて、『孝明天皇紀』と日本史籍協会叢書のOCRテキストを検索本システムは、デジタライジング研究会（科学研究費補助金・基盤研究 (B)「日本近世史料学の再構築 ―基幹史料集の多角的利用環境形成と社会連携を通じて（研究代表者：杉本史子）」 (課題番号22H00692)、2022年6月28日オンライン開催、を契機として開発がスタートしました。

31

検索対象の設定機能
検索対象範囲を利用者がカスタマイズ可能な機能の提供

検索対象史料については、今後ルールなどを設け、適宜追加予定

32

考察

33

利点
-

-

版面画像に対するテキスト検索-

画像のみが公開され，検索が困難であった史料集版面に対して，テキスト検索が可能になった-

NDLOCRを使用することにより，従来の OCRソフトウェアおよびサービスでは困難であった割書などに対する高精度なテキスト化を実現

史料集に対する横断検索-

OCR処理結果の誤り，および年月日の抽出処理の精度などには課題が残るものの，編纂所が提供するデータベース , および日本史研究に新たな価値を与えるツールとして機能し得る

34

今後の課題--OCRテキストの誤り修正-

NDLOCR特有の誤りに対する集中的な訂正方法の検討-

クラウドソーシング的な手法を用いた人手による修正-

編纂所が既に公開しているデータベースの活用-

修正に加えて、テキストの構造化を行うための環境も構築したい

既存のシステムとの棲み分け-

本システムは、 2023年1月時点において、関係者限りの共有としています。また当面は実験的なサービスであり、予告無くサービスの中止、改変を行う可能性があります。

-

本実験サービスの評価・検証を踏まえて、今後の一般公開などを検討予定です。
35

謝辞
本研究はJSPS科研費22H00692および東京大学史料編纂所「データ駆動型歴史情報研究基盤の構築」による成果の一部です。

ご清聴ありがとうございました。

36