【総合書物論】

第7回

言語資料の電子化
まぶちようここんどうあ2020 年度講義担当 間淵 洋子（国立国語研究所）
すこ2021 年度講義担当 近藤 明日子（国立国語研究所）【概要】
本講義では、実際の言語資料を電子化する実践を通して、言語資料の電子化とその利用について深く学ぶ。デジタル画像になっている言語資料を用いて、テキスト化（文字化）と言語情報の XML による構造化を試みる。

1．デジタル画像データのテキスト化
テキスト化に必要なこと
テキスト化を試みる際にまず必要となるのは、テキスト化の仕様を決めることである。テキスト化（エンコーディング）の仕様は、テキスト化の目的に応じて策定するべきもので、データを何に使用するのか、どのように使用するのかによって定められる。目的が、書物としての原本の状態をできるだけ忠実に再現することなのか、原本の言語情報を研究に利用しやすくすることなのかにより、求められるテキスト化仕様はまったく異なる。
ここでは、主に、言語研究に利用するためのテキスト化を想定し、テキスト化の仕様策定において留意すべき点を示す。
データ形式をどうするか：文字のみを写しとったプレーンテキスト形式とするか、言語情報をタグ付けした構造化テキスト形式とするかを選択する必要がある。

文字符号化方式をどうするか：どのような文字集合のテキストを保存するのか、また、作成したテキストを何（PC の OS やテキスト解析用のツールなど）でどのように分析するかにより符号化方式に配慮が必要である。

文字集合をどうするか：テキストを構成している文字はどのような集合か。文字種は何か、漢字の範囲はどのような範囲か（常用漢字で収まるか、旧字体などより幅広い文字が使われているか）、変体仮名などの特殊な文字、多言語の文字などを含んでいるか。



外字（文字集合に含まれない文字）の扱いをどうするか：文字集合に含まれていない文
字がある場合どのように文字を表現するかを決めておく必要がある。

1

【総合書物論】

テキスト化の実践
実際の書物をテキスト化する際の方法としては、テキストを書き起こす（文字として入力する）方法と、デジタル画像に対して、機械で文字を読み取り現代語の文字コードに自動変換する OCR（光学的文字認識）ソフトを用いる方法がある。
従来、表記体系が現代語と異なる資料（くずし字資料、変体仮名が含まれる資料など）はテキスト化が困難であったが、近年は、くずし字認識の技術開発が盛んで、くずし字に対応した OCR サービス1なども提供されている。
ここでは、オープンデータの前近代資料を対象として、（1）翻字・文字入力、（2）くずし字 OCR 利用、の 2 手法によるテキスト化実践を行う。
【対象資料】
出典：日本語史研究資料 [国立国語研究所蔵]「春色梅児与美」
URL：https://dglb01.ninjal.ac.jp/ninjaldl/bunken.php?title=umegoyomi
部分：巻 1、1 丁表から 2 丁裏まで
【テキスト化仕様】
データ形式：プレーンテキスト形式（ルビなし、紙面通りの改行）
符号化方式：UTF-8
文字集合：JIS X0213:2004
外字処理：JIS X0213:2004 の包摂基準を適用。その他の JIS 外字のうち、漢字は Unicodeで扱える範囲で符号化し、Unicode 外字は類似の JIS 内字で代用、代用できない文字は「〓」（ゲタ記号、U+3013）で入力する。
その他：虫損、印刷不鮮明等の箇所は「␣」（空白記号、U+2423）を入力する。
日本語史研究資料 [国立国語研究所蔵] （https://dglb01.ninjal.ac.jp/ninjaldl/）
各作品の書誌情報と巻ごとの資料画像（JPEG、PDF）、翻字テキスト、IIIF マニフェストを公開している。資料画像に対する翻字テキスト（＝正解データ）が提供されているため、学習に利用しやすい。
実習資料とする「春色梅児与美」は、一部が後述の「国語研変体仮名字形データベース」に収録されており、画像と翻刻テキストの重ね合わせ表示などが利用できるため、より学習に適した形式で閲覧が可能。また、後述「日本古典籍くずし字データセット」にも含まれており、AI くずし字 OCR サービスによる認識精度も確保できることが期待でき、OCR を使用したテキスト化の試行にも適している。

1

AI くずし字 OCR サービス（http://codh.rois.ac.jp/kuzushiji-ocr/、人文学オープンデータ共同利用センター）など
2

【総合書物論】

翻字・くずし字学習のための参考サイト
日本古典籍くずし字データセット
URL：http://codh.rois.ac.jp/char-shape/
公開主体：人文学オープンデータ共同利用センター（CODH）
CODH が「日本古典籍データセット」で公開するデジタル化された古典籍の文字画像データベース。機械学習用のデータセットだが、人間のくずし字学習用に翻字文字コード別の文字画像リスト（個々の文字画像に原本資料の対応付けがされている）やデータベース検索を提供する。また、このデータセットを学習データとして開発された AI くずし字 OCR サービスなども提供している。
国語研変体仮名字形データベース
URL：https://cid.ninjal.ac.jp/hentaiganaDB/
公開主体：国立国語研究所
江戸時代の版本に現れる変体仮名の字形画像を、読み・字母・Unicode で層別して示したデータベース。変体仮名を階層的に一覧表示できるほか、字形画像を切り出した出典元の資料画像と相互にリンクする機能や、資料画像と翻字本文とを重ね合わせて表示する機能などを提供する。
学術情報交換用変体仮名
URL：https://cid.ninjal.ac.jp/kana/home
公開主体：国立国語研究所
変体仮名を国際文字コード規格に提案するために選定した「変体仮名」の文字画像と文字情報のデータベース。文字一覧のほか、現行ひらがな・字母・Unicode 等による検索などを提供する。
動画教材：https://youtu.be/sn_xQqZ4C78
解説文書：https://www2.ninjal.ac.jp/openhouse2020/pdf/c-08.pdf『木簡庫』『電子くずし字字典 DB』連携検索
URL：https://mokkanko.nabunken.go.jp/renkei/kensaku.php
公開主体：奈良文化財研究所・東京大学史料編纂所
奈良文化財研究所が所蔵する木簡の字形・字体画像データベース『木簡庫』、東京大学史料編纂所が所蔵する古文書・古記録・典籍類の字形・字体データベース『電子くずし字字典DB』を串刺し検索できる検索システム。単文字を指定して検索することで、両データベースから該当画像を提示する。各データベース詳細情報ページへのリンクを有する。

3

【総合書物論】

木簡・くずし字解読システム-MOJIZOURL：https://mojizo.nabunken.go.jp
公開主体：奈良文化財研究所・東京大学史料編纂所
上記『木簡庫』『電子くずし字字典 DB』の連携サービスで、文字画像（1 文字）をアップロードすることでデータベース上の類似の字形を提示する。

2. 電子化テキストの構造化
構造化に必要なこと
構造化の際にも、電子化の目的に応じた仕様を策定する必要がある。データ共有を重視する場合には、標準的な仕様（TEI など）を使うのが良い。
ここでは、主に、言語研究に利用するための構造化を想定し、XML（Extensible MarkupLanguage）によって言語の階層構造を表現すると共に、原本版面の物理的な状態（ページ遷移や行遷移、割り書きなど）や表記（連綿による文字の切れ続きや変体仮名使用など）と語の使用との間に見られる関係性を分析することが可能となる独自の情報付与（タグ付け）を実践する。

XML 文書のルール
構造化に用いる XML には形式的なルールがあり、この形式に合致しない文書は XML として認められず、その後の機械的な処理（アプリケーションやツール）でも利用することができない。以下に簡単に記述ルールを示す。
XML タグの構造：
XML では、情報付けをしたい部分にタグと呼ばれる記号を付ける（マークアップ）。タグは「<***>」（***は任意の文字列）という形式の開始タグと「</***>」という形式の終了タグでその範囲を示す。テキストにタグでマークアップしたものを「要素」、タグ内の「***」の部分の文字列を「要素名」と呼ぶ。要素名は任意に定めることができ、日本語文字も使用が可能（<タグ><要素>など）。要素が内部にテキスト情報を持たない（範囲を表さず位置・存在を表す）場合は、開始タグの終端を「<***/>」と示すことができる。これを、「空要素」「空タグ」と呼ぶ。
また、要素に対して詳細な情報を加えて示す場合は、タグ内部に、タグ名と「 」（半角スペース）に続けて「***=”(内容)”」という形式で示すことができる。これを「属性」と呼ぶ。
属性は複数持つことができる（同じ属性は複数持つことができない）。

4

【総合書物論】<****>●●●●●</****><****/>***…「要素名」

開始タグ●●●●●…「テキスト情報」「値」

終了タグ 空タグ┗━━━━要素━━━━┛┗要素┛<s no=”10”>XML 文書とは
┗属性┛

no…「属性名」
10…「属性値」

要素は、（空要素を除き）必ず開始と終了を対にし、同じ名前のタグを用いなければならない（大文字と小文字は区別される）。要素を入れ子にすることができるが、入れ子関係を必ず保たなければならず、互い違いにタグを付けることができない。
<a>●●●●●●●●●●</A>…誤ったマークアップ（要素名の誤り）<a>●●●●<b>●●</b>●●●●</a>…正しいマークアップ<a>●●●●<b>●●</a>●●●●</b>…誤ったマークアップ（タグが互い違い）XML 文書の構造：
XML 文書は、（1）XML 宣言、（2）文書型宣言（任意）、（3）データからなる。1 行目に必ず XML 宣言を記述し、データ部分は必ず全体を一まとまりとして一つのタグで囲んでおく必要がある（「ルート要素」と呼ぶ）。
<?xml version="1.0" encoding="UTF-8" ?>XML 宣言<!DOCTYPE text SYSTEM "document.dtd">

文書型宣言<data><text n=”1”>●●●●●●●</text><text n=”2”>●●●●●●●</text>

ルート要素</data>

構造化の実践
実際のテキストデータに対して、XML による構造化を行うためには、XML 文書を正しく効率的に作成するのに適した XML エディタを用いるのが便利である。ここでは、上記でテキスト化を実践したデータファイルを対象として、文書構造の大きな枠組みについて TEI

5

【総合書物論】

P5 に準じ、日本語資料・前近代資料の言語情報付与のために仕様を拡張した形式で XMLによる構造化実践を試みる。
【対象資料】
上記「テキスト化の実践」で作成したテキストデータ【構造化仕様】
TEI P5 に準拠した形式。以下は使用するタグ名（@以下は属性の記述）。


TEI @xmlns="http://www.tei-c.org/ns/1.0" ルート要素



teiHeader テキストの書誌情報、作成に関わる情報（今回は省略）

text テキスト化したデータの全体front/back text 内で前付・後付部分（今回は該当部分なし）

body text 内で前付・後付部分を除いた文書要素



title 作品タイトルに相当する文書要素

docAuthor 著者名に相当する文書要素

p段落に相当する文書要素

s

文に相当する文書要素

sp

戯曲・韻文・散文中にある発話を示す要素



speaker 発話者名の見出し

pb @n=”(丁数)” @facs=” (画像への参照)”lb @n=”(行数)”ruby ルビに関する要素をまとめる要素

rb ルビの対象となるテキスト

rt ルビのテキスト@place=”above / below / left / right”（ルビの位置）《拡張仕様》


割り書き seg @type=”wari”（今回は省略）



割り書き中の改行 milestone @unit=”wlb”（今回は省略）

連綿の切れ目 milestone @unit=”rb” （今回は省略）



変体仮名情報 char @xml:id=”U(Unicode 番号)”/mapping @type=”standard” （今回は省略）

TEI による構造化のための参考サイト
TEI

P5 ガイドライン（日本語版）

https://www.tei-c.org/release/doc/tei-p5-doc/ja/html/index.html
TEI-C 東アジア/日本語分科会

6

【総合書物論】

https://github.com/TEI-EAJ/jpn_classical
TEI/XML 準拠の大正新脩大蔵経(SAT 版)
https://21dzk.l.u-tokyo.ac.jp/SAT/sat_tei.html
2020/11/04 間淵洋子（著）
2021/11/30 近藤明日子（改訂）7