【総合書物論】

第6回

言語情報の電子的記述
まぶちようここんどう

あ2020 年度講義担当 間淵 洋子（国立国語研究所）
すこ2021 年度講義担当 近藤 明日子（国立国語研究所）【概要】
書物には多くの言語情報が含まれている。その言語情報を利活用するための方法の一つに、書物の言語情報を電子的に記述し、計算機で読み取ることが可能な形式に保存する「電子化」がある。
本講義では、昨今多く行われている資料の電子化について、（1）その方法と形式、（2）言語情報の種類と内容、（3）実際に利用可能な電子化資料について学習する。

1. 資料の電子化
電子化の目的(a) アクセシビリティの確保
実体としての書物…所定の場所（所蔵場所）・所定の時間（開館時間）にしか閲覧ができない。貴重書などの場合、そもそも閲覧が困難。
➡デジタルデータをインターネット等で共有することで、世界中のどこからでも、どの時間にでも、また多人数で同時に利用することができる。
(b) 文化資源保全（アーカイビング）
実体としての書物…経年劣化、虫損、災害等による損失など、現状を保つことが難しい。
➡デジタルデータにすることで、現状のスナップショットを劣化なしに（あるいは劣化を最小限にとどめて）保存し続けることができる。
(c) コンピュータによる処理（アナリシス）
実体としての書物…個々人がその能力に応じて読み解く必要があり、労力と時間がかかる。
➡デジタルデータにすることで、大量のデータを瞬時に分析したり加工したりすることができる。

1

【総合書物論】

電子化の方法(a) デジタル画像化
資料をデジタルカメラで撮影し、デジタル画像として保存すること。貴重書や情報価値の高い資料などを中心に実施されており、国内外の国公立図書館、教育研究機関（大学等）を中心にインターネットでの公開も多く行われている。
国書のデジタルアーカイブ・データベースの例


国立国会図書館デジタルコレクション https://dl.ndl.go.jp



国立公文書館デジタルアーカイブ https://www.digital.archives.go.jp



新日本古典籍総合データベース（国文学研究資料館） https://kotenseki.nijl.ac.jp



日本古典籍データセット（人文学オープンデータ共同利用センター） http://codh.rois.ac.jp/pmjt/



日本語史研究資料（国立国語研究所） https://dglb01.ninjal.ac.jp/ninjaldl/(b) テキスト化
資料の書誌的情報や言語情報を電子テキストの形で保存すること（「テキストエンコーディング」と呼ぶ）。資料の検索性を高めたり、内容を分析したりするために行うもので、文字列だけで構成する「プレーンテキスト（plain text）」と、その他の付加的な情報を構造的に記述する「構造化テキスト（タグ付きテキスト）」とがある。
現代語の表記体系に基づく装飾性の低い資料（文字列が主体の書籍等）では、OCR（光学的文字認識。機械で文字を読み取り現代語の文字コードに自動変換する技術）によるテキスト化が可能であるが、装飾性が高くレイアウトが複雑な資料（図版と文字列が入り組んだ版面など）や、表記体系が現代語と異なる資料（くずし字資料、変体仮名が含まれる資料など）では、翻字・翻刻作業が必要となるため、テキスト化が困難である場合も多い。

2. 言語情報の電子化
言語情報と言語の階層性
書物には多様な情報が含まれているが、書物から得られる情報のうち、言語そのもの（書かれた文字、語、文章の意味・内容）に関する情報を「言語情報」と呼ぶ。
言語は階層構造を成しており、それぞれの階層や構造に役割・意味合いがある（図 1）。
どの階層・構造に着目するかにより、記述（電子化）するべき言語情報やその形式が異なる。

2

【総合書物論】

図 1 言語の階層性

さまざまな言語情報
言語研究や自然言語処理においては、それぞれの階層に応じて、以下に例示するような、さまざまな言語情報が用いられる。
 文書構造情報：書物に含まれる文章の構造に関する情報。文章の範囲、見出し表現、章節構造、段落、箇条書き、文、節など。
 文法情報：文間や文の構成要素間の関係性に関する情報。連節関係、格関係、意味役割、係り受け関係など。
 意味情報：文や語の意味に関する情報。多義語の文脈上の語義、文脈上の文意など。
 形態論情報（単語情報）：単語に関する情報。単語の範囲（区切れ目）、読み方、基本の形（辞書の見出し相当の形式）、品詞、活用語の活用型や活用形など。
 表記情報：書記言語における表記に関する情報。テキストの方向（縦書き、横書き）、表記システム（漢文、漢字平仮名混じり文、漢字片仮名混じり文、片仮名文、ローマ字文）、装飾・強調、書体、切れ続き、本行以外の要素（振り仮名、注記、訓点等）、割り書きなど。
 文字情報：書記言語における個々の文字に関する情報。字体、記号、囲み文字や組み文字、上付・下付文字など。
 音声・音韻情報：音声言語の場合の音声・音韻に関する情報。

言語情報の電子化(a) 構造化テキストによる電子化
言語研究や言語処理においては、書かれた文章の文字列のみでなく、上述のようなさまざ3【総合書物論】

まな言語情報を、機械可読の形で保存（＝電子化）する必要がある。その際に行われるのが「プレーンテキスト」に対して、「タグ」と呼ばれる情報付けのためのマーカーを付与する「マークアップ」という作業であり、このタグが施されたテキストを「構造化テキスト（タグ付きテキスト）」と呼ぶ。
構造化テキストとして典型的なものに、Web ページ作成に用いられるマークアップ言語「HTML（Hypertext Markup Language）」を用いた HTML 文書あるが、HTML は文書構造を表現するのに特化した構造化テキストであり、タグセットが固定されているため、必ずしも言語研究や言語処理に用いるための言語情報を表現するのに十分でない。そのため、言語資料の電子化には、必要な情報に対して形式を定義してマークアップすることのできる「XML（Extensible Markup Language）」を用いた構造化がしばしば使われる。
XML は、自由に定義して利用できる拡張性がその特徴である（図 2）。ただし、データ共有の観点からは、共通の枠組み（スキーマ）を用いたテキスト構造化が望ましい（図 3）。
人文学系の資料共有のためのプラットフォームとしては、TEI (Text Encoding Initiative)コンソーシアムによる TEI ガイドライン（2021 年 11 月現在の最新のガイドラインは、P5）が提供されている。

図 2 独自定義の XML 文書1(左)と原本2(右)の例

1

国立国語研究所（2013）『明六雑誌コーパス』Ver1.1(https://pj.ninjal.ac.jp/corpus_center/cmj/meiroku/)

2

国立国語研究所「日本語史研究資料」『明六雑誌』第 1 号 1 丁表(https://dglb01.ninjal.ac.jp/ninjaldl/show.php?title=meirokuzassi&issue=001)

4

【総合書物論】

図3

TEI P5 準拠の XML 文書3(左)と原本4(右)の例(b) 文字コードによる電子化
文字情報については文字コードによる表現が可能なものが多い。前近代資料に多く現れる変体仮名（現行の仮名字体と異なる仮名文字）についても、2017 年 6 月に、286 文字が国際規格 Unicode10.0.0 に収録されており、文字コードによる電子化が可能となっている（図 4）。
Unicode：全世界共通で文字を扱うための国際的な文字コード規格（字体の集合を定義し、それぞれの字体を固有の ID で対応付けて管理するもの）。



現行仮名による電子化

これもにつこりわらふUnicode10.0.0 の変体仮名による電子化

こ もつこり らふ

図 4 Unicode による文字の電子化の例

3

河瀬彰宏・市村太郎・小木曽智信（2013）「TEI：P5 に基づく近世口語資料の構造化とその問題点」『じんもんこん2013 論文集』p.9. 図 4 (https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=96411&file_id=1&file_no=1)
4

国立国語研究所「日本語史研究資料」『傾城買二筋道』5 丁表(https://dglb01.ninjal.ac.jp/ninjaldl/hutasuzimiti/001/jpg/htsz001-021.jpg)

5

【総合書物論】

3. 電子化された資料
コーパスとは言語分析のために設計・構築された言語のデータベースを「コーパス」と呼ぶ。コーパスには、文字列のみを格納したプレーンテキストによるコーパス（テキストコーパス）や、言語情報をタグ付けした構造化テキストによるコーパス（タグ付きコーパス）があり、テキス
トデータとして公開されているもののほか、リレーショナルデータベースと連携し、コンコーダンサ（コーパスを検索し、KWIC 形式5で表示するソフト）やプロファイラ（コーパスに含まれる語を解析し、語の連接や共起の情報と共に表示するソフト）に搭載した形で提供されるものなどがある。

日本語の歴史的資料のコーパス
日本語の歴史的資料のコーパスとしては、国立国語研究所が 2012 年以降順次収録資料を追加しながら開発・公開を続けている『日本語歴史コーパス』（The Corpus of HistoricalJapanese: CHJ）6がある。奈良時代から大正時代（一部昭和前期を含む）までの、日本語史における重要資料を対象として収録しており、資料本文の文字表記情報のほか、「短単位」と「⾧単位」という⾧さの異なる二つの言語単位に基づく形態論情報、資料の著者・書誌情報、原本や原本に準じる参照資料のデジタル画像へのリンク情報などを持つ。オンライン検索システム「中納言」を介して利用できる（要登録・無償7）。CHJ の収録資料と言語量を次の表 1 にあげる。

5

Key Word in Context を意味し、検索語（キーワード）を中心に前後に文脈を配置して表示する形式のこと。

6

https://pj.ninjal.ac.jp/corpus_center/chj/

7

https://chunagon.ninjal.ac.jp/useraccount/register6

【総合書物論】

表 1 CHJ（バージョン 2021.3）の収録資料と言語量
時代
奈良時代
平安時代
平安時代～鎌倉時代
鎌倉時代
室町時代

江戸時代

明治・大正

サブコーパス名奈良時代編Ⅰ万葉集
奈良時代編Ⅱ宣命
奈良時代編Ⅲ祝詞
平安時代編
和歌集編
鎌倉時代編Ⅰ説話・随筆
鎌倉時代編Ⅱ日記・紀行
室町時代編Ⅰ狂言
室町時代編Ⅱキリシタン資料
江戸時代編Ⅰ洒落本
江戸時代編Ⅱ人情本
江戸時代編Ⅲ近松浄瑠璃
江戸時代編Ⅳ随筆・紀行
明治・大正編Ⅰ雑誌
明治・大正編Ⅱ教科書
明治・大正編Ⅲ明治初期口語資料
明治・大正編Ⅳ近代小説

短単位
9.9万
2.1万
1.1万
101.3万
27.5万
84.4万
12.8万
27.7万
13.8万
21.8万
41.2万
25.5万
1.6万
1417.8万85.6万
21.1万
77.9万

⾧単位
9.4万
1.7万―
91.2万
25.0万
79.2万
11.8万
25.6万
12.8万
―
―――――――

形態論情報と言語単位
コーパスに形態論情報を付与する際に問題になるのが「言語単位」の問題である。日本語は、アルファベットを用いて表記される言語（英語など）と異なり分かち書きがされないた
め、単語の範囲が明確にならない。そのため、単語の範囲を定めるルールを策定し単語を認定する必要があるが、どのような⾧さで単語を切り出すかにより、どのような研究の用途に適するが異なってくる。そこで、国立国語研究所が開発・公開するコーパスでは、「短単位」と「⾧単位」という二つの言語単位を定めて、それぞれに形態論情報を付与している（図 6）。
短単位：辞書の見出しに相当するような単位。合理的なルールで統一的に語を認定することができる（意味を持つ最小の単位を最大で 1 回結合させた単位。一般語の場合、和語・漢語は隣接する和語・漢語があれば 1 回結合したものを 1 単位、外来語は原語における 1 語を 1 単位とする）。語の検索や用例抽出などに適した単位。
⾧単位：文を文節に分割し、文節内を自立語と付属語に分割した単位に概ね該当する。
複合語、複合辞（複合して助詞や助動詞の機能をはたす表現）、派生語を構成要素に分析しない。分野による特徴的な語を把握することなどに適した単位。

7

【総合書物論】

図 6 二つの言語単位「短単位」と「⾧単位」
短単位解説動画：コーパス検索システムの言語単位『短単位』
https://youtu.be/s5akpYOzNIU（関連資料：https://www2.ninjal.ac.jp/openhouse2020/pdf/c-19.pdf）

テキストデータベース
コーパスとして構築されたもの以外でも、テキストエディタを利用して検索・加工を行なったり、テキストデータを変換して汎用のコンコーダンサ8に搭載したりすることで、言語研究・言語分析に用いることができるテキストデータベースは多くある。
日本語の歴史的資料のテキストデータ（総合）の例


日本語史研究用テキストデータ集(国立国語研究所) https://textdb01.ninjal.ac.jp/dataset/

日本古典文学体系データベース(国文学研究資料館) http://base1.nijl.ac.jp/~nkbthdb/

古典選集本文データベース(国文学研究資料館) http://base1.nijl.ac.jp/~selectionfulltext/



日本文学等テキストファイル(岡島昭浩氏) http://www.ne.jp/asahi/nihongo/okajima/bungaku.htm



日本古典文学テキスト http://www2s.biglobe.ne.jp/~Taiju/classic.htm

2020/11/04 間淵洋子（著）
2021/11/30 近藤明日子（改訂）8

KH Coder（https://khcoder.net）、全文検索システム『ひまわり』（https://www2.ninjal.ac.jp/lrc/index.php?%C1%B4%CA%B8%B8%A1%BA%F7%A5%B7%A5%B9%A5%C6%A5%
E0%A1%D8%A4%D2%A4%DE%A4%EF%A4%EA%A1%D9）など

8