秘特集

現代日本語書き言葉均衡コーパス

特集開発

目指したのは現代日本語の書き言葉の縮図話

新規にコーパスをつくる場合、どういう性質のコーパ

現代日本語の書き言葉の全体像を把握する──そのために国立国語研究所（国語研）が構築し、2011年より公開したのが、「現代日本語書き言葉均衡コーパス④先に公開した「日本語話し言葉コーパス」の解析単位との互換性を保持

その開発は試行と挑戦の連続でした。

品詞情報など研究用の情報を付加してさまざまな検索ができるようにした、言葉のデータベースです。
野菜の「たまねぎ」は、どう書かれている？ 「○○的」という言葉には、どのようなものがある？ コーパスを使うと、そうした言葉の使われ方を調べることができます。
玉ネギ
5％（94 件）

玉葱8％（176 件）たまねぎ
17％（345 件）「たまねぎ」はどう書かれている？（BCCWJ による）

玉ねぎ
49％
（1,026 件）
タマネギ
21％（446 件）出現数 10 の例

出現数 1 の例

1

具体的（10,547）

アイドル的

BGM 的

2

基本的（9,965）

スター的アウトドア的3

積極的（7,585）

タイミング的スーパーマン的4

一般的（6,395）

あたし的

あたくし的

5

社会的（5,988）

味的

当たり前的

6

比較的（4,141）

色彩的

あら探し的

7

経済的（4,049）

観光的

おぬし的

8

個人的（3,416）

推論的

漢字的

9

総合的（3,343）

立場的

惣菜的

10

効果的（3,297）

実感的

俗人的

「〇〇的」という言葉にはどのようなものがある？

（BCCWJ の元データによる「／○○／的」の検索結果）

世界各地でコーパスが次々に誕生
葉それぞれ 50 万語の収集を始め、紙のカードに言葉を書き取っ研究者はそれぞれの目的や関心に従って言葉を集めますが、個て整理する方法でつくられました。

電子化

コーパスデータ公開○オンライン検索○ DVD による全デー
タ頒布

形態論情報

この特集では「サンプリング」と「著作権処理」を中心に紹介しています

雑誌・新聞です。では、どのようにサンプリングすれば、日本されたものを対象とすることにしました。具体的には、書籍・語の書き言葉を代表するサンプルを収集できるのか。それが大きな課題でした。
そして導き出した方法が、「2001 〜 2005 年に出版された全書き言葉の総体ての書籍・雑誌・新聞に含まれる総文字数を推計し、その比率

均衡コーパスをもとに各媒体からサンプリングする言語量を設定する」というものです。推計する対象として、書籍は国立国会図書館の蔵
書目録にあるもの、雑誌は日本雑誌協会の加盟出版社発行のもの、新聞は全国紙・ブロック紙・有力地方紙としました。

書籍

31 万 7117 冊・7491 万 1520 ページ

雑誌

5 万 5779 冊・1041 万 4955 ページ

新聞

4 万 9625 冊・119 万 8189 ページ

均衡とは……
テキストのジャンルや収録する際の手続きに「偏りがない」という意味。価値判断を伴うような代表性や、全てのジャンルについて同じ量だけ収録されているという意味ではない。

文字数をひたすら数える！

「Brown Corpus」が完成しました。コンピュータで使えるよ

5 年間に出版された書籍・雑誌・新聞に含まれる総文字数をどを大量かつ体系的に集めたコーパスを、大学や国が中心となっうにした、世界初の電子コーパスです。その後、世界各地でコーのように推計したと思いますか？てつくり始めました。

パスが開発され、1994 年にはイギリスで話し言葉と書き言葉

新聞については、全国紙 4 紙の朝夕刊の 8 冊・211 ページをを合わせて 1億語を集めた「British National Corpus（BNC）」実測しました。右の写真は、実際に文字数を数えた新聞です。

が完成しました。

エリアを区切り、1文字 1文字、ひたすら数えていきます。エリ

文庫本
1,700冊分に相当○ XML による形態論情報と文書構造情報の統合

書き言葉にはさまざまなものがありますが、活字になって刊行様な目的に利用できて言語研究の共通基盤となるように、言葉

1 億語の日本語書き言葉コーパスをつくろう！

○著作権調査○関係者・関係団体と接触○許諾依頼

サンプル書誌情報

形態論情報

1964 年にはアメリカで、100 万語の書き言葉を収集した

Usage Corpus（SEU）」です。1959 年から話し言葉と書き言

サンプル使用の可否○短単位・長単位認定基準の作成○形態素解析用の辞書（「UniDic」）の整備○形態素解析
○未知語の処理、誤解析の修正

人では集めることができる量や範囲は限られます。そこで、多世界初の大規模なコーパスは、イギリスの「Survey of English

著作権処理

サンプル候補1 億語をどう選ぶ？

※ 2001 〜 2005 年に出版された数言葉を研究するには、言葉を集めて分析する必要があります。

サンプル候補電子化テキスト③公開可能なコーパス

バランスよく反映した 2024 年現在唯一のコーパス。

コーパスとは、実際に使われた言葉を大量かつ体系的に集め、サンプリング○収録対象資料の決定○資料の入手○サンプル作成（収録範囲の特定）○テキストの電子化○文字・文書構造の情報付与②幅広い目的に供するコーパス

約1億語からなる、日本語書き言葉の全体を出現数トップ 10した。
①多様な書き言葉をバランスよく反映したコーパス（Balanced Corpus of Contemporary Written Japanese：BCCWJ）」です。

コーパスとは？

コーパス構築の流れスとするのか、その設計方針が重要です。多くの議論を経て、次の4 点を念頭に置いて設計することにしま

B C C W J 開発秘話

アごとの文字数が鉛筆で書き込まれています。このページの文字数は 5,320 字でした。
書籍については、日本十進分類法（NDC）の分類・判型ごと国語研では 1950 年代から、雑誌や新聞などコーパス」が完成しました。しかし、日本語の書き言葉の全体にランダムに選び出した 227 冊・1,135 ページの文字数を、やを対象に、言葉の使われ方や頻度を調べる語をバランスよく反映したコーパスが、まだありませんでした。

はりひたすら数えました。雑誌は、NDC の分類・判型ごとにラ彙調査を行ってきました。それらは紙のカーそこで、BNC の日本語版を目指し、「1 億語の書き言葉コードを用いたものでした。2004 年には国語研パスをつくろう！」というプロジェクトが文部科学省科学研究初の電子コーパスとして「日本語話し言葉費補助金（特定領域）の助成を受けて 2006 年に始まりました。

ンダムに選び出した 53 冊・265 ページを実測しました。
文字数を実測した新聞（毎日新聞 2003 年 5 月 24 日夕刊）

5,320字！

特集
層

書き言葉の実態を把握できているのか？

推計文字数

0. 総記

1,636,414,548

2. 歴史

4,301,204,340

1. 哲学

5 年間に出版された総文字数の推計をも2,597,610,813

この場合はどうする？の連続

2.24％

サンプル抽出基準点はランダムに指定されるため、サンプル抽の場合は？ さまざまなケースが発生します。
「現代日本語で書16.06％

7.05％

医療工業

1,468,293,360

4.98％

全国紙

2,417,622,461

地方紙2,701,855,499

6. 産業

9. 文学

7.74％

2,196,387,437

3.35％

3,258,432,447

888,800,128

9,341,275,486

2,225,954,208

する方法では、書き言葉が生み出された実態を把握することはできても、その言

0.70％

4,615,929,967

5,069,594,034

1.36％

14.27％

3.40％

新聞

11.34％

456,459,405

877,875,592

5. 工学

n. 分類なしの表）。しかしこの比率でサンプリング

6.57％

比率

政治

教育

3.97％

推計文字数

7,421,447,806

18.95％ 雑誌

8. 言語

類・分類の構成比を算出しました（右上層12,408,321,943

7. 芸術とに、書籍・雑誌・新聞それぞれの種

総合

2.50％

3. 社会科学
4. 自然科学

書籍比率

産業

ブロック紙

1.34％

110,640,958

180,964,513

0.17％

1,296,592,154

74.14%

0.28％

出基準点に文字がない場合もあります。その場合は、サンプル

かれた表現」が対象ですから、ひとかたまりの古語、外国語、3.69％

抽出基準点をサンプル台帳の乱数 2、3……と変えていきます。

数式や、写真、図は、原則取得対象外です。

4.13％

それでも抽出できない場合は、対象ページの優先順位を下げて1.98％

9.80％いきます。

サンプル間・作業者間で揺れが生じないように、作業規則と判断基準を細かく設定し、マニュアル化しました。そうするこ

では、古語や外国語の文章だったら？ 数式の場合は？ 写真とで、斉一な手順で均質なサンプリングを実施しました。

現代日本語書き言葉均衡コーパス（BCCWJ）

葉がどれくらい流通しているかは分かりません。また書き言葉には、書籍・雑誌・新聞以外にも多くの種類があります。
そこで、書籍については、読まれてい出版サブコーパス

図書館サブコーパス

生み出された書き言葉を幅広く収集
書籍・雑誌・新聞（2001〜 2005 年）
約 3,500 万語 通している書き言葉を幅広く収集
流
東京都内 13 自治体以上の公立図書館で共通して所蔵しているもの（1986〜2005 年）
約 3,000 万語るという実態を反映するよう、図書館の特定目的サブコーパス蔵書やベストセラーを加えました。その上の 2 つでは捉えにくいもので、現代日本語書き言葉の実態を把握するのに重要な資料を収集

他のさまざまな資料も加え、性質の異なる３つのサブコーパスで構成することに可変長サンプル
開始位置

サンプル抽出基準点
図や古語は取得

白書・教科書・広報紙・ベストセラー・Yahoo!
知恵袋・Yahoo! ブログ・韻文・法律・国会会議録（1976 〜 2005 年）
約 3,500 万語対象外しました（右図）。

古書店巡りの達人！？

B C C W J 開発秘話

ランダムに指定される資料の誌面はさまざま。作業規則と原本を入手するため図書館・書店・古書店を巡る図書館や新刊書店で入手できない資構成が決まったら、サンプルを抽出する

手し、縮刷版がない場合は国会図書館の対象をコンピュータでランダムに選び、マイクロフィッシュから取得しました。

料は、古書店を次原本を入手します。図書館で借りたり、入手した原本は、出版サブコーパスとから次へと巡って比較的安価なものは購入したりしました。

図書館サブコーパスの書籍と雑誌だけで館外への持ち出しが禁止されているものも3万1000冊以上！ 図書館の貸出申請・は、許可をいただいてスキャナを持ち込借り出し・返却、書店への発注・納品確みスキャンしました。新聞は縮刷版を入認など、大がかりで複雑な作業でした。

＊探しました。
＊B CCWJ の構築に携わったスタッフのコメントを紹介します。

判断基準に沿って 1 件ずつ手作業でサンプルを取得していく。
サンプル取得の例。サンプル台帳に従って、対象資料のコピーを取り、サンプル抽出基準点、固定長サンプルの範囲、可変長サンプル抽出開始位置、取得対象外などを色鉛筆で記入していく。この指示用紙に基づいて電子化作業が行われる。

真夏のコピー地獄！

暑い時期の大量コピーは、かなりの重労働でした。というのも、当時の国語研の建物の窓には、ブラインドがほとんど付いていなかったのです。しかもコピー機は窓際にありました。真夏の昼の時間帯は強い日差しが照りつけ、「そろそろ限界……」「いや、ここまで終わらせたい」という気持ちのせめぎ合いでした。今、窓という窓にブラインドが付けられているのは、この作業がきっかけでは？と勝手に考えています。

国会図書館書庫内でのサンプリング作業

どの部分をサンプリングする？
資料の原本やスキャンデータを入手できたら、サンプリングを行います。資料ごとに、何ページのどの位置からサンプリングするか、ランダムに指定します。
1 つの資料から、長さの異なる 2 種類のサンプルを取得します。
「固定長サンプル」は基準点を始点として 1,000 文字目までの範囲を、「可変長サンプル」はTo Do リストや注意事項が書かれた紙。

情報共有のためこうしたメモが、サンプリサンプル台帳の指示

基準点を含む章や節などの言語的なまと「49 ページの座標 4E」

ングの作業部屋の掲示板にたくさん貼られまり（ただし上限 1万字）を抽出します。

マス目を印刷した透明なシートを対メールもしばしば送信されていた。

象ページに当て、座標により指定さていた。作業進捗遅れに対する注意喚起

可変長サンプルは、セリフ以外に改行がない文は、上限の 1万字まで抽出することになっています。私が特に泣かされたのは、ロシア文学です。改行なしがずーっと続「サンプル抽出基準点」とする。この

現代日本語として収録対象で、その翻訳文が素晴らしい「あの苦労を忘れたくない」

シートは判型に合わせ、さまざまな資料などを縮小コピーしてトでキメ点を決める」と言っていた。と、サンプリングに関するサイズを用意していた。

キーホルダーに付けている人も。

文章なのですが、読みふけってしまっては文字数をカウントできません。ぐっとこらえて電卓をたたいていました。

サンプル台帳とサンプル抽出基準点の例

ほんの一部。
「とても念に保管している。

例では「た」。これを「キメマスシーくんです。トルストイも、ドストエフスキーも。翻訳文もた 色 鉛 筆。 こ れ で も捨てられない」と記れた交点に最も近接している文字を作業者泣かせの “ 改行なし ”

サンプル取得に使っサンプリングの注意点が書かれた「魂の付箋セット」。

「捨てるのがしのびない。
後世まで遺していきましょう！！」とある。

サンプリングに使用した購入資料は現在も保管されている。

特集

著作権者から許諾をいただく

B C C W J 開発秘話

著作権者に利用許諾の依頼状と共に送付した許諾書

構築したコーパスを公開することは、重そして連絡先を調べ、利用許諾の依頼状要な設計方針の 1 つでした。そのためにを送ります。連絡先が分からず、依頼状は、収録するサンプルの著作権者に利用を送ることができない場合もあります。

許諾を得る必要があります。この著作権特に雑誌の場合、連絡ができない割合が処理に、とても苦労しました。

書籍よりも高くなりました。

著作権処理が必要なサンプルは、書籍それでも根気強く連絡先を調べ、書籍のみで 2 万 4421 件ありました。それをについては約 90％に当たる 2 万 1986 サ1 件 1 件、地道に処理していきました。

ンプルの著作権者に連絡を取ることがでまず、サンプルの著作権者を特定します。

きました。

BCCW J を使ってみませんか
国語研では、「少納言」というオンライン検索①「検索文字列」の窓に調べたい語句をツールを公開しています。利用条件に同意すれ入力します。例えば、「一生懸命」を検ば、誰でも無料で BCCWJ の全文検索をすることができます。
「少納言」の基本的な使い方を紹介しましょう。

索してみます。
https://shonagon.
ninjal.ac.jp/

入力した文字列がそのまま検索されるので、その他の表記形を検索したい場合は、入力文字を変えて検索します。例えば、「一生けん命」「一生けんめい」「いっしょうけんめい」「一所懸命」「一所けんめい」「いっしょけんめい」などと入力します。

日本へのお見舞い

利用拒否になると……

②目的に応じて、検索対象の「メディアとてもありがたいことに、多くのサンプ次に優先順位が高いものの原本を入手お願いしたときには断られてしまいましルの著作権者から利用の許諾をいただけし、サンプリングをやり直さなければなた。ですが東日本大震災の後、日本へのました。しかし、利用拒否の回答が来るらず、作業計画の見直しが必要になる場場合もあります。

合もありました。

アメリカ在住の原著者に、最初に許諾をお見舞いですと言って許諾をもらうことができました。

ようやく連絡が取れた
作家さんは……

サンプリングと著作権処理は同時に並

例えば、書籍については、3 つのサブ行して行っていました。利用拒否の回答

コーパス合わせて 1,681冊が利用不可にが来ると、すでにサンプリングが終わっなりました。雑誌の著作権を有する出版ていても、そのサンプルは利用できませ社に利用を拒否された例などもありましん。対象をランダムに選んだリストからた。

／ジャンル」や、刊行年代の「期間」を指定することができます。
③「検索」をクリックします。
前後の文脈を指定して検索したい場合は、検索ボタンの上の「こちら」をクリックして文字列を入力します。
④検索結果が表示されます。検索文字列の前文脈と後文脈それぞれ 40 字程度と、出典情報を確認することができます。検私が参加したのはプロジェクトの後期だったため、「連絡先不明」に分類された作家さんがたくさんいて、一人一人リサーチをやり直しました。そうした中、ある中国の作家さんと、幸運にも直接メールでコンタクトを取ることができました。とても丁寧なお返事と許諾もいただけて、やれやれ良かったと思っていたら……。し連絡不能
2,207（9％）

索結果のダウンロードはできません。

返信なし
4,211（19％）

その他
228（1％）

拒否
1,880（9％）

連絡済み

著作権処理対象 21,986
24,421（90％）の作家さんのお名前が！ びっくりしまし著作権処理の状況た莫言氏です。

検索結果が 500 件以上になった場合は、その中からランダムに選んだ 500 件が表連絡済み
21,986示されます。
検索対象の「メディア／ジャンル」や「期ばらくして、ノーベル賞のニュースにそた。2012年のノーベル文学賞を受賞し「一生懸命」は 2,169 件見つかりました。

許諾
15,895（72％）

間」を指定することで、検索結果を絞って表示させることが可能です。
「一生懸命」の場合、「メディア／ジャンル」で「雑誌」だけにすれば検索結果は76件となり、1 億語を超える
日本語書き言葉のコーパス完成！

全ての用例を確認できます。
BCCWJ-DVD 版（DVD-R 4 枚組）

BCCW J の拡充が計画されています

著作権処理が済んだサンプルは、電子テけて構築を進めてきた「現代日本語書きキスト化します。その電子テキストを用言葉均衡コーパス（BCCWJ）」が完成

BCCWJ は、日本語研究をはじめ、日本語教育や国語教育、国と言われることもあります。媒体の種類や文字数の比率も変わっいて形態素解析を行い、品詞など研究にし、2011 年より全てのデータを収録し語政策、辞書編集、自然言語処理など、さまざまな用途で使わていることでしょう。現代日本語の書き言葉の全体像を把握す必要な情報を付与します。この特集ではた DVD 版の頒布（有償）とオンラインれています。BCCWJ を用いた研究業績は 2023 年 7 月時点でるためには、定期的なデータの追加・更新が必要です。

詳細を紹介できませんが、電子化や形態公開を開始しました。現在、Web上では、1,784 件でした。
「少納言」は年 60 万回以上利用されています。

文 化 庁 の 施 策 の 1 つ とし て、 令 和 6 〜 10 年 度（2024 〜

論情報付与も、試行と挑戦の連続でした。

オンライン検索ツール「小納言」「中納言」

BCCWJ の 完 成 か ら 10 年 以 上 た ち ま し た。BCCWJ は、2028 年度）に BCCWJ を拡充する計画があります。2006 年

そして、全てのデータをパッケージ化。

「NINJAL-LWP」にて利用可能です。

2011 年の公開以降、更新がされていません。言葉は変化するから2025年までの20年分の日本語書き言葉のデータを追加し、ものであり、また IT 化により言葉が変化する速度は増している

現在の 1億語規模から 2 億語規模になる予定です。

こうして 2006 年から 5 年の歳月をか