均衡コーパスを規範とするテキスト難易度測定
名古屋大学大学院工学研究科教授● PROFILE

佐藤理史

京都大学大学院工学研究科電気工学第二専攻博士課程研究指導認定退学。博士（工学）。北陸先端科学技術大学院大学、京都大学を経て、２００５年６月より名古屋大学大学院工学研究科電子情報システム専攻教授。

1 はじめにのテキストを、日本語テキスト全体（母集団）の分布と情報伝達を目的としたテキストは、平易でわかりやす知りたいテキストを適切に位置付けることができれば、いことが望ましい。そのようなテキストの作成には、テ

たとえば、「そのテキストは、日本語のテキストの平均キストの難易度を簡単に測定できるツールが不可欠であ的な難易度よりも、すこしばかり難しい」といった評価る。このような考えに立ち、我々は、日本語テキスト難が可能となる。

同じような分布で含んでいることが期待できるということである。このような均衡コーパスに対して、難易度を易度測定システム「帯」を開発している [1,2]。
最新の公開バージョン obi-2.30 に含まれている難易度モデル T13 は、教科書コーパスに基づいて、13 段
階の学年区分 ( 小学 1 〜 6 年、中学 1 〜 3 年、高校 1〜 3 年、大学 ) に対応する難易度を出力する。学年区

テキストの難易度は、実は、仮想的な概念である。そ分に対応する難易度は、教育応用においては直接的で都れぞれのモノが固有の質量を持つように、それぞれのテ合が良い。しかし、それ以外の用途においては、難易度キストは固有の難易度を持つわけではない。後者は、単の直感的理解に欠けるという欠点がある。

なる仮定である。我々は、テキストを読んで「このテキこの問題を解決するために、我々は、均衡コーパス

ストは難解だ」、「このテキストは平易だ」と感じるわけを規範とした難易度測定という新たな方法を考案しただが、そのような素朴な感想と「それぞれのテキストに[3]。本稿では、その方法について述べる。

固有の難易度が実在する」ことの間には、大きな隔たり

均衡コーパスとは、「ある言語の特徴や性質を知るた

258

2 難易度と難易度スケールがある。

めに，その言語の多様性をできるだけ忠実に反映するよ

テキストの難易度とは、やさしさ・難しさという軸にうにバランスよくサンプルを収集して構築される言語資おいて、テキストをいくつかのグループに分けるために源」を意味する [4]。国立国語研究所は、日本語の最初導入した仮想的な概念であり、仮想的なスケールである。の均衡コーパスとなる、「現代日本語書き言葉均衡コーその実在は、仮定されるものであって証明されるものでパス (BCCWJ)」を構築し、2011 年 10 月に正式にはない。当然のことながら、それぞれのテキストに対し公開するとアナウンスしている。て、真の難易度という値が実在するわけではない。

均衡コーパスは、難易度という観点においても、日本では、いったい、なぜ難易度測定システムを実現しよ語という母集団の多様性を反映し、かつ、代表性を有すうとするのかというと、難易度という人工的なスケールると期待できる。言い換えるならば、均衡コーパスは、を仮定し、その値に基づいてテキストをグループ化する平易なテキストから難しいテキストまで、各種の難易度ことが役に立つからである。難易度測定研究の目的は、

YEAR BOOK 2011

供することにある。

寄稿集

役に立つ難易度スケールとその測定法をセットとして提が意識されるようになる。
(3) その値を規準として、そこから逸脱したテキストを、やさしい、あるいは、難しいと感じるようになる。

は、学年区分というスケールを難易度スケールとして借つまり、我々が感じる難易度は、我々の日々の言語経用した。これは、(1) 教科書という形で各難易度のテキ験に基づいて形成され、意識されるのではないか、といストが入手可能なこと、および、(2) 教育応用では学年うことである。

区分というスケールが直接的でわかりやすいこと、がそ

このような考えに基づくとき、均衡コーパスにおけるの理由である。このようなスケール以外にも、たとえば、難易度の値の分布は、正規分布に従うと仮定するのが自日本語能力試験の N1 から N5 に対応するスケールを、然である。すなわち、難易度の平均的な値を持つテキス難易度スケールとして採用することもできる。

トは多数存在し、そこから逸脱する値を持つテキストは、その一方で、テキストの分布に基づくスケールを考えその逸脱度に応じて急速にその数が少なくなる、というることができる。すなわち、難易度の値を、対象とすることである。これは、まったくの仮説にすぎないが、そテキスト集合（あるいは、日本語テキストの全集合）のう仮定することに不自然さはない。

難易度分布のどのあたりに位置するか、ということに対次に考えるべきことは、難易度を何段階に区分するか応させるのである。この方法を実現するためには、(1)ということである。詳しい議論は文献 [3] にゆずるが、対象テキスト集合の縮図となる適切な部分集合が入手可

現実的にはそれほど区分数を増やすことができない。最能であり、かつ、(2) それらに何らかの難易度が付与さ終的に、我々が採用したのは、stanine に基づく 9 段れている（あるいは、難易度順にソートされている）こ階の難易度スケールである（表 1）。このスケールでは、とが必要である。これら２つの条件のうち、前者は、均最もやさしい 4% を難易度 1、最も難しい 4% を難易

衡コーパスがその条件を満たす。後者の条件、つまり、

度 9、真ん中 20% を難易度 5 と定める。

5

産業日本語関連

教科書コーパスに基づく測定システム obi2/T13 で均衡コーパスに難易度を付与することができれば、テキストの分布に基づくスケールを実現することが可能とな

３．２

均衡コーパスに対する難易度付与

次に、上記で定めた９段階の難易度を均衡コーパスのる。

各テキストに付与することを考える。これには、次のよ

3均衡コーパスを規範とする難易度測定

３．１

正規分布に基づく９段階の難易度(2) 難易度付きコーパスを用いて、比較器を構成する。

さて、初心に帰って、我々が感じる難易度とはどのよ(3) 構成した比較器を用いて均衡コーパスを難易度順にうなものか考えてみよう。ありそうなシナリオは、次のソートし [5]、stanine の比率に基づいて、各テキスようなものである。

トに難易度を付与する。

うな方法を採用した。
(1) なんらかの難易度付きコーパスを準備する（我々は、教科書コーパスを利用した）。

(1) 我々は、毎日、多くのテキストに接している。

(4) (2) へ戻る(2) そのような状況で、難易度の平均的な値というもの

ここで、比較器とは、2 つのテキストを与えたとき、

表 1 Stanine に従う難易度スケール

難易度

123456789

割合

0.040.07

0.12

0.17

0.20

0.17

0.120.07

0.04

下限

0.00

0.04

0.11

0.23

0.40

0.60

0.77

0.89

0.96

上限

0.04

0.11

0.23

0.40

0.60

0.77

0.89

0.96

1.00

YEAR BOOK 2O11259

どちらが難しいかを返す判定器を意味する。このようなる。測定対象としては、表 3 に示す新書コーパスを用

比較器は、訓練例（どちらが難しいか判明しているテキいた。このコーパスは、新書 12 冊と一般書籍 2 冊のストの組）から学習によって構成することができる。た計 14 冊の本から抽出した、総計 148 のテキストサン

だし、学習によって構成される比較器は 100% 信頼でプルから構成されている。各サンプルは、それぞれの本きるものとはならないので、上記の (2) と (3) を何回かにおいてページ番号が 20 の倍数（S2007pro は 10繰り返し、安定したところで終了する。の倍数）となるページの見開きから、段落単位で抽出し上記の方法を、均衡コーパス（「現代日本語書き言葉た。サンプルのサイズは、おおよそ 1000 字である。

均衡コーパス」モニター公開データ (2009 年度版 ) にS2007pro と S2007cre は新書ではないが、それぞ含まれる書籍 10,102 サンプル）に対して適用し、最れ、新書より確実にやさしい本、難しい本という位置付終的に、すべてのサンプルに、stanine に従う９段階けで、このコーパスに含めてある。の難易度を付与した。詳細な手順は、文献 [3] を参照されたい。

実際の難易度測定では、すべてのサンプルを、難易度測定システム obi2/B9 で測定した後、それらの結果を得られた難易度付き均衡コーパスから、3600 サンそれぞれの本毎に集計する。この集計では、測定で得らプルを選び、これを規準コーパスとして obi2 の難易度れた難易度の平均値を求めるが、最小値と最大値をはずモデルを構成したものを、obi2/B9 と呼ぶ。これが、我々れ値として除外して計算する。得られた値を表 2 の最が作成した、均衡コーパスを規範とする難易度測定シス右欄に示す。この表では、14 冊の本を平均値の小さいテムである。

順に並べてある。
新書 12 冊の各サンプルの難易値は、ほとんどが 5

新書コーパスに対する難易度測定から 7 である。つまり、これらのテキストは、平均的

ここでは，難易度測定システム obi2/B9 を用いて、S2007pro は最もやさしいと、S2007cre は最も難

4

実際にテキストの難易度を測定した結果について述べ

表2ID

260

な難易度、あるいは、それより少し難しい難易度を持つと判定された。これは、我々の直感と一致する。また、しいと判定された。

新書コーパスに対する難易度測定結果

書名

著者出版社

難易度

S2007pro

世界一やさしい問題解決の授業

渡辺健介

ダイヤモンド社

4.6S2003bak

バカの壁

養老孟司

新潮新書

5.1

S2004com

コミュニケーション力

齋藤孝

岩波新書

5.2

S2005sao

さおだけ屋はなぜ潰れないのか ?

山田真哉

光文社新書

5.6

S1999ren

日本語練習帳

大野晋

岩波新書

5.8

S2005kok

国家の品格

藤原正彦

新潮新書

5.9

S1981sak

理科系の作文技術

木下是雄

中公新書

6.3

S1993sei「超」整理法

野口悠紀雄

中公新書

6.3

S2005kar

下流社会

三浦展

光文社新書

6.3

S2006goo

Google 既存のビジネスを破壊する

佐々木俊尚

文春新書

6.4

S2006tan

他人を見下す若者たち

速水敏彦

講談社現代新書

6.5

S2006web

ウェブ進化論

梅田望夫

ちくま新書

6.8

S1995net

インターネット

村井純

岩波新書

7.0

S2007cre

創造的想像力 [ 増補版 ]マイケル・ポラニー

ハーベスト社

7.2

YEAR BOOK 2011

「現代日本語書き言葉均衡コーパス (BCCWJ)」には、感じる難易度の調査を進めており、予備的な段階では、コアと呼ばれる部分集合が存在する。このコアに含まれ肯定的な結果を得ている。この調査結果については、稿

る 571 の固定長サンプルの難易度を測定した結果を、を改めて報告する予定である。

寄稿集

5 BCCWJコアの難易度測定

る難易度が、人間が感じる難易度を十分に反映したものとなっているか、という懸念である。この疑問に回答を

5

産業日本語関連与えるために、現在、国立国語研究所と共同で、人間が表 3 に示す。

参考文献

571 のサンプルは、書籍 83 サンプル、新聞 340サンプル、雑誌 86 サンプル、白書 62 サンプルから構成されている。書籍の難易度は、難易度 1 から難易度[1] Satoshi Sato, Suguru Matsuyoshi, and

9 に渡って、正規分布に近い形で分布する。これは設計

Yohsuke Kondoh (2008). Automaticどおりである。これに対して、新聞の難易度は、大半がAssessment of Japanese Text Readability

難易度 5 から 7 に集中する。つまり、新聞の難易度は、Based on a Textbook Corpus. LREC-08.

さきほどの新書の難易度と同じようなレベルにあるとい[2] 小島健輔 , 佐藤理史 , 藤田篤 (2009). 文字 bigramうことである。雑誌の難易度は、比較的広く分布し、新モデルを用いた日本語テキストの難易度推定 . 言語処

聞より少しやさしい方にかたよる。最も難易度がかたよ理学会第 15 回年次大会発表論文集 , pp.897-900.

るのは白書の難易度で、すべてのサンプルが難易度 8[3] 佐藤理史 (2011). 均衡コーパスを規範とするテキスト難易度測定 . 情報処理学会論文誌 , Vol. 52, No.

または 9 と判定された。

4, pp.1777-1789.
[4] 柏野和佳子 , 丸山岳彦 , 稲益佐知子 , 田中弥生 , 秋元

6 おわりに祐哉 , 佐野大樹 , 大矢内夢子 , 山 崎 誠 (2009).『現代日本語書き言葉均衡コーパス』における収録テキス
トの抽出手順と事例 , 国立国語研究所内部報告書 LR-

本稿では、均衡コーパスを規範とした難易度測定法にCCG-08-01, 国立国語研究所 .

ついて述べた。この方法は、均衡コーパスに対して、難易度の値が正規分布に従うように設定したスケールで、[5] Kumiko Tanaka-Ishii, Satoshi Tezuka, and

難易度を測定する新しい方法である。先に述べたように、

Hiroshi Terada (2010). Sorting by Readability.

「現代日本語書き言葉均衡コーパス」は、2011 年 10

Computational Linguistics, Vol. 36, No. 2,月に正式公開の予定である。この公開後、我々は、正式

pp.203-227.

公開版を用いて再度、難易度モデルを作り直し、obi2システムのダウンロード版に含める予定である。
本方法の残された課題は、このような方法で測定され
表3

難易度書籍

1625

新聞
雑誌

22

BCCWJ コアの難易度測定結果

345613132012785183428927689

49234082415151633296291

32571

白書計

872565127103113

894計86

YEAR BOOK 2O11261