日本語テキストの難易度判定ツール『帯』
名古屋大学大学院工学研究科教授

佐藤

PROFILE理史

1 はじめに京都大学大学院工学研究科電気工学第二専攻博士課程研究指導認定退学。博士（工学）。北陸先端科
学技術大学院大学、京都大学を経て、2005年6月より名古屋大学大学院工学研究科電子情報システム専攻教授。

本語テキストの難易度を推定する方法について検討を行ってきた。2007年には、約半年をかけて100万字の教科書コーパスを編纂し、このコーパスを規準として難現代社会の複雑化と流動化により、情報伝達・意思疎易度を推定するルール『帯』を作成した［1］。
『帯』の主通の重要性はますます高まっている。1990年代のイン目標は、ウェブページの難易度の推定であり、それを実ターネットの発展とそれに伴う電子メールやウェブの普現するために、文字の出現確率に基づく推定法を採用し及により、テキストは再び情報伝達の最重要メディアにている。本稿では、この『帯』について紹介する。

返り咲いた。一方で、高齢化社会の到来や在日外国人の増加等により、人々の日本語能力は多様化してきている。
このような背景により、情報を「平易でわかりやすいテ2 難易度判定ツール『帯』キスト」で書き表すことの重要性が高まっている。
我々は、「平易でわかりやすいテキストを増やすためウェブのブラウザを通して利用できる『帯』の入力画には、まず、テキストの難易度を簡単に調べられるツー面を図1に示す。この画面のボックスに難易度を測定しルが必要である」という考えに基づき、2003年から日たいテキストを入力し、「難易度を推定」のボタンを押

図1 『帯』の入力画面

52

Japio 2008 YEAR BOOK

寄稿集

Part

1 産業日本語特集

図2 『帯』の出力画面

すと、図2のような画面が表示される。出力される難易度は学年区分に対応しており、小学1年（難易度1）か

3 教科書コーパスら高校3年（難易度12）までの12学年に、大学（難易度13）を加えた13段階で表示される。

どのような難易度推定法を採用するにしても、まずは、『帯』の最大のポイントは、対象テキストを選ばない難易度の規準となるテキスト集合が必要不可欠である。という点である。文章は文の並びと定義できるが、実際これを規準コーパスと呼ぶ。規準コーパスは、つぎの条のテキストでは句点で終わる文以外に、タイトルや見出件を満たす必要がある。

し、箇条書きといった句点を伴わないテキスト要素や、（1）コーパスに含まれるそれぞれのテキストには、難数式や記号、図表、URLなどの非テキスト要素が出現する。ウェブページは、特にその傾向が顕著である。
『帯』はそのようなテキストであっても問題なく動作するので、テキストをそのままコピーアンドペーストで入力することができる。

易度が付与されていること。
（2）コーパスは、多様な難易度のテキストをカバーしていること。
（3）コーパスは、多様なジャンルのテキストをカバーしていること。

『帯』は、2008年5月よりhttp://kotoba.nuee.

近年、多くのテキストコーパスが電子的に利用可能にnagoya-u.ac.jpで公開しており、誰もが自由に利用すなってきたが、残念ながら難易度が付与されたコーパスることができる。また、プログラミング言語Rubyが動は存在しない。そこで、我々は、小中高の教科書を利用作するUnix環境があれば、プログラムをダウンロードして規準コーパスを編纂することにした。

して、ローカルコマンドとして利用することもできる。

小中高の教科書は、文部科学省の検定により内容が統制されているが、それとともにテキストの難易度も統制されていることが期待できる。大部分の教科書は、使用する学年が明示されているので、これを難易度レベルと日本語テキストの難易度判定ツール『帯』

Japio 2008 YEAR BOOK 53

して利用できる。わかりやいウェブページを作成する指G＝0.39sl ＋11.8wl −15.59

Web Content Accessibility Guideline

ここで、sl は1文当たりの語数、wl は1語当たりのシラ

2.0 （http://www.w3.org/TR/WCAG20/）は、9ブル数を表し、G はそのテキストが理解できる学年を年間の教育を受けた人が理解できないような難しいテキ表す。この式は次のように理解できる。リーダビリティ

ストには、よりやさしいテキストを併記することを求めを決定する2つの主要な因子は、使われている語の難しているが、このための難易度測定にも、難易度レベルがさと文の構造の難しさであり、wl は前者を（英語の単学年として出力されると都合がよい。

語は、一般にシラブルの数が増えるほど難しい）、sl は針である

我々は、名古屋市で使われている、小学1年から高校3年までの全ての教科書を1セット購入し、そこからサンプルを抽出して電子化データを作成した。ここで、上後者を（1文当たりの語数が増えるほど、文の構造は複雑になる）を見積もる指標となっている。
この公式を適用するためには、テキストを文に区切り、記の条件（3）を満たすために、国語、数学、社会、理文を語に区切る必要がある。前述の通り、ウェブページ

科の主要4教科からだけでなく、美術、音楽、技術・家には句点を伴わないテキスト要素や非テキスト要素が多庭、情報、保健体育、書字など全ての科目（但し、英語数含まれるため、文区切りの認定がそれほど容易ではなと地図帳を除く）からサンプルを抽出した。

い。テキサス大学のサイト（http://webapps.lib.

小中高の教科書の入力作業が一段落した後、高校よりutexas.edu/TxReadability/app）では、ウェブペーも難しいレベルもほしいということになり、高校の教科ジのリーダビリティの測定に、文区切りを必要としないに対応する大学の教養課程の教科書16冊を選び、これForcast Grade Levelを用いているが、この方法でもらからもサンプルを抽出して電子化した。こうして出来語の区切りは必要となる。

上がったのが、総文字数約100万文字の通称「教科書Forcast Grade Level＝コーパス」である。教科書コーパスの概要を表1に示す。

20−（150語中に含まれる1シラブル語の数）/10
一方、最近提案されたテキスト分類に基づく手法は、

4 難易度推定法

あらかじめ難易度別のコーパスを準備しておき、判定対象テキストが、それらのうちのどの難易度のコーパスに最もよく似ているかをもって、難易度を推定する方法で伝統的な難易度推定法は、リーダビリティ公式と呼ばれる数式を用いる方法である。たとえば、英語のリーダビリティを測る最も有名な公式の一つであるFlesch-ある。具体的には、まず、各難易度 Gi に対して尤度

L（Gi│T ）を次式で定義する［2］。

w∈T

表154

ΣC（w ）logP（w│Gi ）L（Gi│T ）＝Kincaidの公式は、次の式で与えられる。

教科書コーパスの概要

難易度

教科書数

サンプル数

文字数

小 学

1-6

53346

151,160

中 学

7-9

25260

208,750

高 校

10-12

33

561

350,980

大 学

1316

331

341,016

合 計

1-13

127

1,478

1,051,906

Japio 2008 YEAR BOOK

寄稿集

Part

1 産業日本語特集

ここで、T は難易度を推定したいテキスト、w はT に含『帯』の難易度推定法の概略を図3に示す。まず、教まれる語、C（w ）は T における w の頻度、P（w│Gi ）

科書コーパスの13の難易度レベルのそれぞれにおいて、は難易度 Gi のコーパスにおける w の出現確率を表す。

文字 x の出現確率 P（x│Gi ）を求めておく。次に、難易こうして得られた尤度のなかで、最大の尤度値をとる難度を推定したいテキスト T が与えられると、次式を用い易度を、推定結果として出力する。て各難易度 Gi の尤度 L（Gi│T ）を計算する。

この方法を、語ではなく文字を使って計算しようといΣC（z,T ）logP（z│Gi ）L（Gi│T ）＝うのが、我々の基本的なアイディアである。日本語テキz∈T

ストの場合、文を語に区切るためには、形態素解析を適

ここで、z は T に出現する有効文字、C（z,T ）はその用する必要がある。文が正しく区切られていれば、形態出現回数を表す。有効文字とは、難易度を推定する際に素解析の精度も高いが、ウェブページを対象として想定考慮する文字のことであり、現在は、ひらがな83文字するならば、そのような楽観的な状況は仮定できない。とJIS第1水準の漢字2965文字を用いている。となれば、残された選択肢は文字ベースの方法しかない。

こうして得られた13個の尤度値からさらに次の3つ

日本語の漢字は表意文字であり、それ自身で固有の意の値を求め、その中央値を最終的な難易度の推定値とし味を持つ。JIS第1水準に含まれるだけでも2965文字て出力する。

あり、擬似的な語とみなすことができる。さらに、テキ（1）13個の尤度値のうち、最大の尤度値をとる難易度

ストの難易度を制御するために、我々は、漢字とかなをGi使い分けたり（あるいは、ルビを振ったり）、漢語と和（2）13個の尤度値に2次曲線をあてはめ、それぞれの語を使い分けたりする。このような理由により、文字ベ難易度に対して平滑化された尤度 L'（Gi│T ）を求ースの方法でも高い精度で難易度を推定できる可能性がめる。この尤度値が最大となる難易度 Gi'ある。

（3）13個の尤度値に3次曲線をあてはめ、それぞれの図3 『帯』の難易度推定法

日本語テキストの難易度判定ツール『帯』

Japio 2008 YEAR BOOK 55

難易度に対して平滑化された尤度 L''（Gi│T ）を求文字のみを用いて推定した場合の結果を表3に示す。こめる。この尤度値が最大となる難易度 Gi''の表より、25文字で相関係数が0.8を超え、100文字

ここで、2次曲線や3次曲線を用いて平滑化するのは、で0.883となることがわかる。これより、有効文字が13個の尤度値は難易度に対して連続的に変化するこ

100文字程度あれば、かなり安定して難易度を推定でとが期待されるからである。なお、図1で難易度の下きるということがわかる。に表示される3本のグラフは、それぞれ L （ Gi│T ），L'（Gi│T ），L''（Gi│T ）の値を示している。

上記の交差検定の他に、実際のウェブページの難易度を推定する実験も行った。たとえば、NHK週刊こどもニュースのウェブサイトにある原稿389件は、おおむ

5 『帯』の性能ね小学6年から中学（難易度6から9）と判定された。
また、ウェブで見つけた小中高向けの計268ページの推定結果も、小中高のそれぞれで平均を取ると、その値『帯』の性能を、leave-one-out交差検定法で評価しはページ作成者が想定している読者の範囲にほぼ入るこた結果を表2に示す。この表で、相関係数は、規準コーとがわかった。

パスで定義される真の難易度と、『帯』の推定値との間にどのくらいの相関があるかを示す指標であり、絶対値が1.0に近いほど強い相関があることを表す。一方、

6 おわりにRoot Mean Square Error（RMSE）は、真の値と推定値との誤差を表す指標で、小さいほど好ましい。この

本稿では、日本語テキストの難易度判定ツール『帯』

表では、前章の（1），（2），（3）のそれぞれ単独の場について述べた。『帯』では、ウェブページを含むあら合と、それらの中央値をとった場合を示しているが、中ゆるテキストに適用可能であることを目指したが、この央値をとる方法がどちらの指標でも優れていることがわ目標はほぼ達成できた。さらに、交差検定による評価でかる。

も、かなり良い性能を示すことがわかった。

『帯』が、どれくらい短いテキストに適用可能かを調『帯』の実現により、日本語テキストの難易度判定はべるために、各テキストの難易度を、最初のN個の有効一つの壁を超えたと考えるが、まだまだ課題も多い。社会的需要が高いと考えられるのは、成人の母国語話者が感じる「やさしい・ふつう・むずかしい」の判別である

表2

Leave-one-out交差検定による評価

が、そのためには、現在の難易度13（大学）を、複数方法

相関係数

RMSE

（1） 平滑化なし

0.898

1.632

（2） 2次曲線による平滑化

0.882

1.817

ルの教材の選定といった、非母国語話者への学習支援と（3） 3次曲線による平滑化

0.898

1.691

いう応用も重要であるが、非母国語話者にとっての難易上記3つの値の中央値

0.916

1.469

建石［3］ の公式

-0.758

N/A

表3
有効文字数561025のレベルに分ける必要がある。また、適切な難易度レベ度は、母国語話者が感じる難易度とは一致しない可能性有効文字の制限
50100200

相関係数

0.750

0.829

0.857

0.883

0.907

RMSE

2.308

1.918

1.777

1.617

1.428

Japio 2008 YEAR BOOK

寄稿集Part1 産業日本語特集もある。今後は、これらの応用を見据え、『帯』を改良していく予定である。

参考文献［1］Satoshi Sato, Suguru Matsuyoshi andYohsuke Kondoh. Automatic assessment ofJapanese text readability based on a textbook corpus. Proceedings of the Sixth

International Language Resources andEvaluation （LREC'08）, 2008.
［2］Kevyn Collins-Thompson and Jamie Callan. A
language modeling approach to predicting
reading difficulty. Proceedings of theHLT/NAACL 2004 Conference, pp.193-200,2004.
［3］建石由佳，小野芳彦，山田尚勇．日本語文の読みやすさの評価式．情報処理学会 文書処理とヒューマ
ンインタフェース研究会，18-4, 1988.

日本語テキストの難易度判定ツール『帯』

Japio 2008 YEAR BOOK 57