DEIM Forum 2016 C4-3

文書の可読性を考慮した Web 検索に関する一考察
佐々木 夢†

小松田卓也†

欅

惇志†

宮崎

純†

† 東京工業大学大学院情報理工学研究科計算工学専攻 〒 152–8552 東京都目黒区大岡山 2–12–1
E-mail: †{sasaki,komatsuda,keyaki}@lsc.cs.titech.ac.jp, ††miyazaki@cs.titech.ac.jp
あらまし 本稿では，Web 文書を対象とした可読性指標の提案，及び検証を行う．また，既存のスコア統合手法を用いて適合度と可読性を統合し，その精度を評価する．従来の情報検索システムでは，検索課題 (クエリ) に対して適合する文書をユーザーに提示することを目的としてさまざまな研究が取り組まれてきた．近年，情報要求の多様化や複雑化に伴って，さまざまな観点を考慮した検索が出現しつつある．そこで本稿では，文書の可読性を考慮した情報検索を取り扱う．評価実験の結果，提案した可読性指標は従来の可読性指標の精度を上回った．また，文書の可読性を考慮したスコア統合の実験では，トピックによって検索精度に差があることが分かった．
キーワード

情報検索，可読性，スコア統合

1. は じ め に
情報検索システム出現当時は，ブーリアン検索モデル [1] によって適合性を判定していた．その後，文書中の語の各種頻度や文書長など，さまざまな統計量を利用することで，高精度な検索を実現しつつある [5], [6]．検索システム利用者の情報要求

する．

2. 1 文書の可読性指標
文書の可読性を推定する研究は 1920 年代から行われてきている [19]．
これまでの研究で，以下に列挙する要素が可読性に影響を与える主な要素として知られている [20]．

の多様化，複雑化に伴って，文書の複雑さ [2] や新鮮さ [3]，平•筆跡の読みやすさ

易さ [18], [19] など，新たな評価尺度を考慮する検索システムが

•

語彙・意味

登場しつつある．本稿では，その中でも文書の平易さに着目す•文法

る．クエリ語によく適合していたとしても，難しい語や難解な

•

文書構造

文構造で溢れかえった文書は，ユーザーにとって必ずしも有用•

イディオム・言外の意味であるとは言えない．このようなとき，文書の平易さ，すなわ•

読者の関心・背景知識

ち，文書の可読性は重要な評価尺度となる．

従来の可読性指標では，文書の可読性をモデル化するのに可読性とは理解しやすさに寄与する文書のあらゆる特性のこ

言語の表面的な 2,3 個の特徴の線形和を用いていた．例えば，とを指す [18]．可読性は文法の難しさや意味的な難しさ，文書Flesch–Kincaid grade level formula [21] は文書の学年レベルの構造など，数多くの要素によって判断される．文書に対するを計算するのに文書中の平均文長と単語の平均音節数を用い

可読性指標が数多く提案されてきている [19]．また，Web の発る．同様に，Gunning FOG index [22] は文書中の平均文長と 3達によって Web 文書に特化した可読性を推定する手法 [26] が音節以上の単語の割合をパラメータとして用いる．また，New

提案されているが，Web 文書の文書構造を捉える効果的な指標

Dale–Chall(NDC) [29] では推定に平均文長と平易でない語のは提案されていない．

割合を用いる．平易な語とそうでない語の識別は，約,000 語

そこで本研究では，Web 文書を対象とした可読性指標を提案する．提案する可読性指標では文書構造を考慮して文書の可読の一般的な英単語が含まれたワードリスト [31] を用いて行う．

NDC は以下の式で与えられる．

性を推定する．そして，既存のスコア統合手法を用いて可読性と適合度を統合し，その精度を評価する．Web 文書の可読性において重要となる特徴を明らかにするとともに，提案した統合手法が良い性能を発揮する分布の性質について議論する．

NDC =


0.1579 × PDW + 0.0496 × ASL + 3.6365
(PDW > 5% のとき)
0.1579 × PDW + 0.0496 × ASL(それ以外のとき)

本稿の以降の構成を述べる．2. で関連研究を述べ，3. で Web文書を対象にした可読性指標を提案する．4. では提案した可読性指標の検証実験と，スコア統合手法の精度の評価を行う．5.
で実験結果に対する考察を行い，最後に 6. でまとめと今後の課題を述べる．

2. 関 連 研 究
本節では，文書の可読性指標と情報検索の関連研究を紹介

なお，式中の PDW は文書中の平易でない語の割合を表し，

ASL は文書の平均文長を表す．
言語の表面的な特徴の線形和で表される可読性指標は計算が容易なため，教育系の文書に対してよく使われていた．しかしながら，これらの可読性指標は必ずしも常に正確に文書の複雑さを捉えるとは限らないという指摘もある [23]．
可読性に関する近年の研究では，より複雑な言語的特徴を捉えるために構文解析や統計的言語モデルといった自然言語処理

表 1: 提案手法で用いる文書の特徴量と分類技術を用いる [24]．また，機械学習を利用して可読性指標を構

分類

成する研究も存在する [25], [30]．

2. 2 情報検索モデル

語彙従来の検索モデルは，TF–IDF 法 [4] のような索引語重み付文

け手法を用いて，文書の適合度を算出していた．近年の検索モ

文書

デルにおける文書の適合度の算出には，確率的言語モデルであ特徴
一文あたりの音節数 †平易でない語の割合
平均文長
語数 †ヘディングタグの深さ †るクエリ尤度モデル [5] や，古典的確率モデルである BM25 [6]などの手法が用いられている．

これらの要素は，2. 節で述べた可読性に影響を与えると知ユーザーの情報要求の多様化や複雑化に伴って，適切な検索られている主な要素である．語彙単位，文単位，文書単位の特モデルを選択することは難しくなりつつある．そのため，複数徴からこれらの要素を評価する．語彙単位で捉える特徴量としの検索モデルから算出された適合度を統合する試みが行われてて，平均音節数と平易でない語の割合を用いた．語が平易であいる．メタサーチエンジンでは，複数の検索エンジンの結果をるか否かの分類は平易と見なす語が記載されたワードリストを統合することで検索精度の向上をさせている [7]．

用いて行う．ワードリストは先行研究 [29] で用いられたものを適合度統合の初期のアプローチは，和や積による個々の結果利用した [31]．文単位で捉える特徴量として平均文長を用いた．

の統合だった [7]．その後，多数決方式を取り入れることによる文書単位で捉える特徴量として，文書に含まれる語の数と，ト改善が行われた [8]．

ピックの粒度を表す HTML タグであるヘディングタグの深さ

線形結合は Vogt ら [9] によって情報検索に導入され，その有を用いた．文献 [27] において，文書の内容の論理構造は概ねヘ

用性の高さが示されている [10]．Gerani ら [11] は非線形変換をディングタグによって表現される文書構造と一致するというこ施した適合度の統合を行った．Gerani らの手法が線形結合の精とが報告されている．実際に予備的な調査を行ったところ，適度を上回ったことにより，線形従属性では捉えることのできな切に文書が構造化されている場合に可読性が高いという傾向がい，複雑な従属性を捉えることのできるモデルの必要性が生じ得られたため，この指標を取り入れた．なお，ヘディングタグ

ることとなった．

の深さの算出方法に関して，たとえば，h2 タグと h3 タグを含

機械学習を文書のランキング付けに応用するランキング学習がある [12]．ランキング学習は一般的に精度が高くなるが，結果の解釈を人手で行わなければならず，理由付けが難しいとされる．

む文書は深さが 2 となり，h1 タグから h6 タグまでを含む文書
は深さが 6 となる．
表 1 に提案手法で用いる特徴量とその分類をまとめた．なお
表内の特徴量に関して，NDC で用いられておらず提案手法でCopula は金融工学の分野で用いられている多変量分布をモデ
ル化するツール [13] であるが，近年では他分野での応用例が見用いた特徴量には印を付与した．

3. 2 可読性計算られる [14]．情報検索での応用例として，Eickoﬀ らは Copula

提案手法は，文書の可読性を捉えることのできると考えられを用いて，2 つの評価尺度の統合をさまざまな組み合わせで行る特徴量を説明変数として，ロジスティック回帰 [28] を用いてい，その有効性を示した [15]．小松田らはクエリ語との適合度

読みやすいと判断される確率を計算する．ロジスティック回帰と，文書の新鮮さの統合に Copula を利用した [16]．

は，説明変数の値から目的変数の発生確率を予測する手法であ

近年では，検索システム使用者の情報要求の多様化，複雑化

る．また，ロジスティック回帰では，得られたモデルから各説に伴い，適合度以外の評価尺度を統合する取り組みがなされて

明変数の貢献度を評価することができる．目的変数を p，説明いる [17]．

変数を x = {x1 , x2 , . . . , xn } としたとき，ロジスティック回帰

3. 提 案 手 法
本節では，Web 文書を対象とした可読性指標を提案する．提は以下の式で表される回帰モデルである．

logp= β0 + β1 x1 + . . . + βn xn1−p

案する可読性指標では，文書の可読性を捉えることのできる複数の特徴を利用することによって可読性を表現する．本節では，提案する可読性指標で用いる文書の特徴について述べた後，それらの特徴から可読性を計算する方法を述べる．最後に Web
文書を取り扱う際に留意すべき点について述べる．

3. 1 文書の特徴量提案手法では，次の 3 種類の要素を定量的に評価することを目指す．

•

文書の語彙的な難しさ•

文書の構文的な難しさ•

文書の構造的な難しさ提案手法で使用する説明変数は，複数のモデルを説明変数を変更することで構成し，各モデルの AIC を比較した結果，最も当てはまりの良いものを選択することにする．

3. 3 Web 文書を取り扱う際の留意点
ここでは Web 文書の解析において，平均文長と平易でない語の割合を計測する際に留意すべき点について述べる．
まず初めに，平均文長を計測する際に留意すべき点を述べる．
文書の平均文長を計測するには文章を一文ごとに分割する必要がある．これは，ピリオドやクエスチョンマークのような終端文字を区切り文字とし，区切り文字から次の区切り文字の間を一文とするのが容易である．しかし Web の文書では，終端文

字が存在しない場合も多い．例えば，リストタグを使って書かれた文は一つ一つのアイテムの最後に終端文字が置かれていな
いことが多い．そのため，単純な方法だけでは一文の判断を十分に行うことができない．

ルを付与したデータセットを用いた．データ数は 95 件である．
可読性指標の評価は ROC 曲線を用いて行い，実験は 5 分割
交差検定で行った．
比較手法には NDC を用意した．NDC は言語の表面的な特以上の理由から，本研究では Web 文書の平均文長を計測する

徴の線形和で構成される簡潔な可読性指標であるが，可読性と際に終端タグを導入した．終端タグとは，閉じタグが来たらそ理解しやすさにおいて最近の手法 [30] と同等の相関の強さを示

こまでが文になっているべきであるようなタグを指す．例えばしている．

h3 タグや li タグなどが終端タグになる．終端タグを導入する

4. 2. 2 結ことにより，次のような HTML 文書を一文ごとに分割できる．

図 1(a),1(b) は実験に使用した 5 個のクエリのうち，2 個の<h3>C o n s i d e r i n g a Mac</h3>

果クエリの結果の ROC 曲線である．ROC 曲線は閾値をある値にとったときの真陽性率 (True positive rate) と偽陽性率 (False<ul>< l i>Why you ’ l ll o v e a Mac</ l i>

< l i>Which Mac a r e you ?</ l i>
< l i>FAQs</ l i>
< l i>Watch t h e ads</ l i>

positive rate) の組をプロットする．従って，ROC 曲線が左上方に位置するほど手法が優れていると判断できる．これを定量的に評価する尺度として，ROC 曲線の下側の面積 AUC(Areaunder the curve) が利用できる．AUC の値が高いほど，識別</ ul>

精度が高いと言える．
上の文書は実験で使用するデータセット内の文書の一部である．本研究では以下のタグを終端タグとし，平均文長を計測した．: td, th, tr, ul, ol, li, dt, dl, form, option, select, fieldset,

title, p, br, h1, h2, h3, h4, h5.
次に，平易でない語の割合を計測する際に留意すべき点を述べる．Web 文書はトピックによって含まれる語の特性が異なる．例えば，楽器の販売情報について書かれた文書に含まれる語の特性は，楽器名などの固有名詞の割合が大きいと考えられる．このような固有名詞は意味的な難しさがなく平易な語と見なすことができるが，固有名詞は一般的な単語を集めたワード
リストの中に含まれていないため，平易でない語としてカウントされてしまう．

に位置しているクエリと，そうでないクエリがあることが図1(a),1(b) より分かる．5 個のクエリで引かれた ROC 曲線の
AUC の平均を測定した結果，提案手法が 0.6184，比較手法が0.5636 であり，AUC によると提案手法の性能は比較手法より高いことが分かった．
最終的に選択されたモデルで使用した説明変数と，その係数を表 2 に示す．ロジスティック回帰モデルでは，ある説明変数を 1 単位増加させたときに，文書が読みやすいと分類される
確率の変化率は，その説明変数の係数を自然対数を底とする指数関数に適用させることで求められる．それによると，語数が1,000 語増加すると読みやすいと分類される確率は 0.69 倍にな

このような理由から，本研究では Web 文書の平易でない語の割合を計測する際に，文書に含まれる固有名詞を平易な語と
見なした．

4. 実

提案手法の ROC 曲線が既存手法の ROC 曲線より左上方る．また，平均文長が 1 語増加すると読みやすいと分類される
確率は 0.86 倍になり，平易でない語の割合が 1%増えると 0.94倍になる．Web 文書においては，1 ページ内の語数を適切な量験に抑えることが可読性向上に繋がることが分かった．

本節では提案した可読性指標の性能の評価実験と，既存のスコア統合式を用いて適合度と可読性のスコアの統合を行い，その検索精度の評価を行う．

表 2: モデルに使用した説明変数
説明変数
語数

4. 1 実 験 準 備

平易でない語の割合

ここでは，二つの実験において共通する準備について述べる．

平均文長

係数

p値

−3.646 × 10−4

0.03

−6.1100.11−1.454 × 10−10.12

両実験のデータセットには ClueWeb09 [33] の TREC カテゴ
リー B を用いた．このデータセットは約 5,000 万ページの英語

4. 3 スコア統合で書かれた Web ページを含んでいる．クエリは TREC 2011

4. 3. 1 準

Web Track で使用された全 50 個のクエリのうちランダムサン

本実験では文書のクエリ語との適合度と可読性のスコアの統

プリングによって選択された 5 個のクエリを用いた．

備

合を行い，その精度を測定する．

可読性の評価は，日本語を母国語とする大学院生と社会人の本実験の正解文書は，TREC において適合している文書に対3 名で行った．評価は文書の可読性が高いか否かの二段階で行っして可読性が高いか否かの評価を行い，可読性が高いと評価さた。評価者はそれぞれ独立に評価し，最終的な可読性の評価はれた文書とした．すなわち，クエリに適合しており，かつ，平評価者 3 人の議論の上で確定した．

易な文書を正解データとした。本実験の正解データは 124 件で4. 2 可読性指標の評価
4. 2. 1 準備

可読性指標の評価実験には文書の可読性が高いか否かのラベあった．実験は 5 分割交差検定で行った．

4. 3. 2 スコア統合手法
本実験では 6 つのスコア統合手法を用意した．

1.0
0.6
0.2

0.4

True positive rate

0.8

1.0
0.8
0.6
0.4

0.2

0.4

0.6

proposed

NDC

NDC

0.8

0.0

0.0

0.2

True positive rate

0.0

proposed

1.0

0.0

0.2

0.4

False positive rate

0.6

0.8

1.0

False positive rate(a) ROC 曲線 1(b) ROC 曲線 2

図 1: 提案手法と既存手法の ROC 曲線の比較（ 1 ） LIN (X): X の各成分の線形結合

わせより，合計で 10 種類の Copula を用意した．例としてクレ（ 2 ） HM (X): X の各成分の調和平均

イトンコピュラの式を式 (5) に示す．

（ 3 ） SU M (X): X の各成分の和CClayton (U ) = (1 + θ(（ 4 ） P ROD(X): X の各成分の積

i=i（ 5 ） C(U ): Copula により推定した同時分布
ただし，X は成分 xi を 0 から 1 の範囲に収まるように正規データから推定した累積分布関数 Fi (.) によって写像した値を用いる．本実験では適合度と可読性のスコアの統合を行うため，

X の成分は適合度と可読性の 2 つである．
スコア統合手法のそれぞれの式を以下に示す．なお，式 (1)のパラメータ λi は学習データに対して最適化している．

LIN (X) =λi xi (ただしi=1

HM (X) =Cprod (U ) = C(U )

k
∏

ui

(6)

i=1

比較のため，スコアを統合しない手法も用意し，精度を評価した．
（ 7 ） BM 25: BM25 のスコア
（ 8 ） READABILIT Y : 可読性のスコア

4. 3. 3 結(1)

果

表 3，図 2，3，4 に実験結果を示す．Copula によるスコア統合手法は，最も良いコピュラの種類と周辺分布の組み合わせの

∏k

x
j=1 j

∏k

∑k

j=1

k
∑

(2)

xj

xi

i=1

もののみを載せた．
スコアを統合手法よりも BM25 単体でのスコアを用いた場
合に最も高精度であった．このことから，提案した可読性指標はなんらかの問題を含む可能性がある．スコア統合式より

xi

(3)

i=1

∏

BM25 によるソートが最も良い性能になった原因については次節で考察する．スコア統合手法間の比較を行うと，IP@0.0 では SU M と P ROD が最も高い精度であり，IP@0.1 から 0.4

k

P ROD(X) =

(5)

i=1

k·

SU M (X) =λi = 1, λi =
| 0)

1

(u−θ
− 1)))− θi(6) で表現される．

化した値を用いる．また，U の成分 ui はスコア xi を，学習k∑θ

Cprod (U ) は Eickoﬀ らが提案したコピュラ統合式であり，式（ 6 ） Cprod (U ): Copula と尤度の積

k
∑

k
∑
1

xi

(4)

i=i

C(U ) は Copula の種類をパラメータとして選択できる．また，周辺分布の推定はガウス分布と経験分布の 2 種類で行った．
本実験で用いた Copula の種類は，ガウシアンコピュラ，クレ
イトンコピュラ，グンベルコピュラ，フランクコピュラ，経験
コピュラの 5 種類である．周辺分布と Copula の種類の組み合では C が最も高い精度を出した．適合率は P@5 から 15 まで
で SU M が最も高いが LIN 以外の手法もほぼ同等の精度を出した．nDCG@5 では C が最も高く，Cprod ，SU M がほぼ同精度で続いた．

5. 考察

今回の実験において，スコア統合手法の精度が適合度による

表 3: 手法の評価
手法

LIN

SU M

P ROD

IP@0.00.7210 0.7627 0.7700

0.77000.7592 0.7659 0.8731

0.0060IP@0.10.4218 0.5827 0.5900

0.59000.6292 0.6359 0.7981

0.0053

IP@0.2

0.2182 0.4553 0.4522

0.45140.4554 0.4399 0.7243

0.0053

IP@0.30.1648 0.4099 0.4075

0.40600.4391 0.4148 0.5423

0.0049

IP@0.4

0.0930 0.3346 0.3046

0.32320.3595 0.3324 0.4682

0.0049

IP@0.50.0731 0.2734 0.2407

0.25250.2311 0.2049 0.4246

0.0049

HM

C

Cprod

BM 25

0.40000.4400 0.4400 0.6400

0.00000.2800 0.3800 0.4000

0.40000.3800 0.3800 0.5800

0.0000P@15

0.2133 0.3333 0.3333

0.32000.3333 0.3200 0.4800

0.0000P@20

0.1700 0.3500 0.3200

0.33000.3400 0.3300 0.4100

0.0000nDCG@50.3881 0.4262 0.4525

0.42620.4555 0.4525 0.6411

0.0000nDCG@10 0.3240 0.4048 0.4189

0.41750.4090 0.4071 0.6048

0.0000nDCG@15 0.2694 0.3683 0.3689

0.36010.3715 0.3603 0.5323

0.0000nDCG@20 0.2410 0.3861 0.3651

0.3721

0.3825 0.3725 0.4887

0.00001.0

0.3600 0.4000 0.4400

1.0

P@5
P@10

SUM

0.8

HM

SUM
PROD

PROD

C

C

READABILITY

BM25
READABILITY

0.0

0.0

0.2

0.2

C_prod

0.4

ip

BM25

nDCG

C_prod

0.4

LIN

HM

0.6

0.6

0.8

LIN

0.0

0.1

0.2

0.3

0.4

0.5

5

recall

10

15

20
k

0.8

1.0

図 2: 実験結果: IP@recall

図 4: 実験結果: nDCG

LINの値が上位 5,000 件の文書と，正解文書をプロットしたものでHMある．黒丸と赤丸はそれぞれ不正解文書，正解文書に対応する．

SUM

縦軸と横軸はそれぞれ可読性と適合度のスコアである．適合度

PROD

0.4

0.6

C
precision

READABILIT Yのスコアが 0.7 以上のデータは分布が疎であり，多くのデータ

C_prodが可読性のスコアの高い部分に位置している．適合度のスコア

BM25

が 0.7 未満のデータは，可読性のスコアが高い部分で密集して

READABILITY

おり，可読性のスコアが低くなるにつれて疎になっていく．
図 6 中の点は，図 5 の正解文書を推定する際に用いた学習

0.2

データ，すなわち，図 5 を描画する際に選択したクエリ以外の

4 個のクエリにおける正解データである．学習に用いられた文

0.0

書の分布は，適合度のスコア 0.8，可読性のスコア 0.8 付近に分布し，それぞれのスコアの 0 に近づくにつれて，文書が少な
5

10

15

20
k

図 3: 実験結果: 適合率

くなっていくことが分かる．また，図 6 に引かれている等高線
は，学習した Copula によって適合度と可読性を統合したスコアを表している．
図 6 の Copula を用いて図 5 の文書をランキングすると，図ソートに劣っていた原因について考察する．図 5 は今回の実験で用いたクエリのうちの一つで検索された文書のうち，BM25

7 中の A に含まれる文書と B に含まれる文書には同程度のスコ

1.0

1.0

0.6

0.7

0.8

0.8

0.5
0.4
0.3

0.6

0.1

0.2

0.4

readability

0.6
0.4
0.0

0.0

0.2

readability

0.2

0.0

0.2

0.4

0.6

0.8

0.0

1.0

0.2

0.4

bm25

0.6

0.8

1.0

bm25

図 6: 正解文書の分布と学習した Copula

0.6
0.4
0.0

0.2

readability

0.8

1.0

図 5: 統合手法の精度が低いクエリの文書の分布

0.0

0.2

0.4

0.6

0.8

1.0

bm25

図 7: 図 5 で同程度のスコアが付与される範囲

図 8: 統合手法の精度が高いクエリの文書の散布図

アが付与されることになる．B には不正解文書が多く含まれる

解文書に対応する．可読性のスコアの高い部分の密度が高い箇ことから，A に含まれる正解文書を高くランキングすることが所の適合度のスコアが，図 5 と比較して小さい．そのため，前できなくなってしまう．また，C に含まれる正解文書は，適合述した統合手法の精度が低くなる影響が小さくなるため，統合度によるソートでは比較的高順位にランキングされるが，統合手法の精度が適合度によるソートを上回ったと考えられる．

手法では下位にランキングされる．以上より，適合度のスコア

また，提案した可読性指標の性能も統合手法の精度を減少さが高く，可読性のスコアが中央付近の部分に正解文書が存在し，せる原因と考えられる．図 6 の正解文書の分布を見ると，可読

かつ，可読性のスコアが高く，適合度のスコアが中央付近の部

性のスコアが 0.2 付近に文書が存在している．実際にその文書分で文書全体の密度が高くなるとき，Copula によるスコア統の内容を確認すると，文書長は長いが中身が文書が適切に構造合手法の精度が落ちてしまうことが分かる．これは Copula だ

化されているために文書の見通しがよく，内容の概要を把握しけでなく他の統合手法についても同様のことが言える．

やすいため可読性が向上している．これを定量化するために提個別のクエリに対して評価を行った結果，スコア統合手法の案手法ではヘディングタグを用いたが，精度が上がらなかった

精度が適合度によるソートより高くなったクエリにおける文書

ため，適切にヘディングタグが付与されていない文書があるとの散布図を図 8 に示す．黒丸と赤丸はそれぞれ不正解文書，正考えられる．

6. ま と め
[12]

本研究では，Web 文書を対象とした可読性指標を提案し，既存のスコア統合手法を用いて適合度と可読性のスコアを統合し，その精度を評価した．提案した可読性指標の分類精度は，既存の可読性指標と比較して向上した．その一方で，スコア統合手[13]法の実験においては，スコア統合手法の精度が低かった．原因を考察した結果，データの分布によって精度に大きく差が出る[14]

ことが判明した．また，可読性指標についても改善の余地があることが分かった．
今後の課題として，更なる可読性指標の改善が挙げられる．

[15]

5. で述べたように，さらに正確に文書構造の難しさを捉えることのできる特徴を加える必要がある．例えば，p タグ内に含まれる語数を考慮することである．また，今回の実験の測定は，[16]

学習に用いたデータ数が少なかったため，分布の影響を大きく受ける結果となってしまった．そのため，学習に用いるデータ
数を増やすことも今後の課題である．

謝

[17]

辞

本研究の一部は，科研費基盤研究 (B)(課題番号:15H02701)，
基盤研究 (B)(課題番号:26280115) の支援による．ここに記し[18]て謝意を表す．

[19]

文

献

[1] S. Robertson, H. Zaragoza, and M. Taylor. Simple BM25
extension to multiple weighted fields. In CIKM, 2004.
[2] K. Collins–Thompson, P.N. Bennett, R.W. White, S. de laChica, and D. Sontag. Personalizing web search results byreading level. In CIKM 2011. ACM.
[3] Na Dai, Milad Shokouhi, and Brian D Davison. Learning torank for freshness and relevance. In Proceedings of the 34th
international ACM SIGIR conference on Research and development in Information Retrieval. pp 95–104. ACM, 2011.
[4] Gerard M. Salton and Christopher Buckley. Term–weighting
approaches in automatic text retrieval. In Information Processing and Management: an International Journal, Vol. 24,
No. 5, pp. 513–523. 1988.
[5] Jay M Ponte and W Bruce Croft. A language modelingapproach to information retrieval. In Proceedings of the
21st annual international ACM SIGIR conference on Research and development in information retrieval, pp. 275–
281. ACM, 1998.
[6] Stephen E Robertson, Steve Walker, Susan Jones, Micheline
M Hancock–Beaulieu, Mike Gatford, et al. Okapi at trec–3.
NIST SPECIAL PUBLICATION SP, pp. 109–109, 1995.
[7] Edward A Fox and Joseph A Shaw. Combination of multiple
searches. NIST SPECIAL PUBLICATION SP, pp. 243–243.
1994.
[8] Mark Montague and Javed A Aslam. Condorcet fusion forimproved retrieval. In Proceedings of the eleventh international conference on Information and knowledge management, pp. 538–548. ACM, 2002.
[9] Christopher C Vogt and Garrison W Cottrell. Fusion via alinear combination of scores. Information Retrieval, Vol. 1,
No. 3, pp. 151–173, 1999.
[10] Gloria Bordogna and Gabriella Pasi. A model for a soft fusion of information accesses on the web. Fuzzy Sets andSystems, Vol. 148, No. 1, pp. 105–118, 2004.
[11] Shima Gerani, ChengXiang Zhai, and Fabio Crestani. Scoretransformation in linear combination for multi–criteria rel-

[20]

[21]
[22]
[23]

[24]

[25]

[26]

[27]

[28]

[29]
[30]

evance ranking. In Advances in Information Retrieval, pp.
256–267. Springer, 2012.
Chris Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt
Deeds, Nicole Hamilton, and Greg Hullender. Learning torank using gradient descent. In Proceedings of the 22nd
international conference on Machine learning, pp. 89–96.
ACM, 2005.
Jean–Philippe Bouchaud and Marc Potters. Theory of financial risk and derivative pricing: from statistical physics
to risk management. Cambridge university press, 2003.
Mathieu Vrac, Lynne Billard, Edwin Diday, and Alain
Chedin. Copula analysis of mixture models. Computational
Statistics, Vol. 27, No. 3, pp. 427–457, 2012.
Carsten Eickhoﬀ, Arjen P de Vries, and Kevyn Collins
Thompson. Copulas for information retrieval. In Proceedings of the 36th international ACM SIGIR conference on
Research and development in information retrieval, pp. 663–
672. ACM, 2013.
小松田卓也, 清水信幸, 田島玲, 欅淳志, 宮崎純. Copula を用いたスコア統合手法とその有効性の検証. 第７回データ工学と情報
マネジメントに関するフォーラム（DEIM Forum 2015）論文集, 2015.
Carsten Eickhoﬀ, Paval Serdyukov, Arjen P. de Vries.
A Combined Topical/Non-topical Approach to identifying
Web Sites for Children. In Proceedings of thr fourth ACM
International conference on Web search and data mining.
pp. 505–514. 2011.
Klare G. The Measurement of Readability. Iowa State University Press. 1963.
Lijun Feng, Noémie Elhadad, and Matt Huenerfauth. Cognitively Motivated Features for Readability Assessment. In
Proceedings of the 12th Conference of the European Chapter of the ACL, pp. 229–237. ACL, 2009.
Kevyn Collins–Thompson. Computational Assessment of
Text Readability: A Survey of Current and Future Research. In International Journal of Applied Linguistics. Vol.
165, No. 2. pp. 97–135. 2014.
Rudolf Flesch. How to write plain English. Harper andBrothers, New York. 1979.
Robert Gunning. The Technique of Clear Writing. McGraw–
Hill. 1952.
Lijun Feng, Noemie Elhadad, and Matt Huenerfauth. Congnitively motivated features for readability assessment. In
The 12th Conference of the European Chapter of the Association for Computational Linguistics. 2009.
Kevyn Collins–Thompson and Jamie Callan. A language
modeling approach to predicting reading diﬃculty. In Proceeding of HLT/NAACL. 2004.
Jamie Callan Michael J. Heilman, Kevyn Collins–
Thompson and Maxine Eskenazi. Combining lexical andgrammatical features to improve readability measures forfirst and second languages texts. In Proceedings of the North
American Chapter of the Association for Computational
Linguistics. pp 460–467. 2007.
Gyllstrom K., Moens and M–F. Wisdom of the ages: toward
delivering the children’s web with the link based agerankalgorithm. In Proceedings of the 19th ACM international
conference on Information and knowledge management. pp.
159–168. 2010.
Atsushi Keyaki, Jun Miyazaki and Kenji Hatano. Applying
XML Element Retrieval Techniques to Web Documents. In
DBSJ Journal, Vol. 13, No. 1. 2015.
D. R. Cox. The Regression Analysis of Binary Sequences. In Journal of the Royal Statistical Society. Series
B(Methodological). Vol. 20, No. 2, pp 215–242. 1958.
J. Chall. Readability Revisited: The New Dale–Chall Readability Formula. Books/Lumen Editions, 1995.
Shinya Tanaka, Adam Jatowt, Makoto P.Kato and Katsumi

Tanaka. Estimating Content Concreteness for Finding Comprehensible Documents. In WSDM’13, pp 475–484. ACM,
2013.
[31] http://www.rtp-templates.com/Research-Articles/Dale-Chall3000-Simple-Word-List[32] http://trec.nist.gov/data/web2011.html[33] http://www.lemurproject.org/clueweb09.php/