DEIM Forum 2016 G2-2

知識間の語彙出現分布に基づく学習順序推定手法の提案
久保

直人†

佐藤

哲司††

† 筑波大学情報学群知識情報・図書館学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †{otona,satoh}@ce.slis.tsukuba.ac.jp
あらまし 学習には知識全体を学ぶ体系的な学びだけではなく，特定の知識を修得することを目的とした学びもある．
特定の知識の習得では，その知識を獲得するために必要な知識群を選択し，適切な順序で学習することが効果的であるといえる．本研究では，知識間の関係性に基づいて学習順序を推定する手法を提案する．教科書などの文章群を知識群と捉え，出現する語彙を要素知識とし，各文章間で共通する語彙の分布から学習順序を推定する．提案法を物理学の教科書に適用し，特定の知識を効果的に獲得する学習順序を推定する実験を行ったので報告する．
キーワード

学習順序, 情報抽出, 知識

1. は じ め にを示し，それらを定式化し，知識群に対する学習順序の推定手法を提案する．4 章では提案した手法を実際の教材に適用して学習方法は学習目的によって変化する．初中等学校教育のよ推定した学習順序を示す．5 章は各指標の有効性を検証し，並うに体系的な学問の習得を目的とする場合，その学問を構成す

べ替え結果および並べ替え手法に関する考察を示す．6 章にまる知識を網羅的に習得するような学習方法が一般的である．網

とめを示す．

羅的な学習は幅広い知識が習得でき，多くの学問においては教科書という形で学習順序が示されている．一方，特定の知識を2. 関 連 研 究

選択的に習得したい場合，その知識だけでなく前提となっていWikipedia 上の情報より知識間の関係を抽出する研究が盛んる知識群を先に理解しておく必要がある．このような学習方法である．中山ら [1] や伊藤ら伊藤ら [2]，山田ら [3] は，リンク構では必要知識のみを得ようとするため，獲得できる知識は限定

造やリンクの共起性を解析することで Wikipedia の記事間の的であるが目的を達する合計時間は網羅的学習より短縮できる

関連度を測定している．Wei ら [4] は Wikipedia の記事をノー可能性がある．例えば，「独楽はなぜ倒れず回るのか」といった

ド，リンクをエッジとしたネットワークをモチーフ分析し，学課題を急ぎ理解しないといけなかったとする．この時，物理学習することで記事間の上下関係の自動抽出法を提案している．

を網羅的に学習するより，「ジャイロ効果」や「トルク」といっこれらの研究は文章間の関連性を抽出するのに文章間の語彙のた課題解決に必要な知識を設定した上で必要知識に限定して学

共通性や分布を用いることの有効性を示している．Web 上のんでいく方が，課題解決までの時間を短縮できるであろう．こ

情報を理解するための学習順序の提案の研究として西原ら [5]の際，目的の知識に対しての必要となる知識を知識の関連性かの研究がある．類似度と独立度を指標に Web ページ集合クラら動的に選ばなければならず，多くの場合に学習順序が自明でスターを作成し，難易度に基づいてクラスターに順序を与え，ない．

Web ページ理解のための学習順序を推定している．西原らは単本研究では，学習順序が未知の知識群において知識間の関連

語の出現頻度や出現傾向に基づいて Web ページ群の並べ替え性を導出し並べ替えることで学習順序を推定する手法の提案をを行い，ケンドールの順位相関係数にて正の相関が得られたこ目的とする．目的の知識を設定し，知識間の関連性から動的にとと，利用者実験の結果からその有効性を示している．

必要知識を抽出し並べ替える．本研究は最短学習順序を推定するための要素研究である．

本研究では，特定の知識について記述されている文章を知識とし，その文書内に出現する語彙を要素知識と仮定し，要素知

知識群に対する学習順序を得るためには，知識間の関係を機

識の出現傾向を用いて知識間の関係を抽出し，3 つの指標に基械的に得る必要がある．そこで，知識を要素知識の集合体であづく学習順序推定手法を提案する．学習順序推定において西原

るとし，知識間の関係は要素知識の出現傾向によって得られるら [5] との違いは，学習順序を決定する指標を重要度のほかに，とする．出現傾向を表す指標として難易度，重要度，幅広さを難易度や幅広さを用いて学習順序を推定する点である．

仮定し，学習順序が未知の知識群の学習順序を推定する．また，得られた学習順序を評価し，知識間の関係を得る方法として要素知識の出現傾向を見ることが，適切であるかを評価する．

3. 学習順序の推定手法
3. 1 学習順序決定法

本論文では，まず 2 章で知識間関係の抽出，学習順序推定に

学習順序とは，学習者が獲得したい知識を習得するのに必要

関する関連研究を挙げ，それらの手法・目的について述べた上となる種々の知識を学びやすくなるように並べ替え構築される．

で本研究の位置づけを示す．3 章では学習順序を決定する要素

知識は様々な知識（要素知識）の集合体である．教科書などの章で構成された学習順序の場合，章タイトルが知識名，章に出表 1: 語彙が出現する章数

現する語彙が要素知識に相当する．このとき学びやすさは，
「知

語彙

出現回数

章

識そのものの難しさ」「知識間の遷移の難しさ」で測られる．
「知

山

3

A,B,C

識そのものの難しさ」は要素知識の数や，要素知識の学問的難

川

2

A,D

しさで計算され，知識そのものの評価である．
「知識間の遷移の

谷

2

A,C

難しさ」は，知識Ａを学んだ後知識Ｂを学ぶときの難しさであ

空

3

A,B,C

り，知識間の評価である．この学びやすさを最大化することで，

林

2

B

効果的な学習順序を構築することを目指す．以下に学びやすさ

滝

1

B

野

1

D

湖

1

D

海

1

D

を定式化し，3. 2 節で学習順序推定システムについて示す．

3. 1. 1 「知識そのものの難しさ」：重要度，学問的幅広さ
本研究では知識そのものの難しさを定式化するにあたって，知識間の要素知識の出現分布に注目する．特定の知識群において全ての要素知識は以下の 2 通りに分類される．



わかっているとき，始めに語彙ごとの文章群内における出現頻度の表 1 を得る．出現頻度表を用いて語彙出現分布の表 2（ 1 ） 基礎要素知識．

を得る，表 2 を出現回数方向に正規化して表 3 を得る．章 A

知識群中で出現頻度が高い要素知識．知識群中では重要

において，山と空は全体で 3 回出現しているため出現数分布

度が高く，基礎となる知識．図 1a において要素知識は全Dd,x が 3 の箇所に 2 と記述している．川と谷は全体で２回出

5 つの知識のうち 4 つに共通しているため重要度が高い．

現しているため出現数分布 Dd,x が 2 の箇所に 2 と記述して（ 2 ） 専門要素知識．

いる．このとき，章 D の重要度 Id は正規化した語彙出現分布

知識郡中で出現頻度が低い要素知識．知識郡中では重要

表 3 を用いて出現回数分布 x と実際の正規化された出現回数度が低く，専門的な知識．図 1b において要素知識は 2 つ

Dd,x の積の総和によって求められる．(式（1）) 章 A の重要度の知識にしか出現していないため重要度が低い．

IA = 1 × 0 + 2 × 0.5 + 3 × 0.5 + 4 × 0 = 2.5 となる．





要素知識をノードとし，知識間で共通の要素知識がある場合
それらをエッジで結んだときの要素知識モデルを図 1 に示す．
この図は 5 つの知識群がありＡ，B の要素知識があるときのモデルを示している．

Id =

n
∑

xDd,x

(1)

x=1

また，最適な学習順序を推定するにあたって知識の学問的難
しさも定式化しなければならない．本論文において特定の知識

基礎要素知識を多く持つ知識は，学んだ要素知識が他の知識で出現する可能性が高いため習得優先度が高いとする．一方，専門要素知識を多く持つ知識は，学んだ要素知識が他の知識で出現する可能性は低いため優先度が低い．したがって，知識の習得優先度は基礎要素知識と専門要素知識の割合によって決定され，重要度として算出される．
実際の教科書などの章立てされた文章を対象に重要度を算出する場合，各章を知識，出現する語彙を要素知識とする．例
として図 2 のように，章 A から D があり，出現する語彙がの学問的難しさとは，その知識について記述された文章の難易度によって決定されるものとする．文章の難易度は文中の一般
用語以外，専門用語の多さと依存関係がある [6] [7]．本研究では知識について記述している文章を得るために，Wikipedia を用いる．Wikipedia においてアウトリンクとは他の知識との関連を示しており，一般用語がリンクとなっている可能性は低い．
そこで特定の知識に相当する Wikipedia ページにおいて，リンク数の多い知識は，学問的に難しいとし学問的幅広さ Wd として算出する．したがって，文章 d の要素知識数 sd,x が n 個あるとき，学問的幅広さ Wd は式 (2) によって求める．

∑n
Wd =

x=1

要素知識 sd,x の Wikipedia 内でのリンク数n(a) 基礎知識

図 2: 重要度算出例(b) 専門知識

図 1: 要素知識モデル(2)

表 2: 語彙出現分布
文章 d

出現回数分布 Dd,x

1 2 3

4

A

0 2 2

0

B

2 0 2

0

C

1 1 2

0

D

3 1 0

0

図 3: 難易度想定モデル

表 3: 正規化した語彙出現分布
文章 d

出現回数分布 Dd,x

1

2

重要度 Id3 4

表 5: 文章 xy 間の難易度 DxyA0

0.5 0.5 0

2.5

B

0.5

0 0.5 02

C

0.25 0.25 0.5 0

2.25

A

D

0.75 0.25

1.25

B

0.40

C

0.40 0.87

0 0

文章 x

文章 y

A

B

C

0.25 0.62
0.75

表 4: 文章 xy 間の共通知識 |Sx ∩ Sy |
文章 y
文章 x

A B C

A

3

B

3

C

3

3
1

1

3. 1. 2 「知識間の遷移の難しさ」：難易度
知識間の遷移の難しさとは知識 A を学んだ後知識 B を学ぶ

図 4: 学習順序推定システム

ときの難しさである．新しい知識を学ぶときの難しさとは，知識そのものの学問的難しさによって測られるが，同時に新しい
要素知識の出現数によっても測られる．既知の要素知識が多く出現する知識は学びやすく，逆に少ない場合，可読性が低く理解するための難易度が高い．図 3 のような知識群を想定したと
き，共通知識の数は表 4 のようになる．このとき知識Ａに対して知識Ｂ，知識Ｃの共通知識数は同じであるため同列であると考えられる．
一方で，知識Ａに対し知識Ｂ，知識Ｃは共通の要素知識が同じであるが，それ以外の要素知識の数が大きく異なる．知識間の遷移の難しさを考えるのであれば，新たに学ばなければな
らない要素知識の数は知識Ｃのほうが圧倒的に多く，それだけ難しくなると考えられる．そこで本研究では，知識 x から知識 y へと学ぶ時の難易度 Dxy は x，y それぞれの要素知識群
を Sy ，Sx としたとき式 3 で算出する．表 5 においては知識Ａを学んだ後知識Ｂを学ぶときの難易度（知識 AB 間の遷移の難易度）DAB = 1 − 34 = 0.25，知識 AC 間の遷移の難易度

DAC = 1 − 38 = 0.62 となり，知識ＡＣ間を遷移するほうが難しいということがわかる．また，知識ＣＢ間の遷移の難易度

DCB = 1 − 18 = 0.87 と最も遷移が難しいことがわかる．
Dxy = 1 −|Sx ∩ Sy |
|Sy |

(3)

3. 2 学習順序推定システム
学習順序推定システムは，実際の教科書などから抽出した文章群を対象に用いる．図 4 にシステム全体図を示す．

3. 3 学習順序推定のためのデータセット生成
図 4 における工程１〜6 の学習順序推定のために用いるデー
タセットの生成方法について示す．
（ 1 ） 語彙抽出
本研究では，教科書や参考書などの特定の知識について記述された文章集合を知識群とし，その文章を知識とする．文章中の単語より 3Gram 以上の単語を抽出した．得られた単語群中で Wikipedia の記事タイトルとして存在する単語で重複を削除したものを語彙とし抽出した．
（ 2 ） 文章間の共通語彙抽出．
対象文章群に対して表 4 に示すような文章間の共通語彙数の行列を生成する．
（ 3 ） 文章間の語彙出現数抽出．
対象文章群に対し表 3 に示すような，正規化した語彙出現分
布表を生成する.
（ 4 ） 用語の Wikipedia におけるリンク抽出．
対象文章群に対し.．各語彙に相当する Wikipedia 記事内のリンクを抽出する.
（ 5 ） 3 指標算出．
式 (1) 式 (2) 式 (3) でそれぞれ定義した重要度，学問的幅広さ，難易度を各文章において算出する．
（ 6 ） 3 指標に基づく並べ替え．
得られた 3 指標を用いて，文章を並べ替えることにより学習順序を推定する．

3. 3. 1 難易度 Dxy ，重要度 Id ，学問的な幅広さ Wd の算出
式 (1)，式 (2)，式 (3) を用いてそれぞれ重要度 Id ，学問的表 6: HTSSP 章タイトルおよび語彙数
章番号

タイトル

語彙数

な幅広さ Wd ，難易度 Dd を算出する. これらを総称して 3 指

1

Units

623

標と呼ぶ.

2

Waves and Wavelike Motion

248

3

Geometrical Optics

686

3. 4 3 指標に基づく文章の並べ替え

4

Vectors686

前項で得られた 3 指標を用いて文章の並べ替えをすることに5

Forces638

6

Rectilinear Motion

370

7

Momentum325

では効率的な学習をするためには，基礎的で簡単な知識を前半

8Work and Energy

884に学び，専門的で難しい知識は後半に学ぶこと. が適切であり，9Collisions and Explosions

425

10

Newtonian Gravitation

404

知識間遷移の難易度が一定かつ総合的に低い学習順序が. 適切

11

Preddure210

であると仮定する．そこで，3 指標それぞれを用いて並べ替え

12

Heat and Properties of Matter

1140

13

Electrostatics

612

14

Electricity

1321

15

Magnets and Electromagnetism

1277

16

Electronics

1260

17

The Atom636

たがって推定された学習順序における文章間の難易度の合計値

18

Modern Physics

283が低いものは総合的に学びやすい学習順序であるといえる．ま19

Inside atomic nucleus

1842

よって学習順序を得る. 学習順序を推定するにあたり，本研究手法を提案した．

•

難易度 Dxy に基づく並べ替え．

難易度 Dxy とは文章間を遷移するときの難しさを表す．した，合計値が低くても，急激に難易度が増加，減少する学習順
序はスムーズに学びにくいと考え，文章間の難易度の分散が低う文章を並び替えることで，段階的に学問的幅広さ Wd が上昇

い学習順序ほどよい学習順序とする．そこで，対象文章群に対する学習順序を推定する．

して表 5 に示すような難易度行列を得る．そして以下のフロー

4. 評 価 実 験に従って学習順序を推定する．
スタート文章を設定し，学習順序リストに追加する．

本研究では，学習順序が既知の文章群に対し，提案手法を用

難易度行列においてスタート文章から最も難易度がいて学習順序を推定する．提案手法によって得られた学習順序

低い文章を見つけ，文章番号を学習順序リストに追加する．まが，本来の学習順序をどの程度再現できているか相関係数にた難易度を記録する．

よって検証する．また，知識間の語彙出現分布によって推定しStep1.
Step2.

Step3.

見つけた文章より，既に学習順序リストにない文章の中から最も難易度が低い文章を見つけ，文章番号を学習順序リストに追加．難易度を記録する

た学習順序の有効性についても検証する．

4. 1 対象のデータセット
本実験では，Free High School Science Texts の「A Text-

学習順序リストに全ての文章番号が追加されるまで

book for High School Students Studying Physics.」（THSSP）

Step3 の工程を行う．全て追加されたら記録されている難易度[8] を対象に学習順序を推定した．このテキストは Wikibookの分散を計算し，得られた学習順序リストを学習順序候補とを参考に作られた初等物理学の pdf の教科書で，全 19 章にわする．

たって書かれている．各章番に対する章タイトルおよび語彙数

Step4.

Step5.

全ての文章をスタートページにして Step1からStep4の工程を実行し，学習順序候補を得る．

Step6.

全ての学習順序候補において難易度の分散が最も低いものを難易度に基づく学習順序とする．

•

重要度 Id に基づく並べ替え．

重要度が高い文章とは，他の文章に共通して出てくる語彙が出現しやすい図 1a のＡのような語彙を多く持つ基礎的な文章であると考えられる．また，重要度が低い文章は図 1b に示すを表 6 に示す．

4. 2 システムによって得られた 3 指標
THSSP の各章を文章群とし 3. 章で示した学習順序推定手法
を用いて文章を並べ替え学習順序を推定した．システムによって得られた重要度 I ，学問的幅広さ Wd のグラフ化したものをそれぞれ図 5 図 6 に示す．
重要度 I は直線近似をしたところ，下降傾向が見られたため
学習順序推定に用いる．

B のような語彙を多く持つ文章であり専門的な文章であると考学問的幅広さ Wd は学習順序において後半に出現する文章はえられる．従って，重要度 Id が降順になるように並び替える

学問的幅広さが高くなると仮定したものの，直線近似の結果下ことで，段階的に重要度が低くなる学習順序を推定する．

降傾向が見られた．そのため，学習順序推定に用いる指標とし•学問的幅広さ Wd に基づく並び替え．

て適切でないとし，並べ替えに用いなかった．しかし，学問的学問的幅広さが高い文章とは，Wikipedia 内において多くの幅広さ Wd は当初の狙い通りであれば上昇傾向が見られるはず文章をリンク（参照）している文章である．Wikipedia の記事であったが，下降傾向が見られたため学習順序推定には適さなにおいてリンクの相当する単語が未知の場合，その記事は可読いと判断し用いなかった．全ての文章の組み合わせに対する難性が低くなり，文章を理解するのが難しくなる．リンク数が多

易度 Dxy の行列を表 7 に示す．この表は，各行の章を基点といほど，未知の単語の出現可能性が高くなるため理解が難しい

して，列に示す他の章に遷移する際の難易度を示している．例

知識と考えられる．従って，学問的幅広さ Wd が昇順になるよ

えば，第 1 章から第 2 章に遷移する難易度 (1 → 2) は 0.49 で

表 7: 文章間の難易度 Dxy
基点

遷移先の文章

1
1

2

3

4

0.00 0.49 0.66

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

0.58

0.59 0.54 0.55 0.66 0.60 0.54 0.66 0.67 0.62 0.71 0.70 0.70 0.64 0.54 0.73

2 0.780.00 0.78

0.78

0.78 0.69 0.73 0.82 0.75 0.71 0.79 0.82 0.76 0.85 0.84 0.85 0.80 0.68 0.87

3

0.62

0.45 0.00

0.58

0.58 0.51 0.51 0.64 0.53 0.53 0.64 0.66 0.56 0.69 0.68 0.66 0.62 0.50 0.69

4

0.50

0.41 0.55

0.00 0.43 0.34 0.33 0.61 0.51 0.44 0.58 0.63 0.50 0.63 0.64 0.66 0.60 0.52 0.70

5

0.55

0.45 0.58 0.48

0.00 0.42 0.37 0.61 0.50 0.40 0.61 0.63 0.47 0.66 0.65 0.68 0.59 0.53 0.70

6

0.70

0.55 0.71

0.64

0.65 0.00 0.51 0.75 0.59 0.56 0.72 0.76 0.66 0.77 0.78 0.79 0.74 0.66 0.82

7

0.73

0.63 0.74

0.66

0.66 0.56 0.00 0.76 0.59 0.62 0.68 0.77 0.69 0.81 0.81 0.81 0.77 0.68 0.83

8

0.53

0.44 0.55

0.55

0.51 0.47 0.45 0.00 0.47 0.46 0.23 0.57 0.48 0.62 0.62 0.59 0.56 0.48 0.64

9

0.71

0.59 0.69

0.70

0.67 0.55 0.50 0.72 0.00 0.59 0.68 0.74 0.64 0.77 0.78 0.77 0.71 0.66 0.79

10

0.68

0.54 0.69

0.66

0.61 0.53 0.55 0.72 0.60 0.00 0.65 0.74 0.63 0.78 0.77 0.78 0.69 0.63 0.80

11

0.87

0.83 0.88

0.87

0.87 0.84 0.81 0.79 0.84 0.82 0.00 0.88 0.86 0.89 0.89 0.89 0.87 0.85 0.91

12

0.40

0.28 0.45

0.43

0.39 0.33 0.30 0.43 0.35 0.34 0.40 0.00 0.35 0.49 0.50 0.51 0.41 0.32 0.51

13

0.59

0.41 0.57

0.55

0.48 0.44 0.44 0.60 0.46 0.44 0.58 0.62 0.00 0.65 0.66 0.65 0.54 0.47 0.69

14

0.38

0.27 0.41

0.35

0.36 0.26 0.32 0.43 0.33 0.34 0.38 0.40 0.31 0.00 0.36 0.39 0.37 0.36 0.48

15

0.42

0.31 0.44

0.42

0.39 0.36 0.39 0.47 0.41 0.39 0.45 0.46 0.39 0.42 0.00 0.44 0.41 0.37 0.52

16

0.47

0.39 0.45

0.50

0.48 0.45 0.45 0.49 0.45 0.46 0.46 0.53 0.43 0.49 0.49 0.00 0.44 0.41 0.56

17

0.63

0.54 0.64

0.65

0.61 0.59 0.60 0.67 0.59 0.55 0.64 0.66 0.56 0.69 0.68 0.66 0.00 0.47 0.68

18

0.78

0.65 0.78

0.80

0.79 0.75 0.74 0.82 0.78 0.75 0.80 0.82 0.76 0.85 0.84 0.84 0.76 0.00 0.85

19

0.30

0.24 0.27

0.35

0.29 0.28 0.25 0.33 0.26 0.27 0.35 0.31 0.27 0.36 0.36 0.35 0.22 0.20 0.00

4. 3 評 価 方 法
システムによって得られた学習順序が THSSP の章立て（正順序）をどの程度再現できているかの評価法として，スピアマ
ンの順位相関係数をを用いる．

•

スピアマンの順位相関係数 ρ．

スピアマンの順位相関係数 ρ は 2 つのリスト間の関係が任意の単調関数によってどの程度表現できるかを評価する指標である．全アイテム数を n，評価対象の第 i 位のアイテム ri とし，評価基準のリストの第 i 位を si とした時，相関係数 ρ は，式(4) で求められる．

図 5: 重要度 I

ρ=1−

6

∑n
i=1

(xi − yi )2n(n2 − 1)(4)

4. 4 各指標に基づく並べ替えと評価
THSSP を対象に抽出した，重要度 Id および難易度 Dxy を用いて並べ替えた学習順序を示し 4. 3 節で示した評価指標を用いて評価する．

4. 4. 1 重要度 Id に基づく並べ替え
重要度 Id が降順になるように並べ替えた学習順序の結果を表 9 に示す．またその分布図を図 7 に示す．分布図は横軸は本
来割り当てられるべき章番号で，縦軸は推定された学習順序において実際に割り当てられた章である．図 7 においては，並べ替えの結果 1 章が来るべき箇所に 2 章が割り当てられていることがわかる．完全に再現できたのであれば，正解順序の線と同等の直線が得られる．並べ替えの結果を評価指標式 (4) で評価
図 6: 学問的幅広さ Wd

した結果を表 10 に示す．

4. 4. 2 難易度 Dxy に基づく並べ替えあることを示している．一方 (2 → 1) は 0.78 であり，難易度には指向性があることがわかる．

各文章をスタート文章としたときの分散の値を表 8 に示す．
分散の値より 1 章がスタート文章となった．このとき難易度に

図 7: 重要度 Id に基づく並べ替え

図 8: 難易度 Dxy に基づく並べ替え

表 8: スタート文章を変化させたときの難易度分散

表 10: 並べ替え結果のスピアマンの順位相関係数 ρ による評価

スタート文章分散 V

スタート文章分散 V

10.0109110.0121

並べ替え法

結果

2

0.0113120.0151

重要度 Id3

0.0118130.0125

難易度 Dxy

40.0139140.0226

50.0208150.0135

60.020016

0.012570.0114170.018780.018118

0.0180

本研究では，知識間の語彙出現分布に基づく学習順序推定手

90.019319

0.0247法を提案した．具体的には，知識間の関係を表す難易度 Dxy ，

10

0.0200

結果

5. 考

有意確率

検定結果

0.4421

0.05810.01<P<0.05

0.57710.00967

P<0.01

察重要度 Id ，幅広さ Wd の 3 つの指標を提案し，その各指標と学習順序との関係を仮定し，並べ替えを試みた．また並べ替えの

表 9: 並べ替え結果
正解順序

並べ替え法

結果をスピアマンの順位相関係数を用いて評価した．
本章では，各指標，並べ替え手法それぞれに関する考察を述重要度 Id

難易度 Dxy

1

2

1

2

7

2

3

6

18

4

10

7

5

18

6

6

9

10

5. 1. 1 重 要 度 Id

7

13

9

3. 1 節で示した重要性算出の定義に従えば，学習順序におい

8

11

13

て後半に来る知識は専門性が高く重要度が低くなるはずである．

9

5

5

実際に重要度を章ごとに算出した結果のグラフ図 5 を直線近似

10

4

4

11

1

3

12

17

17

科書 THSSP は重要度 Id が徐々に減少していく傾向があるこ

13

3

11

とが分った．また，2 章や 18 章のように急激に重要度が上昇す

べる．また，最後に全体を通じた考察を行う．

5. 1 3 指標に関する考察
本研究では，知識間の学習順序を決定する知識の難しさを定式化し，物理学の教科書 (THSSP) の章群を対象に式を用いて数値を抽出した．

したところ，傾きが負の直線が得られたため本実験に用いた教

14

8

8

る章は表 6 より共通して語彙数が少ないことが分る．このこと

15

12

12

から，語彙数の少ない章は適切に重要度を算出できていないこ

16

16

14

とが分る．

17

15

15

5. 1. 2 難易度 Dxy

18

14

16

19

19

19

難易度 Dxy は全ての章の間において計算されている．難易度算出の定義に従えば，学習順序の後半に専門性の高い章が出現する可能性が高く，他章からの難易度が高くなると考えられ基づいて得られた学習順序を表 9 に示す．またその分布図を図る．表 7 において他章からの難易度の合計値 Dsum をグラフ化

8 に示す．並べ替えの結果を評価指標式 (4) で評価した結果をしたものを図 9 に示す．

表 10 に示す．

図 9 において直線近似の結果，上昇傾向が見られたため本実験に用いた教科書 THSSP は徐々に難易度が上昇する傾向があることが分った．また，2 章や 18 章などの語彙数の少ない章要度に基づく並べ替えと比較して部分的なまとまりを再現できていることがわかる．例えば，16 章から 18 章のように完全に元の章立てを再現できている箇所や，9 章から 11 章のように逆転はしているもののまとまりは再現できている箇所が多く見られた．重要度に対して難易度は各々の章間で算出され，内容が近いものほど難易度が低く算出される．そのとめ 9 章から 11章のように電気電子系という共通の内容をもつ章がまとまって並び替えられたのだと考えられる．また，学習順序的に隣り合う章の関係は再現できたものの，5 章の次に 4 章が並べられる，

7 章の次に 6 章が並べられるなど章関係が逆順に検出された箇所が多く見られた．これらに共通していることは，逆順でも正
図 9: 各章に対する難易度合計値 Dsum

順でも難易度 Dxy が低いということである．たとえば 4 章 5
章間において，4 章から 5 章へ遷移するときの難易度 D4,5 はは，急激に難易度が下降しているため適切に難易度を算出できていないことが分る．

5. 1. 3 学問的幅広さ Wd
各章に対する学問的幅広さ Wd をグラフ化した図 6 を直線近似したところ，傾きが負の直線が得られたため，本論文において学習順序推定には用いなかった．従って，「知識そのものの難しさ」を測る指標として適切でないことがわかった．学問的幅広さの仮定として，Wikipedia においてリンク数が多いページ（知識）は難易度が高いとしたが，参考文献が多いページ，リ
ンク数がもとよりおおいポータル的ページなどにより，有意な傾向が得られなかったのだと考えられる．また，文中に出現する語彙に相当する Wikipedia のページを WikipediaAPI で抽出した際，本システムでは API を用いて一番初めにマッチしたページを用いたが，表記ゆれのある語彙や，複数の意味を持
つ語彙の場合検索結果は一つでなく複数得られるため，適切に語彙とマッチするページが得られていない可能性がある．そのため検索語と正しくマッチする同時に，正しくないものは抽出
しない検索手法を提案する必要がある．

5. 2 並べ替え手法に関する考察
本節では算出した重要度 Id 難易度 Dxy を用いた学習順序推定手法に関する考察をする．

5. 2. 1 重要度 Id に基づく学習順序推定システムを用いて推定された重要度 Id に基づく学習順序推定結果表 10 により，THSSP の章立てと正の相関がえられ重要
度 Ｉ に基づく並べ替えがある程度有効であることがわかった．
スピアマンの順位相関係数 ρ において，THSSP の章立てと並べ替えの結果得られた章立ての間に 0.442 とやや強い相関があることがわかった．

5. 2. 2 難易度 Dxy に基づく学習順序推定システムを用いて推定された難易度 Dxy に基づく学習順序
推定結果表 10 により，THSSP の章立てと正の相関がえられ難易度 Ｉ に基づく並べ替えがある程度有効であることがわかった．スピアマンの順位相関係数 ρ において，THSSP の章立てと並べ替えの結果得られた章立ての間に 0.577 とやや強い相関があることがわかった．
また，難易度に基づく並べ替え結果の分布図 8 において，重0.43，5 章から 4 章へ遷移するときの難易度 D5,4 は 0.48 とほぼ同値かつ低い数値であった．難易度 Dxy に基づく並べ替えの場合，一度学習順序リストに検出されると，それより低い難易度で遷移できる章が存在しても検出できないという欠点がある．仮に，どちらからも難易度 Dxy の低い結びつきの強い 2 つの章があったとき，先に後続の章が検出された場合このような逆転現象が起こる可能性がある．逆転現象を解消するためには
学習順序推定において 1 つの章が複数の章の基礎となる可能性を加味することで解決されるものと考えられる．１つの章から複数の章につながりを持てるような並べ替え手法の考案が今後の課題となる．

5. 3 全体を通じた考察と今後の課題
重要度 Id 難易度 Dxy において，ある程度定義通りの数値を抽出することができた．2 つの並べ替え手法は 2 つの評価指標で評価した結果ある程度の有効性が確認された．図 10 に 2 つの並べ替え手法の分布図を示す．評価結果を比較したところ難易度に基づく並べ替えのほうが並べ替え精度が高かったが，2手法に共通して語彙数が少ない章は適切に指標が得られていな
いことが分る．そのため今後は，語彙数が少ない章をどのように評価し指標を得ていくかが今後の課題となる．また、図において 2 つの並べ替え結果間においてかなり強い相関が見られる．
これは，別々の２指標間に相関があるものと考えられ，指標の構造を再構成する必要があることが分った．また，研究の目的である目的の知識に対する最短ルートを得るために，学習順序に必要でない知識を検出する手法の提案も今後の課題となる．

6. 結

論

本研究では，知識間の語彙出現分布に基づく学習順序推定手法を提案した．学習順序を決定する要素として，「知識そのものの難しさ」「知識間の遷移の難しさ」を定義し，この定義を重
要度 Id 難易度 Dxy 学問的幅広さ Wd の 3 指標で定式化した．
定式化した式を用いて知識の並べ替え手法を提案し，実際の物理学の教科書を対象に章立てを再構成し評価を行った．
知識群内での語彙出現分布より知識の重要度 Id を算出し，これが徐々に減少していくように知識を並び替えることで，基礎的な知識を学習順序前半に専門的な知識を後半に出現するような学習順序の推定手法を提案した．知識間の共通語彙数および，

に基づく情報理解支援システム (コンテンツ技術,web 情報シス
テム). 電子情報通信学会論文誌. D, 情報・システム, Vol. 89,
No. 9, pp. 1963–1975, sep 2006.
[6] John R. Bormuth. Readability: A New Approach, Vol. 1.
[Wiley, International Reading Association], 1966.
[7] George Spache. A new readability formula for primarygrade reading materials. The Elementary School Journal,
pp. 410–413, mar 1953.
[8] Mark Horner, Samuel Halliday, Sarah Blyth, Rory Adams,
and Spencer Wheaton. A textbook for high school students
studying physics. http://www.nongnu.org/fhsst/fhsstphy.pdf.

図 10: 難易度に基づく並べ替え Dsort と重要度に基づく並べ替
え Isort の結果比較

共通でない知識のより知識間の遷移の難易度 Dxy を算出した．
共通でない知識の出現確率を学習順序全体で下げ，学習順序の
知識間難易度 Dxy の分散が最も低くなるように並べ替えることで，未知の語彙が出現する確立が少なくかつ一定である学習順序の推定手法を提案した．知識そのものがどれだけ専門的であるか，学問的幅広さ Wd が幅広いかを Wikipedia を用いて算出した．算出した学問的幅広さ Wd が上昇するように知識を並び替えることで，学習順序全体を通じて徐々に難しくなる学習
順序の推定手法を提案した．
実際に物理学の教科書を対象に提案した学習順序推定手法を用いて学習順序を推定し，得られた学習順序をスピアマンの順
位相関係数 ρ を用いて評価した．重要度 Id に基づく並べ替えによって得られた学習順序は，実際の章立てに対しスピアマンの順位相関係数 ρ で 0.442 とやや弱い相関が得られた．難易度

Dxy に基づく並べ替えによって得られた学習順序は，スピアマ
ンの順位相関係数 ρ で 0.577 とやや強い相関が得られた．この
結果提案した学習順序推定手法が，実際の学習順序を再現するのにある程度有効であることがわかった．今後の課題として，
教科書において語彙数の少ない章を適切に評価できるようにすること，最短の学習順序推定法の構築が挙げられる．

7. 謝

辞

本研究は，JSPS 科研費 25540159 の助成を受けたものです．
ここに記して謝意を示します．
文

献[1] 中山浩太郎, 原隆浩, 西尾章治郎. Wikipedia マイニングによるシソーラス辞書の構築手法. 情報処理学会論文誌, Vol. 47,
No. 10, pp. 2917–2928, oct 2006.
[2] 伊藤雅弘. Wikipedia を用いた概念間の関連度測定に関する研究. 博士論文, 大阪大学, 2011.
[3] 山田一郎, 鳥澤健太郎, 風間淳一, 黒田航, 村田真樹, ステインデ・サーガ, フランシスボンド, 隅田飛鳥, 橋本力. 分布類似度と wikipedia から獲得した構造情報を利用した上位下位関係獲得. 情報処理学会論文誌, Vol. 52, No. 12, pp. 3435–3447, dec
2011.
[4] Bifan Wei, Jun Liu, Jian Ma, Qinghua Zheng, Wei Zhang,and Boqin Feng. Motif-based hyponym relation extraction
from wikipedia hyperlinks. Knowledge and Data Engineering, IEEE Transactions on, Vol. 26, No. 10, pp. 2507–2519,
oct 2014.
[5] 西原陽子, 砂山渡, 谷内田正彦. Web ページの難易度と学習順序