481(~痔稟請天~）講義再現システムにおけるスライド重要度抽出
ＥｘｔｒａｃｔｉｎｇｌｍｐｏｒｔａｎｃｅｏｆＳｌｉｄｅｓｉｎａＬｅｃｔｕｒｅＲｅｖｉｅｗＳｙｓｔｅｍ
山田博文豊橋技術科学大学マルチメディアセンター

ＨｉｒｏｂｕｍｉＹａｍａｄａＭｕｌｔｉｍｅｄｉａＣｅｎｔｅｒ，ＴｏｙｏｈａｓｈｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇy

yamadaOvox・tutkie・tutac.ｊｐ

松田下ﾛ彦＊

豊橋技術科学大学大学院工学研究科

ＫａｚｕｈｉｋｏＭａｔｓｕｄａＧｒａｄｕａｔｅＳｃｈｏｏｌｏｆＥｎｇｉｎｅｅｒｉｎｇ，ＴｏｙｏｈａｓｈｉＵｎｉｖｅｒｓｉｔｙｏｆＴもchnology

matsudaOvox､tutkie・tut・ａｃ.』ｐ

田口亮（同上）RyoTaguchitaguchiQvox・tutkie､tut・ａｃ､ｊｐ

桂田浩一（同上）

KouichiKatsuradakaturadaOvox,tutkie・tut・ａｃ.』ｐ'｣、林聡豊橋技術科学大学情報処理センター

ＳａｔｏｓｈｉＫｏｂａｙａｓｈｉＣｏｍｐｕｔｅｒＣｅｎｔｅｒ，ＴｏｙｏｈａｓｈｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇy

skobaOvox・tutkie・ｔｕｔａｃ.』ｐ

新田’恒雄豊橋技術科学大学大学院工学研究科

ＴｓｕｎｅｏＮｉｔｔａＧｒａｄｕａｔｅＳｃｈｏｏｌｏｆＥｎｇｉｎｅｅｒｉｎｇ，ＴｂｙｏｈａｓｈｉＵｎｉｖｅｒｓｉｔｙｏｆＴ℃chnology

nittaOtutkie・tut・ａｃ・ｊｐ，http:／/wwmvox・tutkie・tut・ａｃ・jp／

keywords：lecturereviewsystem，importanceofslides，extractionofimportance，nonlinguisticinfbrmation
Ｓｕｍｍａｒｙ

Thispaperdescribesamethodfbrextractingimportanceofslidesinalecturereviewsystem・We
introduce，，indexofimportance1，toquantitativelyevaluateimportanceofslides・Theindexofimportanceissubjectiveevaluationvaluethatisattachedtoeachslidebylecturers・Firstly,thelecturereviewsysteln
extractstheindexofimportanceoftheslidebyusingamulti-layerneuralnetwork(MLN）InaMLNlearning
process，eighttypesofnonlinguisticinfbrmations,suchasthepresentationtilneoftheslide，areusedas
inputsandtheindexofimportancegivenbylecturersaresetasoutputs、Secondly,theindexofimportanceismodifiedｂｙｕｓｉｎｇｔｈｅｏｔｈｅｒＭＬＮｗｈｉｃｈｈａｓｔｗｏｔypesofinputs;oneistheindexofimportanceandthe
otherissimilaritiesbetweentheslideandadjacentslides・Thesimilaritiesarecalculatedwithkey-word
vectorsextractedbylinguisticinfbrmationsinslides・Theexperimentalresultsshowedthattheindexof
importanceextractedbythesystemishighlycorrelatedwiththeindexattachedbylecturers・Asaresult，thelecturerevieWsystemwiththeproposedextractionmethodcanproperlydetectkeyslidesandhelps
studentstolearnthecontentsofalectureeHectively．

１．はじめに先行研究としてはeClass[Abord99]やVIEWClassroom[Katayama99]などがある．これらの研究では教,情報通信技術の発達に伴い，近年，教育分野において師の発言や板書，講義資料などの講義情報を記録し，そもコンピュータの有効活用が求められている．このようれらを同期して再現することにより，学生の復習を手助な背景からコンピュータを用いた講義支援システムの研けすることを目指している．さらに，ⅥEWClassroom

究が盛んである[吉野98,Harasim99I

では，文字列検索，マウスからの書き込み箇所の検索な講義にコンピュータを導入する利点の一つは，様々な

ど，多様な検索機能を提供している．検索機能を利用す

ディジタルメディアからなる講義データを記録・蓄積す

れば，一度授業を受けた学生は，必要な部分だけを効率ることが容易になることである．ディジタル記録から講良く復習することができる．しかし，授業に出席できな義を再現できれば，学生は自習や復習を効率良く行なう

かった学生にとっては，講義の筋道を理解する必要があことができるであろう．このような考えを背景に，講義るため，通しで聞いた後でないと，検索機能は使い難い．

再現システムに関する研究が盛んになりつつある．
＊現在，住商情報システム株式会社

我々は教師が学生に対して重点を置いて講義を行なった箇所，即ち重要な講義スライドをシステムが自動的に見人工知能学会論文誌１７巻４号ＳＰＥ（2002年）

482

つけ，学生に提示する方法を検討している[山田０１a,松

■

㎡

■９６

,￣●

・づ沖

:鐺
弓

文;鞍と;ミパ欝蕊灘.露鎮慧凝議鍵
韻律

0

．■■

、Ｐ

－－－－ｻﾞｰｰｰｰｰｰ－－

．．§

・・か

：｛

七

・か●
虫

■■

、
●

ＬｂＦＯｒＥノ秒ヨー
上・・辨癖．．》》蕊．才辨、》:17画砺１K$曜蕊蕊露諺露;蕊；蟻:;:鐸:鐸:;:蕊:;:蕊

壷．．、閾觜毛．・薊…．七や．・電．Ｐ．｜忠…》．》．…．…．．．．．．……わ．…β，．．．……埴．．…．．、狸．．．．、難､〉北ロ

Ｔ・・足匹叩’・‐－●ｑ・承・小に蝦・・‐ンＯｐＩ』団グ。●。。。

趾印（申・・・》－誰（》刮炳和・・

使して，「重要性」は授受されると考えられる．

の際，言語というモダリティ(スライド，板書音声など）
と共に，非言語に属する様々なモダリティ(ポインティン
グ等のジェスチャ，音声の韻律情報，時間配分など)を駆四■を集中している」という図式を描くことができる．この季肛｝

わるように力を注ぎ，また学生は重要な箇所か否かを判断しつつ，重要な箇所ではその内容を理解しようと注意

．：

。■●

,三宝…:e一：一一（》》》」》瀞

この点に絞ると，講義中，「教師は重要な箇所が学生に伝

嚢露｝！
ＤＰ●

巳浬勇Ｙ‐八斗．．，

し，最終的に学生が重要な事柄を理解すること」が，講義では最も大切であると考えたためである．講義目的を▲ＣＯ■

我々が重要箇所の検出に着目したのは，様々な講義目的の中で,「教師と学生が言語および非言語を介して対話

巾や》ロ之一・０印珀い」。。・・・
二・空な二．ご・・如涌柱．訳
パ十食パゥＹ琲球■．，昭きる．

⑭・・・Ｓ毛。．・，吾．・ｃ；

クしながら，見落とした重要箇所を再確認することがで…－－…～…．．……＿…＿．．….….．…….…．_….…．………＿………．．＿…－．．，－．－－．K．

i議韓鰯､熟露藷識嬢曾騨騨蕊も蕊恥iili識醗〈醗霧蕊蕊蕊鑑識i凝議議蕊篭鰹蕊蕊蕊篭蕊鍵鐘:蕊蕊鑑識薄憲二囮乎狸習できる．また，授業を受けた学生も，重要箇所をチェッ

３．･蛆'１騨詳一可・ロＤ殉し□。。■６■二やＰｂも，。‘七ｍも守口０．ｍ‐岬１９』臼■どＰＯＰＡＪａ■Ｌ■Ｆ匂いＬ、■』？少凡・ロヴ。くち巳『Ｐ＄０＄』▲Ｌ川口Ｌｑ‐９口’ニゲゥロ叩凸・やＱ０ｑＦ卍▽ｊＴＰ０年・■Ｕ■，●。□■■＆□』此■‘ロ▽公■ｄＵＣも■品ロ

田０１１．このような機能が実現できるなら，出席できなかった学生も，重要箇所に沿って講義全体を効率良く学

鍵臺篝篝拳篝臺鑿薑鍵111襲嚢塞曇藝塞震塞11藝議鑿鑿篝篝鑿董|｛;蕊蕊蕊蕊;蕊霧露霊誘霧憲i蕊憲蕊

図１講義再現システムの画面例ない」を×としている．また，講義スライドのタイトルを重要度に応じて色分けしている．◎を赤，○を茶，△「重要`性」は教師から学生に伝わり，かつ「重要性」はを燈，×を灰とし，重要度が高いものほど目立つ配色に学習の中で大きな役割を果たす．そこで，「重要性」を担した．これにより学生は重要な講義スライドを容易に判う情報に着目し，これらを抽出することで，講義スライ

別することができる．講義スライドのタイトルは，そのドごとの重要度が得られないかというのが本論文の主題

講義スライドへのリンクとなっているので，重要度の高である．本研究では，教師が講義スライドに付した重要い講義スライドのみ順に再生するといったことができる．

性に対する主観評価値を重要度と定義し，講義スライド

また，再生速度をコントロールすることができる．再生の重要度を非言語情報から抽出する．続いて，講義コン

速度自動調節機能では，重要度が低いスライドほど速い

テンツ中の言語情報から求めたスライド間の関連度を用速度で再生する．これにより，学習時間を短縮できる．

いて，重要度の抽出精度を上げることを試みる．本文では，２章で講義再現システムの概要，３章で非言語情報を用いた講義スライドの重要度抽出法と実験結果，４章で講義コンテンツ中の言語情報を用いた重要度補正法と実

3．非言語情報を用いた講義スライドの重要度
抽出験結果を述べ，５章で本論文で得られた知見をまとめる．

３．１講義スライドの重要度

2．講義再現システム

する主観評価結果を重要度として採用する．重要度は以

ここでは，教師が各講義スライドに付ける重要性に対下の４段階に分かれている．

講義再現システムは，複数枚の講義スライドからなる講義コンテンツと，講義システム[山田０lb,大谷０１]か．「非常に重要」。「重要」

ら得たポインタ軌跡，教師音声などからなる講義履歴を。「やや重要」元に講義を再現する．講義スライドは文字や図からなる。「重要でない」

ＨＴＭＬファイルであり，複数枚の講義スライドを集めた

今回の実験では，講義ごとに相対的な４段階評価を行

ものを，ここでは講義コンテンツと呼ぶ．講義再現シスなった．例えば１６枚の講義スライドがあると，教師は各テムの画面例を図ｌに示す．図の中央は講義スライドで講義スライドに優先順位を付け,,４枚が「非常に重要」，

ある．講義再現システムは，講義スライドを表示すると4枚が「重要」，４枚が「やや重要」，４枚が「重要でな共に，音声を同期して再生する．再生時には，ポインタい」というように，それぞれの評価を均等に割り当てる．

位置と講義スライドへのディジタルインク書き込みにつ

１６枚全てが「非常に重要」などといった割り当てはしな

いても，講義スライドおよび音声と同期して表示するこいよう，教師に対してあらかじめ指示を行なった．

とができる．

図の左端はコントロール部である．コントロール部では，縦方向を時間軸にとり，講義スライドのタイトルと重3.2重要度抽出へのアプローチ

講義スライドの重要度に影響を与えると考えられる要要度を表示しているここでは重要度を記号で表し，「非素を表１に示す．要素には，講義コンテンツ中のものと，常に重要」を◎，「重要」を○，「やや重要」を△，「重要で講義を行なうことによって付加される（講義履歴から得

講義再現システムにおけるスライド重要度抽出483

表１重要度に影響を与える要素

講義履歴データ
非＝語情報抽出

講義履歴

言語情報

非言語情報

講義スライド中の文字
情報
講義コンテンツの構造，
表示のアクセントなど

教師の発話内容，
ディジタルインクで書込んだ文字,情報講義スライドの表示時間，
ディジタルインクの描画量，
教師音声の韻律`肩報など

正規化処理
重要度抽出
ＭＬＮ

られる）ものがある．また，それぞれに対して言語情報

里子化処理と非言語盾報がある．

重要度

教師は，通常，講義スライドの重要度を講義コンテンツの内容から決定していると考えると，重要度に影響を与える要素として，講義コンテンツ中の言語情報を最初に挙げることができる．しかし，講義スライド中には一

図２非言語情報を用いた重要度抽出処理の流れ

般の文書と比較して文字が少ないため，スライド中の文（８）発話時間

字だけで重要度を付与するのは困難である．次に，講義

以上の非言語情報を採用した理由，および抽出方法と中に得られる教師発話中の言語情報が考えられる．例え

正規化処理法を説明する．

ば，同じ単語が繰り返し発話している箇所は，教師が生§１講義スライド表示時間

徒にその単語を強く印象付ける意図があると推定できよ

講義スライドの表示時間長を求める．表示時間を採用う．しかし，現状の音声認識装置は，対象分野ごとに多した理由は，説明に時間を掛けた講義スライドほど，教量のコーパスを必要とすることから，高い精度を見込め師が重要だと考えている可能`性が高いと判断したためでない．三つ目に，講義コンテンツ中の非言語情報(文字の大きさや色などの表示のアクセント）が考えられる．し録しており，これから各表示時間を算出した後，表示時ある．システムは，各スライドの切り替わりの時間を記

かし，このような`情報を利用するためには，利用者問で間が最大のスライドを基準(1.0)に，各スライドの相対統一的な基準を設けることが必要になる．そこで本論文値を求めた．

では，より扱い易く重要性に関係するデータとして，ま§２ポインタ移動量ず，講義履歴中の非言語情報(講義スライド１枚の説明にかかった時間，ディジタルインクの描画量など)を用を求める．ポインティンク；サークリングなどが多用されいて，スライドごとの重要度を抽出することを試みる．

たスライドは，強調したい文や図などが多いと考えたか

講義スライド表示中に，どれだけポインタが動いたからである．移動量は次のように求めた．各スライドの中
3.3非言語肩報を用いた重要度抽出処理の流れ

でポインタ位置を記録しておき，移動距離を算出した後，

非言語情報を用いた重要度抽出処理の流れを図２に示

最大移動量を与えた講義スライドを基準に，スライドごす．講義履歴データから抽出された非言語情報は，データとの相対値を計算した．なお，ポインタ移動量は，後述ごとに正規化処理を施された後,重要度抽出ＭＬＮ(MultiLayerNeuralnetwork)を用いて講義スライドごとに重するディジタルインク描画量を含まない§３ディジタルインク描画量

要度が計算される．ＭＬＮの出力は，量子化処理の後，４講義スライド表示中に，どれだけディジタルインクに段階の重要度として出力される．以下に処理の詳細を述よる書き込みが行なわれたかを求める．ディジタルイン

べる．

クによる書き込みが多用されるスライドは，補足説明や強調などの詳しい説明が多いと考えた．描画量の計算方
3.4非言語肩報の抽出と正規化処理法は以下の通りである．各スライドの中でディジタルイ

以下の８項目からなる非言語情報を講義スライドごとにンクモードがＯＮの状態で，ポインタが移動した量(＝描画量)を算出した後，最大描画量を与えたスライドを求めた．

基準に相対値を求めた．

ポインタの位置や教師音声などの講義履歴を収集し，（１）講義スライド表示時間（２）ポインタ移動量（３）ディジタルインク描画量（４）音声パワーの平均（５）音声パワーの分散（６）音声のピッチの平均（７）音声のピッチの分散§４音声パワー
教師音声のパワーを求める．重要な講義スライドの説

明時には，教師が力を込め説明するなど，通常時と比べて声量と変化が大きいのではないかと考え採用した．まず，スライドごとに，音声パワーの平均・分散を求める．具体的には，時刻ｎにおける音声ｚ(､)に対して，式(1)からパワーＰを計算した(サンプリング周波数人＝16kHz)．

人工知能学会論文誌１７巻４号ＳＰＥ（2002年）

４８４

1Ｖはパワーの計算区間を示し，今回の実験では２０，secとした．

'-,,.質､(完豈璽藝い)）（１）

入力層中間層１中間層２出力層
スライドの表示時間
発話時間

ｎ＝Ｏ

Ｐは１０，secごとに求めている．一一定の閾値を超える

ポインタの移動量区間を発話区間とし，区間内のパワーＰの平均と分散を

ディジタルインクの描画量求めた．これまでと同様，全スライド中の最大値を基準に正規化した値を使用した．

音声パワーの平均

教師音声のピッチ(基本周波数)を求める.音声のパワー

音声のピッチの平均と同様，重要な講義スライドの説明時には，強調目的から音声のピッチの分散

通常時と比べてピッチが変化し，その幅も大きくなると考えた．スライドごとにピッチの平均･分散を求める．ピッチ

抽出法には，自己相関計算を簡略化したＡMDF(Average
MagnitudeDifferenceHmction)法を用いたＡＭＤＦ
をＤ(､）とおくと，Ｄ(､)は式(2)で表される．式中1Ｖ
は区間，ｍは周期を表す．ｍを区間内で変化させた時，Ｄ(､)の極小値を与えるｍをピッチとして抽出する．今回の実験ではⅣ＝20,secの区間でピッチを,求め，区間を１０，secずつシフトしながらピッチ計算を繰り返した．

□(､)一夫li三に(”)-筵("-，１，（２）ｎ－Ｏ

なお，上・ツチ抽出の誤差変動を吸収するため，７，点中間値フィルタを用いて平滑化を行なった．また，これま

蕊
５１MmＶ

､

音声パワーの分散§５音声のピッチ

吟鰄、卿戦

図３非言語情報を用いた重要度抽出ＭＬＮの構成

３．６量子化処理

学習が終わったＭＬＮを講義再現システムに組み込み，重要度を抽出する．重要度はＭＬＮの出力値を４段階に量子化して用いる．具体的には，講義セットごとに全ス
ライドに対する出力層の値を求め，最小値から最大値までの区間を４等分した後，値が大きい区間から，「非常に重要」,「重要｣，「やや重要」，「重要でない」と割り振った．
以下では簡単のため，量子化処理後の重要度を「ＭＬＮが抽出した重要度」と呼ぶ．

でと同様，全スライド中の最大値を基準に，正規化した値を使用した．

３．７実験と考察§６発話時間§１実験データ

講義スライド表示中に，どれだけ教師が発話していた

講義スライド合計６９枚からなる五つの工学系講義コ

かを求める．発話時間の長いスライドは，先に述べた講ンテンツ(最低11枚，最高17枚)を作成した講義を行義スライド表示時間と同様，教師が重要であると考えてなった教師は７名である．一つの講義コンテンツに対しいる可能性が高い．発話時間は以下のように求めた．まて２名以上の教師(コンテンツ作成者を含む)が講義を行ず３．４節§４に述べた方法により音声パワーを求め，次ない，履歴を取得した．収集した講義履歴データの総数に一定の閾値を越える区間長の総和を発話区間として算は２４個である．

出する．発話時間が最大のスライドを基準に相対値を求§２実験方法めた．

非言語情報を用いた重要度抽出法の有効性を確かめるため，以下の実験を行なった．講義履歴データ２４個を使

３．５非言語肩報を用いたスライドごとの重要度抽出用して，教師が付与した重要度とＭＬＮが抽出した重要重要度抽出にはＭＬＮを用いた．ＭＬＮは４層から成度との関係を調べた．ＭＬＮを学習・評価する際は，講り，各層は図３に示すように８，１６，８，１のユニットを義を行なった教師が付与した重要度を教師信号として使持つ．学習段階では，正規化した八つの非言語情報を入用した．評価方法は，一つの履歴データを評価に，残り力信号とし，教師が付けた重要度を教師信号とした．重の履歴データを学習に用いると共に，評価用データを順

要度は「非常に重要」が１，「重要」が２/3,「やや重要」
が1/3,「重要でない」が０と数値化したものを用いた．

次入れ替えて実験を行なった(交差確認法）§３結果と考察

ＭＬＮの学習は誤差逆伝播法を用いた．学習により，ネッ(i）非言語情報を用いた重要度抽出結果

トワーク中の重み係数は，出力が教師の付けた重要度に

非言語情報を用いた重要度抽出の実験結果を表２に示近づくよう修正を受ける．学習後，正規化した八つの非す．表は教師が付与した重要度と，ＭＬＮが抽出した重要言語情報を入力層に与えると，出力層は０から１の範囲

度との関係を表している．縦軸は教師が付与した重要度，の値を返す．

横軸はＭＬＮが抽出した重要度で，◎，○，△，×はそ講義再現システムにおけるスライド重要度抽出

4８５

1３

1５

1１

2７

2１

×

７

４

８

5４

講義スライドの数である．表の左上から右下の対角線上

分雪故◎を付与した講義スライドのうちＭＬＮが○を抽出した平均を表している．例えば１行２列目の数字''17"は，教師が分散

れぞれ「非常に重要」「重要」「やや重要」「重要でない」

」宿
三四
’一一戸

再現率(◎→。)：６８％（◎→。○)：８８％適合率(◎→。)：４６％(◎は「非常に重要｣，○は「重要｣，△は「やや重要｣，
×は「重要でない」を表す．これ以降の表でも同様）

平均

順位相関･係数：０５５

音声のピッチの1９

2４

音声のピッチの3７△

二国声パワーの○【亟
音声パワーの報

６

インク、猫画皇里非

４

ディジタル

1７

ポインタ移動量

5７

発話時間

◎

講義スライド
一表示眸吋間×

雷一重二一反△●●●●⑪●●句教師◎

８７６５４３２１０

ＭＬＮ○

００００００００

表２非言語情報を用いた重要度抽出の結果

図４非言語情報が重要度に及ぼす影響

れらの事実から，以下のことを指摘できる．

（１）重要な講義スライドに対して，教師はディジタル
インクを多用する．

が，教師とＭＬＮの抽出した重要度が一致する場所であ（２）重要でない講義スライドの時，教師はディジタル

り，対角線から離れるほど一致しなかったことになる．

インクをあまり使用せず，また声量の変化も少なく

表の下に示した順位相関係数は，教師が付与した重要なる．

度と，ＭＬＮが抽出した重要度間の相関を示す．１１偵位相関(iii）教師が◎を付与した講義スライドに対する考察

係数は，スピアマンの順位相関係数である．再現率(◎一。)は教師が◎を付与した講義スライドに対して，ＭＬＮが◎を抽出した割合，再現率(◎→。○)は教師が◎を付×を抽出したスライドについて調査したところ，以下の与した講義スライドに対して，ＭＬＮが◎または○を抽出した割合，適合率(◎→。)はＭＬＮが◎を抽出した講義

教師が◎を付与した講義スライドに対して，ＭＬＮがような例がいくつか見られた．
ｏ箇条書きの講義スライドとそれに対する具体例を示した講義スライドがあり，教師は箇条書きの講義ス

スライドに対して，教師が◎を付与した割合を表す．こライドに対して◎を付与していた．しかし，箇条書

こでは，◎の再現率と適合率のみ記載する．学生が学習きの講義スライドでは，ディジタルインクをあまり時に最重要スライドを見落とすと，講義内容が分からな

使用せず短時間で終わらせ，次の具体例の講義スラ

くなることから，本研究では最重要スライドの抽出に着イドで，ディジタルインクを用い，時間を掛けて説目しているためである．

明した．このため，ＭＬＮは教師が◎を付与した講表２の結果が示すように，◎に対する◎の再現率は68％，◎に対して◎か○を出力した再現率は８８％と重要義スライドから×を抽出した．

このように，関連する内容が複数スライドにまたがるな講義スライドを高い率で検出することができた．また，と，非言語情報のみで重要度を抽出することが，困難な順位相関係数は０５５であった．これらの結果から，八つ場合がある．この解決策として，以下では講義コンテンの非言語情報を入力とするＭＬＮ出力は，講義スライド

ツ中の言語情報を利用する方法を検討する．

の重要度を判断する上で，有効な基準を与えていると言える．

(ii）非言語情報が重要度に及ぼす影響
各非言語情報が重要度に及ぼす影響を調査した．まず，講義履歴データ２４個を通して非言語情報ごとに平均値

4．講義コンテンツ中の言語情報を用いた重要度補正
3.7節§３(iii)で述べたように，非言語情報のみによると最大値・最小値を求めた．次に，学習したＭＬＮの八重要度抽出法は，教師が「非常に重要」と評価した箇条

つの入力のうち，一つに最小値あるいは最大値を，残り書きの講義スライドに対して「重要でない」と評価した．

の七つに平均値を入れ，重要度がどのように変化するか

一方，この時，具体例が書かれた隣接スライドを調べる

を調べた．

と，高い重要度を示す場合が多かった．このことは，隣結果を図４に示す．ディジタルインク描画量に最大値接するスライドの重要度と，着目するスライド間の関連を入れた場合に重要度が最も高くなり，最小値を入れた度を用いて，重要度を補正することの可能性を示してい場合に重要度は大きく低下した．また，音声パワーの分
散に最小値を入れた場合に重要度が最も低くなった．こる．以下では，講義コンテンツ中の言語情報からスライド間の関連度を定義し，これを求めることを検討する．

人工知能学会論文誌１７巻４号ＳＰＥ（2002年）

486

入力層中間層１中間層２出力層

ﾛ。｡

講義スライドiとi-2の関連度
講義スライドi-2の重要度抽出MLN出力！

講義スライドiとi-Iの関連度
講義スライドi-1の

スフイ

゛車宣の。

重要度抽出MLN出力

講義スライドiとiの関連度
講義スライドiの讃;ﾛ蝋

重要度抽出MLN出力
講義スライドiとi+1の関連度
講義スライドi+1のＩ重要度抽出MLN出力
講義スライドiとi+2の関連度
講義スライドi+2の重要度

重要度抽出MLN出力

図５講義コンテンツ中の言語情報を用いた重要度補正処理の流れ

図６講義スライド間の関連度を用いた重要度補正ＭＬＮの構成

４．１講義コンテンツ中の言語肩報を用いた重要度抽出

４．３講義コンテンツ中の言語肩報を用いた重要度の補正
講義コンテンツ中の言語情報から求めたスライド間関連度を用いて，非言語情報から求めたスライドごとの重要度を補正する．重要度の補正にはＭＬＮを用いた．ＭＬＮ

処理の流れ

講義コンテンツ中の言語情報を用いた重要度抽出処理の流れを図５に示す．初めに，講義履歴データから非言語情報を抽出した後，重要度抽出ＭＬＮを用いて重要度を抽出する．次に，講義コンテンツ中の言語盾報から，後述するキーワードベクトルを抽出した後，スライド間の関連度を求める．続いて，非言語情報を元にして得た重要度(重要度抽出ＭＬＮの出力）とスライド間の関連度の二つの情報を重要度補正ＭＬＮに入力する．この際，重要度を付与しようとするスライドと，隣接する前後２枚は４層から成り，各層は図６に示すように１０，２０，１０，
１のユニットを持つ．図６のｉは，重要度を補正しようとしているスライド(以下，着目スライドと呼ぶ)の番号である学習段階では，入力信号として，着目スライドと前後２枚(合計５枚)の重要度抽出ＭＬＮ出力とスライに重要度補正ＭＬＮの出力に対して，量子化処理を施し，ド間の関連度を与えた．教師信号は，３．５節で説明した教師が付与した重要度である．学習後，隣接する５枚の重要度抽出ＭＬＮ出力と，スライド間の関連度を入力層に与えると，出力層は０から１の範囲の値を返す．なお，４段階の値として最終的な重要度を得る．

量子化処理は３．６節と同様である．

4.2講義スライド間の関連度

4.4実験と考察のスライドの情報(重要度および関連度)を用いる．最後講義コンテンツ中の言語情報から講義スライド間の関連度を求める．以下にこの手順を示す．

（１）全スライド中の文を形態素解析して名詞を抜き出す．次に，複数のスライドで使われた名詞を抽出し，キーワードとする．今回の実験では２枚以上のスライドで使用された名詞をキーワードに採用した．

（２）講義スライドごとに，キーワードの有無(有1,無0）を要素とするキーワードベクトノレＶ＝(VWh,…,Vk）を抽出する．ノ１０は全スライド中のキーワード総数である．ベクトル要素にはキーワードの頻度を用いることも多いが，今回は文字の少ないスライドを対象としているため，キーワードの有無を用いた．キー
ワードベクトルからスライド間関連度を次式から求める．

ｍＩＭ１－,砦,n隻'，

ここで，ｉ(i＝1,2,…,I)および』(j＝1,2,…,I）

はスライドの番号を，Ｉはスライド枚数を表す．式

中の（・）は内積，また''１はノルムである．

§１実験データ
講義履歴データについては３．７節§１と同じである．ここでは，加えて講義コンテンツ(69枚のスライド)中の言語情報を使用する．

§２実験方法講義コンテンツ中の言語情報の有効性を確かめるため，

以下の実験を行なった．全講義履歴データ２４個に対して，重要度補正ＭＬＮに通して得た講義スライド重要度と，教師が付与した重要度との関係を調べた．ＭＬＮの教師信号であるスライドの重要度は，３．７節§２と同様，
講義を行なった教師が個別に付与している．評価方法は
交差確認法で行なった．

§３結果と考察(i）講義コンテンツ中の言語情報を用いたことの効果

講義コンテンツ中の言語情報を用いた重要度抽出実験
結果を表３に示す．非言語情報のみによる重要度抽出の実験結果(表2)と比較し，以下の効果が得られた（１）◎に対して◎か○を出力した再現率が８８％から

９３％と５％向上した．特に，教師が◎を付与したス

講義再現システムにおけるスライド重要度抽出

表３講義コンテンツ中の言語情報を用いた重要度抽出結果

4８７

表４語学系講義コンテンツによる実験結果

ＭＬＮ

教師

ＭＬＮ

◎

○

◎

5７

２１

５

１

○

3９

2７

1４

４

△

２１

1８

2２

2２

×

２

３

2２

4６

△

順位相関係数：０．６５

再現率(◎→。)：（◎一．○）
適合率(◎一。)：

６８％

◎

○

△

×

◎

2２

３

２

０

○

1６

７

４

０

△

1１

３

４

６

×

２

４

７

1１

×

Ｆ
教師

|頂位相関係数:０．５９

再現率(◎→。)：（◎→。○）
適合率(◎一。)：

93％
48％

ライドに対して，ＭＬＮが×を抽出したスライドの数が６から１と大幅に減少した．このことは，教師が「非常に重要」と評価したスライドに対して，非言語情報から求めた重要度が低い場合，提案の重要度補正法が効果的に働いたことを示している．

（２）◎に対する◎の適合率が46％から48％と２％向上した．特に，教師が×を付与したスライドに対して，
ＭＬＮが◎を抽出したスライドの数が７から２と大きく減少した．すなわち，教師が「重要でない」と

81％

93％
43％

付けたスライドに多くみられる．このため，教師が×を付与したスライドに対して，ＭＬＮが◎を抽出したスライドの数を７から２と大きく減らすことができ，適合率が向上した．しかし，隣接スライドと関連がないスライドは，

教師が○や△を付与したスライドには少ない．このため，教師が○や△を付与したスライドに対して，ＭＬＮが◎を抽出したスライドの数を大幅に下げる効果がなかったと考えられる．このことから，◎に対する◎の適合率が2％しか向上できなかった．

評価したスライドに対して，非言語情報から求めた重要度が高い場合）提案方法は重要度を下げる効果を持つ．

（３）順位相関係数が055から0.65へと大きく向上した．講義コンテンツ中の言語情報は，非言語情報のみから作成したＭＬＮが出力する重要度を，教師の付与した重要度に近づける役害Ｉを果たしている．

(ii)教師が◎を付与した講義スライドに対する考察
教師が◎を付与した個々の講義スライドについて調べることにより，重要度補正の効果を考察した．

（１）非言語情報のみを用いた重要度抽出法が×を抽出
し，言語情報を用いた重要度抽出法が高い重要度を抽出したスライドでは，隣接スライドの重要度が高く，かつそのスライドとの関連度も高いことが分かった．すなわち，非言語情報から求めた重要度が低くても，隣接スライドの重要度が高く，そのスライドと関連があれば，重要度を向上させることができる．

（２）講義コンテンツ中の言語情報を用いた重要度抽出法により重要度が下がった講義スライドでは，スライドのほとんどの部分を図が占めていた．キーワー

ドが見つからないため，隣接したスライドとの関連度が低くなった結果であろう．すなわち，提案手法

４．５講義コンテンツの分野が異なることに対する方式の頑健性検討講義コンテンツの分野が異なると，教師の講義スタイ

ルが変わることが考えられる．すなわち，講義履歴から得られる非言語情報(デジタルインク描画量や発話時間等)に違いが現れることが考えられる．そこで，分野の異なる講義コンテンツに対して，重要度抽出結果が変化するかを調査した．コンテンツの分野の違いに対する頑健性が提案手法に認められれば，重要度抽出ＭＬＮと重要度補正ＭＬＮを新たに学習する必要がない．このことは，学習データ(講義スライド，および講義履歴データ）の少ない分野にとって，大きな意味を持つ．

§１実験データ

実験データは４．４節§１で利用した工学系講義コンテ
ンツおよび講義履歴データに加え，以下の語学系講義コンテンツとその講義履歴データを新たに作成して用いる．

合計３０枚のスライドからなる二つの語学系講義コン
テンツが作成された．講義は４名の教師によって行なわれ，総計７個の講義履歴データを収集した．

§２実験方法は周囲に関連するスライドが検出されない場合，重方式の頑健性を調べるために，工学系講義コンテンツ

要度を低下させる傾向がある．この点については今で学習したＭＬＮを用いて，語学系講義コンテンツ中の後の検討課題である．

講義スライドの重要度を抽出した．

(iii）◎に対する◎の適合率が向上したことに対する考察
講義コンテンツ中の言語情報を用いた重要度抽出法により重要度が下がるスライドは，隣接スライドと関係がないスライドである．このようなスライドは教師が×を§３結果と考察
語学系講義コンテンツに対する実験結果を表４に示す．

工学系講義コンテンツによる結果(表3)では，順位相関
係数が０６５，◎に対する◎の再現率が６８％，◎に対して

人工知能学会論文誌１７巻４号ＳＰＥ（2002年）

488◎か○を出力した再現率が９３％であったのに対して，評らに，本論文では触れなかったが，学生がシステムを実

価データを語学系講義コンテンツとした場合，順位相関際に使用した際の学習評価実験も今後の課題である．今係数が0.59,◎に対する◎の再現率が８１％，◎に対して

回は教師の操作履歴および発話のみを対象としたが，こ◎か○を出力した再現率が９３％という結果を得た．主だの点は，今後，学生端末を使用して教師と学生問のイン

２種類の分野であるが，分野が異なる講義コンテンツに

タラクションを含めて検討する必要があると考えている．

対しても再現率が高かったことから，提案手法は分野の違いに対して，非常に頑健であると言える．

謝辞

本研究は，文部科学省科学研究費補助金特定領域研究(A）「メディア教育利用」（課題番号12040104)の助成を5．まとめ受けている．

本論文では，講義における重要箇所に着目し，講義履◇参考文献◇

歴から得られる非言語肩報および講義コンテンツ中の言

語情報を用いて，講義スライドの重要度を抽出することを試みた．重要度の抽出に当たっては，講義コンテンツ[Abord99］Abord,Ｇ、：Classroom2000：AnExperiment

中の文字情報が必ずしも多くはないことを考慮して，講

ment，IBMSystemsJoTL77zqJ，Ｖ０１．３８，Ｎｏ．４，ｐｐ、508-530

義履歴から得た非言語情報をＭＬＮで統合する方法を最初に適用した．また，コンテンツ中の言語情報からスライド間の関連度を抽出し，隣接スライドの関連度を付加的に利用する方法についても提案した．評価実験から得た結論を以下にまとめる．

・非言語情報のみを適用した重要度抽出実験の結果から：､（１）教師が「非常に重要」と半ﾘ断した講義スライドに対して，ＭＬＮが「非常に重要」もしくは「重要」を抽出した割合は８８％となり，重要度抽出法として有効な手法が得られた．

（２）重要な講義スライドでは，教師はディジタル
インクを多用する傾向があると共に，重要でないスライドの説明箇所では，ディジタルインク

をあまり使用せず，かつ声量の変化も少なくなることが分かった．

。言語情報を付加した重要度補正実験の結果から：（１）講義コンテンツ中の言語情報を用いることにより，重要なスライドの検出率が大幅に向上した．特に，教師が重要度が高いと判断し，他方，
非言語情報から求めた重要度が低かったスライドに対して，重要度補正が有効に働いていることが確認された．

（２）提案手法は，講義コンテンツの分野の違いに対しても頑健であることが分かった．

今後は，さらに重要度の抽出精度を高めたい．具体的には，教師が「非常に重要」を付与した講義スライドに対して，まだ抽出された重要度が低いデータがある．これらは，隣接スライドに文字情報が少ないためで，改善方法としては教師音声中の言語情報を利用することを考えている．

講義コンテンツ中の非言語情報と重要度の問にも関係があると考えられる．これらについても今後検討したい

また，今回の実験では重要度を均等に割り振るよう教師に指示したが，この制約を外した評価も行ないたいさwiththelnstrumentationofaLivingEducationalEnviron-（1999）
lHarasim99］Harasim,Ｌ：AFrameworkforOnlineLearn-

ing：ＴｈｅＶｉｒｔｕａｌ－Ｕ，ＩＥＥＥＣｏｍｐｕｔｅｒ，ＶｂＬ３２，Ｎｏ．９，ｐｐ、
44-49（1999）[Katayama99］Katayama，Ｋ，Kagawa，０，Kamiya，Ｙ､，Tsushima，Ｈ､，YOshihiro，Ｔ､，andKambayashi，Ｙ､：Ｕｓｅｏｆ
ＡｃｔｉｏｎＨｉｓｔｏｒｙＶｉｅｗｓｆｂｒＩｎｄｅxingContinuousMediaOb-

jects,inPmoc､ｑＭＭＯＰ'98,ｐｐ､344-355(1999）[松田Ｃｌ］松田，田口，桂田，山田,新田：講義再現システムにおけるスライドへの重要度自動付与法の検討,情報処理学会第６３回全国大会講演論文集(分冊４),ppl53-154(2001)．

[大谷Ｃｌ］大谷,鈴木,小林,桂田,新田：マルチモーダルインタ

フェースにおける応答戦略の検討,情報処理学会第６２回全国大会講演論文集(分冊４),ｐｐ８９－９０(2001）[山田Ｏ１ａ１山田，金子,松田,桂田,新田：講義再現システムにおけるスライドへの重要度自動付与法とその評価，電子情報通信学会技術研究報告(教育工学),ＶＯＬ101,Ｎ。､41,ｐｐ２５－３２（2001)．

[山田０lb］山田,村上,桂田，山田,新田：マルチモーダルインタ

フェースにおける入力統合方法の検討,情報処理学会６２回全国大会講演論文集(分冊４),ｐｐ８７－８８(2001）[吉野９８］吉野,井上,由井薗,宗森，伊藤,長澤:インターネットを介したパーソナルコンピュータによる遠隔授業支援システムの開発と適用,情報処理学会論文誌,ＶＯＬ39,No.10,ｐｐ､2788-2801（1998）〔担当委員：松居辰則〕
2001年１１月１６日受理

講義再現システムにおけるスライド重要度抽出

著者紹介
山田博文
１９９３年信州大学工学部情報工学科卒業．１９９５年同大学院
工学系研究科博士前期課程情報工学専攻修了．１９９６年同大学院博士後期課程システム開発工学専攻中途退学．同年
豊橋技術科学大学工学部助手．学習支援システム，パター
ン認識に関する研究に従事．電子情報通信学会会員．

松田和彦

織

1999年豊橋技術科学大学工学部知識情報工学課程卒業．
2002年同大学院工学研究科修士課程知識情報工学専攻修了．同年住商情報システム（株)入社．在学中は，学習支蕊ii義１１鑿i,，

援システム，マルチモーダルインタフェースに関する研究
に従事．

田口元
2002年豊橋技術科学大学工学部知識情報工学課程卒業．
現在，同大学院工学研究科修士課程知識情報工学専攻在学
中．学習支援システム，マルチモーダルインタフェースに関する研究に従事．

綴,ｉ鯵鴬、
桂田浩一(正会員）

錘

1995年大阪大学基礎工学部情報工学科卒業．２０００年同
大学院基礎工学研究科博士後期課程情報数理系専攻修了．

同年豊橋技術科学大学工学研究科助手．博士（工学）マル■iii霞■

チモーダルインタフェース，知識処理に関する研究に従事．
ヒューマンインタフェース学会，日本音響学会，情報処理学会各会員．

小林聡
1991年豊橋技術科学大学工学部情報工学課程卒業．１９９４
年同大学院工学研究科情報工学専攻修了，１９９９年静岡大学博士後期課程電子応用工学専攻単位取得退学．同年豊僑技術科学大学情報処理センター助手博士(工学）マルチモーダル対話の研究に従事。情報処理学会，電子情報通信学会各会員．

1..孔『ユ

新田恒雄(正会員）
1969年東北大学工学部電気工学科卒業．（株）東芝総合研究所，マルチメディア技術研究所を経て，１９９８年より豊橋技術科学大学大学院工学研究科教授．工学博士．音声認
識・合成・文字認識，およびマルチモーダル対話システムの研究に従事．ＩＥＥＥ，情報処理学会，電子情報通信学会
等の会員．

4８９