論文 / 著書情報
Article / Book Information
論題(和文)

講義講演ビデオからダイジェスト自動作成のための重要シーン抽出手法の評価

Title(English)

Evaluation of Methods to Extract Important Scenes for Automatic Digest
Generation from a Presentation Video

著者(和文)

レー ヒェウハン, ティティポーン ルートラットデーチャークン, 渡部
徹太郎, 横田 治夫

Authors(English)

Le HIEU HANH, LERTRUSDACHAKUL Thitiporn, Tetsutaro
WATANABE, HARUO YOKOTA

掲載誌(和文)データ工学ワークショップ2008 論文集

Citation(English)

Proc of DEWS2008

Vol, no, pages, ,発行日 / Pub. date2008, 3

URL

http://search.ieice.org/

権利情報 / Copyright

本著作物の著作権は電子情報通信学会に帰属します。
Copyright (c) 2008 Institute of Electronics, Information andCommunication Engineers.

E4-1

Powered by T2R2 (Science Tokyo Research Repository)

DEWS2008 E4-1

講義講演ビデオからダイジェスト自動作成のための重要シーン抽出手法の評価
レー

ヒェウハン†

ルートラットデーチャークン
横田

ティティポーン††

渡部徹太郎†††

治夫††††,†††† 東京工業大学 工学部情報工学科 〒 152-8552 東京都目黒区大岡山 2-12-1†† (株) リコー ソフトウェア研究開発本部アプリケーション研究所 〒 112-0002 東京都文京区小石川 1-1-17とみん日生春日町ビル††† 東京工業大学大学院 情報理工学研究科 計算工学専攻〒 152-8552 東京都目黒区大岡山 2-12-1†††† 東京工業大学 学術国際情報センター 〒 152-8550 東京都目黒区大岡山 2-12-1
E-mail: †{hanhlh,tetsu}@de.cs.titech.ac.jp, ††thitiporn.lertrusdachakul@nts.ricoh.co.jp,†††yokota@cs.titech.ac.jp
あらましE-ラーンニングなどにおいて，講義講演の様子を録画したビデオを利用する機会が増えている．十分な時

間的余裕がない場合等，講義講演のビデオのダイジェストのみを見たい場合もある．本稿では，動画とスライドからコンテンツを作成するシステムである MPMeister で収録された講義講演の情報から，重要シーンを抽出しダイジェ
ストを自動的に作成する手法を提案する．重要シーン抽出においては，講義講演で使用されるスライド中に出現する
単語の出現頻度，特定性，提示時間，シーンの順序を考慮した複数の手法を検討する．また，抽出された重要シーンと被験者により選択された正解セットを比較することで，それぞれの重要シーン抽出手法の結果を評価する．
キーワード

e-ラーンニング，情報抽出，ビデオダイジェスト

Evaluation of Methods to Extract Important Scenes for
Automatic Digest Generation from a Presentation Video
Le HIEU HANH† , Thitiporn LERTRUSDACHAKUL†† , Tetsutaro WATANABE††† , andHaruo YOKOTA††††,†††† Department of Computer Science, Faculty of Engineering, Tokyo Institute of Technology Ookayama 2-12-1,
Meguro-ku, Tokyo, 152-8552 Japan†† Application Lab, Software R&D Group, Ricoh Company, Ltd. Tomin-Nissei-Kasugacho Bldg.Koishikawa
1-1-17, Bunkyo-ku, Tokyo, 112-0002 Japan††† Department of Computer Science, Graduate School of Information Science and Engineering, Tokyo
Institute of Technology Ookayama 2-12-1, Meguro-ku, Tokyo, 152-8552 Japan†††† Global Scientiﬁc Information and Computing Center, Tokyo Institute of Technology Ookayama 2-12-1,
Meguro-ku, Tokyo, 152-8550 Japan
E-mail: †{hanhlh,tetsu}@de.cs.titech.ac.jp, ††thitiporn.lertrusdachakul@nts.ricoh.co.jp,†††yokota@cs.titech.ac.jp
Abstract In the recent years, the use of presentation video in E-learning is increasing. On the user’s point ofview, this often requires previewing the digest of such video before watching the original one. This paper proposesa number of methods of extracting important scenes for automatic digest generation digest from the presentation
video which is recorded by MPMeister II - the tool for Multimedia Web Contents. The important scenes extractions
are based on several factors, such as word frequency, speciﬁcity, duration and orders of the slides. Finally, the resultsof each methods are evaluated by comparing with the answer sets selected by testers.
Key words e-learning, information extraction, video digest% &)(+*','!  !    !#"る．二つ目は文書内容のトピックをよく表す文を抽出する手法

!#$

である．Yihong らの研究 [4] では，基の文書に対し，単語の出現頻度の考慮と潜在的意味解析を行い，重要文を抽出することで，自動要約を作成する手法を提案している．また，最近，Barzilay らはテキスト内容での語彙の連鎖を用い，自動要約する研究 [5] を行っている．
本研究では，講義講演コンテンツを対象とする為，このよう  
 なテキスト要約の成果はそのまま適用できない．しかし，テキ

スト要約で用いられている技術を応用することができる．

2. 2 音 声 要 約
音声自動要約の分野には様々な研究が行われている．その中で堀の研究 [6] では，音声認識を用い，単語抽出により発話文における重要な情報をできる限り保持し，日本語としては意味

図 1 シーンとスライドの対応が理解できる要約文を生成する手法を提案している．
本研究では，まだ講義講演コンテンツの音声情報を利用して

1. ま え が き

いないが，今後の課題として，音声情報を利用することが必要であると考えている．

近年，プレゼンテーションソフトウェアを用いた講義講演を

2. 3 動 画 要 約

録画し，E-ラーンニングなどに用いる機会が増えてきている．

最近では，スポーツ動画に対してダイジェストを作成する研(株) リコーによって開発された MPMeister [1] のようなソフ究も行われている．Jinjun ら [7] はスポーツ動画と音声の特徴

トウェアによって容易にコンテンツ作成できるようになった影を発見し，動画・音声のキーワードを作成し，同期化する．次響が大きい．

に，これらのキーワードの組合わせベクトルから，隠れマルコ

これまで我々は，そのような講義講演コンテンツから，利用

フモデル分類器で，重要なイベントを抽出するフレームワーク

者が示す検索キーワードに合致するシーンを探し出すために，を提案している．Marcus J.P らの ANSES [8] はニュース動画

UPRISE [2] を提案し，その効果を示してきた．シーンとはス

要約のため，動画ヒストグラム解析を行い，キーフレームを発ライドの切り替えによる動画の部分である (図 1 参照)．しか見すると共に，字幕から取られるテキスト情報を用い，重要部

し，講義講演コンテンツの場合，利用者は検索キーワードに関分を抽出する．しかし，講義講演の動画を対象とした場合は，して適切な知識を持ち合わせているとは限らず，検索が有効でスポーツ動画の得点シーンのような特徴的なシーンに当たるもない場合もある．また，当該講義講演の概要を短時間で把握しのがない，あるいはニュース動画要約のようにアンコモンシー

たいという要求も高い．従来，動画要約の研究も多くされていンがないため，これらの手法は適用できないと考える．

るが，講義講演コンテンツの特徴と異なるため，それらの手法を本研究にそのまま適用することができない．

本研究と非常に近いのは Liwei らの研究 [9] である．彼らもスライドを使用した音声・動画プレゼンテーションを自動的にそこで，本稿では MPMeister で録画された講義講演コンテ

要約することを目的している．この研究ではシーンの提示時間，ンツから，講義講演のトピックを良く表すシーン (以降重要シー

新しい話題の変化を発見するためのプレゼンターの声の高さのンと呼ぶ) を抽出し，ダイジェストを自動的に作成する手法を解析と，利用者のビデオの各時刻に対するアクセス頻度を基に，提案する．具体的には動画とスライドの組から，スライド中の重要な箇所を抽出し，ダイジェストを作成する．但し，彼らは単語出現状況や提示時間，シーンの順序を使った複数の手法にスライド中のテキスト内容を考慮しないので，その点で本研究よるダイジェスト作成を行う．また，被験者により選択されたと異なる．

正解セットと比較することで，それぞれの手法の結果を評価し，有効性を検証する．

これまで，我々は講義講演コンテンツから，検索キーワードに合致するシーンを探すために，スライド中の単語情報だけで以下には本稿の構成を述べる．2. 節において関連研究についなく，スライド提示の時間情報や順序情報を用いた UPRISE [2]て議論し，3. 節で MPMeister を説明する．4. 節で提案手法のを提案してきた．また [10] において手法を実装し，その後 [11]

説明を，5. 節で評価実験を行う．最後に 6. 節においてまとめとでは講演者の音声情報を考慮した改良と，[12] ではレーザーポ

今後の課題を述べる．

インタ情報等を考慮した改良を行った．しかし，ダイジェスト

2. 関 連 研 究の自動作成では，講義講演のトピックを発見する必要がある．
そのため，UPRISE で手法をそのまま本研究に適用することが

2. 1 テキスト要約

できないが，UPRISE で用いられる算出式は本研究でも有効で

テキスト要約は主に二つの手法がある．一つ目は利用者の問あると期待できる．

い合わせによる要約手法である．Sanderson の研究 [3] では，ある文書から利用者の問い合わせに最も適合する文を抽出す 



$"+*,
-/.10324








"!$#%&'()!$#%&

 - , +   

 0 / .
                  57685:9<;>=@?@9<A<BDCFEGIHKJLNMOLNPRQS
図 2 ダイジェスト自動作成の概要

3. MPMeister
MPMeister は (株) リコーによって開発され，Microsoft のPowerPoint を用いた動画と PowerPoint ファイルから，それら(!)#%'*"!$#%'&を統合したウェブコンテンツを簡単に作成することができるソ
フトウェアである．MPMeister は PowerPoint スライドショーと共に起動することにより，PowerPoint でのスライドを切り

図 3 講義 L1 例

替えるタイミング取得し，動画とスライドを同期させたコンテンツを生成する．作成したコンテンツを使用する際は，シーンして表現される．ここで，全スライド S 中の全単語の集合を毎の目次，動画とスライドをウェブ画面に提示し，ユーザが指W = {w1 , w2 , . . . , wM } とすると，当然 vij ∈ W となる．こ定したシーンの動画とスライドに画面を切り替える機能を提供の時，講義 Ll の録画はスライドの切り替えによるシーンの並する．

びとして Ll = [cl1 , cl2 , . . . , cln ] として表現する．ここで，シーMPMeister はコンテンツ生成と同時にコンテンツの内容をン clk は S 中のいずれかのスライド si に対応することから記述した MPEG-7 ファイル (XML 形式) を出力する．本研

clk = [vi1 , vi2 , . . . , vim ] として扱うことができる．なお，実際

究では，MPEG-7 ファイルをメタ情報として利用する．そのの講義では，同じスライド si が再利用やバックトラック等で，MPEG-7 ファイルには各シーンに出現するスライドのテキス

異るシーン中に複数回現れることに注意する必要がある．

ト内容とシーンの提示時間が含まれている．

4. 提 案 手 法

簡単な例を図 3 に示す．ある講義 L1 はスライド s1 を用いる
シーン c11 とスライド s2 を用いるシーン c12 からなると仮定する．このとき，

本稿では，図 2 のように，前節で説明した MPMeister のL1 = [c11 , c12 ],MPEG-7 ファイルに対し，講義スライドとスライドと動画のS = {s1 , s2 },動機情報を用い，前処理を行う．次にシーンの重要度を算出し，

s1 = [v11 , v12 , v13 , v14 ],重要シーンを抽出する．それを基に，ダイジェストを自動作成

s2 = [v21 , v22 , v23 , v24 , v25 , v26 ],する手法を提案する．

4. 1 前 処 理
まず，収録された講義からスライドのテキスト情報とスライドの提示時間を収集する．次に，講義講演でスライド移動やプ

関 係 , v12 =v11 =, v14 =

データベース , v22 =v21 =, v24 =

デ ー タ ベ ー ス , v13 =

関係

代数 ,
モデル , v25 =モデル , v23 =関係 , v26 =

階層

モデル ,

レゼンターの操作ミスなどを考慮し，提示時間が 3 秒以下のW = { 関係 , データベース , 代数 , モデル , 階層 }シーンを削除する．その後，日本語形態素解析システム Sen [13]となる．

で，スライドのテキスト内容から意味のある単語を抽出する．

4. 2. 2 シーンの重要度算出

最後に，J-E Ontology [14] を用い，意味の同じ英語と日本語

シーンの重要度を算出する五つ算出式を提案する．その際，の単語を発見し，同じ単語として扱うようにする．

「何度も繰り返し言及される概念は重要な概念である」という

4. 2 重要シーン抽出

仮定 [15] の元に，シーン中の単語の出現状況に着目して，重要

4. 2. 1 前度を算出する．

提システムは複数の講義の録画を保持するが，ダイジェスト作

以下に五つの算出式を説明するが，各算出式ではいづれもス

成の対象はその中の一つの講義 Ll とする．と同時に，システ

ライドの文章構造を考慮した単語への重み付け p(vij ) を用い

ムはその講義で用いられた全スライド S = {s1 , s2 , . . . , sN } を持つ．ここでは，スライド中の単語出現にのみ着目することから，各スライド si は，単語の並び si = [vi1 , vi2 , . . . , vim ] とる．p(vij ) は以下の様に定義する．




 ρt
p(vij ) =表1

vij がタイトルに出現
vij がインデントレベル bl に出現

ρbl


 0

(1)

vij が出現しない

く説明していて，シーンの重要度が高いと推測できる．そこで，

考慮した点

度の算出式
単語の出 シーンのシーンの 単語の特

スライド

現頻度

提示時間

提示順序 定性

中の出現

Id

●

●

a ) シーンの提示時間を考慮した算出式 Id
スライドの提示時間が長ければ，その中の概念について詳し

各算出式の考慮した点のまとめ

シーン重要

単語数

Idc

●

●

UPRISE [12] と同様に，シーンの提示時間を考慮した算出式

Idr

●

●

Id を提案する．

Idrc

●

●

Idf

●

●

Id (clk , θ) = Ip (clk ) · t(clk )θ

●
●
●

●
●

(2)
慮した算出式 Idr を提案する．

ここで，t(clk ) はシーン clk の提示時間を表わし，θ は時間の影響を決めるパラメータである．また，上で用いられる Ip は

Idr (clk , θ) =

∑
wx ∈W

以下のように求められる．

app(clk , wx )∑·Ipl (clk )·t(clk )θ (5)app(cy , wx )cy ∈Ll

なお上での算出式にある Ipl は以下のように求める．

Ip (clk ) =

∑

(

∑

(

∑

wx ∈clcy ∈Ll vz ∈cy ,vz =wxkp(vz )))(3)

例として，上の図 3 に示された講義 L1 の二つのシーンの重Ipl (clk ) =∑vx ∈clp(vx )(6)k

要度を算出する．現在の MPMeister の制約からスライドの本

また，app(clk , wx ) はシーン clk 中の単語 wx が何回出現する

文のインデントレベルが一つしかないとし，ρt = 5，ρbl = 1

かを計算する関数である．

とする．すると，c11 において 関係 (v11 に当たる) という単語はタイトルに含まれるため p(v11 ) = 5 となる．また 代数(v14 に当たる) という単語は本文に含まれるため，p(v14 ) = 1

d ) 特定性とシーンの順序を考慮した重要度 Idrc
上記の組み合わせとして特定性とシーンの順序を考慮した算出式 Idrc を提案する．

となる．以下同様に計算すると Ip (c11 ) = 18, Ip (c12 ) = 25 となる．

Idrc (clk , θ, δ, ε1 , ε2 ) =

j=γ+δ
∑

Idr (clk , θ) · E(j − γ, ε1 , ε2 )j=γ−δb ) シーンの順序を考慮した重要度 Idc(7)

あるシーンに出現する単語が前後のシーンにも出現する場合，そのシーンは単語を説明していると思われるため，重要であると考えられる．そこで，UPRISE [12] と同様の算出式 Idc を用いる．

e ) スライド中の出現単語の数を考慮した重要度 Idf
シーン中の単語数が多ければ，上で提案した算出式による値は大きくなるが，出現単語の数が少ない方がそのシーンの重要度が高い可能性がある．そこで，各単語の出現頻度を考慮した

Idc (clk , θ, δ, ε1 , ε2 ) =

j=γ+δ
∑

Id (clk , θ) · E(j − γ, ε1 , ε2 ) (4)算出式 Idf を提案する．

j=γ−δδ は前後何枚まで影響を与えるかを決めるパラメータで，E(j − γ, ε1 , ε2 ) は前後関係の影響を決める関数で，以下のIdf (clk , θ) =

∑
wx ∈W

1
· Id (clk , θ)app(clk , wx )(8)ように定義される．

{
E(x, ε1 , ε2 ) =各算出式の意味を表 1 にまとめた．

exp(ε1 x)exp(−ε2 x)(x < 0)(x >= 0)

この重要度によって，重要度はそのシーンの前後 θ だけの範囲の影響を受け，ε が小さいほど影響を受けやすくなる．例え

4. 2. 3 重要シーン抽出方法
各算出式を適用し，シーンの重要度を算出する．平均値以上のシーンを講義講演コンテンツの重要シーンとする．

4. 3 ダイジェスト自動作成

ば，θ = 4, ε1 = 5.0, ε2 = 0.5 の時，そのシーンの重要度が前

まず，各重要シーンの重要度に比例した時間を，ダイジェス

後 4 シーンの重要度に影響を受け，ε1 > ε2 であるため後に続トに入れる時間と定める．次に，各重要シーンの先頭からダイくシーンの方により強い影響を受ける．

ジェストに入れる時間のみを切り取ったものを繋げてダイジェc ) 単語の特定性を考慮した重要度 Idr

ストを作成する．これは，各重要シーンの途中の抽出ではシー

単語自体の重要性を考える場合，idf 等と同様に，他のシーン内トピックの切れ目と合致せず不自然なダイジェストが作成

ンでその単語がどの程度出現しているかを考慮することも有効されてしまうためである．我々の予備実験では，各重要シーンであると思われる．このため，以下のように単語の特定性を考の先頭三分の一時点から作成したダイジェストはつながりが不表 3 各講義に対する各算出式の再現率，適合率と F 尺度
講義 A

講義 B

算出式 再現率

適合率

F 尺度 再現率 適合率 F 尺度

Id

0.45

0.31

0.37

0.67

0.40

0.50

Idc

0.36

0.24

0.29

0.83

0.42

0.56

Idr

0.45

0.33

0.38

0.50

0.33

0.40

Idrc

0.45

0.22

0.30

0.50

0.25

0.33

Idf

0.45

0.22

0.30

0.83

0.42

0.56

の集合を C とする．そして C と各算出式により抽出された重図 4 ダイジェスト再生の画面

要シーンから F 尺度を算出した．

F 尺度は情報検索システムの性能評価でよく使われている再表 2 各講義の特徴

現率と適合率の調和平均である．F 尺度が高ければ，性能が良
講義

講義内容

シーン数

単語数

平均単語数

平均提示時間

講義 A

関係代数

59

1548

26

85 秒

講義 B

トランザクション

32

1043

33

165 秒

講義 C

イントロダクション

31

1674

54

160 秒

講義 D

データベースの内部

44

1286

29

110 秒

98

4256

43

48 秒

67

3306

49

68 秒

いことを意味する．それぞれ，以下の様に定義される．

再現率 =

∩
| 算出式による重要シーン集合 正解シーン集合 || 正解シーン集合 |

適合率 =

∩
| 算出式による重要シーン集合 正解シーン集合 || 算出式による重要シーン集合 |

構造
講義 E

問い合わせ処理と前
授業の復習

講義 F

オ ブ ジェク ト 指 向
データベースと前授業の復習

2 · 再現率 · 適合率
再現率 + 適合率
また各式 (2)，(4)，(5)，(7)，(8) のパラメーターは ρt =F 尺度 =

5, ∀bl ρbl = 1，
θ = 1，
δ = 3，
ε 1 = 5，ε2 = 0.5 を用いた．
自然であり，被験者評価が著しく低下することを確認した．な

5. 1. 3 実験結果と考察

お，重要シーン中の自然なサブシーン抽出とダイジェストへの各講義での各算出式の再現率，適合率および F 尺度を表 3 に利用は今後の課題とする．最後に，ユーザがダイジェストを見示す．被験者による重要シーンと各算出式による重要シーンのれるように，各重要シーンの開始時間，提示時間とビデオファ食い違いを図 5 と図 6 に示す．

イルへのリンクというメタデータを Windows Media メタファ

図 5 と図 6 の被験者による重要シーンにおいて，各被験者にイル形式のファイルを作成する．また，自動ダイジェストを再よって選ばれたシーンに多くの共通部分が見られることから，生する時の画面を図 4 に示す．右側に表示する目次で，下線が利用者毎に講義のダイジェストとして見たいシーンが異なる事付いている項目が重要シーンとして抽出されるものである．

は少なく，ダイジェストに含むべきシーンが存在することが確

5. 評 価 実 験
本研究の目的は講義講演ビデオから，自動ダイジェストを作成することであるが，今回は講義講演コンテンツから重要シー認できた．
図 5 と図 6 において、正解シーンがある程度提案手動により見つけられたため，本稿で提案した重要シーンの抽出方法はダ
イジェスト作成に当たり，有効であると考える．

ンを抽出する所までの評価を二つの被験者実験により行った．

表 3 において，講義 A と講義 B で，F 尺度で最も高い値を一つ目は提案された五つの算出式の有効性を検証する被験者実示している算出式が異なることから，今回の実験ではどの算出験であり，二つ目はこれらの算出式に用いる二つのパラメータ式が最も良いか判断できなかった．そのため，他の講義を用い，であるタイトルに出現する単語の重みの ρt とシーンの提示時

評価実験を行う必要がある．

間の θ を変化させ，これらのパラメータの影響の度合いを評価する被験者実験である．

図 5 の講義 A では被験者が重要シーンと選んでいるにもかかわらず，提案手法では重要シーンとできなかったシーンが幾5. 1 実験１：提案手法の有効性の検証つかある．理由を調べてみたところ，重要シーンとできなかっ5. 1. 1 実 験 環 境たシーンの多くは図を含んでいるものが多かった．MPMeister

実験では実際に大学で行われた二つの講義 A と講義 B を用では図に含まれている単語は抽出できないため，重要度が下がいる．これらの講義の内容，シーン数，単語数などの特徴を表り重要シーンに選べなかったと考えられる．よって，今後は図2 に示す．

中からも単語を抽出する手法を考案する必要がある．

5. 1. 2 実 験 方 法

図 6 の講義 B のシーン 32 は，提案手法では重要シーンとし二つの講義を見たことがない 6 名の被験者にダイジェストにているが，被験者は重要シーンとしていない．この理由を調べ

含めたい場面を含む重要シーンを選んでもらう．次に 6 名の内たところ，シーン 32 はスライドに表示した問題を，11 分間の4 名が重要シーンとしたシーンを正解シーンとし，正解シーン

間生徒に解かせるシーンであった．全ての重要度算出方法にお       !!""!#%$!&(' )*' ) +,' ) -' ) - +' ) .
/0
123
45
67
// 80/// 213//// 54/0/ 6780
0 10 20/0 300
0 60 40 57
11 80/
11 2131111 54
121 6782
2 12 2/2 03
22
2 62 42 573
33 8
3 23 103 /333
3 653 47
=D J> ?K @ A B C D EED    < F HHF    I
9 : ; < = > ? @ A B C D EED   GF H   
図5

被験者と提案手法による重要シーンの食い違い−講義 A    
!#""%$'&)('*,+.-0/1-2/435-2/46-2/46738-2/:9
<=>;
?@A
BC
;; D;
;; >=<;; A@?
;;; CB<<; D;<< >=<<< A@?
<<<=< CB
D= ;=<FEHGJILK M7N2O7P0Q7R SUT7V2W
W
MHJNJOHP0Q R SUT7V2W K W T2]J^
XY
ZJ[ X7YX7Y Z7U[ X2YU\

 
89:7
;<=
>?
77 @7
77 :9877 <;=777 ?>887 @7
88 :9888 <;=
88
898 ?>@9 7BADC6E

  
  
"!$#$%$&('*),+-),+/.0),+/12),+/13.4),+65

F3GIH6JLKNMLO3PNQSLRNTLUIVWDX6TIULVGYHD6JDNKZMLO[3PLQNRNTLUIVSF WLX6T,ULVS\YQL]L^

図 7 被験者と提案手法による重要シーンの食い違い−講義 B(「練習問題」シーン削除後)
表 4 講義 B に対する各算出式の再現率，適合率と F 尺度 (「練習問題」シーン削除前と後)
削除前

削除後

算出式 再現率

適合率

F 尺度 再現率 適合率 F 尺度

Id

0.67

0.40

0.50

0.83

0.45

0.59

Idc

0.83

0.42

0.56

1.00

0.43

0.60

Idr

0.50

0.33

0.40

0.67

0.44

0.53

Idrc

0.50

0.25

0.33

0.83

0.38

0.53

Idf

0.83

0.42

0.56

0.83

0.42

0.56

の有効性が向上することを確認できた．よって，今後はこのようなシーンを除去する手法を考案していく必要がある．

5. 2 実験２：考慮した点の影響の度合いの評価
式 (1) のタイトルに出現する単語の重みを表すパラメータ ρtとシーンの提示時間を表すパラメータ θ を変更させ，提案された 5 種類の算出式への影響を評価するため，被験者実験を行った．

5. 2. 1 実 験 環 境
実験 1 で使用された二つの講義と異なる実際に行われた四つの講義 C，講義 D，講義 E，講義 F を利用し，被験者実験を行った．この四つの講義の内容，シーン数，単語数等の特徴を
表 2 に示す．

図 6 被験者と提案手法による重要シーンの食い違い−講義 B

5. 2. 2 実 験 方 法
実験 1 と同じように，講義ビデオをまだ見ていない 2 名の被いて，スライドの提示時間を考慮しているため，11 分間という長時間提示されていたこのシーンが，重要シーンと計算されたと思われる．そのため，このような長時間授業が進まないシーンを除去することが，手法の有効性を向上すると考えられる．
このことを確認するために追加実験を行った．
「練習問題」シーンを対象から外した追加実験の結果は表 4と図 7 のようになった．表 4 を見ると値が変わらない Idf 以外にすべての F 尺度が向上している．また，図 7 を見ると，図 6の講義 B よりも被験者による重要シーンを多く含めている．この結果から，長時間授業が進まないシーンの除去により，手法

験者に講義ビデオからダイジェストに含めたい場面を含む重要シーンを選んでもらった．2 名共に重要シーンとしたシーンを正解シーンとして，正解シーンの集合を正解セットとした．
次に正解セットから，パラメータ ρt を 1 から 10 まで 1 刻みで変化させ，講義毎で各算出式による再現率，適合率と F 尺度を算出した．最後に，各講義で F 尺度を最も良い結果とさせたρt を用い，θ を 0 から 5 まで 0.5 刻みで変化させ，各算出式による再現率，適合率と F 尺度を算出した．その他のパラメータを変更しなかった．

 

 

 








 


 




 



     

 

 




 



     








  

 

 

  







 

        



図 10

図 8 ρt の変化と F 尺度の平均値の推移
 














θ の変化と再現率の平均値の推移





 



 
  

 

 
 







 



 



  

 

 

 







       

図 9 θ の変化と F 尺度の平均値の推移

5. 2. 3 実験結果と考察
ρt と θ の値に対応する四講義の F 尺度の平均値の推移を図
8 と図 9 に示す．
図 8 のグラフから分かるように，多くの算出式で ρt が大き        

図 11

θ の変化と適合率の平均値の推移

算出式 Idf による F 尺度が良かったから，重要シーンを抽出することに関して，スライド中の出現単語を考慮することがが重要であると考える．

6. まとめと今後の課題

いほど F 尺度が大きいため，タイトルに出現する単語をより重要とすることが有効であると考える．しかし全体としては，結果に影響が小さいことが分かった．
次に，図 9 に表示されているグラフから分かるように，全部の算出式に対し，シーンの提示時間を考慮した F 尺度が考慮しない方 θ = 0 と比べ良い結果が出た．それによって，シーンの提示時間を考慮することが有効であると判明した．
ところが，θ を大きくすれば，全ての算出式による F 尺度が低くなる傾向が見られた．それで，シーンの提示時間を考慮するべきであるが，パラメータを大きくしすぎない方が良いと考える．
また，θ が提案される算出式に対する再現率と適合率に及ばす影響を考察した．θ の変化に対する四つの講義の再現率と適合率の平均値の推移を図 10 と図 11 に示す．
この結果から再現率に関して，全ての算出式は θ > 0 の時，

θ が大きいほど，良くなくなった．一方，適合率に関しては，θ
が大きいほど，良くなった．理由としては，θ が大きくなると，各シーン重要度には差が大きくなるため，平均値以上の重要度を持つシーンの数が少なくなると考える．
最後に，図 8 と図 9 にスライド中の出現単語の数を考慮した講義講演コンテンツのダイジェスト自動作成に既存の動画要
約研究をそのまま適用することはできない．本稿では講義講演のビデオのダイジェスト自動作成の第一歩として，スライド中の単語の出現状況，シーンの提示時間，順序を用い各シーンの重要度を算出する複数の手法を提案し，それを基に，ダイジェ
ストを自動作成する手法を提案した．また，重要シーン抽出手法の評価を実際の講義を用いた被験者実験により行った．その結果，正解シーン集合と抽出した重要シーン集合に多くの共通部分が見られたため，提案手法が有効であると考える．また，重要シーン抽出のため，単語の出現分布とシーンの提示時間が重要であることが判断できた．
今後の課題として以下の四つが挙がれる．
第一にシーン重要度のさらなる評価である．今回，シーンの重要度を算出するための 5 種類の算出式の性能をより正確に評価するため，他の授業の講義で実験していきたいと考える．
第二に提案手法の改良である．今回，単語の出現状況のみを考慮したが，今後，日本語のオントロジーの適用について考える必要がある．また，今回の実装システムは前処理の階段では，スライドのテキスト内容から意味のない単語，及び提示時間が3 秒以下のシーンを削除しているが，音声情報追加などで各講

義において本質に対応するフィルタリング手法を考案する必要がある．
第三に重要シーンから PowerPoint のアニメーション機能による情報や音声情報等を用い，本来ダイジェストに含まれるべきサブシーンを抽出する必要がある．今回は重要シーンの最初の部分を切ったものを繋げることによりダイジェストを生成したが，実際にダイジェストに入れるべき部分は必ずしも最初の部分とは限らないためである．
第四にダイジェスト再生のインタフェースの改良である．現在は画面にはビデオとダイジェストの目次しか表示されていな
いが，将来はダイジェストの長さやビデオに出現されるスライドの内容の表示等，多様な利用者の要求に対応できるようなイ
ンタフェースを作成する必要がある．

謝

辞

なお，本研究の一部は，文部科学省科学研究費補助金特定領域研究 (19024028)，独立行政法人科学技術振興機構 CREST，および東京工業大学 21 世紀 COE プログラム「大規模知識資源の体系化と活用基盤構築」の助成により行われた．
文

献[1] Ricoh Japan, “MPMeister II — Ricoh Japan,” http://www.
ricoh.co.jp/mpmeister.
[2] H. Yokota, T. Kobayashi, T. Muraki, and S. Naoi, “UPRISE: Uniﬁed Presentation Slide Retrieval by Impression
Search Engine,” IEICE Trans. on Info. and Syst., vol.E87D, no.2, pp.397-406, 2 2004.
[3] M.Sanderson, “Accurate User Directed Summarizationfrom Existing Tools,” Proc. of the 7th International
Conference on Information and Knowledge Management(CIKM98), 1998.
[4] Y. Gong, and X. Liu, “Generic Text Summatization Using
Relevance Measure and Latent Semantic Analysis,” Proc.
of the 24th annual international ACM SIGIR conference on
Research and development in information retrieval, pp.1925, 2001.
[5] R. Barzilay, and M. Elhadad, “Using Lexical Chains for
Text Summarization,” Proc. of the Intelligent Scalable Text
Summarization Workshop (ISTS’97), 1997.
[6] 堀 智 織 ，A Study on Statistical Methods for Automatic
Speech Summarization，Ph.D thesis，Tokyo Institute ofTechnology，2002.
[7] J. Wang, C. Xu, E. Chng, and Q. Tian, “Sport Highlight
Dectection from Keyword Sequences using HMM,” Proc. ofIEEE International Conference on Multimedia and Expo,
ICME ’04, vol.1, pp.599-602, 2004.
[8] M.J. Pickering, L. Wong, and S.M. Rüer, Image and Video
Retrieval, Springer Berlin / Heidelberg, 2003.
[9] L. He, E. Snocki, A. Gupta, and J. Grudin, “AutoSummarization of Audio-Video Presentation,” Proc. of theseventh ACM international conference on Multimedia (Part1), pp.489-498, 1999.
[10] 小林隆志，村木太一，直井聡，横田治夫，“統合プレゼンテー
ションコンテンツ蓄積検索システムの試作，” 電子情報通信学会
論文誌，vol.J88-D-I，no.3，pp.715-726，3 2005.
[11] 仲野亘，小林隆志，直井聡，横田治夫，岩野公司，古井貞煕，“プレゼンテーション蓄積検索システムにおける講義・講演音声情報を利用した適合度の改善，” 第 17 回電子情報通信学会データ
工学ワークショップ (DEWS2006)，2006.
[12] 仲野亘，小林隆志，直井聡，横田治夫，古井貞煕，“講義講演シーン検索手法におけるレーザーポインタ情報と音声情報の粒度を考慮した統合，” 第 18 回電子情報通信学会データ工学ワー
クショップ (DEWS2007) 論文集，pp.E1-3，2007.
[13] “形態素解析システム Sen，” http://www.mlab.im.dendai.ac.
jp/∼yamada/ir/MorphologicalAnalyzer/Sen.html.
[14] “An Experimental Japanese - English Ontology,” http://www.kanzaki.com/docs/sw/jwebont.html.
[15] H. Luhn, “A Statistical Approach to Mechanized Encoding and Searching of Literary Information,” IBM Journal of
Research and Development, vol.1, no.4, pp.309-317, 1957.