論文 / 著書情報
Article / Book Information
論題(和文)

講義講演ビデオの重要シーン抽出によるダイジェスト自動作成

Title(English)

Important Scenes Extraction for Automatic Digest Generation from aPresentation Video

著者(和文)

レー ヒェウハン, ティティポーン, ルートラットデーチャークン, 渡部徹太郎, 横田治夫

Authors(English)

Le HIEU HANH, Thitiporn, LERTRUSDACHAKUL, Tetsutaro
Watanabe, HARUO YOKOTA

出典(和文)

情報処理学会第７０回全国大会講演論文集, , ,Citation(English)

Proc. of The 70th National Convention of IPSJ, , ,

発行日 / Pub. date2008, 3

権利情報 / Copyright

ここに掲載した著作物の利用に関する注意: 本著作物の著作権は（社）情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。
The copyright of this material is retained by the Information Processing
Society of Japan (IPSJ). This material is published on this web site withthe agreement of the author (s) and the IPSJ. Please be complied with
Copyright Law of Japan and the Code of Ethics of the IPSJ if any users
wish to reproduce, make derivative work, distribute or make available tothe public any part or whole thereof.

Powered by T2R2 (Science Tokyo Research Repository)

5ZK-3
5ZK-3

講義講演ビデオの重要シーン抽出によるダイジェスト自動作成
レー ヒェウハン ††1

ルートラットデーチャークン ティティポーン ‡††東京工業大学 工学部情報工学科
東京工業大学 学術国際情報センター‡(株) リコー ソフトウェア研究開発本部アプリケーション研究所

はじめに近年，プレゼンテーションソフトウェアを用いた講義講演を録画した動画を格納し，E −ラーニング等に用いる機会が増えてきている．(株) リコーによって開発された MPMeister[1] のようなシステムによって容易にコンテンツ作成できるようになった影響が大きい．
これまで我々は，そのような講義講演コンテンツから，利用者が示す検索キーワードに合致するシーンを探し出すために，スライド中の単語情報だけでなく，スライド提示の時間情報や順序情報，音声情報，レーザーポインタ情報等を用いる UPRISE[2] を提案し，その効果を示してきた．しかし，講義講演コンテンツの場合，利用者は検索キーワードに関して適切な知識を持ち合わせているとは限らず，当該講義講演の概要を短時間で把握したいという要求も高い．
スポーツ中継やニュース映像に対して，ダイジェス
トを作成する研究は既に多くされているが，得点シーンやアンカマンシーン等のない講義講演コンテンツにそれらの手法をそのまま適用することはできない．一方，講義講演コンテンツでは，UPRISE のようにス
ライド中の単語情報等を利用することができる．そこ
で，本稿では，講義講演ビデオのダイジェスト自動作成を目的に，スライド中の単語出現状況等を使った重要シーンの抽出によるダイジェスト作成を考える．また，MPMeister によって作成した実際の講義コンテンツを使って，提案手法の有効性を検証する．

2

横田治夫 ††

提案手法

2.1 前提システムは複数の講義の録画を保持するが，ダイジェスト作成の対象はその中の１つの講義 Ll とする．と同時に，システムは全講義で用いられた全スライド S = {s1 , s2 , . . . , sN } を持つ．ここでは，スライド中の単語出現にのみ着目することから，各スライド
si は，単語の並び si = [vi1 , vi2 , . . . , vim ] として表現される．ここで，全スライド S 中の全単語の集合をImportant Scenes Extraction for Automatic Digest
Generation from a Presentation VideoLE Hieu Hanh† , Thitiporn LERTRUSDACHAKUL‡ and Haruo
YOKOTA††† Dept. of Computer Science, Faculty of Engineering, Tokyo
Institute of Technology, 152-8552, Tokyo, Japan‡ Application Lab, Software R&D Group, Ricoh Company,Ltd., 112-0002, Tokyo, Japan†† Global Scientiﬁc Information and Computing Center, Tokyo
Institute of Technology, 152-8550,Tokyo Japan† hanhlh@de.cs.titech.ac.jp‡ thitiporn.lertrusdachakul@nts.ricoh.co.jp†† yokota@cs.titech.ac.jp

W = {w1 , w2 , . . . , wM } とすると，当然 viα ∈ W となる．この時，講義 Ll の録画はスライドの切り替えによるシーンの並びとして Ll = [cl1 , cl2 , . . . , cln ] として表現する．ここで，シーン clk は S 中のいずれかのスライド si に対応することから clk = [vi1 , vi2 , . . . , vim ] として扱うことができる．なお，実際の講義では，同じスライド si が再利用やバックトラック等で，異るシーン中に複数回現れることに注意する必要がある．
2.2 シーンの重要度算出
以下，講義 Ll のダイジェストを作成するために，「何度も繰り返し言及される概念は重要な概念である」という仮定 [3] の元に，シーン中の単語の出現状況に着目して，重要と思われるシーンの自動抽出を試みる．そのために，以下のようなシーンの重要度算出式を提案する．
2.2.1 スライド構造の考慮
シーンをその中のスライド中の単語の並びとしただ
けでは，スライドの構造情報を利用できない．そこで，
単語 viα がスライドのどのようなレベルに出現するかを以下の関数 p(viα ) によって表現することにする．
 ρt viα がタイトルに出現
p(viα ) =ρbl viα が本文のインデントレベル bl に出現
0viα が出現しない
これに基づき，以下のようなスライド構造を考慮した重要度算出式 Ip を提案する．
∑∑∑p(vz )))Ip (clk ) =((wx ∈clk cy ∈Ll vz ∈cy ,vz =wx

2.2.2 提示時間の考慮
スライドの提示時間が長ければ，その中の概念について詳しく説明していて，シーンの重要度が高いと推測できる．そこで，UPRISE と同様に，シーンの提示時間を考慮した算出式 Id を提案する．
Id (clk , θ) = Ip (clk ) · t(clk )θ
ここで，t(clk ) はシーン clk の提示時間を表わし，θ は時間の影響を決めるパラメーターである．

2.2.3 単語の出現頻度の考慮
シーン中の単語数が多ければ，Ip ，Id の値は大きくなるが，出現単語の種類が少ない方がそのシーンの重要度が高い可能性がある．そこで，各単語の出現頻度を考慮した算出式 Idf を提案する．
Idf (clk , θ) =∑wx ∈W

1· Id (clk , θ)app(clk , wx )

ここで、app(clk , wx ) はシーン clk 中の単語 wx が何回出現するかを計算する関数である．

2.2.4 単語の特定性の考慮
単語自体の重要性を考える場合，idf 等と同様に，他のシーンでその単語がどの程度出現しているかを考慮することも有効であると思われる．このため，以下のように単語の特定性を考慮した算出式 Idr を提案する．
Idr (clk , θ) =∑wx ∈Wapp(clk , wx )∑· Ipl (clk ) · t(clk )θ
app(cy , wx )cy ∈Ll3

評価実験

実際に行われた 2007 年度のデータベースに関する講義録画を用いて，被験者による評価を行った．予め 6 名の各被験者にダイジェスト向きのシーンを正解セットとして選んでもらい，次に各算出式に基づくダイジェス
トシーン候補とその正解セットの比較を行った．なお，
本評価では，予備実験の結果から，ρt = 5，∀bl ρbl = 1，
θ = 1，δ = 3，ε1 = 5，ε2 = 0.5 とし，「練習問題」のシーンは性質が大きく異るため，対象から外した．以
下の図に，正解セットと各算出式によるシーン候補との食い違いを示す．

なお，上の算出式での Ipl は以下のように定義される．
∑Ipl (clk ) =p(vx )vx ∈clk

2.2.5 シーンの順序の考慮ある単語が前後のシーンにも出現すれば，重要度が高まると考えられることから，UPRISE と同様に講義の文脈情報を考慮することも有効であると期待できる．
そのようなシーンの順序を考慮した算出式 Idc を提案する．
Idc (clk , θ, δ, ε1 , ε2 ) =

j=γ+δ
∑

Id (clk , θ) · E(j − γ, ε1 , ε2 )j=γ−δ

δ は前後何枚まで影響を与えるかを決めるパラメーター
で，E(j − γ, ε1 , ε2 ) は前後関係の影響を決める関数で，以下のように定義される．
{exp(ε1 x)(x < 0)E(x, ε1 , ε2 ) =exp(−ε2 x) (x ≥ 0)
2.2.6 特定性とシーンの順序の考慮
最後に，上記の組み合わせとして特定性とシーンの順序を考慮した算出式 Idrc を提案する．
Idrc (clk , θ, δ, ε1 , ε2 ) =

j=γ+δ
∑

Idr (clk , θ) · E(j − γ, ε1 , ε2 )j=γ−δ2.3 ダイジェスト自動作成
算出式を利用してダイジェストを作成する流れを以下に示す．
まず，収録された講義からスライドのテキスト情報とスライドの提示時間を収集する．次に，講義講演でスライド移動やプレゼンターの操作ミスなどを考慮し，提示時間が 3 秒以下のシーンを削除する．その後，日本語形態素解析システム Sen で，スライドのテキス
ト内容から意味のある単語を抽出する．最後に，J-E
Ontology を用い，意味の同じ英語と日本語の単語を発見し，同じ単語として扱うようにする．
以上の前処理を行った後，各算出式を適用し，平均値以上のシーンをダイジェストのシーン候補とする．
次に，各シーン候補の重要度に比例した時間を，ダイジェストに入れる時間と定める．さらに，一般的には各シーンの最初の部分の方が重要度が高いことが多いため，各シーン候補の先頭からダイジェストに入れる時間のみを切り取ったものを繋げてダイジェストを作成する．最後に，各シーン候補の開始時間，提示時間とビデオファイルへのリンクというメタデータを Windows
Media メタファイル形式のファイルを作成する．

図:被験者と提案手法によるダイジェストシーン候補図から分かるように正解セットは被験者により異るが，各算出式によって抽出されたシーンは，各被験者の共通部分を概ね含んでいる．また実際に作成されたダイジェストを被験者に見てもらったところ，ダイジェスト性があるという評価を得た．なお，更に詳しい評価結果は別報 [4] を参照されたい．

4

まとめと今後の課題

講義講演ビデオのダイジェスト作成の第一歩として，各シーンの重要度を算出する複数の式の提案と，実際の講義を用いた評価結果を報告した．今後は，更に講演者の音声情報やオントロジーを利用する方法等を検討して行きたいと考えている．

謝辞
なお，本研究の一部は，文部科学省科学研究費補助金特定領域研究 (19024028)，独立行政法人科学技術振興機構 CREST，および東京工業大学 21 世紀 COE プログラム「大規模知識資源の体系化と活用基盤構築」の助成により行われた．

参考文献[1] Ricoh. MPMeister II.
http://www.ricoh.co.jp/mpmeister.
[2] 仲野亘, 小林隆志, 直井聡, 横田治夫, 古井貞煕. 講義講演
シーン検索手法におけるレーザーポインタ情報と音声情報の粒度を考慮した統合. 第 18 回電子情報通信学会データ工学ワークショップ (DEWS2007) 論文集, pp. E1-3,2007.
[3] H.P Luhn. A Statistical Approach to Mechanized Encoding and Searching of Literary Information. IBM
Journal of Research and Development, Vol. 1, No. 4,
pp.309-317, 1957.
[4] レーヒェウハン, ルートラットデーチャークンティティ
ポーン, 横田治夫. 講義講演ビデオからダイジェスト自動作成のための重要シーン抽出手法の評価. 第 19 回電子情報通信学会データ工学ワークショップ (DEWS2008) 論文集, 2008.