動画像データの要約可視化インタフェースの一手法
笠松沙紀 （指導教員：伊藤貴之）
1. 概要や、長時間に及ぶニュース映像を分割して重要度を算出し，マルチメディアコンテンツのデジタル化に伴い，録画機器重要なキーフレームを中心に表示する一覧可視化手法[4]がの発達やインターネットでの動画配信が進み，個人が扱う動ある．また，キーフレームを選択するとそのシーンから動画画の量が増えている．コンピュータ上に大量に蓄積した動画が再生されるブラウザ[5]の開発もされている．の中から，所望のファイルを探す，個々の内容を確かめる，これらの可視化手法は主として，1 つの動画ファイルの要複数のファイルの内容を見比べるといった作業には非常に約結果を表示させる目的で開発されている．そのため特定の労力を費やすことがある．

動画の内容把握や，特定のシーンを探索する目的は向いてい

動画像データは内容を一目で把握しにくいため，キャプチるが，複数のファイルにまたがる確認や検索には向いていなャ画像で内容を表現する動画要約の手法が盛んである．しかい．また，ユーザ自身による対話的操作によって，用途に応し、要約結果の可視化手法は単にブラウザに画像を並べたもじて要約の詳細度を調節することは考えられていない．のが多く，各画像の表すシーンの時間や，動画全体の長さが3. 処理手順

伝わりにくい．また，これらの可視化手法の多くは，一つの本研究では，動画データから抽出したシーンごとのキーフ

動画ファイルの要約結果をブラウザに表示することに主眼

レームを時間軸にそって表示する，という考え方による可視をおいてあり，複数のファイルを一覧して内容を見比べるこ化インタフェースの一手法を提案する． 本研究では，動画とを目的としていない．

要約については先行手法を踏襲するにとどめ，可視化イン

そこで本研究では，動画像データの要約結果画像を時間軸タフェースの開発に重点をおいている．また本研究におい上に配置し（図 1 参照），1 ファイルだけでなく複数のファて，より有効的な可視化結果を得るために適した動画としイルの要約結果を羅列することで，各動画ファイルのストーて，主にドラマや映画を対象にする．

リーの流れや各シーンの位置を比較するための可視化手法

3.1. 動画要約
まずキーフレーム抽出による動画要約を行う．

を提案する．本手法では，ユーザ自身がズーム操作によって要約の詳細度（＝1 ファイルにおいての表示画像数）を調節

フレーム間ピクセル差分を用いて，動画中の連続した 2できる．これにより，ズームイン操作によってより詳しい動枚のフレーム間の輝度を比較し，差分が閾値より大きい点で画の内容を確認する，あるいは逆にズームアウト操作によっ動画をショットごとに分割する．次にショットごとの代表フてより多数の動画を一度に一覧できる，というような適応性レームを抽出する．現状では各ショットの時間的中心にあのあるユーザインタフェースを実現する．

るフレームを代表フレームとするが，将来的には改良する予定である．全ショットの代表フレームを抽出した後，各フレームの YCbCr 値の平均を求め，3 次元空間上に配置する．ここで，YCbCr 値の平均値が近いフレーム同士は類似度が高いという前提に基づき，フレーム画像群に対してクラスタリングを行う．類似度によって分類されたフレームの集合を，シーンとする．この各シーン中の重心座標に最も近い YCbCr 値を持つフレームを，シーンの代表フレームとし，これがキーフレームとなる．

3.2. キーフレーム重要度の算出
図 1: 動画の要約結果を時間軸上に配置

キーフレームを決定した後，各フレームの画像情報をもとに重要度を算出する．従来の動画要約手法では，キー2. 関連研究

フレームの重要度算出には，そのフレームの属するシーン動画の普及に伴い，動画から代表画像（以下キーフレの意味的重要性を主に考慮している．しかし本研究では，ームと呼ぶ）を抽出する要約手法の研究が盛んである．動

シーンの重要度だけでなく，キーフレームをブラウザに表

画要約では，動画中の重要な部分を除去せず，かつ簡潔に内示した際の画像の見やすさにも重点を置く．以下に重要度

容を表現するために，キーフレームの選択手法が重要である．のもととなる画像情報について述べる．
① 顔検出数・クローズアップ

従来手法として，各ショット中のフレームのクラスタリングによるキーフレームを選択する手法[1]，映像中の字幕認識やフレーム中に人物が映っているシーンは重要度が人物・物体検出の結果から重要と判断されるフレームを自動高いとし，検出された人物の顔がより大きく写ってい選択する手法[2]，などが知られている．

れば重要な場面と見なす．クローズアップ画像は縮小表示しても認識しやすいことを考慮している．
② 彩度

動画要約の可視化では，要約結果の画像を漫画のコマ割りのように配置し，1 ページで動画の内容を表現する手法[3]89より彩度の高い画像は，縮小表示しても見やすいたによってキーフレームが増え，より詳細な内容を見ることめ，重要度を高く設定する．彩度は前述の YCbCr 値ができる．逆にズームアウトによりキーフレーム数が減り，を用いて算出する．
③ シーンの長さより簡潔な要約結果を提示できる．
ズームアウト操作にともなって本手法は，近隣するキフレームの属するクラスタの大きさはシーンの長ーフレーム間で重要度を比較し，重要度がより低いキーフさを意味し，より長いシーンは重要と見なす．
④ フレームの位置レームの表示を省略することで，表示キーフレーム数を減らす．逆にズームイン操作にともなって本手法は，省略さ動画全体に対するキーフレームの位置によって重れたフレームを復活させて，表示キーフレーム数を増やす．

要度を変化させる．一般的に動画中でクライマックス

このように本手法は，重要度の高さに基づいて，表示キーや盛り上がるシーンが多いとされる後半のフレームフレーム数を制御する．

は重要度を高くする．

また，動画ファイルによって表示キーフレーム数が大以上の情報を用いて、各キーフレームの重要度を算出する．

きく異なる場合があるため，一動画ファイルあたりの表示

3.3. キーフレームのサイズ割り当てキーフレーム数を動画の長さから予め決定する．抽出され続いて本手法は，算出した重要度から，各キーフレー

たキーフレーム数がこの数より多い場合は，重要度の高いムにサイズを割り当てる．キーフレームを可視化する際に，各フレームの重要度に応じたサイズで表示し，より重要度ものを優先的に表示する．
なお本手法では，画面垂直方向のマウス操作によって，の高いものを大きく表示することで，重要なシーンを強調表示する動画ファイル数も同時に調節できる．

した可視化を実現する．

4. まとめと今後の課題

前章で各キーフレームの重要度を算出したが，これら本研究では，ユーザによる動画ファイルの確認・探索の全キーフレームの中で，最も重要度の高いキーフレームを容易にするために，ユーザ自身による要約詳細度の操作を目安とし，この最大重要度と各キーフレームの重要度のを可能にした，動画要約の可視化インタフェースの一手法

比率でサイズを割り当てていく．予め比率の閾値を決め，を提案した．本手法は，一つの動画データの内容把握を目数段階のサイズでフレームを表示する．（例えば，あるフ的とした従来の可視化手法と異なり，蓄積した複数の動画レームの重要度が，最大値の 1/8 未満だったらサイズ 1，ファイル間の内容比較・ファイル探索に主眼をおいている．

1/8 以上 1/4 未満だったらサイズ 2，1/4 以上 1/2 未満だっ今後の課題としては，重要度算出の要素となる画像情

たらサイズ 3，1/2 以上だったらサイズ 4 と割り振る．）こ報の正当性の検証や，新たな重要度算出手法の考察が考えれにより，異なる動画ファイル間でキーフレームの重要度られる．特に本研究は複数の動画ファイルを対象としていが大きく変化しても，統一したサイズの割り当てが可能でるため，動画要約や重要度算出においても，複数の動画フある．

ァイルを互いに比較しながら処理することが望ましい．こ

最後に重要度に応じてサイズが割り当てられたキーフの点についても今後検討を加えたい．また，動画ファイルレームを，時間軸上に表示する．（図 2 参照）の再生機能を加えるなどして，ユーザインタフェースの操作性の向上も今後の課題として挙げられる．
参考文献[1] Y. Zhuang, Y. Rui, T.S.Huang, and S. Mehrotra,“Adaptive Key Frame Extraction Using UnsupervisedClustering”, International Conference on Image
Processing, Vol. 1, pp. 866-870, 1998.
[2] M. Smith, and T. Kanade, “Video Skimming andCharacterization through the Combination of Image andLanguage Understanding Techniques”, IEEE Computer
Society Conference on Computer Vision and Pattern
Recognition (CVPR'97), pp. 775-781, 1997.
[3] S. Uchihashi, J. Foote, A. Girgensohn, and J. Boreczky,“Video Manga: generating semantically meaningful video
summaries”, Proceedings of the Seventh ACM
International Conference on Multimedia, pp. 383-392,
1999.
[4] H. Luo, J. Fan, J. Yang, W. Ribarsky, S. Satoh, “Exploring
Large-Scale Video News via Interactive Visualization”,
IEEE Symposium On Visual Analytics Science And
Technology (VAST2006), pp. 75-82, 2006.
[5] H. Zhang, C. Y. Low and S. W. Smoliar, “Video Parsingand Browsing Using Compressed Data”, Multimedia
Tools and Applications, vol.1, issue 1, pp. 89-111, 1995.

図 2: キーフレームを時間軸上に表示

3.4. 要約詳細度の調節
本手法における可視化インタフェースの特徴は，ユーザ自身によるズーム操作によって，要約詳細度を調節できる点である．ここで要約詳細度とは，1 つの動画ファイルにつき表示されるキーフレームの数をいう．本手法では画面水平方向のマウス移動によるズーム操作にともなって，表示するキーフレーム数を調節する．このときズームイン

90