情報処理学会第 74 回全国大会

1Q-9

フィルムコミックの自動生成における視線情報の利用
澤田 友哉††山梨大学工学部

豊浦 正広‡ 茅 暁陽‡‡山梨大学大学院医学工学総合研究部

1

序論
アニメーション作品をコミック調画像に変換したものはフィルムコミックと呼ばれ，有名な作品の多くについて一般に販売されている．フィルムコミックは，作品内容を一覧表現する資料として，また，映像とは別の形態を取る作品として利用される．フィルムコミック作成は，専門家により手作業で行われてきた．図 1 に示
すように，映像をショットに分割し，各ショッ
トからストーリーを表現する上で必要なフレー
ム，および，セリフに対応するフレームを抜き出し，コミックのコマに整形して作成される．
セリフはコマ中の吹き出しとして表現される．

図 1．映画からフィルムコミックへの変換
映画をコミックに自動変換する既存技術として Hong ら[1]の手法がある．彼らの手法では，既存の顔認識及び唇の動き検出技術を用いてセリフと話者との対応付けを行い，吹き出しの配置を行う．しかし，顔認識及び唇の動き検出は主に実写映像用に開発された技術であるため，フィルムコミックの題材として特に多く利用されているアニメーション映像には適用できない場合が多い．
それに対し，国広ら[2]は，フレームの選択には画像処理技術，トリミングと吹出しの配置には，鑑賞者の視線情報を用いる方法を提案した．
色の変化により映像をショットに分割し，ショット中央の画像を代表フレームとして選択する．
Automatically Generation of Film Comics Using Eye-Tracking Data
Tomoya SAWADA†, Masahiro TOYOURA‡, Xiaoyang MAO‡
†Computer Science and Media Engineering University of Yamanashi‡Interdisciplinary Graduate School of Medical and Engineering
University of Yamanashi

そして，注視箇所をフレーム内の重要箇所と見なし，それが切り取られたり，隠されたりしないようにした．しかし，国広ら[2]の手法には，(1)選出したフレームは必ずしもストーリーを理解する上で重要なフレームではない(2)トリミン
グが元のフレーム画像の構図を反映していない，(3)吹き出しが重要箇所にかかってしまう，といった問題があった．これらの問題の解決は，映像内容の理解なしでは困難とされていた．
本研究では，鑑賞者の視線情報と画像処理技術を併用することでこれらの問題の解決を試みる．鑑賞者の視線は，興味ある対象に向けるため，重要フレームや重要領域，発話主体に関する情報を含んでいる．視線の移動を解析することで，ストーリーの展開を表現するのに必要なフレームを検出することができる．また，画像内の意味ある領域は通常何らかの変化を含んでいるため，視線が向けられている領域にこのような変化があるかどうかを調べることで，検出の精度の向上を図る．提案手法はさらに，視線情報と変化情報から算出したフレーム画像の重要度マップに基づき，構図を保持するトリミングと重要箇所を遮蔽しない吹き出しの配置を行う．
2

提案手法

2．1 フレーム選択
既存研究では，映像中のカット検出を行い，ショットの代表フレームを選出していた．しかし，動作主体の変更や内容の変化は文脈依存であるため，これを画像処理のみで検知することは困難であった．本研究では，視線の大きな移動から，内容変化や動作主体の変更を検出する．
これにより，同一ショットから内容の異なる複数のフレームを選択することができる．
ただし，このときの視線移動が本当に鑑賞者の注意のシフトを表しているかを判別する必要がある．我々は図 2 に示すように，まずフレーム画像から局所勾配特徴である KLT を抽出し[2]，K-means 法でクラスタリングを行うことで，画像中の意味のある領域を求める．そして，視線に大きな移動が生じた際，注視点がいずれかの領

2-133

Copyright 2012 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 74 回全国大会

域内部にある場合のみ，その対象に注意がシフトしたと判定する．
提案手法では，注意のシフトが起きている位置で，同一ショットをさらに複数のグループに分け，それぞれのグループの中央のフレームを選択する．

な箇所にセリフを配置する．ただし，注視していない領域が必ずしも重要でないとは限らない
ため，画像内の特徴情報も利用する．すなわち，2.2 に示した重要度の定義に従い，重要度の低い領域を検出し，吹き出しを配置する．
3(a)意味のある視線移動(b)意味のない視線移動

図 2．視線における注意のシフト
2．2 トリミングにおける構図の保存選択されたフレームの形状とコマの形状が異なる場合は，コマの形状に合うようにフレーム画像をトリミングする必要がある．フレーム画
像には製作者の意図した場面の見せ方を反映した構図がある．視線が最も集中している箇所を画面の中央にくるようにトリミングを行うと，図 3 に示すように本来の構図を壊してしまう恐れがある．そこで，提案手法ではフレーム画像における重要箇所の相対位置がなるべく保存されるようにトリミングを行う．まず，フレーム画像の各画素に対して，その周辺における注視情報と KLT 特徴情報から重要度を計算する．そして，重要度の高い画素ほど画像内における相対位置が保たれるようにトリミングを行う．

実験
実験では，解像度が 1280×1024 である 23 イ
ンチ液晶ディスプレイに映像を提示し，視線追跡装置 NAC 社製 EMR-AT VOXER を用いて，60Hzで視線追跡を行った．鑑賞者は，20 代の男性であり，実験に用いて映像は白雪姫，ピノキオ，シュレック 3 の冒頭 10 分間とした．
提案手法を用いて，フィルムコミックを自動生成した．2.1 に示した手法によって，同一フレーム内から，ストーリーを理解するうえで重要なフレームを複数選択することができた．一続
きのショット内に動作主体の変化がある場合，既存研究ではショット内の細分化はできないため，このショットから生成されるコマはただ一つとなる．これに対して提案手法は，一連の動作から内容に変化の含まれるフレームを抽出することができた．2.2 に示した手法の適用により，画面中の重要な対象の相対位置を変えることなく，トリミングが行えた．また，2.3 に示した手法によって，重要な領域に吹き出しが掛かるのを避けることができた．
4

まとめ
本論文では，鑑賞者の視線情報を用いること
で，フィルムコミックの自動生成において，(1)ストーリーの表現に重要なフレームの選択，(2)トリミングにおける構図の保存，(3)重要箇所を隠さない吹き出しの配置，をそれぞれ実現した．

参考文献[1] R.Hong, X.Yuan, M.Xu, M.Wang, S.Yan,
T.S.Chua, “Movie2Comics: a feast ofmultimedia artwork,” ACM Internationalon Conference Multimedia, pp.611-614,
2010.
[2] 国広 守，茅 暁陽，"視線情報を用いた動画からのフィルムコミックの自動生成，"
図 3．構図が保存されていないトリミングの例
Visual Computing / グラフィクスと CAD
合同シンポジウム，Article 13，2008．
2．3 吹き出しの配置[3] J.Shi, C.Tomasi, “Good features to
セリフのあるコマでは，コマ内の重要箇所をtrack,” IEEE Conference on Computer
隠さないように吹き出しを配置する必要がある．
Visionand
PatternRecognition,
本研究では，最も視線が向けられていなかった
pp.593-600,
1994.
箇所は重要でない箇所であると考え，そのよう

2-134

Copyright 2012 Information Processing Society of Japan.
All Rights Reserved.