WISS 2017

特定人物の顔識別にもとづく対話的ダイジェスト動画生成
山下 紗季 ∗

伊藤 貴之 ∗

概要.
本報告では，映像内に登場する特定人物に注目してダイジェスト映像を生成する一手法を提案する．本手法ではショット選択のためのユーザインタフェースを生成し，その上で顔識別結果にもとづいて自動選択されたショットとユーザによって選択されたショットを連結する．これにより人物が自動検出されなかったショットもダイジェスト動画の一部に選ぶことができ，より満足度の高いダイジェスト動画を生成できる．なお本手法では俳優やミュージシャンなど人物の魅力的なカットを集めて楽しむことを目的とする．

1

はじめにダイジェスト動画の生成は長時間の動画コレクションの中から必要なシーンだけを短時間で鑑賞する有効な手段である．本報告では，映像内に登場する人物に注目したダイジェスト動画生成を支援する一手法を提案する．
本研究におけるダイジェスト動画の定義は，与えられた動画群からユーザが指定した人物が映るシーンを検出して連結させたものである．本研究では動画の内容要約は目的としない．このようなダイジェスト動画が生成されることで，グループ歌手の映像やドラマ映像からユーザが鑑賞したい人物にのみ注目した短い動画を生成することができる．特にユーザがグループ内の特定の個人や特定の俳優のファンである場合に，このようなダイジェスト動画は有用である．
本手法では，指定された人物を含む可能性はあるが確定的ではないショットをユーザに提示し，選択させる．動画像処理によって自動選択されたショットとユーザによって選択されたショットを組み合わせることで，少ない操作で満足度の高いダイジェスト動画を生成することを目指す．ショットを提示する手法については，時間的に隣接するショットの接続関係を表示し，生成されるダイジェスト動画を概観しながらショットの選択ができるユーザインタフェー
スを提案する．

2

関連研究

ビデオから特定人物を検出する手法として，まずChen らの手法 [1] があげられる．この手法は報道番組の映像に特化しており，顔識別で得られる情報のほかにテキスト情報，タイミング情報なども利用している．そのため，音楽映像やドラマ映像には別の手法を併用する必要がある．また，平井ら [2] は顔に特化した認証手法を提案し，ミュージックビデオをCopyright is held by the author(s).
∗お茶の水女子大学対象とした実験で個人アーティストに対して 95%の認証率を実現している．しかし，顔がカメラを向いていないショットや，手元など顔以外の部分にクローズアップしているショットなどは顔領域が検出されず，顔認証ができない．そのため，ユーザが指定した人物が映るショットすべてを検出することは難しい．

ユーザインタフェース生成の前処理

3

本章では，指定された人物の自動的な検出や，ユーザインタフェース生成のための情報を取得する処理について述べる．

3.1

ショット分割

まず，入力された動画をショットに分割する．ショットとは，場面が大きく変化するカット点に挟まれた連続したフレームを指す．このショットが，生成されるダイジェスト動画の一単位となる．分割処理には Panagiotis ら [3] のプログラムを用いた．このプログラムからは各ショットの始点と終点をフレーム番号で取得できる．

3.2

顔検出と顔識別にもとづく得点付与

続いて各ショット中の顔領域から指定人物を含む可能性を推定し，ショットに得点を与える．
はじめに Azure Media Services[4] を用いてショッ
ト中の顔領域を検出する．顔検出できたショットについては，ユーザに指定人物の顔画像を入力させ検出された顔領域との類似度を範囲 [0.0, 1.0] の実数で算出し，その類似度を得点とする．顔領域が検出できなかったショットについては，顔検出できたショッ
トの得点をもとに得点を算出する．得点を求めたいショット A の得点を PA として，ショット A と顔検出できたショット群 Bi との類似度をそれぞれ求める．類似度を Sim(A, Bi ) としたときに，以下の式で表される実数をショット A の得点を PA とする．

PA = max( PBi Sim(A, Bi ) )これにより顔領域の条件の差を吸収したショット

WISS 2017選出を可能にする．類似度の判定には AKAZE 特徴
量 [5] を用いる．
そして [0, 1] の間に閾値を 2 つ定め，それらをs, t (s < t) としたとき，PA < s となるショットは指定人物が存在しないであろうとしてダイジェス
ト動画に組み込むショットの候補から除外する．また PA > t となるショットは確実に指定人物を含んでいるとして，あらかじめダイジェスト動画に採用する．そして s ≤ PA ≤ t であるショットは指定人物を含む可能性はあるが確定的ではないとし，ユー
ザによる選択でダイジェスト動画に組み込む．
図 1. ユーザインタフェースのイメージ

3.3

特徴量算出

3.2 節で取得した得点のほかに，各ショットから特徴量を算出する．現状で算出している特徴量は，ショットの長さ，入力動画における時間上の位置，顔の大きさ，顔の位置，指定人物以外の顔の数，画面の動き方向である．これらの特徴量は，ユーザによるショット選択時にどのような内容のダイジェスト動画にするかを考慮するための指標として用いられる．ショットの長さと時間上の位置は 3.1 節で取得したカット点情報から算出される．顔に関する特徴量は顔検出の結果から算出される．画面の動き方向はオプティカルフローをもとに算出される．

4

ユーザインタフェース生成

本章では，ショット連結順を確認しながらショット選択ができるユーザインタフェースを提案する．
まず 3.2 節で説明した得点にもとづきショットを3 段階に分類する．そして PA > t であるショットのみを対象として仮の順番を決定し連結する．続いてs ≤ PA ≤ t となるショットを対象として，得点の算出過程で得られる他ショットとの類似度にもとづきクラスタリングを適用する．そして，この処理によって生成された各クラスタが，すでに仮連結されたショットのどの部分に挿入されうるかを判定する．
この判定時の評価値が高い場所を挿入の候補位置として推薦する．そして図 1 のように，仮決定されたショット群を画面の 4 辺に連結して表示し，その内側にこれから挿入されうるクラスタ群を配置する．ここでノードをショットまたはクラスタのサムネイル，エッジを挿入先候補位置への接続としたグラフを生成し，力学指向ノード配置手法を用いてクラスタの画面上の位置を算出する．そして，クラスタに含まれるショットの得点の最大値に比例する大きさで各クラスタを表示する．あるいは，3.3 節の特徴量のうち一つを選択し，その値が大きいショットを含むクラスタを優先的に表示する．ユーザはショットの連結順を確認しながら，各クラスタに属するショットをダイジェスト動画に採用するかを選択できる．

5

まとめと今後の課題

本報告では，特定人物に注目したダイジェスト動画生成を支援する手法として，自動判別とユーザによる選択を組み合わせたショット選出手法とそのためのユーザインタフェースを提案した．
本研究はまだ実装が完成していないので，今後の課題としてまず，ユーザインタフェースの実装をはじめ，得点や特徴量の取得処理を全自動化することがあげられる．そのほかの課題としては，ユーザインタフェースとダイジェスト動画に対する評価手法の検討があげられる．また，サムネイルのみの表示
ではショットの区別がつきにくいという問題がある
ため，ショットのプレビュー画面の追加にも取り組みたい．

参考文献[1] Ming-yu Chen and Hauptmann Alexander,
Searching for a specific person in broadcast news
video, IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP’04),
vol. 3, pp. iii–1036, 2004.
[2] 平井辰典, 中野倫靖, 後藤真孝, 森島繁生, シーンの連続性と顔類似度に基づく動画コンテンツ中の同一人物登場シーンの同定, 映像情報メディア学会
誌, vol. 66, no. 7, pp. J251–J259, 2012.
[3] Sidiropoulos Panagiotis, Mezaris Vasileios, Kompatsiaris Ioannis and Kittler Josef, Diﬀerential
edit distance: A metric for scene segmentation
evaluation, IEEE Transactions on Circuits andSystems for Video Technology, vol. 22, no. 6,
pp. 904–914, 2012.
[4] Microsoft : Media Analytics — Azure Media Services 2017/10/20 確認
https://azure.microsoft.com/jajp/services/media-services/media-analytics/[5] Pablo F. Alcantarilla, Jess Nuevo and Adrien
Bartoli, Fast Explicit Diﬀusion for AcceleratedFeatures in Nonlinear Scale Spaces, British Machine Vision Conference (BMVC), 2013.