時空間情報に基づくパーソナル映像の自動編集に関する研究
指導教授：藤吉 弘亘

古川拓弥

1. はじめにカメラ付き携帯電話やパーソナルビデオカメラの低価格化と機能向上により，一般のユーザが映像撮影を行う機会が増加し，Youtube 等の動画共有サイトが普及した．このような動画共有サイトにパーソナル映像を投稿し配信する際には，映像のデータ容量制限や第三者に対する誘目性の高い映像を作成する必要がある．しかし，映像編集には，大変な労力と時間がかかるという問題がある．そこで本研
究では，事前に調査したユーザの編集傾向を利用し，時空間情報とセンサ情報に基づいたパーソナル映像の自動編集手法を提案する．

2. パーソナル映像の編集傾向
本研究では，映像中から重要なシーンを切り出すカット編集の自動化を目指す．ここで，ユーザの嗜好に合った映像編集を実現するために，一般ユーザが動画編集共有サイ
ト ClipCast へ投稿した動画のうち，サイト上でカット編集された 1,075 本のパーソナル映像を対象にユーザの編集傾向について調査する．

2.1 ユーザのカット編集傾向
ユーザが切り出したシーン（使用シーン）とそれ以外のシーン（未使用シーン）において，フレーム単位で発生しているカメラワークの有無を目視で調査する．表 1 に使用，未使用シーンにおけるカメラワークの発生割合を示す．
表 1 : 使用，未使用シーンにおけるカメラワークの割合

表 1 より，使用シーンは未使用シーンに比べ，カメラワークの発生割合が 3 倍以上高いことから，ユーザはカメラワークシーンを使用シーンとする傾向があると判明した．
そこで提案手法では，映像中の動きに着目した映像編集を実現する．

2.2 自動編集に向けての問題点
前節で得られた傾向に基づき，カメラワークシーンを捉えることで自動編集を実現する．ここで，カメラワークシーンを捉えるには，映像中の動きを特徴量とした映像情報を用いる方法と，カメラの加速度センサやジャイロセンサのセンサ情報を用いる方法が考えられる．表 2 にそれぞれの手法におけるメリットとデメリットを示す．映像情報を用いた場合，カメラワークの動きに加えて被写体の動きを捉えることが可能となる．しかし，それらを峻別できないというデメリットがある．また，センサ情報を用いた場合は，カメラワークの動きのみを正確に捉えることが可能である．
しかし，被写体の動きを捉えることはできない．
表 2 : 映像情報とセンサ情報のメリットとデメリット

ねた 3 次元データである時空間画像の局所領域における x軸，y 軸，t 軸の勾配値から算出する．各軸に対するある画素 i の勾配は ∇Pi = [Pxi Pyi Pti ]T となり，この時空間特徴から式 (1) に示す ST-patch 特徴を算出する．

[ ∑ 2∑ Px
M = ∑ Py Px
Pt Px∑∑Px P2 y∑ Py
Pt Py

∑]
∑ Px Pt∑Py P2 t(1)Pt

式 (1) より求められる行列 M が 1 つの ST-patch から得られる特徴となる．行列 M(3 × 3) には，左上の 2 × 2 の行列にアピアランスの情報，3 行目と 3 列目にはモーションの情報を持つ．
この ST-patch 特徴を用いて，ST-patch 内における動きの変化量を表す CRIM ∆r と異なる 2 つの ST-patch 間における動きの類似度を表す MC m12 を算出することができる．∆r の値は， 動きベクトルの変化が激しいときに∆r ≈ 1 となり，ST-patch 内の動きベクトルが一定の時に∆r ≈ 0 となる．m12 の値は，2 つの ST-patch 内における動きの類似度が高い時に m12 ≈ 1 となり，動きの類似度が低い時に m12 ≈ 0 となる．これらの値を用いて，カット編集点上における動きの傾向を調査する．

3.2 カット編集点における CRIM と MC
CRIM と MC を用いて，カット編集点上における傾向を調査する．本研究では，映像全体における大域的な動きの変化を捉えるために，画像全体をパッチサイズとする．そして，CRIM は，カット編集点上に生成される ST-patchから算出し，MC は，カット編集点の前後で生成されるST-patch から算出する．図 1 にカット編集点上におけるCRIM と MC の分布を示す．
図 1 より，IN, OUT 点ともに同様の傾向があり，CRIMは低い値に多く分布し，MC は高い値に多く分布していることがわかる．これより一般ユーザは，映像中における動きの変化が少なく，前後フレームにおける動きの変化が似ている単調なフレームにおいてカット編集をするという傾向が判明した．

図 1 : IN, OUT 点における CRIM と MC の傾向

3.3 ST-patch 特徴を用いたカット編集点の検出
カット編集点上における CRIM の値は低く，MC の値は高い値により多く分布しているという傾向を用いて，カット編集点の検出を行う．検出は以下の 3 ステップで行う．

Step 1 入力映像から各フレームにおける CRIM R(t) とMC C(t) を算出し，移動平均フィルタを用いて平滑化を行う
Step 2 平滑化後の CRIM Ra (t) と閾値が交差するフレー
ムをカット候補点 e とする
そこで本研究では，映像中の動きを時空間特徴を用いて捉え，カメラワークの推定にセンサ情報を利用し，2 つの結果を統合することにより，自動映像編集を実現する．

Step 3 カット候補点 e の周囲 ±d フレーム中において，平滑化後の MC Ca (t) が最も高いフレーム t をカット編集点 E とする

3. 時空間情報を用いたカット編集点の検出

これにより推定されるカット編集映像は，CRIM が高い値に分布しているシーンとなり，映像中の変化が激しいカメラワークシーンと被写体の動きの変化が多く含まれた映像となる．

映像中の動きの変化を捉えた映像編集を行うために，実際にユーザがカット編集した切り出しフレーム (IN 点) と切り終わりフレーム (OUT 点) における動きの傾向を調査し，カット編集点の検出をする．

3.1 ST-patch 特徴
本研究では，映像中の動きを捉えるために，ST-patch
特徴 [1] を用いる．ST-patch 特徴は，画像を時間方向に重4. センサ情報を用いたカメラワークの推定
カメラに搭載されている 3 軸センサから得られる加速度と角速度を用いて，カメラワークシーンの推定をする．推定は以下の 3 ステップの処理で行う．図 2 : カット編集点の推定例

Step 1 各フレームの撮影時間に取得したセンサ情報から，加速度 sa = {ax , ay , az } と角速度 sv = {vx , vy , vz }を抽出する
Step 2 t フレームにおける入力センサ特徴量を S(t) ={sa , sv } として，予め作成されたコードブックを用いてベクトル量子化する
Step 3 ベクトル量子化によって算出されたクラス I におけるカメラワーク確率 p(c|I) が最大となるラベル cをそのフレームにおけるカメラワークとする
これを，最終フレームまで繰り返し，映像中におけるカメラワークの有無を推定する．推定されたデータに対して，
式 (2) のカーネル密度推定を行い，閾値処理によりカメラワーク発生確率が高いシーンを抽出する．

1 ∑1√k(x) =
expN
2πh2
N

i=1

{|x − xi |2−2h2}(2)さらに，推定したカメラワークシーン内における角速度の絶対値の平均を算出することで，カメラワーク速度の判定を行う．推定されたカメラワークシーンの IN 点と OUT
点 の範囲内における角速度の絶対値の平均が，閾値以上のシーンはカメラワーク速度が速いシーンとし，最終的な編集映像から削除する．

5.ST-patch とセンサ情報を用いた映像編集無しが 7,151 フレーム，カメラワーク有りが 7,756 フレー
ムである．表 3 にカメラワーク有無の判定結果を示す．
表 3 : カメラワーク有無の判定結果 [%]検出率 誤検出率
センサ情報
93.0
6.1
ST-patch
58.5
13.2
表 3 より，センサ情報を用いた際の検出率は，ST-patch特徴のみに比べ 34.5%向上している．これは，ゆっくりと変化するカメラワークシーンに対して CRIM の値が低くなり，検出ができないためである．誤検出率においては，ST-patch 特徴を用いた手法は 7.1%増加している．これは，センサ情報を用いることで，被写体の動きに左右されずに，カメラ自身の動きを捉えることが可能となったためである．
以上より，カメラワークの有無の判定におけるセンサ情報の有効性を確認できる．

6.2 アンケート調査による評価実験
提案手法により編集した映像が，どの程度見やすい映像であるのか視聴者に対するアンケート調査により評価する．
比較手法として，ST-patch 特徴のみを用いた映像編集手法を用いる．調査方法は，編集前の映像を視聴した後に，比較手法により編集した映像と提案手法により編集した映像を視聴しアンケートに回答する．評価は 5 段階評価 [とても良い：2，良い：1，どちらでもない：0，悪い：-1，とても悪い：-2] で行う．アンケート内容と結果を図 4 に示す．

ST-patch を用いて検出したカット編集点と，センサ情報を用いて推定したカメラワークシーンを用いて映像編集を行う．図 3 に提案手法の流れを示す．

図 3 : 提案手法の流れ
提案手法では，カメラワークや被写体の動きの変化が多いシーンを抽出することが可能となり，カメラワーク速度の速いシーンを削除することで，安定した映像編集が可能となる．図 2 にカット編集点の推定例を示す．

6. 評価実験
提案手法の有効性を示すために，評価実験を行う．定量的評価として，カメラワーク有無の判定実験を行い，主観的評価として，アンケート調査を行う．

6.1 カメラワーク有無の判定実験
センサ情報を用いた場合と ST-patch 特徴を用いた場合におけるカメラワークの有無の判定を比較する．センサ情報は，加速度と角速度を特徴量とし，ベクトル量子化によって有無を判定する．ST-patch 特徴は，CRIM が閾値以上のフレームをカメラワーク有りとする．このときの，CRIMの閾値は 0.3 とする．評価に使用する映像は，カメラワーク

図 4 : アンケート評価実験結果
図 4 より提案手法は，カット編集点の自然さと全体的な見やすさという点で，比較手法に比べて高い評価を得ることができた．これは，t-検定 (有意水準 5%) の結果，両手法間に有意差があることを確認した．提案手法は，センサ情報を用いてカメラワークを正確に捉え，ST-patch 特徴により映像中における被写体の動きを捉えることで，視聴者の満足度の高い映像編集が可能であるといえる．

7. おわりに本研究では，一般ユーザの編集傾向に基づいた映像の自動編集手法を提案した．センサ情報と時空間特徴を用いて，カメラワークと映像中における被写体の動きを捉えることで，自然な映像編集を可能とし，アンケートによる評価実験より提案手法の有効性を確認した．今後は，手ぶれシーンを考慮した映像の自動編集を検討する．

参考文献[1] E. Shechtman and M. Irani, “Space-time behavior based
correlation”, PAMI, Vol.20, No.11, pp.2045–2056, 2007.

研究業績[1] T. Furukawa, H. Fujiyoshi and A. Nomura, “A Method forEstimating Cut-Edit Points in Personal Videos” ICME2010.
（他 学会口頭発表 4 件）