WISS2012

動画内オブジェクトを容易に編集可能な 2.5 次元動画編集システムの検討
栗原 竜矢

岡部 誠

尾内 理紀夫∗

概要. 動画の編集は手間がかかる．特に，動画内のオブジェクトを後から削除する，切り取って別の動画に合成する，といった編集は非常に手間がかかる．そのような編集を簡単に行うための研究も様々なものが行われているが，ユーザがある程度補助することが必要であったり，処理に時間がかかったりする．本研究では，2 次元の色情報に深度センサで取得した深度情報を加えた 2.5 次元の動画を対象とし，ユーザが簡単な操作で動画内オブジェクトを編集することができるシステムの検討を行った．2.5 次元動画を使うことによって，従来の 2 次元動画編集では実現することが難しかった「動画内オブジェクトの容易な編集」を実現している．本システムではドラッグアンドドロップという簡単な操作による動画編集をサポートする．動画内オブジェクトをドラッグして画面外にドロップすれば，そのオブジェクトは動画から削除される．また，別の動画上にドロップすることでオブジェクトの挿入も可能である．

1

はじめに動画の撮影や，撮影した動画を web 上に投稿することは今や誰もが簡単にできる．しかし，撮影した動画を編集することは容易とは言えない．特に，動画に映りこんだ邪魔なものを消す，動画の一部を切り取って別の動画に合成するといった，動画内のオブジェクトに対する編集操作は難しい．そのような編集を簡単に行う研究も報告されている [2][3] ものの，ユーザがある程度補助することが必要であった
り，処理に時間がかかったりする．
本研究では，従来の 2 次元の動画ではなく，2.5 次元の動画を扱うことでそれらの問題を解決し，ユーザが 2.5 次元動画内のオブジェクトを容易に編集することができるシステムの検討を行った．2.5 次元とは「1 方向から見た 3 次元」のことであり，3D カメラや深度センサによって撮影することができる．
ここでは，色情報と深度情報を持つ動画を 2.5 次元動画として扱う．2.5 次元深度情報は色情報と比べてオブジェクトを捉えることに優れており，動画内オブジェクトの大きさや形状などを 2 次元動画と比べて精度よく取得することができる．これを利用することにより，従来の動画編集ソフトでは難しかったオブジェクトに対する直感的な編集の実現を目指している．

2関連研究

Chen ら [2] は動画からメッシュを作成して，ユーザが動画を 2.5 次元でインタラクティブに編集でき∗

Copyright is held by the author(s).
Tatsuya Kurihara, 電気通信大学 情報理工学研究科 総合情報学専攻, Makoto Okabe, 電気通信大学 情報理工学部 総合情報学科 / JST PRESTO, Rikio Onai, 電気通信大学 情報理工学研究科 総合情報学専攻

図 1. システム概要る手法を提案している．また，Grandos ら [3] は，人が行き交うような複雑な動画内のオブジェクトを削除する手法を提案している．これらの手法は非常に良い結果を出しているが，ユーザの補助入力が必要であったり，処理に時間がかかったりするので，本研究ではユーザが簡単に動画編集を行えることに重点を置いてシステムの検討を行う．
森川ら [4] は，画像にオブジェクトを配置する際に，上下移動でオブジェクトの深度を変更して拡大・縮小する手法を提案している．本研究では動画に対してオブジェクトを配置する際に同様の手法を用いている．

3

システム概要本研究で検討したシステムの概要を図 1 に示す。
本システムでは，深度センサとして Kinect を用いて 2.5 次元動画を撮影し，それをユーザが編集用インタフェース上で編集する．編集用インタフェース
上でユーザは基本的に，動画内のオブジェクトをマウスでドラッグアンドドロップすることによって，オブジェクトの移動や削除といった編集を容易に行うことができる．

WISS 2012

55.1

手法
オブジェクトの切り出し

オブジェクト領域の切り出しは，ユーザがオブジェクトのドラッグを開始する瞬間に行われる．ドラッ
グを開始する瞬間にユーザがクリックした地点から，周りのピクセルを順番に調べていき，隣のピクセルとの深度の差が閾値以下の領域を 1 つのオブジェクトとして切り出す．ただし，これではオブジェクトが床と接触している場合，床も含めて 1 つのオブジェクトと認識されてしまうため，動画中の床平面のパラメータを予め深度情報から推定しておき，床部分はオブジェクトと認識しないようにする．
図 2. オブジェクトの移動

5.2

オブジェクトの削除

オブジェクトを動画から削除すると，その部分に穴が出来てしまうので，それを補完するための処理が必要となる．動画の各フレームの穴について，他のフレームで穴ではない部分があるかを各ピクセルについて調べていく．穴ではない部分が見つかった
場合，それを使ってフレームの穴を補完していく．
残りの部分については，PatchMatch[1] を使用し，同じフレームの他の部分を使って補完する．穴の周辺の深度情報から，穴の部分の深度を推定して探索範囲を絞ることで，PatchMatch を行う際の精度を向上させる．
図 3. オブジェクトの削除

64

インタフェース

本システムの編集インタフェース上で動画内のオブジェクトを別の動画に合成する際の例を図 2 に示
す．動画から別の動画へオブジェクトを移動するには，2.5 次元動画を 2 つ開いて，片方の動画からもう片方の動画へオブジェクトをドラッグアンドドロップすることで，その位置にオブジェクトが合成される．このとき，マウスホイールを操作することによりオブジェクトを配置する奥行きを変更することができる．また，オブジェクトの配置を行う際に，動画内の床平面にオブジェクトの下部が接地するように制約をつけることができる．この場合，オブジェクトを画面上方向に移動すると，そのオブジェクトは動画内では上方向ではなく床平面の傾きに応じて奥行き方向に移動する．
また，本システムで動画からオブジェクトを削除する際の例を図 3 に示す．削除したい場合，動画内のオブジェクトを動画の外へドラッグアンドドロップすれば、動画からそのオブジェクトが削除される．
また，削除によって空いた穴はシステムが自動で補完する．
これらの削除・移動操作をする際にユーザがオブジェクトの領域を選択する必要は無く，システムが自動的にオブジェクトの領域を判別して切り出す．

まとめ

本稿では 2.5 次元動画内のオブジェクトを，ユーザがマウスによるドラッグアンドドロップで簡単に移動や削除できるシステムの検討について報告した．
今後は，深度センサを使った映像だけでなくステレオ 3D カメラで撮影したものにも対応したり，カメラが固定ではない場合への対応などを行なっていく．

参考文献[1] C. Barnes, E. Shechtman, A. Finkelstein, andD. B. Goldman. PatchMatch: A Randomized
Correspondence Algorithm for Structural Image
Editing. ACM Transactions on Graphics (Proc.
SIGGRAPH), 28(3), Aug. 2009.
[2] J. Chen, S. Paris, J. Wang, W. Matusik, M. Cohen, and F. Durand. The video mesh: A
data structure for image-based three-dimensional
video editing. pp. 1–8, 2011.
[3] M. Granados, J. Tompkin, K. I. Kim, O. Grau,
J. Kautz, and C. Theobalt. How Not to Be Seen Object Removal from Videos of Crowded Scenes.
Computer Graphics Forum, 31(2), pp. 219–228,
2012.
[4] 森川治, 戸田賢二. 任意の画像を任意の位置に重畳表示することで大きさ理解を促進する簡易 3 次元表示方式. 情処技報, 2009(15), pp. 193–200, 2009.