株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

高速移動被写体を含む動画からその高速移動被写体を切り出す技術

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/
tel 03-5730-3025
fax 03-5730-3025

文書バージョン

日付変更点

ver.1.0

2003 年 3 月 20 日

作成

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

目 次
画像の遷移 ......................................................................................................... 3
失敗例 .............................................................................................................. 22
実験結果の評価 ................................................................................................ 30
手動で追尾した動画との比較 ............................................................................. 31

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

画像の遷移
プログラムによってどのように画像が遷移しているか例をとって見てみる。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

元の画像

株式会社フュージョンシスinfo@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

重心を決め、フレームを切る

最終的な画像株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

元の画像

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

重心を決め、フレームを切る

最終的な画像株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

元の画像

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

重心を決め、フレームを切る

最終的な画像株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

元の画像

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

重心を決め、フレームを切る

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

最終的な画像株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

元の画像

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

重心を決め、フレームを切る

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

最終的な画像株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

元の画像

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

重心を決め、フレームを切る

最終的な画像株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/元の画像

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

重心を決め、フレームを切る

最終的な画像株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

元の画像

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

重心を決め、フレームを切る

最終的な画像株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

失敗例
ここでは本報告のアルゴリズムがうまくいかない例を挙げる。

失敗例その１
沢山の車が動いている場合。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

特定の車を捕らえることができない。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

失敗例その 2

木が風でそよいでいる。ランナーではなく木のほうに重心が行ってしまう。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3Fhttp://fusionsys.com/

閾値をコントロールすることによって、木の部分を消去できる。しかし、この方法もランナーが小さい場合など問題が起こる。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

失敗例その 3
カメラが固定されておらず、手ぶれがある場合。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

切り抜かれた画像にランナーは入っていない。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

失敗例その４
撮影中、左端で他の人が動いた。

他の人

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

ランナー株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
他の人
http://fusionsys.com/

重心が他の人の方に寄る。

実験結果の評価
次のような場合は、良好な結果を得ることが難しい。

・動画の中を動いているものが複数ある
・動いているものの大きさが、画郭に比較して小さい・カメラが固定でなく、手ブレで揺れる
株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

ランナー株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

一方上のような状況と反対の状況の下では、本報告で用いたアルゴリズムを用いてかなり高い精度をもって追尾ができる。

手動で追尾した動画との比較
撮影者がマニュアルで被写体を追いかけることと比べて，自動切り出しアルゴリズムを用いる利点について述べる。
手動で被写体を追いかけると，まず手ぶれによる画像の悪化は避けられない。
また，常に被写体を画角の中心に捕らえながら撮影するということは，特に高速で動いたり不規則な運動をする物体を対象としている時はほぼ不可能に近い。

以下の 2 枚のスクリーンショットは，マニュアルで被写体であるスクーターを撮影しようと試みた際の画像である。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/

一枚目の画像では，一応被写体は画面中央に捕らえることができているが，ズームしきれていない。二枚目の画像にいたっては被写体を捕らえることすらできていない。
一方カメラが固定され，同時に画郭内を動くものが一つに特定できるような状況であれば，自動切り出しアルゴリズムを用いれば，物体の追跡しながらその大きさに合わせて自動的にズームされるため満足のいく動画が得られる。

株式会社フュージョンシス
info@fusionsys.com〒108-0023 東京都港区芝浦3-11-1キョウワクリエイト第一ビル3F
http://fusionsys.com/