移動物体と背景の描画による手描きスケッチ映像検索システム
瀬 倉章宏†

戸 田 真 志†本稿では，クエリとして手描きスケッチを利用した映像検索システムを提案する．近年の映像共有サイトの普及に伴い，容易に様々な映像を視聴することが可能となった．しかしその反面，所望の映像を視聴するためにはそれら大量の映像群から映像を検索する必要が生まれた．そのような状況の中で，著者らは手描きスケッチを利用した映像検索システムの提案を行ってきた．従来のシステムでは映像中の移動物体の形状とその動きに着目してきた．本稿においては，これまでの 2 つの要素の描画に加えて背景の描画を取り入れ，移動物体の形状と動きと背景という 3 つの要素を手描きのスケッチで描画することでクエリを作成し映像検索を行うシステムを提案する．また，提案手法を YouTubeから収集した映像に適用し，その結果も示す．

The Video Retrieval System Using Hand-Drawing Sketch Depictied
by Moving Object and Background.
Akihiro Sekura† and Masashi Toda†
In this paper, we proposed the video retrieval system using hand-drawing sketch as a query.
It became possible to watch various videos, because of the development of video-sharing websites. However, it is necessary to search for the desired video among the accumulation videos.
In the past, we have proposed the video retrieval system using hand-drawing sketch. We
improve this system by introducing background drawing.

1. は じ め に

ドには普遍的なキーワードが使用されていることが多く，また同時にキーワードのみで表現できることには

現在では，デジタルビデオカメラやカメラ機能付き限界があることもあり，検索キーワード数が増えるほ

携帯電話の普及により，誰もが容易に映像を撮影する

ど適切なものを設定することは難しくなると考えられことが可能となった．またインターネットにおいては，る．また，一つ一つ映像を確認するという方法では手YouTube1)のような映像共有サイトが人気を博して間がかかり，全てを確認することは難しい．

いる．それらのサイトには個人が撮影した多くの映像

この問題を解決する為には，キーワードでは表現しが投稿され，利用者はそれらを視聴し楽しむことができれないような要素も特徴量として利用することで，きる．しかし多種多様な映像が投稿・蓄積されている映像のさらなる絞り込みを行うことが有効であるとが故に，目的の映像を視聴する際には蓄積された大量考える．これまでにも，映像特徴を利用して映像検索の映像群からの検索を行う必要が生じる．

を行うという試み2)∼4) が行われてきた．そして著者

例えば YouTube で検索を行う場合を考えてみる．

らも，手描きスケッチをクエリとした映像検索システ

YouTube 上で検索を行う際には，各映像に設定されム5) について研究を行ってきた．これまでの提案シスているタグ情報を利用したキーワード検索が使用されテムでは映像中の移動物体の形状とその動きに着目しる．試しに「猫，かわいい，ジャンプ」「柴犬，公園，ており，映像を検索する際にはそれら 2 つの要素を手ボール」というキーワードで検索を行ってみると，そ描きのスケッチで表現することでクエリ作成を行ってれぞれ 1540 件，347 件の映像がヒットする（2010 年

いた．本論文においては，これまでの 2 つの要素の描

10 月 25 日現在）．これらの中から目的の映像を探し出画に加えて背景の描画を取り入れ，移動物体の形状とすことは容易ではない．各映像に設定されるキーワー

動きと背景という 3 つの要素を手描きのスケッチで描画することでクエリを作成し映像検索を行うシステム† 公立はこだて未来大学
Future University Hakodateを提案する．映像をスケッチで表現する際には，背景という要素はこれまで描画をサポートしてきた 2 つ情報処理学会 インタラクション 2011

図 2 移動物体領域の指定
Fig. 2 Area defination of moving object.

域指定を行い，その後図 2 に示したようにフレーム画像全体をマクロブロックに分割して小領域単位で判定を行う．移動物体領域とする条件としては，指定領域内に含まれるもしくは，縦横の辺にそれぞれ 1/2 以上重なりを持つ，の 2 つである．

2.2 特徴量抽出
図 1 提案システムの概要図
Fig. 1 Overview of proposed system.

移動物体領域からは物体の形状特徴量と動き特徴量を，背景領域からは背景の形状特徴量をそれぞれ求める．

（映像中の撮影対象と動き）と同様に良く描画される

2.2.1 物体の形状特徴量要素であり，それを取り入れることでよりユーザの意

形状特徴量としては大橋らのエッジ形状特徴量6) を図を反映したクエリの作成が可能となると考える．

利用する．この特徴量は，画像内の線画素の相対的な2. 提 案 手 法

位置関係を 256 次元のヒストグラムとして表現したものであり，画像の大きさや描画位置の変化に影響され提案手法全体の流れを示したものが図 1 である．提ないという特徴を持つ．移動物体と推定された領域に案手法では，検索対象とする映像から予め特徴量を抽対して，全てのフレームでエッジ形状特徴量を求め，出して特徴量データベース（DB）を用意しておく．特映像のエッジ形状特徴量 F m とする．ここで i はフ徴量としては映像中の移動物体の形状情報と動き，そレーム数を表している．

れから背景の形状情報を使用する．特徴量を求める際には，移動物体領域を認識し，移動物体領域からは物F m = {F m1 , F m2 , ..., F mi }(1)

2.2.2 動き特徴量

体の形状情報と動き，背景領域（移動物体領域以外の移動物体として推定された領域は全て同じようなフ領域）からは背景の形状情報をそれぞれ算出する．検ローベクトルを持つと仮定し，各フレーム画像におい索を行う際には，ユーザは検索したい映像のクエリをて移動物体領域内の OF を平均したベクトルを算出す

線画と矢印を使用した手描きのスケッチを描画するこる．ただし，映像中で何らかの物体が移動しているととで作成する．このとき，物体形状と背景形状は線画いうことを仮定し，映像中の対象が移動はしないが何を用いて表現し，物体の動きを矢印を用いて表現する．

か動作をする場合は想定しない．また，ベクトルを平最終的にシステムはクエリと映像の特徴量間の距離を均する際には，カメラワークの影響を取り除くために，算出し，距離が近い順にランキング形式で結果を提示

領域内の OF は背景の動きとのベクトル差を求めたもする．以降本章では，移動物体領域の抽出と特徴量ののを使用する．このようにして得られた各フレームに抽出，入力クエリ，検索時の距離計算についての詳細おけるベクトルをまとめてベクトルの連続データ V mを述べる．とし，これを映像中移動物体の動き特徴量とする．

2.1 移動物体領域抽出
移動物体領域の抽出に関しては，今回のシステム

V m = {V m1 , V m2 , ..., V mi }(2)

動き特徴量抽出の模式図を図 3 に示す．

では手動で領域の指定を行う．著者らのこれまでの研2.2.3 背景の形状特徴量

究5) においては，動きベクトルを用いることで移動物特徴量としては，物体の形状特徴量と同様に大橋ら体領域抽出を自動で行っており，その手法をそのままのエッジ形状特徴量を利用する．背景領域（移動物体利用することも可能である．しかし今回は，より精度領域以外の領域）に対してエッジ形状特徴量を求める．の高い領域抽出・特徴量抽出のこと考え，手動での領

ただし，背景については短時間で大幅に変化するとい域指定を行う．具体的な方法としては，まず手動で領うことはほとんど無い為，すべてのフレームで特徴量

移動物体と背景の描画による手描きスケッチ映像検索システムすると推定されたフレーム分だけ 256 次元の特徴量を持つが，その中で最小のものを採用する．

DF =v
u 255u∑min {t(F qk − F mik )2 }(5)i=1,2,...,Ik=0

ここで，i は移動物体が存在するフレーム数，k はヒストグラムの度数を表わす．

2.4.2 動き特徴量

図 3 動き特徴量抽出
Fig. 3 Estimating motion feature.

動きの特徴量間の距離 DV は，クエリから抽出されたベクトルの連続データ V q と移動物体から抽出されたベクトルの連続データ V m との距離を算出することで求める．V q の抽出方法であるが，まずクエリとして描画された矢印を一定ストロークごとに分割する．
分割された線分ごとにベクトル化し，ベクトルの連続データ V q とする．DV の計算には DP マッチングを用いる．DP マッチングを行う際には，対応させた 2つのベクトルの角度を比較し距離 d(l, m) の計算を行う．ここで N ，M はそれぞれ V m，V q のベクトル数

Fig. 4図 4 インタフェースとクエリ例
The interface and an example of query.

であり，w は warping path，K は warping path の総数である．

を求めるのではなく，一定フレームごとに求めるものとする．求めた背景の形状特徴量をまとめて，映像のBm = {Bm1 , Bm2 , ..., Bmj }

(3)

(6)

k=0

背景形状特徴量 Bm とする．ここで j は形状特徴量の数を表わす．

1 ∑g(wk )L+N
K

DV =g(wk ) = d(l, n) = 1 −V ml · V qn
| V ml || V qn |(7)

2.3 入力クエリ

加えて，前述の DP マッチングの他に部分的な DP マッ

クエリは線画と矢印を直接描画することで行う．クチングも行う．部分的な DP マッチングは，V m を一エリの入力例を図 4 に示す．今回のシステムでは物体定区間ごとに部分分割し，複数の連続データ V mpart0 ，と動きと背景のどれを描画するかについては，その都V mpart1 ，...，V mpartI を作成することによって実現度ユーザが指示するようにしている．そのため線画とする．V m と同様に V mpart に関しても DP マッチン

矢印，物体と背景等の分離については考える必要はな

グにより V q との距離 DV を求め，それらの中で最小いものとする．のものを移動物体との距離 DV として採用する．

2.4 検索時の距離計算

2.4.3 背景形状特徴量

クエリと映像特徴量間の距離は，物体形状と動きと背景形状間の距離 DB を算出するには，DF と同様背景形状のそれぞれの距離を合計することによって算に，ユーザが描いたクエリから抽出した背景の形状特出する．最終的な距離 D は以下の式で表わされる．

徴量 Bq と映像中の移動物体の形状特徴量 Bm とのD = DV + DF + DB

(4)

ユークリッド距離を求める．映像の背景形状特徴量とDF は物体形状特徴量間の距離を，DV は動き特徴量

して複数存在するヒストグラムのうち，距離が最小の間の距離を，DB は背景形状特徴量間の距離をそれぞものを採用する．

れ表わしている．以降，それぞれの距離計算方法について述べる．

2.4.1 物体形状特徴量
物体形状間の距離 DF を算出するには，ユーザが描いたクエリから抽出した物体の形状特徴量 F q と映像

DB =v
u 255u∑(F qk − F mjk )2 }min {t(8)j=1,2,...,Jk=0

3. 検索と考察

中の移動物体の形状特徴量 F m とのユークリッド距提案手法の効果を確認する為に YouTube に投稿さ離を求める．その際，特徴量 F m は移動物体が存在れている映像を取得し，それらを用いた検索実験を行っ情報処理学会 インタラクション 2011

図 5 結果の例 1
Fig. 5 Example.1 of result.

図 6 結果の例 2
Fig. 6 Example.2 of result.

た．映像を検索するキーワードとしては，「犬」「ボーを行うシステムを提案した．また YouTube の映像をル」「遊ぶ」という 3 つを設定し，該当映像 1160 件の用いた実験により，背景の描画を取り入れることで，内から上位 407 件を取得した．今回の実験においては従来手法に比べてさらに上位に検索することができる取得した映像 407 件のうち，再生時間が 30 秒以下の場合があることを示した．

映像 35 個を用いた．

今後の展望としては，背景領域からそのまま特徴量

3.1 検 索 結 果を求めるだけでは上手くいかない場合があることが確

検索結果の例を図 5 と図 6 に示す．ここに示した例

認されているので，それらに対応すべく特徴量抽出手では目的の映像が上位に絞り込めている．また，背景形状のマッチングをしなかった場合，図 5 の目的映像は第 3 位に，図 6 の目的映像は第 10 位にそれぞれ検索順位が下がってしまう．映像にもよるが，背景の描画を取り入れることにより，よりユーザの意図を反映した形で検索が行えるようになったと考えられる．

3.2 検索の考察
図 5 と図 6 で示した例は背景の描画を取り入れることにより上手く検索することができた例であるが，当然上手く検索できないような場合も存在する．例えば，背景に大量の物体が存在するような場合，ユーザの描画と背景が異なってしまい，特徴量が一致しないという問題が生じる．この問題を解決するためには，映像の背景からそのまま特徴量を求めるのではなく，背景内の物体ごとに領域分割を行い領域ごとに形状特徴量を抽出し，距離計算を行う際にはクエリに合わせてそれらの組み合わせの中から最適な背景特徴量を作るといった工夫が必要となると考えられる．

4. お わ り に
本論文では，移動物体の形状と動きと背景を手描きのスケッチで描画することでクエリを作成し映像検索法の改善に取り組んでいくことを考えている．

参 考文

献

1) YouTube，http://www.youtube.com/
2) 三上弾，東正造，森本正志：カメラ注目点指示によるクエリ動画作成および LHI に基づく映像シーン検索，信学技報.PRMU，Vol.106, No.606,pp.67–72, (2007).
3) 藤崎宣彦，宮田高道，小林亜樹ほか：適合性フィードバックを用いたクエリ作成支援型動画像検索システム，信学技報.ITS，Vol.105, No.608, pp.95–
100, (2006)．
4) 青木秀一，青木輝勝，安田浩：動画像からのシーン検索のための略画処理手法の提案，情報処理学会研究報告.CVIM, Vol.2002, No.2, pp.133–140,(2002)．
5) 瀬倉章宏，戸田真志：動きと形状特徴量を用いた手描きスケッチによる映像検索システムとその利用，信学技報，Vol.110, No.238, pp.109–114,(2010).
6) 大橋剛介, 長島康剛, 望月圭太, 下平美文：エッジ
形状に基づいた手書きスケッチ画像検索，映像メディア学会誌，Vol.56, No.4, pp.653–658, (2002)．