(57)【要約】【課題】基準映像と参照映像の比較したいシーンの位置合わせを簡易に行うことができるようにし，複数の映像の比較を容易化する。【解決手段】時空間画像生成部１２は，比較再生対象となる基準映像と参照映像の時空間画像を生成し，映像提示部１５はそれらを表示する。基準映像の時空間画像において注目する基準点と，参照画像の時空間画像における前記基準点に対応する参照点とが指示されると，基準点と参照点の位置が合うように表示位置を調整して時空間画像を提示する。または，基準点と参照点とを同期させて基準映像と参照映像とを再生出力する。または，前記基準点に対応する参照点を自動検出する。【選択図】図１
2010268325.tif 000002
【特許請求の範囲】
【請求項１】
比較再生対象となる第１の映像および第２の映像のそれぞれに対して，時間的変化および空間的変化を静止画で表現した時空間画像を生成する時空間画像生成手段と，
前記時空間画像を表示装置に表示する手段と，
前記表示装置に表示された第１の映像の時空間画像において注目する点を基準点として指示する入力を，入力装置から受け付ける手段と，
前記第２の映像の時空間画像において，前記指示された基準点と対応する参照点を指示する入力を，前記入力装置から受け付ける，または，自動検出する手段と，
前記基準点と前記参照点の位置が所定の位置関係となるように前記第１の映像と第２の映像の時空間画像の表示位置を調整して前記表示装置に提示する，または，前記基準点と前記参照点とを同期させて前記第１の映像および前記第２の映像を前記表示装置に再生出力する手段とを備える
ことを特徴とする映像比較装置。
【請求項２】
表示装置と入力装置とを有する映像比較装置が実行する映像比較方法であって，
比較再生対象となる第１の映像および第２の映像のそれぞれに対して，時間的変化および空間的変化を静止画で表現した時空間画像を生成する時空間画像生成過程と，
前記時空間画像を前記表示装置に表示する過程と，
前記表示装置に表示された第１の映像の時空間画像において注目する点を基準点として指示する入力を，前記入力装置から受け付ける過程と，
前記第２の映像の時空間画像において，前記指示された基準点と対応する参照点を指示する入力を，前記入力装置から受け付ける，または，自動検出する過程と，
前記基準点と前記参照点の位置が所定の位置関係となるように前記第１の映像と第２の映像の時空間画像の表示位置を調整して前記表示装置に提示する，または，前記基準点と前記参照点とを同期させて前記第１の映像および前記第２の映像を前記表示装置に再生出力する過程とを有する
ことを特徴とする映像比較方法。
【請求項３】
コンピュータを，
比較再生対象となる第１の映像および第２の映像のそれぞれに対して，時間的変化および空間的変化を静止画で表現した時空間画像を生成する時空間画像生成手段と，
前記時空間画像を表示装置に表示する手段と，
前記表示装置に表示された第１の映像の時空間画像において注目する点を基準点として指示する入力を，入力装置から受け付ける手段と，
前記第２の映像の時空間画像において，前記指示された基準点と対応する参照点を指示する入力を，前記入力装置から受け付ける，または，自動検出する手段と，
前記基準点と前記参照点の位置が所定の位置関係となるように前記第１の映像と第２の映像の時空間画像の表示位置を調整して前記表示装置に提示する，または，前記基準点と前記参照点とを同期させて前記第１の映像および前記第２の映像を前記表示装置に再生出力する手段として，
機能させるための映像比較プログラム。
【請求項４】
コンピュータを，
比較再生対象となる第１の映像および第２の映像のそれぞれに対して，時間的変化および空間的変化を静止画で表現した時空間画像を生成する時空間画像生成手段と，
前記時空間画像を表示装置に表示する手段と，
前記表示装置に表示された第１の映像の時空間画像において注目する点を基準点として指示する入力を，入力装置から受け付ける手段と，
前記第２の映像の時空間画像において，前記指示された基準点と対応する参照点を指示する入力を，前記入力装置から受け付ける，または，自動検出する手段と，
前記基準点と前記参照点の位置が所定の位置関係となるように前記第１の映像と第２の映像の時空間画像の表示位置を調整して前記表示装置に提示する，または，前記基準点と前記参照点とを同期させて前記第１の映像および前記第２の映像を前記表示装置に再生出力する手段として，
機能させるための映像比較プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，複数の映像の内容を比較しながら視聴できるように映像の比較再生を行うための装置や方法に関する。
【背景技術】
【０００２】
複数の映像の比較再生を行う従来技術は，複数の映像再生プレイヤーを提示するインタフェースにおいて，基準となる映像の再生を停止した後で，比較される参照映像を再生したり，コマ送りをしたり，巻き戻しを行ったりするなどの再生制御を行い，基準となる映像の再生時刻と同じ内容を表すシーンの時刻に合わせた後で同期再生することを行っている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】市村哲，中村亮太，伊藤雅仁，宇田隆哉，田胡和哉，松下温，「遠隔実習教育のための多視点映像同期再生システム」，情報処理学会論文誌Vol.45, No.10,pp.2335-2343, 2004．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術の映像再生プレイヤーのインタフェースを用いる方法は，参照映像の再生時刻を基準映像と同じシーンに移動させるまでに何回も操作する手間や時間がかかることが問題である。特に，分析や調査などを目的に同一映像に対して様々な観点からの部分視聴を何回も行うような場合には，従来技術の任意シーンへのアクセスに関する効率の悪さが大きな問題となる。
【０００５】
本発明は，上記問題点の解決を図り，基準映像と参照映像の比較したいシーンの位置合わせを簡易に行うことができるようにし，複数の映像の比較を容易化する手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では，上記の課題を解決するために，映像内容を概観できる時空間画像を生成し，時空間画像上で比較する映像シーンを容易に決定できるようにする。すなわち，本発明は，比較対象となる映像から生成した２つの時空間画像を画面に表示して，ユーザからの対応箇所の指定を受け付け，受け付けた箇所の情報を用いて，例えば指定箇所が上下で同じ位置になるように時空間画像の表示位置を時間軸方向にシフトするなどの予め定めた法則に従って，２つの時空間画像の表示位置を調整し，ユーザの目視による時空間画像および映像再生による比較を容易に行うことができるようにすることを特徴とする。
【０００７】
詳しくは，本発明は，比較再生対象となる第１の映像および第２の映像のそれぞれに対して，時間的変化および空間的変化を静止画で表現した時空間画像を生成する時空間画像生成手段と，前記時空間画像を表示装置に表示する手段と，前記表示装置に表示された第１の映像の時空間画像において注目する点を基準点として指示する入力を，入力装置から受け付ける手段と，前記第２の映像の時空間画像において，前記指示された基準点と対応する参照点を指示する入力を，前記入力装置から受け付ける，または，自動検出する手段と，前記基準点と前記参照点の位置が所定の位置関係となるように前記第１の映像と第２の映像の時空間画像の表示位置を調整して前記表示装置に提示する，または，前記基準点と前記参照点とを同期させて前記第１の映像および前記第２の映像を前記表示装置に再生出力する手段とを備えることを特徴とする。
【発明の効果】
【０００８】
上記のように本発明によれば，基準映像の時空間画像へ注目する基準点をポインティングすると，参照映像において，基準点の映像内容に該当するフレーム画像が提示されるので，複数の映像を容易に比較再生できる。また，基準映像と参照映像のそれぞれの時空間画像において対応する位置をポインティングするだけで基準映像と参照映像の同期再生が行えるようになる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例に係る映像比較装置の構成を示す図である。
【図２】時空間画像の生成例を示す図である。
【図３】時空間画像の生成例を示す図である。
【図４】映像比較時の処理フローチャート（その１）である。
【図５】映像の比較提示の例を示す図である。
【図６】時空間画像の対応する箇所をラインで指示した例を示す図である。
【図７】映像の比較提示の例を示す図である。
【図８】映像比較時の処理フローチャート（その２）である。
【発明を実施するための形態】
【００１０】
以下，図面を用いながら本発明の実施の形態を詳細に説明する。図１は，本発明の一実施例に係る映像比較装置の構成を示す図である。同図に示す映像比較装置１０は，アクセス要求受付部１１，時空間画像生成部１２，映像管理部１３，画像情報記憶部１４，映像提示部１５から構成される。これらは，ＣＰＵや記憶装置などからなるコンピュータとソフトウェアプログラム等によって実現される。また，映像比較装置１０には，ポインティングデバイスなどの入力装置２０，映像提示するための表示装置３０が接続される。
【００１１】
アクセス要求受付部１１は，ユーザからの各種要求を受け付ける。提示する映像の選択要求を受け付けた場合には，その映像を特定する情報（ファイル名など）を時空間画像生成部１２に出力し，時空間画像の提示を要求する信号を映像提示部１５に出力する。また，時空間画像へのポインティングの要求を受け付けた場合には，映像提示部１５にポインティング情報を出力する。
【００１２】
時空間画像生成部１２は，アクセス要求受付部１１から映像を特定するファイル名などを受け取ると，映像管理部１３に要求を出して映像を取得する。取得した映像から時空間画像を生成し，生成した時空間画像を画像情報記憶部１４に出力する。時空間画像は，映像内容の空間的情報と時間的情報を１枚の静止画像で表現したものである。
【００１３】
時空間画像の生成の例として，例えば人物や車両などの移動する物体を追跡するようにカメラを動かしながら撮影した映像の場合には，前後２フレーム画像間での変動をカメラの動きによる背景の変動と物体の動きによる変動に分離し，背景の変動から２フレーム画像間でのカメラの動きを検出し，後のフレーム画像から移動物体領域を除いた領域を，検出したカメラの動きと反対方向にずらして，前のフレーム画像との背景が一致するように合成する処理を，映像の全フレーム画像について行うことでパノラマ背景画像を生成し，パノラマ背景画像に，適当な時間間隔でのフレーム画像における移動物体領域を重畳する方法が有効である。
【００１４】
スキージャンプの様子を人物が画面中央に位置するようにカメラを動かしながら撮影した映像から時空間画像を生成した例を図２に示す。比較対象となる第１の映像を基準映像と呼び，第２の映像を参照映像と呼ぶことにする。
【００１５】
図２（Ａ）は，比較対象となる基準映像または参照映像の主要なフレーム画像を示している。これらの一連のフレーム画像からスキージャンプしている人物の移動物体領域を取り除いた画像を用いて作成したパノラマ画像が，図２（Ｂ）に示すパノラマ背景画像である。このパノラマ背景画像に，適当な時間間隔でスキージャンプしている人物の画像を重畳した画像が，図２（Ｃ）に示す時空間画像である。
【００１６】
また，固定カメラで移動する物体を撮影した映像の場合には，全フレーム画像の平均画像，または，各画素の値の中央値を選択するメディアンフィルター処理後の画像を背景画像として生成し，背景画像と各フレーム画像との差分から移動物体領域を抽出し，その物体領域を背景画像に重畳する方法が有効である。歩行する人物の様子を撮影した映像から時空間画像を生成した例を図３に示す。
【００１７】
図３（Ａ）は，カメラが固定されている場合の比較対象映像の主要なフレーム画像を示している。この映像では，歩行人物が画面の左側から右側へ向かって移動している。これらの一連のフレーム画像から歩行人物の移動物体領域を取り除いた画像が，図３（Ｂ）に示す背景画像である。この背景画像に，適当な時間で歩行人物の画像を重畳した画像が，図３（Ｃ）に示す時空間画像である。
【００１８】
なお，指定された映像から時空間画像を生成するときに，例えばシーンチェンジやカメラ移動方向の変化などに応じて，映像のセグメンテーションを行い，各映像セグメントごとに複数の時空間画像を生成して提示するような実施も好適である。
【００１９】
映像管理部１３は，事前に映像を蓄積・管理しておき，時空間画像生成部１２や映像提示部１５から映像を特定する情報を受け取ると，該当する映像をそれぞれに出力する。
【００２０】
画像情報記憶部１４は，時空間画像生成部１２から受け取った時空間画像を記憶して管理し，映像提示部１５からその出力要求を受け付けると，該当する時空間画像を映像提示部１５に出力する。
【００２１】
映像提示部１５は，アクセス要求受付部１１から時空間画像の提示を要求する信号を受け付けると，画像情報記憶部１４に要求を出して時空間画像を取得し，表示装置３０に出力して利用者に提示する。また，アクセス要求受付部１１から時空間画像へのポインティングなどの要求を受け付けた場合には，必要な映像と画像情報を映像管理部１３と画像情報記憶部１４とから取得し，利用者に提示する。
【００２２】
次に，現在提示している映像と別の映像との比較再生を行うときに，アクセス要求受付部１１でどのような要求を受け付け，映像提示部１５にどのような情報を提示するかについて説明する。現在提示している基準となる映像を映像Ｖａ，映像Ｖａの時空間画像をＫａ，比較するための参照映像を映像Ｖｂ，映像Ｖｂの時空間画像をＫｂとする。
【００２３】
現在提示している映像Ｖａと別の映像Ｖｂとの比較再生を行うときの第１の実施例の処理フローを図４に示す。時空間画像Ｋａは，既に生成されているものとする。
【００２４】
まず，アクセス要求受付部１１が，提示する参照映像Ｖｂを受け付ける（ステップＳ１０１）。次に，時空間画像生成部１２において，アクセス要求受付部１１が受け付けた映像Ｖｂの時空間画像Ｋｂを生成する（ステップＳ１０２）。映像提示部１５は，時空間画像Ｋａと時空間画像Ｋｂを画面に提示する（ステップＳ１０３）。続いて，アクセス要求受付部１１は，入力装置２０から入力された，時空間画像Ｋａにおいて注目している基準点のポインティングを受け付ける（ステップＳ１０４）。アクセス要求受付部１１が基準点のポインティングを受け付けると，映像提示部１５は，時空間画像Ｋａでポインティングされた基準点に対応する映像Ｖａのフレーム画像を提示する（ステップＳ１０５）。
【００２５】
映像提示部１５による提示例を図５に示す。同図は，ステップＳ１０３で，時空間画像Ｋａと時空間画像Ｋｂを上下に並べて提示した後，ステップＳ１０４で，時空間画像Ｋａでの注目する基準点のポインティングを受け付け，ステップＳ１０５で基準点に対応する映像Ｖａのフレーム画像を左側に提示した状態を示している。
【００２６】
アクセス要求受付部１１は，参照映像において，注目している基準点と対応する参照点を時空間画像Ｋｂへのポインティングとして受け付ける（ステップＳ１０６）。このポインティングは，例えば入力装置２０がマウスである場合，次に示すマウスのドラッグにより簡易に行うことができる。ステップＳ１０４で，時空間画像Ｋａに基準点のポインティングを行ったときに，そのままマウスのボタンを押下したままドラッグして時空間画像Ｋｂの対応する位置（参照点）まで移動させ，マウスのボタンを離せばよい。なお，マウスのドラッグ操作ではなく，時空間画像Ｋａでの基準点を指定するマウスのクリック後に，時空間画像Ｋｂでのマウスのクリックによって，クリックされた位置を参照点と決定するようにしてもよい。
【００２７】
基準映像Ｖａで注目する基準点と，それに対応する参照映像Ｖｂにおける参照点を時空間画像上で対応付けた結果を図６に示す。同図では，２つの時空間画像で対応付けている箇所をラインの両端で可視化している。
【００２８】
映像提示部１５は，時空間画像Ｋａと時空間画像Ｋｂにポインティングされた位置が所定の位置関係になるように時空間画像Ｋｂで提示する映像Ｖｂの区間を変更する（ステップＳ１０７）。この映像区間の変更の例を図７に示す。図７では，時空間画像Ｋａと時空間画像Ｋｂでポインティングされた位置が垂直方向になるように，時空間画像Ｋｂで提示する映像区間を変更した例を示している。
【００２９】
映像提示部１５は，時空間画像Ｋｂにポインティングされた参照点に対応する映像Ｖｂのフレーム画像を提示する（ステップＳ１０８）。図７では，左側の下部に映像Ｖｂのフレーム画像を示している。
【００３０】
以上説明したように，各映像の時空間画像で注目する点を両端とするラインを描画するような簡易な操作で２つの映像の再生時刻を合わせることができる。以後，これらの２つの映像を同期して再生することができる。
【００３１】
次に，現在提示している映像Ｖａと別の映像Ｖｂとの比較再生を行うときの第２の実施例を説明する。図８に，第２の実施例の処理フローを示す。図８に示す処理フローのうち，ステップＳ２０１〜Ｓ２０５，Ｓ２０７〜Ｓ２０８は，図４に示す第１の実施例の処理フローにおけるステップＳ１０１〜Ｓ１０５，Ｓ１０７〜Ｓ１０８と同様であり，ステップＳ２０６が第１の実施例と異なる。そこで，以下ではステップＳ２０６の処理について説明する。
【００３２】
第２の実施例におけるステップＳ２０６では，図４のステップＳ１０６のようにアクセス要求受付部１１でポインティングを受け付けるのではなく，注目しているシーンの参照映像における位置を時空間画像に対する画像処理で自動検出する。
【００３３】
自動検出の方法は以下のとおりである。図８のステップＳ２０４で受け付ける，時空間画像Ｋａの注目する基準点としてポインティングされた点を，基準点Ｐとする。時空間画像Ｋａにおいて，基準点Ｐを中心とする所定の範囲の画素に対する色や濃度勾配の分布を表す画像特徴量を基準点Ｐの特徴量として抽出する。時空間画像Ｋｂにおいても同様に，ある点を中心に所定の範囲に対する画像特徴量を求めたときに，基準点Ｐの特徴量と最も類似する参照点Ｑを検出する。基準点Ｐと参照点Ｑを両端とするラインを第１の実施例において利用者がマウス操作で指示したラインとみなして，それ以降の処理を行う。
【００３４】
以上の処理により，基準映像の全体を俯瞰できる時空間画像に対して注目するシーンに該当する基準点Ｐをポインティングするだけで，注目シーンの比較再生が行えるようになる。
【００３５】
上記第１の実施例と第２の実施例の両方の処理機能を映像比較装置１０に持たせることもでき，例えば第２の実施例で自動検出した参照点Ｑの位置を，ユーザがマウスのドラッグ操作などにより任意に変更できるようにすることも可能である。
【００３６】
以上の映像比較のための処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００３７】
１０  映像比較装置
１１  アクセス要求受付部
１２  時空間画像生成部
１３  映像管理部
１４  画像情報記憶部
１５  映像提示部
２０  入力装置
３０  表示装置
【図１】
2010268325.tif 000003
【図２】
2010268325.tif 000004
【図３】
2010268325.tif 000005
【図４】
2010268325.tif 000006
【図５】
2010268325.tif 000007
【図６】
2010268325.tif 000008
【図７】
2010268325.tif 000009
【図８】
2010268325.tif 000010