(57)【特許請求の範囲】
【請求項１】
複数の入力画像のそれぞれから画面位置及び画サイズをオブジェクト追跡により推定する推定ステップと、
前記画面位置の推定値及び前記画サイズの推定値の揺らぎを統計的手法により算出する揺らぎ算出ステップと、
前記推定値の揺らぎに基づいて、画面位置及び画サイズを決定する決定ステップと、
視点変更開始時点の初視点映像と、視点変更終了時点の終視点映像と、前記初視点映像と前記終視点映像の間の視点変更映像と、決定した前記画面位置及び画サイズとに基づき、回り込み映像を生成する映像生成ステップと
を含む映像編集方法。
【請求項２】
前記揺らぎ算出ステップでは、
前記推定値に対してフィルタ演算を行い、
前記推定値と前記フィルタ演算した推定値との差分を基に統計的手法により推定値の揺らぎを算出する請求項１に記載の映像編集方法。
【請求項３】
前記決定ステップでは、
前記推定値の揺らぎが小さい場合には、オブジェクト追跡により推定された推定位置を前記画面位置として決定し、予め定められた標準サイズを前記画サイズとして決定する請求項１または２に記載の映像編集方法。
【請求項４】
前記決定ステップでは、
前記推定値の揺らぎが大きい場合には、フィルタ演算した前記推定位置を前記画面位置として決定し、画面揺らぎを緩和する画サイズに基づいて前記画サイズを決定する請求項３に記載の映像編集方法。
【請求項５】
複数の入力画像のそれぞれから画面位置及び画サイズをオブジェクト追跡により推定する推定部と、
前記画面位置の推定値及び前記画サイズの推定値の揺らぎを統計的手法により算出する揺らぎ算出部と、
前記推定値の揺らぎに基づいて、画面位置及び画サイズを決定する決定部と、
視点変更開始時点の初視点映像と、視点変更終了時点の終視点映像と、前記初視点映像と前記終視点映像の間の視点変更映像と、決定した前記画面位置及び画サイズとに基づき、回り込み映像を生成する映像生成部と
を備える映像編集装置。
【請求項６】
コンピュータに、請求項１から４のいずれか一項に記載の映像編集方法を実行させるための映像編集プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像編集方法、映像編集装置及び映像編集プログラムに関する。
【背景技術】
【０００２】
複数のカメラの各フレームにおいてオブジェクト（被写体）を追跡推定し、良好な自由視点映像生成できることが知られている（例えば、非特許文献１参照）。また、複数のカメラの各フレームにおいてオクルージョン発生時、時間空間の補間で位置を予測して、良好な自由視点映像生成できることが知られている。（例えば、非特許文献２参照）。また、映像中の一部を拡縮して、視聴者が見たい部分を選べるようにしたシステムが知られている（例えば、非特許文献３参照）。
【０００３】
ところで、通常の映像は、時間変化した画像を連続させて再生したものである。これに対して、各フレーム間で視点変化させた画像を連続させて再生した映像を生成することが行われている。このような映像を回り込み映像という。回り込み映像では、複数の視点から撮影されたカメラの画像を使用して、１台のカメラがあたかもオブジェクトの回りを回り込んだような映像を生成することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「選手領域の抽出と追跡によるサッカーの自由視点映像生成」三功浩嗣他，映像情報メディア学会誌Vol.68,No.3,p125-134,2014
【非特許文献２】「オブジェクトの分離とカメラ間／フレーム間の予測に基づく自由視点映像生成」  山田健太郎他，電子情報通信学会論文誌D，Vol.J97-D，No.2，pp.303-315，2014.02.01
【非特許文献３】「見たいところが自由に選べるインタラクティブ・パノラマ映像配信技術」、ビジネスコミュニケーション,Vol.48 No.4 Page.41-43 (2011.04.01)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１及び非特許文献２における、一般的なオブジェクト位置推定では、過去のシーン／パターンと類似していないと、学習がうまく機能しなくなり、位置推定確度が低くなる。このため、位置誤差に伴う揺らぎが大きく生じてしまう。特に想定条件外のシーン／パターンである激しい動きやオクルージョンや体のポーズでは、学習がうまく機能しなくなり位置推定確度が低くなり、揺らぎが大きく生じてしまう。揺らぎが生じると、回り込み映像の連続性が失われて見づらい映像となってしまう。ここで、回り込み映像の連続性とは、視点を変化させた回り込み映像の切り替えが滑らかに行われることである。
【０００６】
上述の課題を解決するために、本発明は、位置推定値に揺らぎが生じている状況でも、良好に、回り込み映像の連続性をもった映像を生成することができる映像編集方法、映像編集装置及び映像編集プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、複数の入力画像のそれぞれから画面位置及び画サイズをオブジェクト追跡により推定する推定ステップと、前記画面位置の推定値及び前記画サイズの推定値の揺らぎを統計的手法により算出する揺らぎ算出ステップと、前記推定値の揺らぎに基づいて、画面位置及び画サイズを決定する決定ステップと、視点変更開始時点の初視点映像と、視点変更終了時点の終視点映像と、前記初視点映像と前記終視点映像の間の視点変更映像と、決定した前記画面位置及び画サイズとに基づき、回り込み映像を生成する映像生成ステップとを含む映像編集方法である。
【０００８】
本発明の一態様は、前記映像編集方法であって、前記揺らぎ算出ステップでは、前記推定値に対してフィルタ演算を行い、前記推定値と前記フィルタ演算した推定値との差分を基に統計的手法により推定値の揺らぎを算出する。
【０００９】
本発明の一態様は、前記映像編集方法であって、前記決定ステップでは、前記推定値の揺らぎが小さい場合には、オブジェクト追跡により推定された推定位置を前記画面位置として決定し、予め定められた標準サイズを前記画サイズとして決定する。
【００１０】
本発明の一態様は、前記映像編集方法であって、前記決定ステップでは、前記推定値の揺らぎが大きい場合には、フィルタ演算した前記推定位置を前記画面位置として決定し、画面揺らぎを緩和する画サイズに基づいて前記画サイズを決定する。
【００１１】
本発明の一態様は、複数の入力画像のそれぞれから画面位置及び画サイズをオブジェクト追跡により推定する推定部と、前記画面位置の推定値及び前記画サイズの推定値の揺らぎを統計的手法により算出する揺らぎ算出部と、前記推定値の揺らぎに基づいて、画面位置及び画サイズを決定する決定部と、視点変更開始時点の初視点映像と、視点変更終了時点の終視点映像と、前記初視点映像と前記終視点映像の間の視点変更映像と、決定した前記画面位置及び画サイズとに基づき、回り込み映像を生成する映像生成部とを備える映像編集装置である。
【００１２】
本発明の一態様は、コンピュータに、前記映像編集方法を実行させるための映像編集プログラムである。
【発明の効果】
【００１３】
本発明によれば、オブジェクト位置の推定値の揺らぎが生じている状況でも、回り込み映像の連続性をもった映像を生成することができるため、見易い画面を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る映像編集装置の概要を示す説明図である。
【図２】本発明の第１の実施形態に係る映像編集装置の構成を示すブロック図である。
【図３】本発明の第１の実施形態に係る映像編集装置におけるオブジェクト追跡部の処理の説明図である。
【図４】水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値の変化を示すグラフである。
【図５】本発明の第１の実施形態に係る映像編集装置における追跡統計部の処理を説明するためのフローチャートである。
【図６】本発明の第１の実施形態に係る映像編集装置において追跡統計部から編集処理判断部に送られる情報の説明図である。
【図７】本発明の第１の実施形態に係る映像編集装置における各視点の画サイズの説明図である。
【図８】本発明の第１の実施形態に係る映像編集装置における編集処理判断部の処理を説明するためのフローチャートである。
【図９】本発明の第１の実施形態に係る映像編集装置において編集処理判断部から映像生成部に送られる情報の説明図である。
【図１０】本発明の第１の実施形態に係る映像編集装置における映像生成部の処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照しながら説明する。まず、本発明の実施形態による映像編集装置１の概要について説明する。
【００１６】
図１は、本発明の実施形態による映像編集装置１の概要を示す説明図である。図１（Ａ）に示すように、映像編集装置１には、Ｎ台（Ｎは自然数）のカメラから各視点の映像が入力される。映像編集装置１に入力される入力画像１〜Ｎは、それぞれ異なる視点のカメラ「１」〜「Ｎ」で撮影された画像である。図１（Ｂ）に示すように、入力画像１〜Ｎは広角撮影されている。映像編集装置１は、オブジェクト（被写体）追跡により、入力画像１〜Ｎの水平方向の位置及び垂直方向の位置、並びに画サイズ（画面の対角線の長さ）を推定する。そして、映像編集装置１は、入力画像１〜Ｎの水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値をフィルタ演算し、統計的手法により、入力画像１〜Ｎの水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値と、揺らぎと、編集判断のための係数を求める。なお、編集判断のための係数は、推定値の揺らぎに基づいて設定される。そして、映像編集装置１は、編集判断のための係数に基づいて編集判断を行い、水平方向の位置及び垂直方向の位置、並びに画サイズの値を決定する。そして、映像編集装置１は、初視点映像（視点変更開始時点の映像）、終視点映像（視点変更終了時点の映像）、及び初視点映像と終視点映像の間の視点変更映像で構成する入力画像１〜Ｎと、水平方向の決定位置及び垂直方向の決定位置、並びに画サイズの決定値とに基づいて、回り込み映像を生成する。映像編集装置１は、図１（Ｃ）に示すような初視点の追跡映像と、追跡回り込み映像と、終視点の追跡映像を生成する。そして、映像編集装置１は、これらを合成して、表示装置２に、注目オブジェクトの回り込み映像を表示する。
【００１７】
次に、図１に示す映像編集装置１について詳細に説明する。図２は、図１に示す映像編集装置１の構成を示すブロック図である。図２に示すように、図１に示す映像編集装置１は、ＩＦ（Interface）部１０１と、映像蓄積部１０２と、オブジェクト追跡部１０３と、追跡統計部１０４と、編集処理判断部１０５と、映像生成部１０６と、ＩＦ部１０７とを備える。
【００１８】
ＩＦ部１０１は、複数のカメラ「Ｎ」（Ｎは自然数）の入力画像１〜Ｎを時刻同期して入力し、この入力画像１〜Ｎを映像蓄積部１０２に送る。なお、入力映像としては、カメラ入力の映像の他に、Ｎ視点のファイル入力の映像であってもよい。
【００１９】
映像蓄積部１０２は、ＩＦ部１０１から入力された入力画像１〜Ｎを一旦蓄積した後、入力画像１〜Ｎをオブジェクト追跡部１０３に送る。また、映像蓄積部１０２は、初視点映像と終視点映像と初視点映像と終視点映像の間の視点変更映像の入力画像１〜Ｎを映像生成部１０６に送る。
【００２０】
オブジェクト追跡部１０３は、オブジェクト追跡を行って、入力画像１〜Ｎの水平方向の位置及び垂直方向の位置、並びに画サイズを推定する。図３は、オブジェクト追跡部１０３で行われるオブジェクト追跡の説明図である。図３に示すように、各視点の映像は広角撮影されており、Ａ１で示す領域が広角撮影領域である。標準サイズ（デフォルト値）は、領域Ａ２で示した領域である。Ａ３で示す領域が追跡画面領域である。図３に示すように、オブジェクト追跡部１０３は、画面の縦横比を一定に保ちながら、画面の中央にオブジェクトＢ１が位置するように、水平方向及び垂直方向に画面位置を動かす。そして、オブジェクト追跡部１０３は、水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値を追跡統計部１０４に送る。なお、ここで、表示画面を広角化する際に、画面の縦横比は変化していない。
【００２１】
図２において、追跡統計部１０４は、オブジェクト追跡部１０３で推定された水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値から、統計的手法により、推定値の揺らぎに基づく値を算出する。追跡統計部１０４は、まず、オブジェクト追跡部１０３で推定された水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値に対して、フィルタ演算を行う。そして、追跡統計部１０４は、オブジェクト追跡部１０３で推定された水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値と、フィルタ演算した水平方向の推定位置及びフィルタ演算した垂直方向の推定位置、並びにフィルタ演算した画サイズの推定値から、推定値の揺らぎを算出する。そして、追跡統計部１０４は、視点変更時刻での瞬間カメラ間距離を算出する。続いて、追跡統計部１０４は、推定値の揺らぎと、視点変更時刻での瞬間カメラ間距離と、視点変更時刻での画サイズとから、編集判断のための係数を算出する。そして、追跡統計部１０４は、水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値と、フィルタ演算した水平方向の推定位置及びフィルタ演算した垂直方向の推定位置、並びにフィルタ演算した画サイズの推定値と、揺らぎと、編集判断のための係数とを、編集処理判断部１０５に送る。
【００２２】
編集処理判断部１０５は、追跡統計部１０４で求められた編集判断のための係数に基づいて、水平方向の位置及び垂直方向の位置、並びに画サイズの値を決定する。編集判断のための係数が閾値より小さい場合に、編集処理判断部１０５は、オブジェクト追跡部１０３で推定された水平方向の推定値及び垂直方向の推定位置を、水平方向の位置及び垂直方向の位置として決定する。また、この場合、編集処理判断部１０５は、画サイズを標準サイズ（デフォルト値）として決定する。一方、編集判断のための係数が閾値より大きい場合、編集処理判断部１０５は、画面揺らぎを緩和する画サイズを求める。そして、編集処理判断部１０５は、フィルタ演算した水平方向の推定位置及びフィルタ演算した垂直方向の推定位置を、水平方向の位置及び垂直方向の位置として決定する。また、画サイズを画面揺らぎを緩和する画サイズを用いて決定する。そして、編集処理判断部１０５は、水平方向の決定位置及び垂直方向の決定位置、並びに画サイズの決定値を映像生成部１０６に送る。
【００２３】
映像生成部１０６は、映像蓄積部１０２から入力された初視点映像、終視点映像、及び視点変更時刻の映像（初視点映像と終視点映像の間の視点変更映像）の入力画像１〜Ｎと、編集処理判断部１０５から入力された水平方向の決定位置及び垂直方向の決定位置、並びに画サイズの決定値とに基づいて、初視点の追跡映像と、追跡回り込み映像と、終視点の追跡映像を生成する。そして、生成した映像を結合して、１つの映像として、ＩＦ部１０７に送る。
【００２４】
ＩＦ部１０７は、回り込み映像の入力に対し映像やファイルを出力する。これにより、追跡回り込み映像が生成される。
【００２５】
次に、図２に示す映像編集装置１における追跡統計部１０４での処理について詳述する。追跡統計部１０４は、オブジェクト追跡部１０３から、水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値を入力する。これら水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値には、時間に対して変動するような揺らぎが含まれている。
【００２６】
図４は、水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値の変化を示すものである。図４（Ａ）〜図４（Ｃ）において、横軸は時間を示し、縦軸は画素単位での推定値を示す。図４（Ａ）は、時間ｔに対する水平方向の推定位置ｘ（ｔ）の変動を示している。図４（Ｂ）は、時間ｔに対する垂直方向の推定位置ｙ（ｔ）の変動を示している。図４（Ｃ）は、時間ｔに対する画サイズの推定値Ｓ（ｔ）の変動を示している。図４（Ａ）〜図４（Ｃ）に示すグラフから、水平方向の推定位置ｘ（ｔ）、垂直方向の推定位置ｙ（ｔ）、画サイズの推定値Ｓ（ｔ）の値には、時間に対して変動するような揺らぎが含まれていることが分かる。
【００２７】
追跡統計部１０４は、水平方向の推定位置ｘ（ｔ）及び垂直方向の推定位置ｙ（ｔ）、並びに画サイズの推定値Ｓ（ｔ）に対して、（１）から（３）式に示すようなフィルタ演算を行う。ｆｘ（ｔ）は、フィルタ演算後の水平方向の推定位置、ｆｙ（ｔ）はフィルタ演算後の垂直方向の推定位置、ｆＳ（ｔ）はフィルタ演算後の画サイズの推定位置である。なお、ｔは時間値、ｈはフィルタ変数、ｋはフレーム番号である。各視点において、ｆｘ（ｔ）、ｆｙ（ｔ）、ｆＳ（ｔ）を計算する。
【００２８】
【数１】
0006534964.tif 000002
【００２９】
水平方向の推定位置ｘ（ｔ）及び垂直方向の推定位置ｙ（ｔ）、並びに画サイズの推定値Ｓ（ｔ）に対して、（１）から（３）式に示すようなフィルタ演算を行う。図４（Ａ）〜図４（Ｃ）に示すように、そのフィルタ演算した値ｆｘ（ｔ）、ｆｙ（ｔ）、ｆＳ（ｔ）では、推定値が平滑化され、揺らぎ成分が除去される。
【００３０】
次に、追跡統計部１０４は、水平方向の推定位置ｘ（ｔ）及び垂直方向の推定位置ｙ（ｔ）、並びに画サイズの推定値ｓ（ｔ）と、フィルタ演算した水平方向の推定位置ｆｘ（ｔ）及びフィルタ演算した垂直方向の推定位置ｙ（ｔ）、並びにフィルタ演算した画サイズの推定値ｆＳ（ｔ）から、推定値の揺らぎを算出する。水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値の揺らぎは、（４）から（６）式に示すように算出できる。各視点において、σ２Ｘ、σ２Ｙ、σ２Ｓを計算する。
【００３１】
【数２】
0006534964.tif 000003
【００３２】
推定値の揺らぎの分散σ２は、これらの総平均から（７）式に示すようにして求められる。各視点のσ２Ｘ、σ２Ｙ、σ２Ｓから計算する。
【００３３】
【数３】
0006534964.tif 000004
【００３４】
次に、追跡統計部１０４は、視点変更時刻での瞬間カメラ間距離を算出する。ここで、カメラｎの水平方向の推定位置の値をｎ＿ｘ（ｔ）及び垂直方向の推定位置の値をｎ＿ｙ（ｔ）とし、カメラｎの画サイズの推定値をｎ＿Ｓ（ｔ）とする。また、カメラｎのフィルタ演算した水平方向の推定位置の値をｎ＿ｆｘ（ｔ）及びフィルタ演算した垂直方向の推定位置の値をｎ＿ｆｙ（ｔ）とし、カメラｎのフィルタ演算した画サイズの推定値をｎ＿ｆＳ（ｔ）とする。
【００３５】
カメラｎでの視点変更時刻ｔ１での水平方向の瞬間カメラ間距離は、以下のようにして求められる。
【００３６】
【数４】
0006534964.tif 000005
【００３７】
同様に、視点変更時刻ｔ１での垂直方向の瞬間カメラ間距離は、以下のようにして求められる。
【００３８】
【数５】
0006534964.tif 000006
【００３９】
同様に、視点変更時刻ｔ１での画サイズの瞬間カメラ間距離は、以下のようにして求められる。
【００４０】
【数６】
0006534964.tif 000007
【００４１】
よって、カメラｎでの視点変更時刻の瞬間カメラ間距離は、（８）式に示すようにして求めることができる。
【００４２】
【数７】
0006534964.tif 000008
【００４３】
追跡統計部１０４は、カメラ（ｎ＝１）から、カメラ（ｎ＝Ｎ−１）の中で最大値を瞬間カメラ間距離ｄｃとして求める。
【００４４】
【数８】
0006534964.tif 000009
【００４５】
次に、追跡統計部１０４は、（７）式で求められた推定値の揺らぎσと、（９）式で求められた視点変更時刻での瞬間カメラ間距離ｄｃと、視点変更時刻でのフィルタ演算した画サイズの推定値ｆＳ（ｔ１）とから、以下のように、編集判断のための係数を算出する。なお、αは係数である。
【００４６】
【数９】
0006534964.tif 000010
【００４７】
次に、図２に示す映像編集装置１における追跡統計部１０４の動作をフローチャートを参照して説明する。図５は、追跡統計部１０４の動作を示すフローチャートである。
【００４８】
追跡統計部１０４は、オブジェクト追跡部１０３から、各視点の水平方向の推定位置、垂直方向の推定位置、推定画サイズを入力する（ステップＳ１０１）。
【００４９】
追跡統計部１０４は、各視点の水平方向の推定位置、垂直方向の推定位置、推定画サイズの推定値に対して、（１）式から（３）式に示すフィルタ演算を行う（ステップＳ１０２）。
【００５０】
追跡統計部１０４は、（４）式から（７）式に示す演算により、統計的手法により、推定値の揺らぎを算出する（ステップＳ１０３）。
【００５１】
追跡統計部１０４は、（８）式から（９）式に示す演算により、視点変更時刻での瞬間カメラ間距離を算出する（ステップＳ１０４）。
【００５２】
追跡統計部１０４は、（１０）式に示す演算により、編集判断のための係数を算出する（ステップＳ１０５）。
【００５３】
追跡統計部１０４は、水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値と、フィルタ演算した水平方向の推定位置及びフィルタ演算した垂直方向の推定位置、並びにフィルタ演算した画サイズの推定値と、揺らぎと、編集判断のための係数とを編集処理判断部１０５に送る（ステップＳ１０６）。
【００５４】
図６は、追跡統計部１０４から編集処理判断部１０５に送られる情報を示す図である。図６（Ａ）に示すように、追跡統計部１０４から編集処理判断部１０５には、水平方向の推定位置ｘ（ｔ）及び垂直方向の推定位置ｙ（ｔ）、並びに画サイズの推定値Ｓ（ｔ）が送られる。水平方向の推定位置ｘ（ｔ）及び垂直方向の推定位置ｙ（ｔ）、並びに画サイズの推定値Ｓ（ｔ）は、オブジェクト追跡部１０３で推定される。また、図６（Ｂ）に示すように、追跡統計部１０４から編集処理判断部１０５には、フィルタ演算した水平方向の推定位置ｆｘ（ｔ）及びフィルタ演算した垂直方向の推定位置ｆｙ（ｔ）、並びにフィルタ演算した画サイズの推定値ｆＳ（ｔ）が送られる。フィルタ演算した水平方向の推定位置ｆｘ（ｔ）及びフィルタ演算した垂直方向の推定位置ｆｙ（ｔ）、並びにフィルタ演算した画サイズの推定値ｆＳ（ｔ）は、（１）から（３）式に示すようにして算出される。また、図６（Ｃ）に示すように、追跡統計部１０４から編集処理判断部１０５には、揺らぎσと、編集判断のための係数ｂｎが送られる。揺らぎσは、（４）から（７）式に示すようにして算出される。編集判断のための係数ｂｎは、（１０）式に示すように、算出される。
【００５５】
次に、図２に示す映像編集装置１における編集処理判断部１０５での処理について詳述する。編集処理判断部１０５には、図６（Ａ）から図６（Ｃ）に示したような情報が入力される。そして、編集処理判断部１０５は、編集判断のための係数ｂｎにより大きいか否かを判定する。編集判断のための係数ｂｎが閾値より小さい場合、編集処理判断部１０５は、水平方向及び垂直方向の推定位置ｘ（ｔ）及びｙ（ｔ）の値を、水平方向の決定位置及び垂直方向の決定位置とする。また、編集処理判断部１０５は、標準サイズ（図３に示す領域Ａ２を参照）を決定画サイズとする。
【００５６】
一方、編集判断のための係数ｂｎが閾値より大きい場合、編集処理判断部１０５は、画面揺らぎを緩和する画サイズを求める。画面揺らぎを緩和する画サイズは、以下を満たす最小限サイズＳnewを算出することで求められる。
【００５７】
【数１０】
0006534964.tif 000011
【００５８】
そして、編集処理判断部１０５は、フィルタ演算した水平方向の推定位置ｆｘ（ｔ）及びフィルタ演算した垂直方向の推定位置ｆｙ（ｔ）を、水平方向の決定位置及び垂直方向の決定位置とする。また、ｎの視点変更時の各視点の画サイズＳを以下のようにして決定する。
【００５９】
【数１１】
0006534964.tif 000012
【００６０】
図７は、各視点の画サイズの説明図である。図７において、横軸はカメラ番号であり、縦軸は画サイズである。図７に示すグラフから、カメラ番号「１」から「Ｎ」の視点に対して、縮小されている率が変化していることが示される。
【００６１】
次に、図２に示す映像編集装置１における編集処理判断部１０５の動作をフローチャートを参照して説明する。図８は、編集処理判断部１０５の動作を示すフローチャートである。
【００６２】
編集処理判断部１０５は、追跡統計部１０４から、水平方向の推定位置ｘ（ｔ）及び垂直方向の推定位置ｙ（ｔ）、並びに画サイズの推定値Ｓ（ｔ）と、フィルタ演算した水平方向の推定位置ｆｘ（ｔ）及びフィルタ演算した垂直方向の推定位置ｙ（ｔ）、並びにフィルタ演算した画サイズの推定値ｆＳ（ｔ）と、揺らぎσと、編集判断のための係数ｂｎとを入力する（ステップＳ２０１）。
【００６３】
編集処理判断部１０５は、編集判断のための係数ｂｎが閾値以下（ｂｎ＜閾値）か否かを判定する（ステップＳ２０２）。
【００６４】
編集処理判断部１０５は、編集判断のための係数が閾値以下の場合（ステップＳ２０２：Ｙｅｓ）、処理をステップＳ２０３に進め、編集判断のための係数が閾値以下でない場合（ステップＳ２０２：Ｎｏ）、処理をステップＳ２０４に進める。
【００６５】
編集処理判断部１０５は、揺らぎについて良好な状態であるとして、水平方向及び垂直方向の位置と画サイズの決定を行い、処理をステップＳ２０６に進める（ステップＳ２０３）。この場合、編集処理判断部１０５は、水平方向の推定位置及び垂直方向の推定位置（図６（Ａ））を、各視点での水平方向及び垂直方向の位置として決定する。各視点の画像サイズは、標準サイズ（図３の領域Ａ２を参照）として決定する。
【００６６】
編集処理判断部１０５は、（１１）式を満足するように、画面揺らぎを緩和する画サイズＳnewを求め、処理をステップＳ２０５に進める（ステップＳ２０４）。
【００６７】
編集処理判断部１０５は、揺らぎについて悪い状態であるとして、画サイズと位置の決定を行い、処理をステップＳ２０６に進める（ステップＳ２０５）。この場合、各視点での水平方向及び垂直方向の位置は、フィルタ演算した水平方向の推定位置及びフィルタ演算した垂直方向の推定位置（図６（Ｂ））とする。各視点の画サイズは、（１２）式及び（１３）式に示す演算により算出される。
【００６８】
編集処理判断部１０５は、ステップＳ２０３又はステップＳ２０５で決定された水平方向の決定位置及び垂直方向の決定位置と、画サイズの決定値を映像生成部１０６に送る（ステップＳ２０６）。
【００６９】
図９は、編集処理判断部１０５から映像生成部１０６に送られる情報を示す図である。図９（Ａ）に示すように、編集処理判断部１０５から映像生成部１０６には、初視点の情報として、開始時間、及び視点変更時間での水平方向の決定位置及び垂直方向の決定位置、並びに画サイズの決定位置が送られる。また、図９（Ｂ）に示すように、編集処理判断部１０５から映像生成部１０６には、終視点の情報として、視点変更時間及び終了時間での水平方向の決定位置及び垂直方向の決定位置、並びに画サイズの決定位置が送られる。また、図９（Ｃ）に示すように、編集処理判断部１０５から映像生成部１０６には、視点変更時刻の情報として、初視点及び終視点での水平方向の決定位置及び垂直方向の決定位置、並びに画サイズの決定位置が送られる。
【００７０】
次に、図２に示す映像編集装置１における映像生成部１０６の動作について詳述する。映像生成部１０６には、映像蓄積部１０２から、初視点映像と終視点映像と視点変更時刻の入力画像１〜Ｎが入力される。また、映像生成部１０６には、編集処理判断部１０５から、各時刻での水平方向の決定位置及び垂直方向の決定位置、並びに画サイズの決定値が入力される。映像生成部１０６は、初視点映像と終視点映像と視点変更時刻の映像（初視点映像と終視点映像の間の視点変更映像）である入力画像１〜Ｎと、水平方向の決定位置及び垂直方向の決定位置、並びに画サイズの決定値とに基づいて、初視点の追跡映像と、追跡回り込み映像と、終視点の追跡映像を生成し、これらを結合して、１つの映像として、ＩＦ部１０７に送る。
【００７１】
なお、視点変更時刻の各視点追跡画像の生成成、視点変更の時刻までの初視点追跡映像生成、視点変更の時刻からの終視点追跡映像生成については、非特許文献３に記載されている方法を用いることができる。
【００７２】
図１０は、図２に示す映像編集装置１における映像生成部１０６の動作を示すフローチャートである。
【００７３】
映像生成部１０６は、映像蓄積部１０２から、初視点映像を入力し、ステップＳ３０２に処理を進める（ステップＳ３０１）。
【００７４】
映像生成部１０６は、編集処理判断部１０５から、初視点映像の情報として、開始時刻での水平方向の決定位置、垂直方向の決定位置、決定画サイズと、視点変更時刻での水平方向の決定位置、垂直方向の決定位置、画サイズの決定値を入力し、処理をステップＳ３０３に進める（ステップＳ３０２）。
【００７５】
映像生成部１０６は、視点変更の時刻までの初視点追跡映像を生成し、処理をステップＳ３１０に進める（ステップＳ３０３）。
【００７６】
映像生成部１０６は、映像蓄積部１０２から、視点変更時刻の入力画像１〜Ｎを入力し、ステップＳ３０５に処理を進める（ステップＳ３０４）。
【００７７】
映像生成部１０６は、編集処理判断部１０５から、視点変更時刻の情報として、初視点での水平方向の決定位置、垂直方向の決定位置、画サイズの決定置と、終視点での水平方向の決定位置、垂直方向の決定位置、画サイズの決定値を入力し、処理をステップＳ３０６に進める（ステップＳ３０５）。
【００７８】
映像生成部１０６は、各視点追跡画像から合成して映像生成し、これにより追跡対象を回り込む表現映像を生成して、処理をステップＳ３１０に進める（ステップＳ３０６）。
【００７９】
映像生成部１０６は、映像蓄積部１０２から、終視点映像を入力し、ステップＳ３０８に処理を進める（ステップＳ３０７）。
【００８０】
映像生成部１０６は、編集処理判断部１０５から、終視点映像の情報として、視点変更時刻での水平方向の決定位置、垂直方向の決定位置、決定画サイズと、終了時刻での水平方向の決定位置、垂直方向の決定位置、決定画サイズを入力し、処理をステップＳ３０９に進める（ステップＳ３０８）。
【００８１】
映像生成部１０６は、視点変更の時刻からの終視点追跡映像生成し、処理をステップＳ３１０に進める（ステップＳ３０９）。
【００８２】
映像生成部１０６は、ステップＳ３０３で生成された視点変更の時刻までの初視点追跡映像と、ステップＳ３０６で生成された視点変更の時刻の回り込み映像と、ステップＳ３０９で生成された視点変更の時刻からの終視点追跡映像を結合し、１つの映像として、処理をステップＳ３１１に進める（ステップＳ３１０）。
【００８３】
映像生成部１０６は、生成された映像をＩＦ１０７に送り、処理を終了する（ステップＳ３１１）。なお、ＩＦ１０７から映像は、表示装置に表示してもよいし、ファイル出力としてもよい。
【００８４】
以上説明したように、本発明の実施形態による映像編集装置１では、入力画像１〜Ｎの水平方向の推定位置及び垂直方向の推定位置、並びに画サイズの推定値の揺らぎが大きい場合には、フィルタ演算した推定位置と、画面揺らぎを緩和する追跡サイズにより視点変更映像を生成している。これにより、推定値の揺らぎが大きく生じている状況で回り込み連続性をもった映像生成しても、見易い画面が生成できる。
【００８５】
なお、本例について、参考文献にあるように一般的な映像によるオブジェクト追跡推定アルゴリズムの誤差や振動について記載している。より位置推定の確度の高い赤外線付デプスカメラや、レーザによる位置推定を併用するカメラ等についても、閾値と編集判断のための係数ｂｎを調整することで、同様の方法とプログラムとなる。
【００８６】
なお、映像編集装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８７】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００８８】
１：映像編集装置，１０１：ＩＦ部，１０２：映像蓄積部，１０３：オブジェクト追跡部，１０４：追跡統計部，１０５：編集処理判断部，１０６：映像生成部，１０７：ＩＦ部
【図１】
0006534964.tif 000013
【図２】
0006534964.tif 000014
【図３】
0006534964.tif 000015
【図４】
0006534964.tif 000016
【図５】
0006534964.tif 000017
【図６】
0006534964.tif 000018
【図７】
0006534964.tif 000019
【図８】
0006534964.tif 000020
【図９】
0006534964.tif 000021
【図１０】
0006534964.tif 000022