(57)【要約】【課題】映像素片に境界誤りが含まれている場合であっても、最適な接続点を探索して高品質な合成映像を得ることのできる映像合成方法を得る。【解決手段】合成する映像のターゲット映像情報を受け取るステップと、ターゲット映像情報に基づき映像合成を行うために必要な映像素片を映像素片ＤＢ１０３より探索する素片探索ステップと、素片探索ステップで得られた映像素片の適合度を評価する評価ステップと、評価ステップで得られた最適な映像素片を用いて映像合成を行う合成ステップと、を有し、素片探索ステップは、映像素片ＤＢが格納している映像素片を選択する素片選択ステップと、各映像素片の基準パラメータを映像素片間で統一するように補正する補正ステップと、映像素片同士を接続する際の最適接続点を探索する接続点探索ステップと、をさらに有する。【選択図】図５
2008294509.tif 000002
【特許請求の範囲】
【請求項１】
映像素片を格納した映像素片ＤＢを用いて映像合成を行う方法であって、
合成する映像のターゲット映像情報を受け取るステップと、
前記ターゲット映像情報に基づき映像合成を行うために必要な映像素片を前記映像素片ＤＢより探索する素片探索ステップと、
前記素片探索ステップで得られた映像素片の適合度を評価する評価ステップと、
前記評価ステップで得られた最適な映像素片を用いて映像合成を行う合成ステップと、
を有し、
前記素片探索ステップは、
前記映像素片ＤＢが格納している映像素片を選択する素片選択ステップと、
各映像素片の基準パラメータを映像素片間で統一するように補正する補正ステップと、
映像素片同士を接続する際の最適接続点を探索する接続点探索ステップと、
をさらに有し、
前記補正ステップにおいて、
前記基準パラメータを映像素片間で統一するための基準点を設定し、その基準点において、少なくとも映像の倍率、彩度、明度のいずれかを映像素片間で統一する補正を行い、
基準点が定められない場合には、各映像素片間のフレーム補正処理を行い、
前記評価ステップにおいて、
前記素片選択ステップで選択した映像素片の適合度と、映像素片同士の接続点の適合度とを、所定の重み付き関数で評価し、
前記素片探索ステップと前記評価ステップを繰り返し実行することにより、
前記映像素片ＤＢが格納している最適な映像素片と、それらの最適な接続点との組み合わせを得て、前記合成ステップで映像合成を行う
ことを特徴とする映像合成方法。
【請求項２】
前記接続点探索ステップにおいて、
先行する映像素片の末尾から所定の範囲内、又は接続する映像素片の先頭から所定の範囲内を、前記最適接続点の探索範囲とする
ことを特徴とする請求項１に記載の映像合成方法。
【請求項３】
前記素片選択ステップ及び前記評価ステップの結果を単位素片毎に格納した統計データベースを設け、
前記素片選択ステップにおいて映像素片を選択し、又は前記接続点探索ステップにおいて接続点を探索する際に、
前記統計データベースから、前記最適接続点結果の近傍を前記接続点探索部における探索範囲とする
ことを特徴とする請求項１又は請求項２に記載の映像合成方法。
【請求項４】
前記映像合成を作成した際に選択された前記映像素片とその最適接続点に対して、その探索範囲を拡大して、
前記素片探索ステップないし前記合成ステップを再度実行する
ことを特徴とする請求項３に記載の映像合成方法。
【請求項５】
請求項１ないし請求項４のいずれかに記載の映像合成方法をコンピュータに実行させることを特徴とする映像合成プログラム。
【請求項６】
映像素片を格納した映像素片ＤＢを用いて映像合成を行う装置であって、
合成する映像のターゲット映像情報を受け取る入力部と、
前記ターゲット映像情報に基づき映像合成を行うために必要な映像素片を前記映像素片ＤＢより探索する素片探索部と、
前記素片探索部が得た映像素片の適合度を評価する評価部と、
前記評価部が得た最適な映像素片を用いて映像合成を行う合成部と、
を備え、
前記素片探索部は、
前記映像素片ＤＢが格納している映像素片を選択する素片選択部と、
各映像素片の基準パラメータを映像素片間で統一するように補正する補正部と、
映像素片同士を接続する際の最適接続点を探索する接続点探索部と、
をさらに備え、
前記補正部は、
前記基準パラメータを映像素片間で統一するための基準点を設定し、その基準点において、少なくとも映像の倍率、彩度、明度のいずれかを映像素片間で統一する補正を行い、
基準点が定められない場合には、各映像素片間のフレーム補正処理を行い、
前記評価部は、
前記素片選択部が選択した映像素片の適合度と、映像素片同士の接続点の適合度とを、所定の重み付き関数で評価し、
前記素片探索部と前記評価部の処理を繰り返し実行することにより、
前記映像素片ＤＢが格納している最適な映像素片と、それらの最適な接続点との組み合わせを得て、前記合成部で映像合成を行う
ことを特徴とする映像合成装置。
【請求項７】
前記接続点探索部は、
先行する映像素片の末尾から所定の範囲内、又は接続する映像素片の先頭から所定の範囲内を、前記最適接続点の探索範囲とする
ことを特徴とする請求項６に記載の映像合成装置。
【請求項８】
前記素片選択部及び前記評価部の処理結果を単位素片毎に格納した統計データベースを備え、
前記素片選択部が映像素片を選択し、又は前記接続点探索部が接続点を探索する際に、
前記統計データベースから、前記最適接続点結果の近傍を前記接続点探索部における探索範囲とする
ことを特徴とする請求項６又は請求項７に記載の映像合成装置。
【請求項９】
請求項６ないし請求項８のいずれかに記載の映像素片ＤＢ、入力部、素片探索部、及び評価部を備えた素片探索装置と、
前記素片探索部が探索した結果を受け取る探索結果入力部、前記素片探索装置が備えるものと同一の映像素片ＤＢ、及び、前記映像素片ＤＢが格納している映像素片のうち前記探索結果入力部が受け取った探索結果に該当するものを用いて映像合成を行う合成部を備えた映像出力装置と、
を有し、
前記素片探索装置と前記映像出力装置はネットワークを介して接続されており、
前記素片探索部は、
映像素片とその接続点の探索結果を前記ネットワークに出力し、
前記探索結果入力部は、
前記ネットワークを介して前記素片探索部の探索結果を受け取り、
前記合成部は、
前記探索結果入力部が受け取った探索結果に基づき映像合成を行う
ことを特徴とする映像合成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像素片を接続して合成することによる映像合成方法、そのプログラム、その装置、映像合成システムに関するものであり、特に、映像素片の選択と素片接続点の最適化に関するものである。
【背景技術】
【０００２】
従来、『ワード手話映像変換方法等に関し、手話映像の収録素片群を利用し、任意文章情報から滑らかな手話映像を効率良く合成する』ことを目的とした技術として、『コンピュータと、複数単語につき手話表現に不可欠なコア映像を収録したコア映像ファイルと、所定の手の位置で始まり自己が接続するコア映像の手の開始位置で終わるプリ接続映像を収録したプリ接続映像ファイルと、自己が接続するコア映像の手の終了位置で始まり所定の手の位置で終わるポスト接続映像を収録したポスト接続映像ファイルと、各単語をコア映像に関係付けるデータベースとを備え、（ａ）入力文章情報から手話単語列を抽出し、（ｂ）各手話単語のコア映像及びこれに接続するポスト・プリ接続映像を抽出して前の単語のポスト接続映像と後の単語のプリ接続映像間を所定のフレーム数間隔となるように重ね合わせ、（ｃ）重畳部分の両接続映像につき両者の手の位置間の距離が最小となる位置でポスト・プリ接続映像フレームを接続する。』というものが提案されている（特許文献１）。
また、『唇の動きや手話を表現した映像を音声情報に併せて自動的に高品質に合成し、マルチモーダル的に提示すること。』を目的とした技術として、『予め唇の動きや手話の動きを撮影した映像を、単音節、あるいは単語、あるいは文章にごとに動画素片データベース部４に収録しておき、テキスト文作成部３から供給されるテキストに対応して動画素片検出部５により動画素片データベース部４から該当の動画素片を検出し、検出したこれら動画素片を基に動きベクトル検出系６、７、８により個々の動画素片の接合部分における映像の動きベクトルを検出し、フィールド内挿部９により個々の動画素片の接合部分において内挿するフィールド枚数と内挿位置を、映像の動きべクトルを基に可変にすることで、動画素片を映像の流れに自然性を保ったまま、スムーズにつなぎ合わせ合成する。合成した動画と音声出力との同期も行う。』というものが提案されている（特許文献２）。
【０００３】
【特許文献１】特開２０００−１４９０４２号公報（要約）
【特許文献２】特開平１１−２２６０５０号公報（要約）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１、特許文献２に記載の技術では、接続する単位映像（以下、「映像素片」と呼ぶ）が適切に切り出されているものとして種々の補間処理を行っている。
しかし、映像素片の切り出し点が適切でない、即ち境界誤りがある場合には、映像素片を接続して合成した映像にブレ等の乱れが生じてしまう場合が存在する。補間処理を行った場合であっても、接続前の映像素片の境界が適切でない場合には、接続点周辺の映像に乱れが生じやすくなる。
そのため、映像素片に境界誤りが含まれている場合であっても、最適な接続点を探索して高品質な合成映像を得ることのできる映像合成方法、映像合成プログラム、映像合成装置、映像合成システムが望まれていた。
【課題を解決するための手段】
【０００５】
本発明に係る映像合成方法は、
映像素片を格納した映像素片ＤＢを用いて映像合成を行う方法であって、
合成する映像のターゲット映像情報を受け取るステップと、
前記ターゲット映像情報に基づき映像合成を行うために必要な映像素片を前記映像素片ＤＢより探索する素片探索ステップと、
前記素片探索ステップで得られた映像素片の適合度を評価する評価ステップと、
前記評価ステップで得られた最適な映像素片を用いて映像合成を行う合成ステップと、
を有し、
前記素片探索ステップは、
前記映像素片ＤＢが格納している映像素片を選択する素片選択ステップと、
各映像素片の基準パラメータを映像素片間で統一するように補正する補正ステップと、
映像素片同士を接続する際の最適接続点を探索する接続点探索ステップと、
をさらに有し、
前記補正ステップにおいて、
前記基準パラメータを映像素片間で統一するための基準点を設定し、その基準点において、少なくとも映像の倍率、彩度、明度のいずれかを映像素片間で統一する補正を行い、
基準点が定められない場合には、各映像素片間のフレーム補正処理を行い、
前記評価ステップにおいて、
前記素片選択ステップで選択した映像素片の適合度と、映像素片同士の接続点の適合度とを、所定の重み付き関数で評価し、
前記素片探索ステップと前記評価ステップを繰り返し実行することにより、
前記映像素片ＤＢが格納している最適な映像素片と、それらの最適な接続点との組み合わせを得て、前記合成ステップで映像合成を行う
ことを特徴とするものである。
【発明の効果】
【０００６】
本発明に係る映像合成方法によれば、映像素片自体の品質と素片接続点を総合的に評価し、これらの最適な組み合わせが得られるので、素片切り出し時に切り出し誤りがあっても、その影響を低減し、高品質な合成映像を得ることができる。
【発明を実施するための最良の形態】
【０００７】
実施の形態１．
図１は、本発明の実施の形態１に係る映像合成装置１００の機能ブロック図である。
映像合成装置１００は、入力部１０１、素片探索部１０２、映像素片ＤＢ（Ｄａｔａｂａｓｅの略）１０３、評価部１０４、合成部１０５を備える。
入力部１０１は、映像合成の内容を指示するターゲット映像情報１１０を入力として受け取り、素片探索部１０２に出力する。
ターゲット映像情報１１０の内容は、合成したい映像のシーン系列の情報である。シーン系列とは、直接的に映像素片の番号列でもよいが、映像素片のカテゴリ番号の系列が望ましい。例えば、「右側から左側へ移動する車映像」をカテゴリ１番とし、「左側から下側に移動する車映像」をカテゴリ２番であるとき、ターゲット映像情報はカテゴリ系列１、２という番号列などを指定する。
素片探索部１０２は、ターゲット映像情報１１０に基づき映像合成を行うために必要な映像素片を映像素片ＤＢ１０３から探索する。
映像素片ＤＢ１０３は、映像合成を行うために必要な映像素片の集合を格納している。
評価部１０４は、素片探索部１０２が映像素片ＤＢ１０３から探索した映像素片の適合度を評価する。評価は、ターゲット映像情報１１０と探索した素片の映像的距離を算出する方法などにより行う。評価方法の詳細については後述する。
合成部１０５は、評価部１０４により最適である旨の評価を得た映像素片を用いて映像合成を行い、映像１２０を出力する。出力形式は、ディスプレイのような映像出力デバイスを介してもよいし、映像データまたは信号を出力するようにしてもよい。
【０００８】
素片探索部１０２は、素片選択部１０６と接続点探索部１０７をさらに備える。
素片選択部１０６は、映像素片ＤＢ１０３が格納している映像素片の中から１つを選択する。選択の基準は、探索手法により異なる。詳細は後述する。
接続点探索部１０７は、素片選択部１０６が選択した映像素片を、既に選択済みの映像素片に接続する際の、最適な接続点を探索する。詳細は後述の図２〜図３で説明する。
なお、本実施の形態１において、「補正部」は接続点探索部１０７と一体的に構成しているが、別個に構成してもよい。
【０００９】
素片探索部１０２、評価部１０４、合成部１０５、素片選択部１０６、及び接続点探索部１０７（「補正部」を含む）は、回路デバイスのようなハードウェアで構成することもできるし、ＣＰＵやマイコンのような演算装置により実行されるソフトウェアとして構成することもできる。
入力部１０１は、ターゲット映像情報１１０の形式に応じて適切な構成とする。例えばターゲット映像情報１１０がテキストなどのデータであるときは、ＬＡＮインターフェースのようなネットワークインターフェースで構成することができる。また、ターゲット映像情報１１０が信号列であるときは、その信号形式に応じたコネクタなどのインターフェースで構成することができる。
映像素片ＤＢ１０３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）のような比較的容量の大きい記憶装置に映像素片データを格納することにより、構成することができる。
【００１０】
次に、映像合成装置１００の動作説明に先立ち、素片同士の接続点の探索方法を、図２を用いて説明する。
【００１１】
図２は、接続点探索部１０７における映像素片同士の接続点の範囲設定を示した図である。
図２において、「ターゲット映像情報系列」とは、ターゲット映像情報１１０を時系列に分解して表した情報のことである。「ターゲット映像情報」の時刻ｔにおける要素を「Ｍｔ」と表し、「ターゲット映像情報系列」として表している。
素片Ｖｉ及びＶｊは、映像素片ＤＢ１０３に格納されている個々の映像素片である。ＶｉやＶｊの候補となる映像素片の具体例については後述する。
【００１２】
ターゲット映像情報１１０に相当する最適な合成映像を得るためには、好適な映像素片を映像素片ＤＢ１０３から探索することはもちろんであるが、探索した映像素片同士を接続する最適なポイントを探索することも重要である。
接続点における素片間のつながりが歪んでいると、人間がその合成映像を視聴した場合に、映像の内容は理解できるが、特に映像素片の接続点周辺においてブレ等の乱れが生じてしまう、といったことが起こり得る。そのため、探索した素片の最適な接続点を求めることは、高品質な合成映像を得るために欠かせない。
【００１３】
図２では、素片Ｖｉと素片Ｖｊの予め定められた接続可能範囲の例と、素片ＶｉのＫ＝ｋ、と素片ＶｊのＬ＝ｌで接続した場合の接続素片Ｗ（ｉ，ｊ，ｋ，ｌ）を示す。
【００１４】
次に、接続素片Ｗ（ｉ，ｊ，ｋ，ｌ）と映像情報Ｍｔと映像情報Ｍｔ＋１との整合コストを計算する。整合コストの計算にはＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）マッチングという手法がしばしば用いられている。以下に、ＤＰマッチングの手順の１例を図３を使って、簡単に示す。
【００１５】
（１）映像情報Ｍｔの先頭と接続素片Ｗ（ｉ，ｊ，ｋ，ｌ）の先頭を開始点（左上隅）、映像情報Ｍｔ＋１の終端と接続素片Ｗ（ｉ，ｊ，ｋ，ｌ）の終端を終着点（右下隅）とする。
（２）ＤＰ平面の左下隅から右上隅までの経路で、最も整合コストが小さくなる経路とそのときの整合コストＭＣｔ，ｔ＋１（ｉ，ｊ，ｋ，ｌ）を動的計画法（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）により求める。
ここで、開始点（左上隅）、終着点（右下隅）の片方、あるいは両方をフリーにした端点フリー型のＤＰマッチングを用いてもよい。
【００１６】
以上のような手順により、素片ＶｉとＶｊを接続点Ｋ＝ｋ、Ｌ＝ｌで接続した場合の整合コストＭＣｔ，ｔ＋１（ｉ，ｊ，ｋ，ｌ）が求められる。素片ＶｉやＶｊを切り出す際に、正確な境界が与えられていれば、接続点Ｋ＝ＶＮｉと、Ｌ＝１でよいとも考えられる。しかし、素片ＶｉやＶｊを切り出す際に、切り出し誤りが含まれていた場合、このような固定の接続点が最適な接続点であるとは限らない。
【００１７】
そこで、接続点探索部１０７は、図２に示す接続可能範囲中の全ての接続点の組み合わせに対して、整合コストＭＣｔ，ｔ＋１（ｉ，ｊ，ｋ，ｌ）を計算し、その値が最小となる最適接続点ＪＰｔ，ｔ＋１（ｉ，ｊ）を決定する。ここで最小整合コストをＴＣ’ｔ，ｔ＋１（ｉ，ｊ）とすると、
【数１】
2008294509.tif 000003
となる。また、ＴＣｔ（ｉ，ｊ）が最小値となる接続点を最適接続点ＪＰ’ｔ，ｔ＋１（ｉ，ｊ）とすると、
【数２】
2008294509.tif 000004
【００１８】
実際には、上記の整合コストに加えて、さらに素片Ｖｉ、Ｖｊの接続点Ｋ＝ｋ、Ｌ＝ｌで接続する際に生じる連続性のズレ、すなわち接続ずれコストＣＣ（ｉ，ｊ，ｋ，ｌ）を考慮する。
仮に、素片Ｖｉ、Ｖｊが適切に選択され、合成映像全体としてはターゲット映像情報１１０とのズレが小さい場合であっても、素片同士の接続点が適切でない場合には、接続点に歪みが生じ、聴取した際にぎこちなく聞こえる場合がある。本値は、このような接続点におけるズレを評価するものである。
【００１９】
次に、整合コストＭＣｔ、ｔ＋１（ｉ，ｊ，ｋ，ｌ）の具体的な算出方法について説明する。
ターゲット映像情報１１０とのズレを評価するためには、ターゲット映像情報１１０と、素片Ｖｉ、Ｖｊからなる合成結果との、映像的距離を求めればよい。映像的距離が大きければ両者のズレも大きく、映像的距離が小さければ両者のズレは小さいことになる。
両者の映像的距離は、互いの映像パラメータの距離を算出することにより求められる。
映像パラメータの１例としては、例えばＤＣＴ係数など映像の類似性を計算する際に用いられるパラメータが考えられる。その他の適切な簡便計算法を用いてもよい。
【００２０】
次に、ＣＣ（ｉ，ｊ，ｋ，ｌ）の具体的な算出方法について、図４を用いて、説明する。
接続点Ｋ＝ｋ、Ｌ＝ｌにおける連続性の評価をするためには、Ｖｉのｋ番目の映像パラメータと、Ｖｊのｌ番目の各々のパラメータの連続性を評価すればよい。例えば、以下のような方法が考えられる。
（１）接続点の両側の差分
接続点の両側の差分が小さければ、接続点が急峻でないため、連続性が高いといえる。両側の差分が大きければ、接続点の両側での変化が急峻であるため、連続性が低いといえる。
（２）接続点近傍の時間軸上の微分
接続点近傍の時間微分は、その接続点における変化の度合いを表すので、接続点近傍における変化の度合いを判断するのに適している。さらには、高次微分の値を判断に用いてもよい。
【００２１】
以上をまとめると、素片ＶｉとＶｊを接続点Ｋ＝ｋ、Ｌ＝ｌで接続した場合の整合コストＭＣｔ，ｔ＋１（ｉ，ｊ，ｋ，ｌ）に接続ずれコストＣＣ（ｉ，ｊ，ｋ，ｌ）をある割合Ｗｃｃで加えた値で接続点を決定すればよいことが分かる。従って、最小整合コストをＴＣｔ，ｔ＋１（ｉ，ｊ）とすると、
【数３】
2008294509.tif 000005
となる。また、ＴＣｔ（ｉ，ｊ）が最小値となる接続点を最適接続点ＪＰｔ，ｔ＋１（ｉ，ｊ）とすると、
【数４】
2008294509.tif 000006
となる。
Ｗｃｃは、接続点におけるズレをどの程度許容するかを表す重み値である。この値が小さいほど、接続点におけるズレを許容することを意味する。
【００２２】
以上説明した、ＭＣｔ，ｔ＋１（ｉ，ｊ，ｋ，ｌ）及びＣＣ（ｉ，ｊ，ｋ，ｌ）の具体的な算出方法は、例を示したものである。本発明におけるこれらの算出方法は、上述のものに限られるものではなく、適宜好適なパラメータや算出方法を用いることができる。
【００２３】
さらに、映像素片の接続に特徴的な処理として、映像素片毎のフレーム枠ずれや映像拡大縮小、色ずれへの考慮がある。そのための簡易な方法として、以下のものを挙げることができる。
【００２４】
（１）映像素片間の環境的特徴の補正
映像素片がそれぞれ別個に作成された場合、基準となる映像倍率、彩度、明度などのパラメータが、映像素片間でまちまちになっている場合がある。特に、映像素片の作成環境が異なっている場合に、こうした違いが顕著に現れる。
そこで、素片映像の基準点（たとえば顔の目の位置、手の位置、監視物体等）を適当に設定し、それを基準に接続素片毎の平行移動ベクトルや倍率、彩度、明度の補正情報を計算しておく。
映像素片を接続する際には、素片間における上述のようなパラメータの基準値の差を、先に求めておいた補正情報で補正し、映像パラメータ同士の距離を計算する際には、この補正情報で補正した後の距離を用いるようにする。
補正情報はあらかじめ素片作成時に計算しておいてもよい。
【００２５】
（２）補正情報を計算するための基準点が定められない場合には、各素片間の映像パラメータ間の距離計算に先立って素片間のフレーム補正処理を行い、補正後の映像パラメータ間距離を用いるようにする。
【００２６】
なお、本実施の形態１における「基準パラメータ」は、上述の各映像パラメータがこれに相当する。
【００２７】
ここまで、接続点の探索について説明したが、最適な接続点は、素片Ｖｉ、Ｖｊの内容によっても異なる。
そこで、（１）素片選択部１０６が映像素片ＤＢ１０３から素片を選び、（２）接続点探索部１０７がその素片についての最適接続点を求める、という処理を繰り返し実行し、映像素片ＤＢ１０３が格納している素片とその接続点の最適な組み合わせを得ることができる。
素片とその接続点の評価は、先に説明した式（１）により行えばよい。
本実施の形態１に係る映像合成装置１００は、上述のように、素片探索と接続点の探索をともに行うものである。
【００２８】
これまで、本発明の基本的な概念について説明した。次に、映像合成装置１００の全体動作について、図５を用いて説明する。
【００２９】
図５は、本実施の形態１に係る映像合成装置１００の動作フローである。以下、各ステップについて説明する。
【００３０】
（Ｓ３０１）
入力部１０１は、ターゲット映像情報１１０を入力として受け取る。
（Ｓ３０２）：ループ１
素片探索部１０２は、ターゲット映像情報１１０の先頭から順に映像情報を１個取り出す。この映像情報に基づき、映像素片ＤＢ１０３が格納している素片群から映像合成を行うために最適な映像素片を、以下のステップにより探索する。探索処理は、公知の探索アルゴリズムを用い、あらかじめ定められた回数または時間、繰り返し探索を行う。
（Ｓ３０３）
素片選択部１０６は、映像情報に最も適合する映像素片を映像素片ＤＢ１０３より選択する。
このとき、全くのランダムに素片を選択し、適合性を検証するのではなく、映像情報にある程度近い素片を選択することが、時間短縮の観点から望ましい。例えば、映像情報のカテゴリに対応した映像素片群を候補素片群とする、といった方法である。
（Ｓ３０４）：ループ２
ステップＳ３０３で素片選択部１０６が選択した候補素片群の１つ１つの素片に対して、最適な接続点を求める。ここでは、先に説明したように、一定の範囲内で周辺探索を行い、映像切り出し誤りの影響を低減することを図る。
周辺探索の範囲は、接続点の前後の、映像長に対する２０％の長さの範囲内とする。以後のステップは、この周辺探索範囲内を全て網羅するまで、繰り返し実行する。
（Ｓ３０５）
接続点探索部１０７は、先に述べた倍率、彩度、明度などの補正情報を計算して補正演算を行う。次に、補正後の映像素片に対して、図２のごとく、接続素片を生成する。
（Ｓ３０６）
評価部１０４は、接続点探索部１０７が生成した接続素片とターゲット映像情報１１０に対する適合度を、先に説明した式（３）により評価する。
（Ｓ３０７）
ステップＳ３０６で評価した値が、これまでの最高評価値である場合にはステップＳ３０８へ進み、それ以外の場合はループ２を継続する。
（Ｓ３０８）
得られた素片と接続点の組を、図示しないＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶手段に格納して保存する。
（Ｓ３０９）
全ての候補素片群について、その周辺探索範囲を網羅的に探索し、候補素片ループ２を終了する。
（Ｓ３１０）
ターゲット映像情報１１０の最後まで、ループ１の素片探索を繰り返し実行した後、ループ１を終了する。
（Ｓ３１１）
合成部１０５は、ステップＳ３０８でＲＡＭなどに保存した最良の素片・接続点の組を用いて映像合成を行い、映像１２０を出力する。
【００３１】
なお、ステップＳ３０４において、周辺探索の範囲は、接続点の前後の、映像長に対する２０％の長さの範囲内としたが、これに限られるものではなく、許容される合成映像の品質や演算リソースの余裕などに合わせて、適宜適切な値を設定すればよい。
【００３２】
以上のように、本実施の形態１によれば、映像素片自体の品質と素片接続点を総合的に評価し、これらの最適な組み合わせが得られるので、素片切り出し時に切り出し誤りがあっても、その影響を低減し、高品質な合成映像を得ることができる。
【００３３】
実施の形態２．
図６は、本発明の実施の形態２に係る映像合成装置１００の機能ブロック図である。
本実施の形態２に係る映像合成装置１００は、図１で説明した構成に加えて、新たに統計データベース１０８を備える。
統計データベース１０８は、熟練者により過去に実施された映像素片の選択、または映像素片同士の接続点の設定結果を、映像素片の単位毎に統計処理して格納している。
熟練者による作業は、映像的・実験的な知見に基づいているため、一般に高品質な合成映像を得やすいと言える。そこで、その結果を統計データベースとして蓄積し、映像合成実行時にこれを参照することにより、同様に高品質な合成映像を得ることができる。
【００３４】
具体的には、ターゲット映像情報１１０を受け取った際に、それと最も近い合成映像を過去に生成した時の選択映像素片とその接続点の情報を、統計データベース１０８の統計データエントリから検索し、その選択映像素片と接続点を用いて映像合成を行う。
仮に、参照した統計データエントリが、今から合成しようとしているターゲット映像情報１１０とは異なる映像情報について実施された時のものであっても、双方の映像情報が近接していれば、必要となる映像素片やその接続点も近接したものになると考えられるので、探索開始点の基準とするには適していると言える。
【００３５】
図７は、本実施の形態２に係る映像合成装置１００の動作フローである。以下、各ステップについて説明する。
【００３６】
（Ｓ５０１）
入力部１０１は、ターゲット映像情報１１０を入力として受け取る。
（Ｓ５０２）：ループ１
素片探索部１０２は、ターゲット映像情報１１０の先頭から順に映像情報を１個取り出す。この映像情報に基づき、映像素片ＤＢ１０３が格納している素片群から映像合成を行うために最適な映像素片を、以下のステップにより探索する。探索処理は、公知の探索アルゴリズムを用い、あらかじめ定められた回数または時間、繰り返し探索を行う。
（Ｓ５０３）
素片選択部１０６は、映像情報に最も適合する映像素片を映像素片ＤＢ１０３より選択する。
このとき、全くのランダムに映像素片を選択し、適合性を検証するのではなく、映像情報にある程度近い素片を選択することが、時間短縮の観点から望ましい。例えば、映像情報のカテゴリに対応した映像素片群を候補素片群とする、といった方法である。
さらに候補素片間での接続範囲を設定しておく。接続範囲は統計データベース１０８の統計データエントリから決定する。すなわち、接続する素片をＶｉ、Ｖｊとした場合、Ｖｉ、Ｖｊの過去の接続点の平均位置を検索し、その点を中心として標準偏差の前後１σ（１標準偏差）分とする。
（Ｓ５０４）：ループ２
ステップＳ５０３で素片選択部１０６が選択した候補素片群の１つ１つの素片とその接続範囲に対して最適な接続点を求める。以後のステップＳ５０４からＳ５０９は、Ｓ５０３で設定した全ての素片に対して繰り返し実行する。
（Ｓ５０５）〜（Ｓ５１１）
実施の形態１の図５で説明したステップＳ３０５〜Ｓ３１１と同様であるため、説明を省略する。
【００３７】
なお、ステップＳ５０３において、周辺探索の範囲は、過去接続点の前後の１σ（１標準偏差）の長さの範囲内としたが、これに限られるものではなく、許容される合成映像の品質や演算リソースの余裕などに合わせて、適宜適切な値を設定すればよい。
【００３８】
以上のように、本実施の形態２によれば、熟練者による作業結果など、過去の接続統計データを格納した統計データベース１０８を参照することにより、過去の接続点に関する情報を利用することができるので、より探索範囲をしぼることにより、より高速な処理が実現できる。
【００３９】
実施の形態３．
実施の形態１〜２では、最適接続点の探索は、映像長に対する２０％の長さの範囲内とし（実施の形態１）、あるいは過去の統計量を用いた範囲設定（実施の形態２）とした。
本発明の実施の形態３では、簡易探索と詳細探索の２段階の探索範囲設定を行う。
なお、映像合成装置１００の機能ブロック図は、実施の形態２で説明した図６と同様であるため、説明は省略する。
【００４０】
図８は、本実施の形態３における接続点の探索範囲を説明するものである。
本実施の形態３において、素片探索部１０２は、実施の形態２と同様に、統計データベース１０８の統計データエントリから、接続素片毎に過去の接続点を参照する。
【００４１】
図８（１）は、本実施の形態３における、素片探索部１０２の１回目の探索範囲を示すものである。
素片探索部１０２による１回目の探索は、統計データベース１０８の統計データエントリから、接続素片毎に過去の接続点の中心近傍で行い、素片探索部１０２による２回目以降の探索は、１回目の探索結果を中心として、さらに探索範囲を拡大する。
【００４２】
図８（２）は、本実施の形態３における、素片探索部１０２の追加探索範囲を示すものである。
実施の形態１〜２では、周辺探索を行った結果を、最終的な探索結果としていた。本実施の形態３では、図８（１）で説明した周辺１σの範囲内の探索に加えて、さらに追加の探索を行う。
素片探索部１０２による追加の探索では、図８（１）で周辺１σの範囲内を探索した結果得られた最適接続点を中心として、図８（１）で参照した統計データエントリの周辺２σの範囲内を、さらなる探索範囲とする。
【００４３】
図８（１）（２）において、素片探索部１０２による探索範囲に関し、ＤＰ平面上の探索範囲と統計データ上の探索範囲の対応関係を、概念的に示した。
【００４４】
図９は、本実施の形態３に係る映像合成装置１００の動作フローである。以下、各ステップについて説明する。なお、記載の便宜上、映像合成装置１００が備える各構成は図示を省略した。
【００４５】
（Ｓ７０１）〜（Ｓ７１０）
実施の形態２の図７で説明したステップＳ５０１〜Ｓ５１０と同様であるため、説明を省略する。
（Ｓ７１１）：ループ３
接続点探索部１０７は、これまでの処理で得られた最適な映像素片について、図８（２）で説明したような追加の探索範囲内で、最適な接続点をさらに探索する。
（Ｓ７１２）〜（Ｓ７１６）
ステップＳ７０５〜Ｓ７０９と同様であるため、説明を省略する。
（Ｓ７１７）
合成部１０５は、これまでの処理で得られた最良の素片・接続点の組を用いて映像合成を行い、映像１２０を出力する。
【００４６】
図８（１）（２）において、探索範囲をそれぞれ１σ、２σとしたが、この数値は例示であり、これに限られるものではない。具体的な数値は、許容される合成映像の品質や演算リソースの余裕などに合わせて、適宜適切な値を設定すればよい。
【００４７】
以上のように、本実施の形態３によれば、実施の形態２と同様に、過去の統計データを格納した統計データベース１０８を参照することにより、高速な探索処理が実現でき、さらには２回目の探索処理において、統計上の頻度が少ない周辺部分についても追加の探索範囲としたので、より適切な範囲で接続点の探索を行うことができる。
【００４８】
実施の形態４．
図１０は、本発明の実施の形態４に係る映像合成システムの構成を示す図である。
図１０の映像合成システムは、素片探索装置９１０と映像出力装置９２０を有し、両者はネットワーク９３０を介して接続されている。
素片探索装置９１０は、入力部９０１、素片探索部９０２、映像素片ＤＢ９０３、評価部９０４を有する。素片探索部９０２は、素片選択部９０６、接続点探索部９０７を有する。
これらの機能は、実施の形態１〜３で説明した同名の機能部と同様であるが、素片探索部９０２は、探索した映像素片を出力する替わりに、映像素片とその接続点の探索結果のみを出力する。探索結果は、ネットワーク９３０に出力される。
映像出力装置９２０は、探索結果入力部９０９、映像素片ＤＢ９０３、合成部９０５を有する。
探索結果入力部９０９は、ネットワーク９３０を介して、素片探索部９０２が出力した素片と接続点の探索結果を受け取る。
映像素片ＤＢ９０３は、素片探索装置９１０が備える映像素片ＤＢ９０３と同一の映像素片群を格納している。
合成部９０５は、探索結果入力部９０９が受け取った素片と接続点の探索結果に基づき、映像素片ＤＢ９０３が格納している映像素片を用いて映像合成を行い、映像１２０を出力する。
【００４９】
探索結果入力部９０９は、ＬＡＮインターフェースなどのネットワークインターフェースで構成することができる。
合成部９０５は、回路デバイスのようなハードウェアで構成することもできるし、ＣＰＵやマイコンのような演算装置により実行されるソフトウェアとして構成することもできる。
【００５０】
素片探索部９０２が出力するのは、映像素片ではなく、その探索結果のみであるため、素片探索装置９１０と映像出力装置９２０の間でネットワーク９３０を介してその伝送を行っても、映像素片そのものを伝送する場合と比較してデータ伝送量は少なくて済む。
また、映像出力装置９２０は、処理負荷のかかる素片探索処理を実行する必要がないため、ＣＰＵやマイコンなどの演算装置を小型のものにすることができ、軽量化や小型化、低コスト化などに資する。
【実施例】
【００５１】
実施例１．
本発明の実施例１では、複数のカメラで撮影した車両の走行映像を、スムーズにつなぎ合わせる例について説明する。
【００５２】
図１１は、道路を走行する車両を撮影するシステムの構成例である。
図１１において、カメラ１００１〜１００６は、道路１０３０に沿って設置されており、道路１０３０を走行する車両の映像を撮像して、その映像データを記憶手段１０１０に格納するように構成されている。
各カメラ１００１〜１００６は、撮像方向と撮像可能範囲が固定されており、一定の範囲の撮像のみ可能である。各カメラの撮像可能範囲は、相互に他のカメラの撮像可能範囲をカバーし、または一部の範囲が重複するように配置されており、道路１０３０を走行する車両を、間断なく撮像できるようになっている。
今、図１１において、車両１０２０が道路１０３０の左側から右側に向かって走行しており、各カメラ１００１〜１００６が走行映像を撮像しているものとする。
【００５３】
図１２は、各カメラが撮像した映像を接続する様子について説明するものである。ここでは、カメラ１００１と１００２が撮像した映像を例に説明する。
カメラ１００１が撮像した車両１０２０の走行映像において、車両１０２０は画面の左側から撮像範囲内に進入し、画面の右側に消えていく。また、カメラ１００２が撮像した映像においても、同様に車両１０２０が画面の左側から撮像範囲内に進入し、画面の右側に消えていく。
【００５４】
ここで、各カメラが撮像して記憶手段１０１０に格納した映像データを映像素片と考えると、画面の横幅を２倍に広げて２つの映像素片を横方向に接続すれば、横幅が２倍のワイド画面上で、車両１０２０が画面の左側から右側に向けて走行する映像を得ることができる。
ただし、接続点における接続がスムーズでなければ、接続後のワイド映像の中央付近で車両１０２０の映像がブレてしまうなどの不都合が発生し得る。特に、高速撮像環境においては、各カメラのタイムコードやクロックの同期を完全にとることは難しく、単純にタイムコードやクロック同期に頼った映像接続を行うのみでは、上述のようなブレが発生する可能性が残ってしまう。
そこで、２つのカメラが撮像した映像データを接続する際に、上述の実施の形態で説明した最適接続点の探索方法を適用し、個々の映像素片がスムーズに接続されるような接続点を探索することにより、車両１０２０が左側から右側に走行する滑らかな映像を得ることが可能となる。
【００５５】
実施例２．
本発明の実施例２では、人間が特定のフレーズを発音している際の口の動きを映像素片として格納しておき、これを用いて任意のフレーズの口の動き映像を合成する例について説明する。また、口の動きに合わせて音声合成も行い、口の動きと音声を同期させる。
【００５６】
図１３は、音声合成と、これに対応した口の動きの映像合成について説明するものである。
音声合成を行う際には、例えば音声素片を格納した音声コーパスを参照して、上述の実施の形態で説明した方法により、最適な音声素片とその接続点を探索して、その音声素片と接続点を用いた音声合成を行うことができる。
一方、個々の音声素片には、それぞれ対応する口の動きが存在する。この口の動きの映像を映像素片として映像素片ＤＢにあらかじめ格納しておき、音声合成の場合と同様の方法を用いることにより、音声に対応した口の動きを合成するのに最適な映像素片とその接続点を探索して、その映像素片と接続点を用いた映像合成を行うことができる。
これにより、任意のフレーズを音声合成するとともに、それに対応した口の動きの合成映像を得ることができる。
【００５７】
なお、口の動きのより簡易な映像合成方法として、以下の方法が考えられる。
音声素片を作成する際に、その発声時の口の動きの映像を撮像して映像データ化し、音素ラベリングを行った際のラベル情報を、音声素片と映像素片の間で共有しておく。
これにより、音声素片と音素境界を、映像素片とその境界に一致させることができるので、音声合成時に探索した最適な素片と接続点に関する情報を、映像合成時にも用いることができる。
【００５８】
本実施例の適用シーンとしては、例えば顧客窓口の自動受付機で、ユーザの操作に合わせた音声メッセージを出力するとともに、これに対応した顔映像を合成して出力することが考えられる。
【００５９】
なお、本実施例では音声と口の動きを対応付けた例について説明したが、映像合成の対象はこれに限られるものではない。例えば、口の動き以外にも目の動きや手の動きの映像素片を組み合わせて、様々な動きの映像を、対応する音声とともに合成することが考えられる。
【図面の簡単な説明】
【００６０】
【図１】実施の形態１に係る映像合成装置１００の機能ブロック図である。
【図２】接続点探索部１０７における映像素片同士の接続点の範囲設定を示した図である。
【図３】接続素片Ｗ（ｉ，ｊ，ｋ，ｌ）と映像情報列Ｍｔ，Ｍｔ＋１とのＤＰマッチングを示した図である。
【図４】ＣＣ（ｉ，ｊ，ｋ，ｌ）の具体的な算出方法の図である。
【図５】実施の形態１に係る映像合成装置１００の動作フローである。
【図６】実施の形態２に係る映像合成装置１００の機能ブロック図である。
【図７】実施の形態２に係る映像合成装置１００の動作フローである。
【図８】実施の形態３における接続点の探索範囲を説明するものである。
【図９】実施の形態３に係る映像合成装置１００の動作フローである。
【図１０】実施の形態４に係る映像合成システムの構成を示す図である。
【図１１】道路を走行する車両を撮影するシステムの構成例である。
【図１２】各カメラが撮像した映像を接続する様子を説明するものである。
【図１３】音声合成と、これに対応した口の動きの映像合成について説明するものである。
【符号の説明】
【００６１】
１００  映像合成装置、１０１  入力部、１０２  素片探索部、１０３  映像素片ＤＢ、１０４  評価部、１０５  合成部、１０６  素片選択部、１０７  接続点探索部、１０８  統計データベース、１１０  ターゲット映像情報、１２０  映像、９０１  入力部、９０２  素片探索部、９０３  映像素片ＤＢ、９０４  評価部、９０５  合成部、９０６  素片選択部、９０７  接続点探索部、９０９  探索結果入力部、９１０  素片探索装置、９２０  映像出力装置、９３０  ネットワーク、１００１〜１００６  カメラ、１０２０  車両、１０３０  道路。
【図１】
2008294509.tif 000007
【図２】
2008294509.tif 000008
【図３】
2008294509.tif 000009
【図４】
2008294509.tif 000010
【図５】
2008294509.tif 000011
【図６】
2008294509.tif 000012
【図７】
2008294509.tif 000013
【図８】
2008294509.tif 000014
【図９】
2008294509.tif 000015
【図１０】
2008294509.tif 000016
【図１１】
2008294509.tif 000017
【図１２】
2008294509.tif 000018
【図１３】
2008294509.tif 000019