(57)【要約】【課題】  映像に音声を付加させる場合において、音声に応じて映像のスピードをコントロールして、音声に映像を付加させることによって映像に音声をうまく合わせる装置を提供する。【解決手段】  キーフレームとそれ以外の中間フレームに分類して映像を処理する映像効果装置において、キーフレームを入力する画像入力手段と、前記画像入力手段により入力された前記キーフレームの間の対応点を生成する対応点生成手段と、前記キーフレームの中間フレームを生成する中間フレーム生成手段と、音声入力手段と、前記音声入力手段により入力された音声を解析し、前記解析結果に基づき中間フレーム生成の動作を制御する中間フレーム生成制御手段とを有することを特徴とする。【選択図】        図１
2006119870.tif 000002
【特許請求の範囲】
【請求項１】
キーフレームとそれ以外の中間フレームに分類して映像を処理する映像効果装置において、キーフレームを入力する画像入力手段と、前記画像入力手段により入力された前記キーフレームの間の対応点を生成する対応点生成手段と、前記キーフレームの中間フレームを生成する中間フレーム生成手段と、音声入力手段と、前記音声入力手段により入力された音声を解析し、前記解析結果に基づき中間フレーム生成の動作を制御する中間フレーム生成制御手段とを有することを特徴とする音声・映像効果装置。
【請求項２】
前記中間フレーム生成制御手段は、前記中間フレーム生成手段によって生成される中間フレームの数を制御することを特徴とする請求項１に記載の音声・映像効果装置。
【請求項３】
前記中間フレーム生成制御手段は、前記音声入力手段より入力された音声時間を測定し、前記中間フレーム生成枚数を音声時間の関数で表される数で制御することを特徴する請求項１に記載の音声・映像効果装置。
【請求項４】
前記キーフレームと前記キーフレームから生成された中間フレームを動画として表示する表示手段と前記入力手段により入力された音声を再生する音声再生手段をさらに含む請求項１から３のいずれかに記載の音声・映像効果装置。
【請求項５】
キーフレームとそれ以外の中間フレームに分類して映像処理を行うプログラムを格納した記録媒体であって、そのプログラムは、キーフレームを入力する画像入力モジュールと、前記画像入力モジュールにより入力された前記キーフレームの間の対応点を生成する対応点生成モジュールと、前記キーフレームの中間フレームを生成する中間フレーム生成モジュールと、音声入力モジュールと、前記音声入力手段により入力された音声を解析し、前記解析結果に基づき中間フレーム生成の動作を制御する中間フレーム生成制御モジュールと、をコンピュータに実行せしめることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をキーフレームと中間フレームに分類して処理を行う映像処理技術に関し、映像に音声を付加させる場合の音声・映像効果装置およびコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、画像をキーフレームと中間フレームに分けて処理を行う方法が提案されている。
【０００３】
特許文献１では、第１画像と第２画像を、それぞれ特異点を抽出することによって多重解像度化したうえで、同一解像度レベル間で画像単位のマッチング計算を行い、その結果を異なる解像度レベルにおけるマッチング計算に継承しながら、最終的に最も解像度の細かいレベルにおける画素単位の対応関係を取得してマッチングを行っている。
【０００４】
また、特許文献２では、ポリゴンという一種の簡略化技術を導入することにより対応点ファイルのサイズを非常に小さくする映像効果装置が提案されている。
【特許文献１】特許第２９２７３５０号公報
【特許文献２】特開２００２−２３０５７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このような従来の映像効果装置で、画像の特徴や画像間の対応点を良好に自動取得し、映像効果を簡便に、高い品質で、軽いデータで実現することは可能だが、映像に音声を付加させる場合において、映像を見ながら音声を合わせなければならず、映像にうまく音声を付加させることができないという問題があった。
【０００６】
特許文献２では、ユーザがスピードを指示することにより、中間フレーム生成を制御し、また、中間フレームの再生中にも中間フレーム生成に対する制御内容を適宜変化させることにより、高い品質の画像再生を可能している。しかしながら、特許文献２の装置では、たとえば、スローモーション再生でスローモーション画像よりも画像枚数が多い画像再生を可能にするなどの品質の高い映像効果であり、音声に関しては言及されていない。
【０００７】
本発明では、映像に音声を付加させる場合において、音声に応じて映像のスピードをコントロールして、音声に映像を付加させることによって映像に音声をうまく合わせる装置を提案することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係わる請求項１に記載の音声・映像処理処置は、キーフレームを入力する画像入力手段と、前記画像入力手段により入力されたキーフレームから、その画像の間の対応点を取得する対応点生成手段と、前記キーフレームの中間フレームを生成する中間フレーム生成手段とを有する映像効果方法及び装置において、音声入力手段と、前記音声入力手段により入力された音声を解析し、前記解析結果に基づき中間フレーム生成の動作を制御する中間フレーム生成制御手段とを含むことを特徴とする。
【０００９】
対応点とは、画像フレーム間で対応づけられる画像上の任意の領域であり、画像の点、点の集合、連続または非連続の特定部位、輪郭やエッジ等の線などを含む。
【００１０】
対応点ファイルには、このような対応点について画像フレーム間での対応関係が記述され、たとえば「領域」が点の場合は、対応関係にある画像フレームの座標を対にした情報が格納される。
【００１１】
本発明に係わる請求項２に記載の発明は、請求項１に記載の音声・映像処理処置において、前記中間フレーム生成制御手段は前記中間フレームの生成の数を制御することを特徴とする。
【００１２】
本発明に係わる請求項３に記載の発明は、請求項１に記載の音声・映像処理処置において、前記中間フレーム生成制御手段は前記音声入力手段から入力された音声時間を測定し、生成される中間フレーム生成の数に音声測定時間を反映させることを特徴とする。
【００１３】
本発明に係るマッチング処理に於いては、画像フレームを取得する画像入力手段と、画像フレーム間のマッチングを計算し、その結果を対応点ファイルとして出力することを特徴とする。
【００１４】
前記マッチング処理は、第１画像上のメッシュを構成する起点ポリゴンに、第２画像上にて対応する終点ポリゴンを定義することにより、対応点ファイルを生成してもよい。
【００１５】
前記マッチング処理は、第１画像について二次元的な探索を行って検出した特異点と、第２画像について二次元的な探索を行って検出した特異点との対応をもとに画素単位のマッチング計算を行ってもよい。
【００１６】
また、前記マッチング処理は、画像フレームを、それぞれ前記特異点を抽出することによって多重解像度化したうえで、同一解像度レベル間で画像単位のマッチング計算を行い、その結果を異なる解像度レベルにおけるマッチング計算に継承しながら、最終的に最も解像度の細かいレベルにおける画素単位の対応関係を取得してもよい。
【００１７】
これらの技術についは特許文献１で開示されている。（以下「前提技術」という）
本発明に係る表示装置は、キーフレームと前記キーフレームから生成された中間フレームを動画として表示する表示手段と前記入力手段により入力された音声を再生する音声再生手段をさらに含むことを特徴とする。
【００１８】
前記画像表示のために、前記キーフレームおよび前記キーフレーム間の対応点ファイルをユーザの端末に送信する送信部をさらに含んでもよいし、前記キーフレームおよび前記キーフレーム間対応点ファイルを一時的に記憶し、前記送信部の送信後にはそれらのデータを破棄するようにしてもよい。
【００１９】
また、前記音声再生のために、前記音声データをユーザの端末に送信する送信部をさらに含んでもよいし、前記音声データを一時的に記憶し、前記送信部の送信後にはそれらのデータを破棄するようにしてもよい。
【００２０】
本発明に係わる請求項４に記載の音声・映像処理処置は、キーフレームを入力する画像入力手段モジュールと、前記画像入力モジュールにより入力されたキーフレームから、その画像の間の対応点を取得する対応点生成モジュールと、前記キーフレームの中間フレームを生成する中間フレーム生成モジュールとを有する映像効果方法及び装置において、音声入力手段と、前記音声入力手段により入力された音声を解析し、前記解析結果に基づき中間フレーム生成の動作を制御する中間フレーム生成制御モジュールと、をコンピュータに実行せしめるコンピュータプログラムであることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、第１に、キーフレームとそれ以外の中間フレームに分類して映像を処理する映像効果方法及び装置において、キーフレームを入力する画像入力手段と、前記画像入力手段により入力された前記キーフレームの間の対応点を生成する対応点生成手段と、前記キーフレームの中間フレームを生成する中間フレーム生成手段と、音声入力手段と、前記音声入力手段により入力された音声を解析し、前記解析結果に基づき中間フレーム生成の動作を制御する中間フレーム生成制御手段とを有することを特徴とする音声・映像効果装置を提供することが可能となる。
【００２２】
第２に、前記中間フレーム生成手段によって生成される中間フレームの数を制御することを特徴とする中間フレーム生成制御手段を提供することが可能となる。
第３に、前記音声入力手段より入力された音声時間を測定し、前記中間フレーム生成枚数を音声時間の関数で表される数で制御することを特徴する中間フレーム生成制御手段を提供することが可能となる。
【００２３】
キーフレームとそれ以外の中間フレームに分類して映像処理を行うプログラムを格納した記録媒体であって、そのプログラムは、キーフレームを入力する画像入力モジュールと、前記画像入力モジュールにより入力された前記キーフレームの間の対応点を生成する対応点生成モジュールと、前記キーフレームの中間フレームを生成する中間フレーム生成モジュールと、音声入力モジュールと、前記音声入力手段により入力された音声を解析し、前記解析結果に基づき中間フレーム生成の動作を制御する中間フレーム生成制御モジュールと、をコンピュータに実行せしめることを特徴とするコンピュータプログラムを提供することが可能となる。
【００２４】
上記手段により、映像をキーフレームと中間フレームに分類して作成し、音声を付加させる場合において、音声時間ｔ（秒）で表される関数で中間フレームの数を制御することにより、ゆっくり喋ればスローのように再生し、速く喋れば早送りのように再生するというように音声にあわせた映像を作ることが可能となる。
【００２５】
すなわち、映像をキーフレームと中間フレームに分類して作成し、音声を付加させる場合において、作成させた映像に合わせて音声を付加させるのではなく、音声に合わせて映像のスピードをコントロールすることにより、映像にうまく音声を付加させることが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例１】
【００２７】
以下、図面を参照して本発明の実施例１を説明する。
【００２８】
図１において、１００は音声・映像効果装置である。
【００２９】
音声・映像効果装置１００は、通常のコンピュータとしての機能をもち、その構成は、ハードウエア的には、コンピュータのＣＰＵやメモリをはじめとする素子で実現でき、ソフトウエア的には画像処理機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組み合わせによっていろいろな形で実現できる。また、これらの機能ブロックは、ソフトウエアとして記録媒体に格納され、ハードディスクにインストールされ、メモリに読み出されてＣＰＵにて処理されてもよい。
【００３０】
１１は画像入力部であり、第１から第ｎまでの連続したｎ枚の画像フレームを取得し、キーフレームデータ１４としてテンポラリデータ記憶部１７に一時的に記憶する。画像データ記憶部２２は、外部の記憶装置や撮影カメラ等であってもよく、放送波やインターネット等のネットワークを介して配信される動画から抽出してもよい。また、画像データ記憶部２２は音声・映像効果装置１００内に設けられてもよく、通信手段を介して他のサーバに設けられてもよい。
【００３１】
１２はマッチング処理部であり、テンポラリデータ記憶部１７に格納された画像フレーム１４を取得し、第１と第２の画像フレーム間、第２と第３の画像フレーム間、・・・、第（ｎ−１）と第ｎの画像フレーム間というように連続した画像レームのうち隣接する２つの画像フレーム間でのマッチングを前提技術やその他の技術によって順次計算して対応する点を求め、対応関係を記述したフレーム間対応点ファイル１３をテンポラリデータ記憶部１７に記憶する。
【００３２】
また１７は音声入力部であり、前記連続したｎ枚画像フレームに付加させる音声データを取得し、テンポラリデータ記憶部１７に一時的に記憶する。音声データ記憶部２３は、外部の記憶装置やマイク等の外部音声入力装置であってもよく、放送波やインターネット等のネットワークを介して配信される音声データから抽出してもよい。音声・映像効果装置１００内に設けられてもよく、通信手段を介して他のサーバに設けられてもよい。
【００３３】
２４はユーザ端末であり、画像フレーム１４、対応点ファイル１３また音声データ１６を送信してもよい。
【００３４】
１５は中間フレーム生成部であり、テンポラリデータ記憶部１７に格納されたキーフレーム１４とフレーム間対応点ファイル１３を取得し、中間フレームを生成し、画像表示メモリ１９に格納する。
【００３５】
１８は中間画像生成制御部であり、テンポラリデータ記憶部１７に格納された音声データ１６を取得し、音声データを認識し、さらに音声時間を測定し、各キーフレームの間の中間フレーム生成数を決定する。中間フレーム生成数は音声時間ｔ（秒）の関数として表すことができる数で中間画像生成部を制御する。中間フレーム生成制御部は、第１画像フレームから第ｎ画像フレームに生成されるべき中間フレームの枚数をｋ＊ｔ（ｋは定数）枚とし、時刻ｔの間に第１画像フレームから第ｎ画像フレームの各画像フレーム間の中間フレームを生成する。入力する音声の時間を長くすると少ない枚数の中間フレームを生成し、入力する音声の時間を短くすると多い枚数の中間フレームを生成することができる。
【００３６】
２０はＴＦＴやモニタ等から成る画像表示部であり、画像表示メモリ１９に格納された前記キーフレームと前記中間フレームはＤ／Ａ変換器を介して動画として表示される。
【００３７】
２１はスピーカ等から成る音声再生部であり、前記音声データを、Ｄ／Ａ変換器を介して再生する。
【００３８】
図２を参照して、実施例の動作を説明する。
【００３９】
図２を参照して、本実施例の音声・映像効果装置１００の主ルーチンのフローチャートを示す。
【００４０】
図２を用いて音声・映像効果装置１００の動作を説明する。
【００４１】
ユーザはまず外部の記憶装置や撮影カメラ等から連続した画像フレームを画像入力部１１より入力する（Ｓ１０１）。マッチング処理部１２は、連続する画像フレームＩ１とＩ２間、Ｉ２とＩ３間、・・・のマッチング処理を順次行う（Ｓ１０２）。マッチング処理とは、２つの画像フレーム間の画像領域の対応関係を取得する処理であり、たとえば両者の画像の上の点、特定部位、輪郭やエッジ等の線などの領域の対応関係を検出する。マッチング処理には、前提技術に開示された、多重解像度特異点フィルタ技術とそれを用いた画像マッチング処理技術を用いてもよい。また他のマッチング技術として、色情報を用いる手法、輝度情報と位置情報を用いるブロックマッチング、輪郭線またはエッジを抽出してその情報を用いる手法、およびこれらの手法の組み合わせを用いてもよい。
【００４２】
図２は、入力されたｎ枚の連続する画像フレーム第１フレームＩ１、第２フレームＩ２・・・第２フレームＩｎ示し、それらの間で、ある画素ｐ１（ｘ１，ｙ１）とｐ２（ｘ２，ｙ２）・・・・ｐｎ（ｘｎ，ｙｎ）が対応している。
【００４３】
マッチング処理部１２は、連続する画像フレームＩ１とＩ２間、Ｉ２とＩ３間、・・・、Ｉｎ−１、Ｉｎ間のマッチング処理により取得した対応関係を、それぞれ対応点ファイルＭ１、Ｍ２、・・・、Ｍｎ−１に格納する（Ｓ１０２）。
【００４４】
前記対応点ファイルは連続する画像フレームの中間フレームを生成するために利用される。この点は対応点どうしの位置を補間することにより、任意の時間的位置の中間フレームを生成できる。したがって、フレーム画像、および対応点ファイルを保存しておくことで、それに２つの画像間のモーフィングや滑らかな動画を生成することができる。
【００４５】
画像フレームおよび対応点ファイルは、ユーザ端末２４に保持されてもよく、任意の記録装置または媒体に保持されてもよく、または直接ネットワークや放送波に乗せて伝送されてもよい。
【００４６】
たとえば、音声の時間で制御する場合は、ユーザが入力した音声の時間をｔ秒とすると、第１画像フレームＩ１から第２画像フレームＩｎに生成されるべき中間フレームの枚数をｋ＊ｔ（ｋは定数）枚の中間フレームを生成するように中間フレーム生成部を制御する。
【００４７】
Ｓ１０１で取得した第１画像フレームＩ１、第２画像フレームＩ２と、Ｓ１０２で生成された対応点ファイルが読み込まれた時点で、画像内のすべての画素に関する対応関係を取得することができる。したがって、互いに対応し合う点の座標と色をｕ：（１−ｕ）で内分すれば、第１画像Ｉ１と第２画像Ｉ２の間を時間的に（１−ｕ）：ｕで内分する位置における中間フレームを生成することができる（Ｓ１０６）。なお、内挿補間だけでなく、外挿補間をしてもよい。
【００４８】
中間フレーム生成部はキーフレームと生成した中間フレームを画像表示メモリ１９に格納し、ＴＦＴやモニタ等から成る画像表示部２０に、画像表示メモリ１９に格納された前記キーフレームと前記中間フレームを動画として表示し、スピーカ等から成る音声再生部に前記音声データを、再生する（Ｓ１０７）。
【実施例２】
【００４９】
図４を参照して本発明の実施例２を説明する。
【００５０】
図４においてＦ１〜Ｆ５はアニメーションのキーフレームである。本実施例ではアニメーションに音声を付加させる場合について説明する。キーフレームはイベントの起こった箇所に設けられる。図４のＦ１〜Ｆ５はアニメーションは手話で「おはようございます」を表現したものであるが、キーフレームは図４のＦ１〜Ｆ５のように５つ存在する。上記Ｆ１からＦ５のフレームの手話に合わせて「おはようございます」という音声を付加させ表示する。
【００５１】
ユーザはまず前記Ｆ１〜Ｆ５の画像フレームを画像入力部１１より入力する。マッチング処理部１２は前記入力された画像フレーム間の対応点ファイルＭ１〜Ｍ４を生成し、対応点ファイル保持部１３に保持する。
【００５２】
さらにユーザは「おはようございます」という音声を音声入力部より入力する。中間フレーム生成制御部は上記入力された音声時間ｔ（秒）を測定する。
【００５３】
キーフレームと中間フレームを動画として表示するために秒間３０フレームが必要であるとすると中間フレーム生成制御部は各キーフレーム間に生成する中間フレームの数が（３０＊ｔ−５）／（５−１）となるように中間フレーム生成部の制御を行い、中間フレーム生成部は中間フレームを生成する。
【００５４】
キーフレームと生成された中間フレームを表示装置に表示し、入力した音声を再生することにより、ｔ秒の音声に（３０＊ｔ）枚の画像フレームが表示される。
【００５５】
本実施例においては、体の動きに合わせて音声を付加させたが、本発明はこれらに留まるものではなく、たとえば、唇の動きをキーフレームとして、入力した音声と同じようにアニメーションの喋っているかのようにしてもよい。
【実施例３】
【００５６】
図５を参照して本発明の実施例３を説明する。
【００５７】
図５は、カメラ等で撮影された連続する画像ファイルＫ１〜Ｋｎと対応する音声ファイルＡである。本実施例では音声に合わせて連続する画像ファイルを動画として再生する場合について説明する。
【００５８】
ユーザはまずカメラ等で撮影された前記Ｋ１〜Ｋｎの画像ファイルを画像入力部１１より入力する。マッチング処理部１２は前記入力された画像フレーム間の対応点ファイルを生成し、対応点ファイル保持部１３に保持する。
【００５９】
さらにユーザは前記カメラ等で撮影された連続する画像ファイルと対応する音声ファイルを音声入力部１６より入力する。
【００６０】
中間フレーム生成制御部は上記入力された音声ファイルの音声時間ｔ（秒）を解析する。
【００６１】
キーフレームと中間フレームを動画として表示するために秒間３０フレームが必要であるとすると中間フレーム生成制御部は各キーフレーム間に生成する中間フレームの数が（３０＊ｔ−ｎ）／（ｎ−１）となるように中間フレーム生成部の制御を行い、中間フレーム生成部は中間フレームを生成する。
【００６２】
キーフレームと生成された中間フレームを表示装置に表示し、入力した音声を再生することにより、音声ファイルに対応して画像ファイルと中間フレームが動画として表示される。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施例における音声・映像効果装置の構成を示すブロック図である。
【図２】連続する第１〜第ｎフレームの画像間で、ある画素の対応を示す図である。
【図３】本発明の第１の実施例における動作を示すフローチャートである。
【図４】本発明の第２の実施例におけるアニメーションのキーフレームを示す図である。
【図５】本発明の第３の実施例における画像ファイルと音声ファイルを示す図である。
【符号の説明】
【００６４】
１００  音声・映像効果装置
１１  画像入力部
１２  マッチング処理部
１３  対応点ファイル記憶部
１４  キーフレームデータ記憶部
１５  中間フレーム生成部
１６  音声データ記憶部
１７  テンポラリデータ記憶部
１８  中間画像生成制御部
１９  画像表示メモリ
２０  画像表示部
２１  音声再生部
２２  画像データ記憶部
２３  音声データ記憶部
２４  ユーザ端末
【図１】
2006119870.tif 000003
【図２】
2006119870.tif 000004
【図３】
2006119870.tif 000005
【図５】
2006119870.tif 000006
【図４】
2006119870.tif 000007