(57)【要約】【課題】画像中のノイズやシーンチェンジにかかわらず高精度な処理を実現することができる補間フレーム生成装置を提供する。【解決手段】参照画像の各格子点を力学上の質点とみなし、参照画像の各格子点の画素と対象画像の各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係として生成するモデル生成手段１１１と、運動方程式の解の収束値を、対象画像の格子点と参照画像の格子点との写像関係とする数値解析手段１１２と、対象画像と参照画像の間におけるシーンチェンジを検出するシーンチェンジ検出手段１２０と、シーンチェンジが検出されない場合に、写像関係に基づいて対象画像と参照画像の間の補間フレームを作成する補間フレーム作成手段１３０とを備えた。【選択図】        図１
2006099561.tif 000002
【特許請求の範囲】
【請求項１】
動画に含まれる対象画像と参照画像との間に内挿すべき補間フレームを作成する補間フレーム作成装置であって、
前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成手段と、
前記モデル生成手段によって生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析手段と、
前記対象画像と前記参照画像の間におけるシーンチェンジを検出するシーンチェンジ検出手段と、
前記シーンチェンジ検出手段が前記シーンチェンジを検出しない場合に、前記数値解析手段によって得られた前記写像関係に基づいて動き補償を行い、前記対象画像と前記参照画像の間に補間すべき前記補間フレームを作成する補間フレーム作成手段と
を備えたことを特徴とする補間フレーム作成装置。
【請求項２】
前記モデル生成手段は、さらに、前記参照画像の各格子点に、前記画素間を接続した際に生じる弾性力が作用するとみなして、前記弾性力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１に記載の補間フレーム作成装置。
【請求項３】
前記モデル生成手段は、さらに、前記参照画像の周端の格子点が、前記参照画素を包囲する壁面に接続されているとみなして、壁面への接続により生じる弾性力を含めた前記各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１または２に記載の補間フレーム作成装置。
【請求項４】
前記モデル生成手段は、さらに、前記参照画像の各格子点に摩擦力が作用するとみなして、前記摩擦力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１から３のいずれか一項に記載の補間フレーム作成装置。
【請求項５】
前記モデル生成手段は、前記参照画像中の複数の格子点からなるブロックによって前記ポテンシャルエネルギーの力が発生するとみなして、前記ポテンシャルエネルギーの力を含めた前記各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとし生成することを特徴とする請求項１から４のいずれか一項に記載の補間フレーム作成装置。
【請求項６】
前記モデル作成手段が作成した前記状態遷移モデルにおけるバネの歪みエネルギーの時間変化分を算出する時間変化分算出手段をさらに備え、
前記シーンチェンジ検出手段は、前記時間変化分算出手段によって算出された前記時間変化分が予め設定された閾値よりも大きい場合に、前記対象画像と前記参照画像との間をシーンチェンジとして検出することを特徴とする請求項１から５のいずれか一項に記載の補間フレーム作成装置。
【請求項７】
前記対象画像と前記参照画像のフレーム間輝度差を算出するフレーム間輝度差算出手段をさらに備え、
前記シーンチェンジ検出手段は、前記フレーム間輝度差算出手段によって算出された前記フレーム間輝度差が予め定めた閾値よりも大きい場合に、前記対象画像と前記参照画像との間をシーンチェンジとして検出することを特徴とする請求項１から５のいずれか一項に記載の補間フレーム作成装置。
【請求項８】
前記対象画像と前記参照画像の色ヒストグラムの差を算出する色ヒストグラム差算出手段をさらに備え、
前記シーンチェンジ検出手段は、前記色ヒストグラム差算出手段によって算出された前記色ヒストグラム差が予め定めた閾値よりも大きい場合に、前記対象画像と前記参照画像との間をシーンチェンジとして検出することを特徴とする請求項１から５のいずれか一項に記載の補間フレーム作成装置。
【請求項９】
前記モデル作成手段は、画像の輝度値の差分に基づいて、前記ポテンシャルエネルギーからの力が生じるとみなして、前記状態遷移モデルを作成することを特徴とする請求項１から８のいずれか一項に記載の補間フレーム作成装置。
【請求項１０】
前記モデル作成手段は、前記対象画像上の格子点の輝度と、前記参照画像上の格子点の輝度の相互相関に基づいて、前記ポテンシャルエネルギーからの力が生じるとみなして、前記状態遷移モデルを作成することを特徴とする請求項１から８のいずれか一項に記載の補間フレーム作成装置。
【請求項１１】
前記モデル作成手段は、画像の輝度値の差分に基づいて、前記ポテンシャルエネルギーからの力が生じるとみなして、第１の状態遷移モデルを作成し、かつ前記対象画像上の格子点の輝度と、前記参照画像上の格子点の輝度の相互相関に基づいて、前記ポテンシャルエネルギーからの力が生じるとみなして、第２の状態遷移モデルを作成し、
前記モデル作成手段が作成した前記第１の状態遷移モデルおよび前記第２状態遷移モデルのそれぞれにおけるバネの歪みエネルギーの時間変化分を算出する時間変化分算出手段をさらに備え、
前記シーンチェンジ検出手段は、前記時間変化分算出手段によって算出された前記第１の状態遷移モデルに対する前記時間変化分が予め設定された第１の閾値よりも大きく、かつ前記第２の状態遷移モデルに対する時間変化分が予め設定された第２の閾値よりも大きい場合に、前記対象画像と前記参照画像との間をシーンチェンジとして検出することを特徴とする請求項１に記載の補間フレーム作成装置。
【請求項１２】
前記モデル作成手段は、画像の輝度値の差分に基づいて、前記ポテンシャルエネルギーからの力が生じるとみなして、第１の状態遷移モデルを作成し、かつ前記対象画像上の格子点の輝度と、前記参照画像上の格子点の輝度の相互相関に基づいて、前記ポテンシャルエネルギーからの力が生じるとみなして、第２の状態遷移モデルを作成し、
前記モデル作成手段が作成した前記第１の状態遷移モデルおよび前記第２状態遷移モデルのそれぞれにおけるバネの歪みエネルギーの時間変化分を算出する時間変化分算出手段をさらに備え、
前記シーンチェンジ検出手段は、前記時間変化分算出手段によって算出された前記第１の状態遷移モデルに対する前記時間変化分が予め設定された第１の閾値よりも大きく、かつ前記第２の状態遷移モデルに対する時間変化分が予め設定された第２の閾値よりも小さい場合に、前記対象画像と前記参照画像との間をシーンチェンジとして検出せず、
前記補間フレーム作成手段は、前記時間変化分算出手段によって算出された前記第１の状態遷移モデルに対する前記時間変化分が予め設定された第１の閾値よりも大きく、かつ前記第２の状態遷移モデルに対する時間変化分が予め設定された第２の閾値よりも小さい場合に、前記第２の状態遷移モデルが示す前記写像関係に基づいて動き補償を行い、前記対象画像と前記参照画像の間の補間フレームを作成することを特徴とする請求項１に記載の補間フレーム作成装置。
【請求項１３】
動画に含まれる対象画像と参照画像との間に内挿すべき補間フレームを作成する補間フレーム作成方法であって、
前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成ステップと、
前記モデル生成ステップにおいて生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析ステップと、
前記対象画像と前記参照画像の間におけるシーンチェンジを検出するシーンチェンジ検出ステップと、
前記シーンチェンジ検出ステップにおいて前記シーンチェンジを検出しない場合に、前記数値解析手段によって得られた前記写像関係に基づいて動き補償を行い、前記対象画像と前記参照画像の間に補間すべき前記補間フレームを作成する補間フレーム作成ステップと
を有することを特徴とする補間フレーム作成方法。
【請求項１４】
動画に含まれる対象画像と参照画像との間に内挿すべき補間フレームを作成する補間フレーム作成処理をコンピュータに実行させる補間フレーム作成プログラムであって、
前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成ステップと、
前記モデル生成ステップにおいて生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析ステップと、
前記対象画像と前記参照画像の間におけるシーンチェンジを検出するシーンチェンジ検出ステップと、
前記シーンチェンジ検出ステップにおいて前記シーンチェンジを検出しない場合に、前記数値解析手段によって得られた前記写像関係に基づいて動き補償を行い、前記対象画像と前記参照画像の間に補間すべき前記補間フレームを作成する補間フレーム作成ステップと
を有することを特徴とする補間フレーム作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画に含まれる対象画像と参照画像との間に内挿すべき補間フレームを作成する補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラムに関するものである。
【背景技術】
【０００２】
一つの対象画像（始点画像）から他方の参照画像（終点画像）の各画素それぞれの対応点を検出して対応関係を求める画像マッチング技術は、例えば、動画像における動き検出、ステレオマッチング、画像モーフィング、画像認識、動画像符号化等の画像処理技術の分野において利用されている。
【０００３】
このような画像マッチング技術としては、オプティカルフロー手法、ブロックベース手法、勾配法、ベイジアンメソッドという主として４種類に分類することができる（例えば、非特許文献１参照）。
【０００４】
オプティカルフロー手法は、「輝度が変化しない」というオプティカルフロー式を導出しそのオプティカルフロー式を拘束条件としてフローを求めるものである。ブロックベース手法は、画像を所定のブロックに分割し、ブロック毎のテンプレートマッチングによって動きを求める手法である。勾配法は、画像の輝度勾配が減少する方向にマッチングをおこなう手法である。ベイジアンメソッドは、確率的に尤もらしいマッチングを求める手法である。
【０００５】
また、従来の画像マッチング技術として、複数の多重解像度フィルタを用い、複数の多重解像度画像ピラミッドを生成し、生成された画像ピラミッドを上位の階層から下位の階層に順にマッチング処理を行うことによって、大きな動きから小さな動きまで画像の対応付けを行えるロバスト性の高い画像マッチング技術がある（例えば、特許文献１参照）。
【０００６】
【非特許文献１】A. Murat Tekalp, “Digital Video Processing”, Prentice Hall, 1995
【特許文献１】特許第２９２７３５０号特許掲載公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような従来の画像マッチング技術には次のような問題がある。オプティカルフロー手法では、ノイズに敏感で速い動きに対応することが本質的に困難であるという問題があり、ブロックベースの手法では、画像の中のブロック毎に画像マッチングを行っているので、画像中のオブジェクトの平行移動などの動きには高い信頼性を有するが、画像中のオブジェクトが変形したり、回転する等の動きに対して本質的に対応することが難しいという問題がある。勾配法では、画像の輝度勾配が減少する方向にマッチングを行うため、安定してオブジェクトの動きを探索することが困難であるという問題がある。ベイジアンメソッドでは、大域的最適点の求め方が困難であるという問題がある。
【０００８】
一方、特許文献１に開示された技術では、原理的に複数の多重解像度フィルタを必要とし、多重解像度画像ピラミッドの最上位階層から最下位階層までのマッチング処理を行っているため、計算量の削減が困難であるとともに、構造的な拡張が困難であるという問題がある。
【０００９】
さらに、特許文献１に開示された技術では、シーンチェンジにおいて大きな歪みが発生する。この歪みによって、フレーム補間を精度よく行うことができず、フレーム補間された画像の品質が劣化するという問題があった。
【００１０】
このように従来の画像マッチング技術では、ノイズやオブジェクトの動きによっては信頼性が低くなり、画像マッチング処理の信頼性を向上させようとすると構造や処理が複雑化してしまい拡張性に乏しいという問題があった。
【００１１】
本発明は、上記に鑑みてなされたものであって、構造および処理が簡易かつ拡張性を有するとともに、画像中のノイズやシーンチェンジにかかわらず高精度な処理を実現することができ、さらに画像マッチング処理のモデル化による誤差を最小限にしてロバスト性を向上させることができる補間フレーム生成装置、補間フレーム生成方法および補間フレーム生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明は、動画に含まれる対象画像と参照画像との間に内挿すべき補間フレームを作成する補間フレーム作成装置であって、前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成手段と、前記モデル生成手段によって生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析手段と、前記対象画像と前記参照画像の間におけるシーンチェンジを検出するシーンチェンジ検出手段と、前記シーンチェンジ検出手段が前記シーンチェンジを検出しない場合に、前記数値解析手段によって得られた前記写像関係に基づいて動き補償を行い、前記対象画像と前記参照画像の間に補間すべき前記補間フレームを作成する補間フレーム作成手段とを備えたことを特徴とする。
【００１３】
また、本発明は、動画に含まれる対象画像と参照画像との間に内挿すべき補間フレームを作成する補間フレーム作成方法であって、前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成ステップと、前記モデル生成ステップにおいて生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析ステップと、前記対象画像と前記参照画像の間におけるシーンチェンジを検出するシーンチェンジ検出ステップと、前記シーンチェンジ検出ステップにおいて前記シーンチェンジを検出しない場合に、前記数値解析手段によって得られた前記写像関係に基づいて動き補償を行い、前記対象画像と前記参照画像の間に補間すべき前記補間フレームを作成する補間フレーム作成ステップとを有することを特徴とする。
【００１４】
また、本発明は、動画に含まれる対象画像と参照画像との間に内挿すべき補間フレームを作成する補間フレーム作成処理をコンピュータに実行させる補間フレーム作成プログラムであって、前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成ステップと、前記モデル生成ステップにおいて生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析ステップと、前記対象画像と前記参照画像の間におけるシーンチェンジを検出するシーンチェンジ検出ステップと、前記シーンチェンジ検出ステップにおいて前記シーンチェンジを検出しない場合に、前記数値解析手段によって得られた前記写像関係に基づいて動き補償を行い、前記対象画像と前記参照画像の間に補間すべき前記補間フレームを作成する補間フレーム作成ステップとを有することを特徴とする。
【発明の効果】
【００１５】
本発明にかかる補間フレーム生成装置において、モデル生成手段は、参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした参照画像の各格子点の画素と対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、ポテンシャルエネルギーの力を含めた参照画像の各格子点に対する運動方程式を、対象画像と参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成し、数値解析手段は、モデル生成手段によって生成された運動方程式を予め定められた数値解析処理によって解法処理し、運動方程式の解の収束値を、対象画像の格子点と参照画像の格子点との写像関係し、シーンチェンジ検出手段は、対象画像と参照画像の間におけるシーンチェンジを検出し、補間フレーム作成手段は、シーンチェンジ検出手段がシーンチェンジを検出しない場合に、数値解析手段によって得られた写像関係に基づいて動き補償を行い、対象画像と参照画像の間に補間すべき補間フレームを作成するので、画像中のノイズやシーンチェンジにかかわらず高精度に補間画像を作成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１６】
以下に、本発明にかかる補間フレーム生成装置、補間フレーム生成方法および補間フレーム生成プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１７】
（実施の形態１）
図１は、実施の形態１にかかる補間フレーム作成装置の機能的構成を示すブロック図である。本実施の形態の補間フレーム作成装置１００は、図１に示すように、動き検出部１１０と、シーンチェンジ検出部１２０と、補間フレーム作成部１３０と、フレームメモリ１４０とを主に備えた構成となっている。
【００１８】
動き検出部１１０は、入力される画像列から任意の２つの画像（対象画像と参照画像）を選択し、対象画像と参照画像のマッチング処理を行う処理部であり、モデル作成部１１１と、数値解析部１１２とを備えている。
【００１９】
モデル作成部１１１は、対象画像上の各点に一対一に写像する参照画像上の各点の位置と速度に関する常微分方程式で表現される動的な画像マッチング状態遷移モデルを構築するものである。また、モデル作成部１１１は、この常微分方程式の初期値を求める処理も行う。
【００２０】
数値解析部１１２は、モデル作成部１１１によって構築された画像マッチング状態遷移モデルを示す常微分方程式を、その初期値からオイラー法を用いた数値解析により解法し、対象画像の各点と参照画像の点の対応を求めてシーンチェンジ検出部１２０に出力する処理部である。
【００２１】
シーンチェンジ検出部１２０は、入力される画像列からシーンチェンジを検出する。シーンチェンジの位置においては、歪みが発生する。そこで、シーンチェンジ検出部１２０は、具体的にはシーンチェンジを検出すべく、歪みを検出する。
【００２２】
なお、実施の形態にかかるシーンチェンジ検出部１２０は、特許請求の範囲に記載の時間変化分算出手段に相当する。
【００２３】
補間フレーム作成部１３０は、対象画像と参照画像の間においてシーンチェンジ検出部１２０がシーンチェンジを検出していない場合に、当該対象画像と参照画像の間を補間する補間フレームを作成する。具体的には、数値解析部１１２によって算出された対象画像の各点と参照画像の点の対応、対象画像および参照画像から動き補償処理を行って、任意の位置の新しい画像である補間フレームを生成する。
【００２４】
フレームメモリ１４０は、補間フレーム作成装置１００に入力される画像列、対象画像、参照画像あるいは補償画像を一時的に保存するメモリである。
【００２５】
次に、以上のように構成された本実施の形態の補間フレーム作成装置１００による補間フレーム作成処理について説明する。図２は、補間フレーム作成処理を示すフローチャートである。
【００２６】
まず、モデル作成部１１１によって、入力された画像列から対象画像と参照画像を選び、対象画像と参照画像の格子点を生成する（ステップＳ２０１）。次いで、モデル作成部１１１は、各格子位置と座標位置を初期化する（ステップＳ２０２）。そして、モデル作成部１１１は、後述する画像マッチング状態遷移モデルの微分方程式（数１７式）を生成する（ステップＳ２０３）。なお、かかる微分方程式の詳細については後述する。
【００２７】
そして、数値解析部１１２は、モデル作成部１１１によって生成された数１７式の常微分方程式の解法を行い、対象画像の各点と参照画像の点の対応を求める（ステップＳ２０４）。かかる対応は、シーンチェンジ検出部１２０に出力される。なお、数１７式の常微分方程式の解法については後述する。
【００２８】
次に、シーンチェンジ検出部１２０は、シーンチェンジを検出する(ステップＳ２０５)。具体的には、画面全体の歪みエネルギー（数２８式）を算出する。かかる歪みエネルギーについては口述する。そして、歪みエネルギーが予め定められた閾値よりも小さい場合(ステップＳ２０６，Ｎｏ)、補間フレーム作成部１３０は、対象としている対象画像と参照画像の間を補間する補間フレームを作成する(ステップＳ２０７)。
【００２９】
一方、歪みエネルギーが閾値よりも大きい場合(ステップＳ２０６，Ｙｅｓ)、補間フレーム作成部１３０は、対象としている対象画像と参照画像の間に対する補間フレームの作成を行わない。以上で、補間フレーム作成装置１００により補間フレーム作成処理が完了する。
【００３０】
次に、ステップＳ２０３における画像マッチング処理における常微分方程式の生成（画像マッチング状態遷移モデルの生成）の原理について説明する。本実施の形態では、格子点状に画素値が配列されている画像として扱うことにする。ある２枚の画像間の対応関係を求める画像マッチング処理は、２つの画像の中の一方を対象画像Ｐ、他方を参照画像Ｑとし、対象画像の各点が参照画像のどの点に対応するかを求めることである。
【００３１】
ここで、対象画像上の格子点をｉ＝（ｉ，ｊ）T、ｉ＝０〜Ｍ−１，ｊ＝０〜Ｎ−１とし、ｉに対応する参照画像上の点をｑiとすると、対象画像上の点ｉと参照画像上の点ｑiは、数１式の写像関係によって表され、画像マッチング処理は、この写像ｆを求めることである。
【数１】
2006099561.tif 000003
【００３２】
図３は、始点画像上の点ｉと終点画像上の点ｑiとの写像関係を示す説明図である。また、図４は、始点画像上の格子点ｉと終点画像上の格子点ｑiとの写像関係の時間的経過を示す説明図である。ここで、始点画像の画素値をＩP（ｉ）、終点画像の画素値をＩQ（ｑi）とする。本実施の形態では、画像マッチング問題を動的な状態遷移モデルとして考える。すなわち、図４に示すように、各点ｑiを力学系における一つの質点と見なすことにより、各点を状態とする状態遷移モデルを記述し（動的システム）、状態の収束値を写像の推定値とするものである。
【００３３】
まず、各点ｑiを力学系における一つの質点と見なし、質点にかかる力からｑiに関する運動方程式を構築する。ここで、対象画像と参照画像の間で対応する格子点の間の画素値に変化がないと仮定すると、ＩＰ（ｉ）とＩＱ（ｑi）の差分は小さい方がより一致しているマッチングである。このことから、ＩＰ（ｉ）とＩＱ（ｑi）の差分によってポテンシャルエネルギーが発生し、各点ｑiにはそのポテンシャルエネルギーによる力がかかるとするモデルを導入する。ここで、ポテンシャルエネルギーによる力を数２式で定義する。
【数２】
2006099561.tif 000004
【００３４】
各点間の関係を考えると、画像内の各点の水平、垂直方向の相関は非常に高い。このため、対象画像のある領域は、参照画像に領域ごと対応すると考えられる。また、通常のカメラによる撮影のように、画像が３次元空間を２次元に射影したものである場合には、対象画像のある表面は、参照画像の別の表面へと対応する。すなわち、対象画像のある表面が格子状となっているとすると、参照画像の別の表面においてもその格子状の関係は維持される、すなわち、写像が全単射である。図５は、写像が全単射と全単射でない例を示す説明図である。
【００３５】
図５に示すように、写像が全単射のモデルを構築する場合には、各点ｑiの間に弾性力を作用させる運動方程式を構築することにより、各点ｑi間にをバネのようなもので接続する。
【００３６】
各点の間を、弾性力では有さずに単に接続すると、写像の全単射性は満足するが、対象画像の変形が不可能になるため、推定しうる写像に関して大きな制約が生じる。このため、各点間に弾性力を作用させるようなモデルを構築することで、変形をする写像に関しても記述でき、歪みが発生し全単射性が満たされないような場合には、バネのポテンシャルエネルギーからの力によって元の格子に戻ろうとするように、つまり全単射が満たされるように働くと考えられる。このようなバネのように弾性力を有するポテンシャルエネルギーからの力を数３式で定義する。
【数３】
2006099561.tif 000005
【００３７】
数１〜３式により、参照画像の各点ｑiに関する運動方程式は、数４式のように表される。
【数４】
2006099561.tif 000006
【００３８】
ここで、数４式の運動方程式は、その解が永久に振動し収束しない。すなわち、１次元の振動子の運動方程式の例を考え、ポテンシャルは重力場によって発生すると仮定すると、その運動方程式は、数５式で示される。
【数５】
2006099561.tif 000007
【００３９】
数５式を変形して、線形微分方程式である数６式が得られる。
【数６】
2006099561.tif 000008
【００４０】
数６式のような線形微分方程式は次のように解析的に解法することができ、数６式をラプラス変換すると、数７式が得られる。
【数７】
2006099561.tif 000009
【００４１】
次に、この数７式を逆ラプラス変換すると、微分方程式の解析解である数８式が得られる。
【数８】
2006099561.tif 000010
【００４２】
この数８式は、振動する状態を示している。減衰項が存在しないことから明らかなように、振動を永久に行うものである。
【００４３】
そこで、１次元振動子に関して、何らかの要素により速度に関する摩擦が働くと考え、摩擦に関する項が入ることにより、エネルギーは保存されることなく、０へと収束することが可能となる。エネルギーが０になることは、振動子を振動させるエネルギーが無くなること、すなわち、振動が停止することを意味する。数５式に摩擦の項を加えると数９式のように表せる。
【数９】
2006099561.tif 000011
【００４４】
数９式を変形して数１０式が得られる。
【数１０】
2006099561.tif 000012
【００４５】
この数１０式をラプラス変換すると、数１１式となる。
【数１１】
2006099561.tif 000013
【００４６】
このため、数９式の解析解は数１２式で示される。
【数１２】
2006099561.tif 000014
【００４７】
ここで、−αは、システムの極であり、数１２式においてｔを無限大にした極限をとると、数１３式となる。
【数１３】
2006099561.tif 000015
【００４８】
数１３式から数９式のモデルは、初期値によらず、ｇ／α2に収束することがわかる。
【００４９】
このように、振動子の運動方程式のモデルにおいて、摩擦に関する項を加えることと同様に、画像マッチングに関する運動方程式のモデルにも摩擦に関する項を加えて、収束値を求めることとする。
【００５０】
摩擦力は、系の速度が十分小さい場合には、数１４式で示される。
【数１４】
2006099561.tif 000016
【００５１】
この数１４式の摩擦に関する項を、数４式に加えると、参照画像の各点ｑiに関する運動方程式は数１５式のようになる。
【数１５】
2006099561.tif 000017
【００５２】
この数１５式に、数２式、数３式および数１４式を代入すると、数１６式の運動方程式が得られる。
【数１６】
2006099561.tif 000018
【００５３】
ここで、点ｑiの質量をｍ＝１と仮定して、数１７式の運動方程式が得られる。
【数１７】
2006099561.tif 000019
【００５４】
数１７式のモデルは、各点ｑi一つ一つを質点と考え、各質点が画素値勾配によって生成されるポテンシャルに従いポテンシャルエネルギーが減少するように動作することによって、対象画像と参照画像の二つの画像間で各点の画素値の変化が少なくなるような写像ｆを求める微分方程式である。
【００５５】
動き検出部１１０のモデル作成部１１１では、入力された画像列から対象画像と参照画像の２つの画像を抽出し、かかる２つの画像に対して、数１７式で示される常微分方程式のモデルを生成している。
【００５６】
次に、図６を参照しつつ、数１７式における画素勾配のポテンシャルエネルギーによる力ｕ（ｑi）について説明する。本実施の形態では、ポテンシャルを、対象の点における輝度勾配によって発生する平面ベクトルと定義する。ポテンシャルエネルギーによる力ｕ（ｑi）は、輝度勾配が最も下がる方向へ向くベクトルであり、輝度勾配が急峻な方が大きな力を受けるようにするため、さらに輝度勾配の勾配が大きいほど大きなベクトルとなるように定義する。
【００５７】
最終的なポテンシャルエネルギーによる力ｕ（ｑi）を画素間距離によって正規化すると数１８式が得られる。
【数１８】
2006099561.tif 000020
【００５８】
図７は、数１８式による輝度勾配のポテンシャルの力ｕ（ｑi）の作用を示す説明図である。図７に示すように、ポテンシャルの力ｕが輝度勾配が最も下がる方向へ向かっていることがわかる。ここでは絶対値差分値を用いたが以下のように差分値の二乗誤差を用いても良い。
【数１９】
2006099561.tif 000021
【００５９】
次に、数１７式の弾性力ｋ（ｑi）について説明する。図８は、対象画像と参照画像の隣接する格子点をバネで接続したとみなして各格子点間に弾性力を生じさせたモデルを示す説明図である。図８に示すように、このモデルでは、上下左右の隣接４点間を接続したものとして考える。
【００６０】
図９は、各格子点に作用する弾性力の状態を示す説明図である。かかるモデルにおいて、バネの釣り合い中心はバネの長さが０の場合とする。すなわち、バネが伸びるとその変位に応じた力が加わる。この場合、バネは常に０に縮もうとする弾性力が生じるため、図９の（ｂ）に示すように、各格子点が中心に引き寄せられ、つぶれた形状になってしまう。このため、本実施の形態では、図９の（ｃ）に示すように、画面端の格子点を仮想的に壁面に接続することする。これにより、仮想的な壁面が格子点の上下左右に存在すると仮定し、左右の壁面と上下の壁面に格子点を接続することにより、格子点全体の力が釣り合うように構成する。これにより、各格子点がつぶれた形状になることを防止することができる。このような、仮想的な壁面に格子点を接続したモデルの弾性力ｋ（ｑi）は数２０式で表される。ここで、ｋはバネ定数である。
【数２０】
2006099561.tif 000022
【００６１】
なおバネの釣り合い中心をバネの長さが１の状態としたバネモデルを用いても良い。この場合は周囲の壁にバネを接続する必要はない。
【００６２】
モデル作成部１１１では、このように数１７式の微分方程式で示される運動方程式を生成し、数１７式中の輝度勾配のポテンシャルの力ｕ（ｑi）を数１８式で定義し、弾性力を数２０式で定義して画像マッチング状態遷移モデルを構築している。
【００６３】
図１０は、画像マッチング状態遷移モデルにおける画像の各格子点に作用する力を示す説明図である。図１０に示すように、各格子点には、輝度勾配のポテンシャルの力ｕ（ｑi）と弾性力ｋ（ｑi）と摩擦力μ（ｑi）が作用し、これらの合成力の収束値が写像ｆの推定結果となる。
【００６４】
次に、ステップＳ２０４における動き検出部１１０の数値解析部１１２による数１７式の常微分方程式の解法処理について説明する。
【００６５】
上述したように、数１７式では、対象画像から参照画像への変形を可能とするように、各点を弾性力を有するように連結している。また、システムを収束させるために摩擦力の減衰項を加えている。かかる摩擦力の項を加えることによってエネルギーは消費されるので、このシステムは時間ｔが無限大の極限において、所定の値に収束する。数値解析部１１２では、かかる収束値を写像ｆの推定結果として算出している。
【００６６】
具体的には、数値解析部１１２では、数１７式の常微分方程式を数値解析によって解法し、時間ｔをシステムが収束するために十分に大きな時間Ｔをとり、ｔ＝（０，Ｔ）区間を計算することによって得られる収束値を写像ｆの推定結果としている。
【００６７】
一般の常微分方程式の数値解法は、１階の連立微分方程式を解法するものである。ここで、変数を数２１式のように定義する。
【数２１】
2006099561.tif 000023
数２１式により、数１７式は、数２２式に示す１階の連立微分方程式として表現することができる。
【数２２】
2006099561.tif 000024
【００６８】
数値解析部１１２では、かかる１階の連立微分方程式をオイラー法を利用して解法する。ここで、オイラー法の公式は数２３式で示される。
【数２３】
2006099561.tif 000025
【００６９】
この数２３式では、ｔ(ｎ)からｔ(ｎ＋１）＝ｔ(ｎ)＋ｈへ解を進展させるものである。ここで。ｘ(ｎ)は、ｎイテレーションであることを示す。このオイラー法を数２２式に適用すると、オイラー法による常微分方程式の更新式である数２４式が得られる。
【数２４】
2006099561.tif 000026
【００７０】
オイラー法による解法は以下のように行われる。図１１は、数値解析部１１２による常微分方程式の解法処理の手順を示すフローチャートである。
【００７１】
まず、初期値ｘ（０）１ｉ＝ｉ、ｘ（０）２ｉ＝０  （ｉ＝０〜Ｍ−１、ｊ＝０〜Ｎ−１）に設定する（ステップＳ１００１）。
【００７２】
次に、時刻ｔ(n)において、数２５式の更新式によって、次のｎ＋１次ステップの値ｘ（ｎ＋１）１ｉ＝ｉ、ｘ(ｎ＋１)２ｉ＝０  （ｉ＝０〜Ｍ−１、ｊ＝０〜Ｎ−１）を計算する（ステップＳ１００２）。
【数２５】
2006099561.tif 000027
【００７３】
次に、ｔ（ｎ＋１）＝ｔ（ｎ）＋ｈとし（ステップＳ１００３）、ｔ（ｎ＋１）＞Ｔか否かを判断する（ステップＳ１００４）。そして、ｔ（ｎ＋１）＞Ｔである場合には（ステップＳ１００４：Ｙｅｓ）、処理を終了する。一方、ｔ（ｎ＋１）＞Ｔである場合、すなわちｔ（ｎ＋１）≦Ｔである場合には（ステップＳ１００４：Ｎｏ）、再度、数２３式の更新式の計算およびｔ（ｎ＋１）＝ｔ（ｎ）＋ｈの処理をｔ（ｎ＋１）＞Ｔになるまで繰り返し行う。ここで、ｑi＝ｘ（ｎ＋１）であるから、写像は、数２６式で求められることになる。
【数２６】
2006099561.tif 000028
【００７４】
次に、ステップＳ２０５におけるシーンチェンジ検出部１２０の処理について説明する。上記の動き検出のみではシーンチェンジをまたいだマッチングで大きく歪んでしまうという問題がある。図１２は、動画シーケンスにおけるフレーム間の大きく歪んだマッチング結果を示す説明図である。図１２に示すグラフの右上などに大きな歪みが発生しているのがわかる。このように、シーンチェンジを挟んだマッチングでは、マッチング結果が大きく歪み、その結果大きく歪んだ補間結果となってしまう。この歪みは動画においても非常にはっきりと視認されてしまう。
【００７５】
図１３−１から図１３−３は、所定の動画シーケンスにおけるフレーム間でのマッチング結果を示す図である。この動画シーケンスにおいては、第８０フレームから第８１フレームの間においてシーンチェンジが発生している。図１３−１は、第７９フレームから第８０フレームにおけるマッチング結果を示している。図１３−２は、第８０フレームから第８１フレームにおけるマッチング結果を示している。図１３−３は、第８１フレームから第８２にフレームにおけるマッチング結果を示している。
【００７６】
このように、第８０フレームから第８１フレームにおいてシーンチェンジが発生している場合には、図１３−２に示すように、第８０フレームから第８１フレームにおいて大きな歪みが発生する。それに対してシーンチェンジが発生していない部分では大きな歪みは発生しない。
【００７７】
このように、シーンチェンジにおけるマッチング結果とそれ以外のマッチング結果の歪みの差が大きいという特性がある。。したがって、上記のような大きな歪みの差を検出することにより、シーンチェンジを検出することができる。
【００７８】
大きな歪みが発生した場合、大きな歪みエネルギーが格子内に蓄積されている。そこで、この歪みエネルギーに基づいて歪みを検出することとする。
【００７９】
ここで、歪みエネルギーとして以下のようなバネのエネルギーを用いる。
【数２７】
2006099561.tif 000029
数２７式は、ｑiとｑjの間のバネのエネルギーを示している。
【００８０】
さらに、数２７式を画面全体に対して求めたものを画面全体の歪みエネルギーとして定義する。画面全体の歪みエネルギーは、数２８式で示される。
【数２８】
2006099561.tif 000030
数２８式において、Ｌtはｔフレームにおけるバネ全体を表す集合である。また、Ｓは画面全体のバネの数である。
【００８１】
なおここでは画面全体の歪みエネルギーを用いたが、他の例としては局所的な歪みエネルギーを用いても良い。例えば、人物画像など所定の領域のみに注目した処理を行いたい場合には、局所的な歪みエネルギーを用いるのが望ましい。
【００８２】
大きな歪みを検出するためには、歪みエネルギーの変化が大きいところを検出すればよい。そこで、シーンチェンジ検出部１２０は、差分商Ｅ（ｔ２，ｔ１）を定義し、当該差分商が大きいところを検出する。
【００８３】
差分商は、数２９式で定義される。
【数２９】
2006099561.tif 000031
ここでΔｔはｔフレームとｔ−１フレームの間の時間を示している。
【００８４】
このように、歪みエネルギーの時間変化分に相当する差分商を定義し、差分商に基づいて歪みエネルギーの時間変化分の大きいところを検索することにより、シーンチェンジを検出することができる。
【００８５】
図１４−１および図１４−２は、実際の動画データに対する差分商のグラフを示している。グラフの横軸は、フレームナンバーである。また、縦軸は、差分商を示している。
【００８６】
図１４−１に示すグラフは、シーンチェンジを含む動画に対する差分商を示している。図１４−１に示すグラフにおいては、３箇所において差分商の上下のピークが見られる。また、実際の動画データにおいても、対応する位置に３箇所のシーンチェンジが含まれている。すなわち、シーンチェンジに対応する位置に差分商のピークが観測された。
【００８７】
一方、図１４−２に示すグラフは、シーンチェンジを含まない動画に対する差分商を示している。図１４−２に示すグラフにおいてもピークは検出されていない。すなわち、動画データに対応してシーンチェンジは検出されていない。
【００８８】
以上図１４−１および図１４−２に示す結果からわかるように、差分商により正確にシーンチェンジの位置を特定することができる。
【００８９】
なお、これ以外の動画データについても、差分商により正確にシーンチェンジの位置を特定できることを確認できた。
【００９０】
シーンチェンジ検出部１２０は、差分商の閾値を設定し、閾値と算出された差分商の値とを比較することにより歪みを検出する。具体的には、例えば，閾値Ｔ＝０．１が好ましい。このように、大きな歪みを検出することにより、シーンチェンジの有無によりクラス分けを行うことができる。
【００９１】
そして、補間フレーム作成部１３０は、差分商が閾値よりも大きい場合には(ステップＳ２０６，Ｙｅｓ)、シーンチェンジであるので補間フレームを作成しない。一方、差分商が閾値以下である場合には(ステップＳ２０６，Ｎｏ)、補間フレームを作成する(ステップＳ２０７)。
【００９２】
次に、ステップＳ２０７における補間フレーム作成部１３０による補間フレーム作成処理について説明する。ここではＤｉｇｉｔａｌ  Ｉｍａｇｅ  Ｗａｒｐｉｎｇと同様の手法を採用する。詳しくは、J. Nieweglowski, P. Haavisto, "Motion Compensated Video Sequence Interpolation Using Digital Image Warping", IEEE Acoustics, Speech, and Signal Processing, vol.5, p205-208, 1994およびJ. Nieweglowski, T. George Campbell, P. Haavisto, "A Novel Video Coding Sheme Based on Temporal Prediction Using Digital Image Warping", IEEE Transactions on , Volume: 39 Issue: 3 , Aug. 1993に記載されている。
【００９３】
Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｗａｒｐｉｎｇでは、四辺形の各点ごとに動きベクトルを求める。そして、四辺形を二つの三角形に分割する。それぞれの三角形ごとに、３つの頂点によって求まるアフィン変換を算出する。そして、そのアフィン変換を用いて内挿する三角形の画像値を求める。
【００９４】
対象画像の時間位置を０、参照画像の時間位置を１とする。そして、内挿する補間フレームの時間位置を
【数２９１】
2006099561.tif 000032
とする。ｄｔに応じて写像ｆを写像ｆinに線形変換する。
【００９５】
このとき対象画像Ｐ上の格子点と、補間フレーム上の点Ｘiは
【数３０】
2006099561.tif 000033
という写像関係にある。
【００９６】
ここで、対象画像Ｐ上の３点ｉＡ，ｉＢ，ｉＣを頂点とする三角形を考える。さらに、対応する補間フレーム上の点をｘiA，ｘiB，ｘiCとする。また、対応する参照画像Ｑ上の点をｑiA，ｑiB，ｑiCとする。
【００９７】
Digital Image Warpingより
【数３１】
2006099561.tif 000034
を頂点とする三角形から、
【数３２】
2006099561.tif 000035
を頂点とする三角形へのアフィン変換は、数３３式により示される。
【数３３】
2006099561.tif 000036
ここで
【数３４】
2006099561.tif 000037
である。
【００９８】
上記のアフィン変換を利用すると、三角形Ｖ内の点（ｕ，ｖ）rは
【数３５】
2006099561.tif 000038
で表される三角形Ｙ内の点（ｘ，ｙ）rに対応することが算出できる。
【００９９】
図１５は、アフィン変換を本実施の形態に適用した場合を示している。具体的には、上記のアフィン変換を用いて、三角形ｘiA，ｘiB，ｘiCから三角形ｉＡ，ｉＢ，ｉＣへのアフィン変換を
【数３６】
2006099561.tif 000039
と定義する。また、三角形ｘiA，ｘiB，ｘiCから三角形ｑiA，ｑiB，ｑiCへのアフィン変換を
【数３７】
2006099561.tif 000040
と定義する。
【０１００】
このとき三角形ｘiA，ｘiB，ｘiC内の点ｘに対応する三角形ｉＡ，ｉＢ，ｉＣ内の点ｉは
【数３８】
2006099561.tif 000041
で計算できる。また、三角形ｘiA，ｘiB，ｘiC内の点ｘに対応する三角形ｑiA，ｑiB，ｑiC内の点ｑは
【数３９】
2006099561.tif 000042
で計算できる。
【０１０１】
以上の結果を用いて補間フレーム上の点ｘの画像値を次式によって算出する。
【数４０】
2006099561.tif 000043
【０１０２】
以上をアルゴリズムとして表すと以下のようになる。
１．数４１式で示される対象画像上の四辺形
【数４１】
2006099561.tif 000044
を数４２式で示される２つの三角形
【数４２】
2006099561.tif 000045
に分割する。
２．内挿位置
【数４２１】
2006099561.tif 000046
に応じて写像ｆを写像ｆinに線形変換する。さらに、三角形Ｉ1，Ｉ2に対応する補間フレーム上の三角形Ｘ1，Ｘ2と参照画像上の三角形Ｑ1，Ｑ2を求める。ここで、格子点ｉに対応する補間フレーム上の点は
【数４２２】
2006099561.tif 000047
によって求められる。
３．  数３３式を用いて、Ｘ1からＩ1へのアフィン変換Ｔ1、Ｘ1からＱ1へのアフィン変換Ｔ2、Ｘ2からＩ2へのアフィン変換Ｔ3、Ｘ2からＱ2へのアフィン変換Ｔ4をそれぞれ求める。
４．  数４０式とアフィン変換Ｔ1，Ｔ2，Ｔ3，Ｔ4を用いて、三角形Ｘ1，Ｘ2内の画素を補間する。
【０１０３】
以上１．〜４．を画面全体に対して行う。以上の方法により画像間の写像から補間フレームを求めることができる。
【０１０４】
このように、本実施の形態においては、シーンチェンジが発生した場合には、シーンチェンジかかる画像に基づく補間フレーム作成を行わない。したがって、シーンチェンジが発生する領域においても、画質劣化を防止することができる。
【０１０５】
図１６は、実施の形態１に係る補間フレーム作成装置１００のハードウェア構成を示す図である。補間フレーム作成装置１００は、ハードウェア構成として、補間フレーム作成装置１００における補間フレーム作成処理を実行する補間フレーム作成プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って補間フレーム作成装置１００の各部を制御するＣＰＵ５１と、補間フレーム作成装置１００の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して通信を行う通信I／Ｆ５７と、各部を接続するバス６２とを備えている。
【０１０６】
先に述べた補間フレーム作成装置１００における補間フレーム作成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【０１０７】
この場合には、補間フレーム作成プログラムは、補間フレーム作成装置１００において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【０１０８】
また、本実施の形態の補間フレーム作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【０１０９】
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【０１１０】
そうした変更例としては、本実施の形態においては、シーンチェンジが発生した場合には、シーンチェンジにかかる画像に基づく補間フレーム作成は行わなかったが、これにかえて、例えば、直前の画像を補間フレームとしてもよい。このように、シーンチェンジが発生した場合には、補間すべき位置の前後の画像に基づいた補間フレーム作成を行わなければ良く、これ以外の方法により求めた補間フレームを作成してもよい。
【０１１１】
（実施の形態２）
次に実施の形態２にかかる補間フレーム作成装置１００について説明する。実施の形態２にかかる補間フレーム作成装置１００においては、画像を取得すると、まずシーンチェンジを検出する。そして、シーンチェンジが検出されていない対象画像と参照画像に対して動き検出等の処理を行う。この点で、実施の形態２にかかる補間フレーム作成装置１００は、実施の形態１にかかる補間フレーム作成装置１００と異なっている。
【０１１２】
図１７は、実施の形態２にかかる補間フレーム作成装置１００の機能的構成を示すブロック図である。また、図１８は、実施の形態２にかかる補間フレーム作成装置１００による補間フレーム作成処理を示すフローチャートである。
【０１１３】
図１８に示すように、まずシーンチェンジ検出部１２０がシーンチェンジ検出を行う(ステップＳ２０５)。シーンチェンジ検出部１２０は、具体的には、例えば、対象画像Ｐと参照画像Ｑの間のフレーム間輝度差に基づいてシーンチェンジを検出する。具体的には、フレーム間輝度差に対する閾値を予め設定しておく。そして、算出されたフレーム間輝度差と閾値を比較し、フレーム間輝度差が閾値よりも大きい場合にシーンチェンジであると判定する。
【０１１４】
また、他の例としては、対象画像Ｐと参照画像Ｑの間の色ヒストグラム差を閾値処理することによりシーンチェンジを検出してもよい。具体的には、対象画像Ｐと参照画像Ｑの間の色ヒストグラム差に対する閾値を予め設定しておく。そして、算出された色ヒストグラム差と閾値を比較し、色ヒストグラム差が閾値よりも大きい場合にシーンチェンジであると判定する。
【０１１５】
なお、実施の形態２にかかるシーンチェンジ検出部１２０は、特許請求の範囲に記載のフレーム間輝度差算出手段および色ヒストグラム差算出手段に相当する。
【０１１６】
そして、シーンチェンジが検出されない場合には(ステップＳ２０６，Ｎｏ)、ステップＳ２０１に進み、ステップＳ２０４までの処理を行う。そして、画像マッチングを求めると、次に、補間フレーム作成部１３０は、補間フレームを作成する(ステップＳ２０７)。
【０１１７】
一方、シーンチェンジが検出された場合には(ステップＳ２０６，Ｙｅｓ)、ステップＳ２０１〜Ｓ２０４およびＳ２０７の処理を行わない。すなわち、補間フレームの作成を行わない。以上で、実施の形態２にかかる補間フレーム作成装置１００による補間フレーム作成処理が完了する。
【０１１８】
このように、本実施の形態においては、動き検出を行う前に、シーンチェンジを検出し、それ以降の補間フレーム生成処理を行うか否かを決定する。すなわち、シーンチェンジを検出した場合には、補間フレーム作成処理を行わないので、無駄な処理を排除することができる。したがって、処理の効率化を図りつつ、精度よくフレーム補間を行うことができる。
【０１１９】
なお、実施の形態２にかかる補間フレーム作成装置１００のこれ以外の構成および処理は、実施の形態１にかかる補間フレーム作成装置１００の構成および処理と同様である。
【０１２０】
（実施の形態３）
次に、実施の形態３にかかる補間フレーム作成装置１００について説明する。実施の形態３にかかる補間フレーム作成装置１００においては、輝度変化にロバストな画像相関ポテンシャルに基づいたモデルを構築する。この点で、実施の形態３にかかる補間フレーム作成装置１００は、他の実施の形態にかかる補間フレーム作成装置１００と異なっている。
【０１２１】
実施の形態１にかかる補間フレーム作成装置１００は、輝度差分ベースモデルを構築した。輝度差分ベースモデルにおいては、画像相関ポテンシャルによる力は輝度の差分値によって発生する。これは同一点において輝度変化がないという仮定の下で、移動の軌跡に沿って輝度の差分値が滑らかに減少するというモデルである。従って、輝度変化が発生すると仮定が崩れてしまう。そのため、マッチングがうまくいかない場合がある。
【０１２２】
図１９は、輝度変化を伴う物体の移動を示している。図２０は、図１９に示す対象画像および参照画像に対する輝度差分ベースモデルにおけるマッチング結果を示している。このように、輝度差分ベースモデルにおいては、移動物体の表面に輝度変化が発生するとマッチング結果が崩れてしまう。
【０１２３】
そこで、実施の形態３においては、輝度変化にロバストな画像相関ポテンシャルを利用する。輝度変化にロバストな画像相関ポテンシャルとしては、相互相関がある。統計学的には相関係数と呼ばれるもので、正規化された共分散において期待値を０としたものである。相互の期待値の差を評価するものではないため、輝度の差分値をみるよりも輝度変化に対してロバストであると考えられる。
【０１２４】
相互相関を取り入れた相互相関ベースモデルは以下のように定式化できる。
【数４３】
2006099561.tif 000048
【０１２５】
図２１は、図１９に示す対象画像および参照画像に対する、相互相関ベースモデルにおけるマッチング結果を示している。図２１からわかるように、相互相関ベースモデルを利用することにより、輝度変化にロバストなマッチングを行うことができる。
【０１２６】
ただし、マッチング性能そのものは輝度差分ベースモデルの方が優れている。そこで、実施の形態３にかかる補間フレーム作成装置１００は、第１の状態遷移モデルとしての輝度差分ベースモデルおよび第２の状態遷移モデルとしての相互相関ベースモデルを統合的に利用することとする。
【０１２７】
図２２は、実施の形態３にかかる補間フレーム作成装置１００の機能的構成を示すブロック図である。実施の形態３にかかる補間フレーム作成装置１００は、第１動き検出部１１０と、第１シーンチェンジ検出部１２０と、第２動き検出部１５０と、第２シーンチェンジ検出部１６０と、補間フレーム作成部１３０と、フレームメモリ１４０とを主に備えた構成となっている。
【０１２８】
第１動き検出部１１０は、第１モデル作成部１１１と、第１数値解析部１１２とを備えている。動き検出部１１０は、第１動き検出を行う。すなわち、第１モデル作成部１１１と第１数値解析部１１２は、それぞれ実施の形態１にかかるモデル作成部１１１と数値解析部１１２の処理と同様の処理を行う。第１モデル作成部１１１は、輝度差分ベースモデルを構築する。また、第１数値解析部１１２は、輝度差分ベースモデルにおけるマッチング結果を解析する。
【０１２９】
また、第１シーンチェンジ検出部１２０は、実施の形態１にかかるシーンチェンジ検出部１２０の処理と同様の処理を行う。すなわち、輝度差分ベースモデルにおけるマッチング結果に基づいて、シーンチェンジを検出する。
【０１３０】
輝度差分ベースモデルにおいては、輝度変化を伴うシーンにおけるマッチングに失敗する場合がある。ただし、この場合であっても、マッチング結果から歪みを検出することができる。そこで、実施の形態３にかかる補間フレーム作成装置１００においても、他の実施の形態にかかる補間フレーム作成装置１００と同様に、輝度変化に対しても、バネの歪みエネルギーとして歪みエネルギーを検出することとする。
【０１３１】
第２動き検出部１５０は、第２モデル作成部１５１と第２数値解析部１５２とを備えている。第２動き検出部１５０は、第２動き検出を行う。すなわち、第２モデル作成部１５１は、数４１式に示されるポテンシャルエネルギーによる力ｕ（ｑi）に対する相互相関ベースモデルを構築する。具体的には、第２モデル作成部１５１は、実施の形態１において説明した数１８式にかえて数４１式を利用する。第２数値解析部１５２は、第２モデル作成部１５１によって作成された相互相関ベースモデルに基づいて、数１７式の上微分方程式の解法を行い、対象画像の各点と参照画像の点の対応を求める。
【０１３２】
なお、これ以外の第２モデル作成部１５１および第２数値解析部１５２の処理は、それぞれ第１モデル作成部１１１および第１数値解析部１１２の処理と同様である。
【０１３３】
第２シーンチェンジ検出部１６０は、第２動き検出部１５０による動き検出の結果に基づいて、シーンチェンジを検出する。すなわち、相互相関ベースモデルにおけるマッチング結果に基づいて歪みの有無を検出する。
【０１３４】
なお、第２シーンチェンジ検出部１６０は、第１シーンチェンジ検出部１２０と同様に、相互相関ベースモデルにおける歪みエネルギーを算出する。そして、予め定めた閾値と歪みエネルギーとを比較することにより、歪みの有無を検出する。
【０１３５】
補間フレーム作成部１３０は、第１シーンチェンジ検出部１２０および第２シーンチェンジ検出部１６０がシーンチェンジを検出しない場合に、補間フレームを作成する。
【０１３６】
以上のように、本実施の形態にかかえる補間フレーム作成装置１００においては、動き検出と、歪み検出とをカスケードにつなぎ、まず輝度変化による歪みの有無を検出する。そして、歪みが発生している場合に、相互相関ベースモデルを用いた歪みの有無を検出する。
【０１３７】
図２３は、実施の形態３にかかる補間フレーム作成装置１００の補間フレーム作成処理を示すフローチャートである。
【０１３８】
まず、第１モデル作成部１１１および第１数値解析部１１２の処理により第１動き検出部１１０は、第１動き検出を行う。すなわち、輝度差分ベースモデルを利用した動き検出を行う(ステップＳ３０１)。次に、第１シーンチェンジ検出部１２０は、第１歪み検出を行う。すなわち、輝度差分ベースモデルを用いた歪みの有無を検出する(ステップＳ３０２)。なお、ステップＳ３０１およびステップＳ３０２における処理は、実施の形態１において説明したステップＳ２０１からステップ２０４の処理と同様である。
【０１３９】
なお、実施の形態３にかかる補間フレーム作成装置１００のように、相互相関ベースモデルにかかる処理を行う場合には、輝度差分ベースモデルに対する歪みエネルギーに対する閾値を、輝度差分ベースモデルにかかる処理のみを行う場合に比べて小さくするのが望ましい。
【０１４０】
そして、輝度差分ベースモデルにおける歪みが検出されなかった場合には(ステップＳ３０３，Ｎｏ)、補間フレーム作成部１３０は、第１動き検出の結果に基づいて補間フレームを作成する(ステップＳ３１０)。このように、輝度変化による歪みが検出されなかった場合には、シーンチェンジが存在しないと判断し、対象画像と参照画像の間を補間する補間フレームを作成する。
【０１４１】
一方、輝度変化による歪みが検出された場合には(ステップＳ３０３，Ｙｅｓ)、第２モデル作成部１５１および第２数値解析部１５２の処理により第２動き検出部１５０は、第２動き検出を行う。すなわち、相互相関ベースモデルを利用した動き検出を行う(ステップＳ３０４)。次に、第２シーンチェンジ検出部１６０は、第２歪み検出を行う。すなわち、相互相関ベースモデルを用いた歪みの有無を検出する(ステップＳ３０５)。そして、歪みが検出された場合には(ステップＳ３０６，Ｙｅｓ)、補間フレームを作成せずに、処理を完了する。
【０１４２】
一方、歪みが検出されなかった場合には(ステップＳ３０６，Ｎｏ)、シーンチェンジは存在しないと判断し、補間フレーム作成部１３０は、第２動き検出の結果により補間フレームを作成する（ステップＳ３２０）。以上で、実施の形態３にかかる補間フレーム作成装置１００の補間フレーム作成処理は完了する。
【０１４３】
相互相関ベースを用いた動き検出は、輝度変化に対してロバストになっている。しかし、シーンチェンジにおいては、歪みが発生する。したがって、相互相関ベースモデルを用いた歪みを検出することにより、より正確にシーンチェンジを検出することができる。
【０１４４】
すなわち、輝度差分ベースモデルにおける歪みが検出され、かつ相互相関ベースモデルにおける歪みが検出された場合には、シーンチェンジが存在すると判断することができる。一方、輝度差分ベースモデルにおいて歪みが検出された場合であっても、相互相関ベースを用いた歪みが検出されない場合には、シーンチェンジが存在しないと判断することができる。
【０１４５】
このように、２つのベースモデルを併用することにより、より正確にシーンチェンジを検出することができる。したがって、より適切な補間フレームを生成することができる。
【０１４６】
なお、実施の形態３にかかる補間フレーム作成装置１００のこれ以外の構成および処理は、実施の形態１にかかる補間フレーム作成装置１００の構成および処理と同様である。
【図面の簡単な説明】
【０１４７】
【図１】実施の形態１にかかる補間フレーム作成装置の機能的構成を示すブロック図である。
【図２】補間フレーム作成処理を示すフローチャートである。
【図３】始点画像上の点ｉと終点画像上の点ｑiとの写像関係を示す説明図である。
【図４】始点画像上の格子点ｉと終点画像上の格子点ｑiとの写像関係の時間的経過を示す説明図である。
【図５】写像が全単射と全単射でない例を示す説明図である。
【図６】数１７式における画素勾配のポテンシャルエネルギーによる力ｕ（ｑi）について示す説明図である。
【図７】数１８式による輝度勾配のポテンシャルの力ｕ（ｑi）の作用を示す説明図である。
【図８】対象画像と参照画像の隣接する格子点をバネで接続したとみなして各格子点間に弾性力を生じさせたモデルを示す説明図である。
【図９】各格子点に作用する弾性力の状態を示す説明図である。
【図１０】画像マッチング状態遷移モデルにおける画像の各格子点に作用する力を示す説明図である。
【図１１】数値解析部１１２による常微分方程式の解法処理の手順を示すフローチャートである。
【図１２】大きく歪んだマッチング結果を示す説明図である。
【図１３−１】第７９フレームから第８０フレームにおけるマッチング結果を示す図である。
【図１３−２】第８０フレームから第８１フレームにおけるマッチング結果を示す図である。
【図１３−３】第８１フレームから第８２にフレームにおけるマッチング結果を示す図である。
【図１４−１】シーンチェンジを含む動画に対する差分商を示す図である。
【図１４−２】シーンチェンジを含まない動画に対する差分商を示す図である。
【図１５】アフィン変換を本実施の形態に適用した場合を示す図である。
【図１６】実施の形態１に係る補間フレーム作成装置１００のハードウェア構成を示す図である。
【図１７】実施の形態２にかかる補間フレーム作成装置１００の機能的構成を示すブロック図である。
【図１８】実施の形態２にかかる補間フレーム作成装置１００による補間フレーム作成処理を示すフローチャートである。
【図１９】輝度変化を伴う物体の移動を示す図である。
【図２０】図１９に示す対象画像および参照画像に対する輝度差分ベースモデルにおけるマッチング結果を示す図である。
【図２１】図１９に示す対象画像および参照画像に対する、相互相関ベースモデルにおけるマッチング結果を示す図である。
【図２２】実施の形態３にかかる補間フレーム作成装置１００の機能的構成を示すブロック図である。
【図２３】実施の形態３にかかる補間フレーム作成装置１００の補間フレーム作成処理を示すフローチャートである。
【符号の説明】
【０１４８】
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５７  通信I／Ｆ
６２  バス
１００  補間フレーム作成装置
１１０  動き検出部
１１１  モデル作成部
１１２  数値解析部
１２０  シーンチェンジ検出部
１３０  補間フレーム作成部
１４０  フレームメモリ
１５０  第２動き検出部
１５１  第２モデル作成部
１５２  第２数値解析部
１６０  第２シーンチェンジ検出部
【図１】
2006099561.tif 000049
【図２】
2006099561.tif 000050
【図３】
2006099561.tif 000051
【図４】
2006099561.tif 000052
【図５】
2006099561.tif 000053
【図６】
2006099561.tif 000054
【図７】
2006099561.tif 000055
【図８】
2006099561.tif 000056
【図９】
2006099561.tif 000057
【図１０】
2006099561.tif 000058
【図１１】
2006099561.tif 000059
【図１２】
2006099561.tif 000060
【図１３−１】
2006099561.tif 000061
【図１３−２】
2006099561.tif 000062
【図１３−３】
2006099561.tif 000063
【図１４−１】
2006099561.tif 000064
【図１４−２】
2006099561.tif 000065
【図１５】
2006099561.tif 000066
【図１６】
2006099561.tif 000067
【図１７】
2006099561.tif 000068
【図１８】
2006099561.tif 000069
【図１９】
2006099561.tif 000070
【図２０】
2006099561.tif 000071
【図２１】
2006099561.tif 000072
【図２２】
2006099561.tif 000073
【図２３】
2006099561.tif 000074