(57)【要約】【課題】動画像データからサンプリングされた複数のフレームから１の高解像度フレームを得るに際し、フレームに含まれる被写体の動きに拘わらず画質の劣化を抑えた高解像度フレームを得る。【解決手段】複数のフレームＦｒＮ，ＦｒＮ＋１の対応関係を推定し、推定された対応関係に基づいてフレームＦｒＮ＋１を座標変換し、これとフレームＦｒＮ＋１との相関値ｄ０（ｘ°，ｙ°）を算出する。相関値に基づいて、フレームＦｒＮ，ＦｒＮ＋１に補間演算を施して得た第１の補間フレームＦｒＨ１およびフレームＦｒＮに補間演算を施して得た第２の補間フレームＦｒＨ２のいずれを合成フレームＦｒＧの作成に用いるかを画素毎に選択する。選択された第１および第２の補間フレームＦｒＨ１，ＦｒＨ２から合成フレームＦｒＧを作成する。【選択図】          図１
2004152148.tif 000002
【特許請求の範囲】
【請求項１】
動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された、前記各フレームよりも解像度が高い第１の補間フレーム、および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された前記各フレームよりも解像度が高い第２の補間フレームのいずれかを前記相関値に基づいて選択し、
該選択された前記第１の補間フレームおよび／または前記第２の補間フレームから合成フレームを作成することを特徴とする動画像合成方法。
【請求項２】
動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得し、該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出し、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された、前記各フレームよりも解像度が高い複数の第１の補間フレーム、および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより前記複数の第１の補間フレームと対応付けて１または複数取得された、前記各フレームよりも解像度が高い第２の補間フレームにおける対応する前記第１の補間フレームおよび前記第２の補間フレームから、前記相関値に基づいて前記第１の補間フレームおよび前記第２の補間フレームのいずれかを選択し、
該選択された対応する前記第１の補間フレームおよび／または前記第２の補間フレームから中間合成フレームを作成し、さらに該中間合成フレームから合成フレームを作成することを特徴とする動画像合成方法。
【請求項３】
前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出し、
該フィルタリング済み相関値に基づいて前記選択を行うことを特徴とする請求項１または２記載の動画像合成方法。
【請求項４】
前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記選択および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行うことを特徴とする請求項１から３のいずれか１項記載の動画像合成方法。
【請求項５】
動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記相関値に基づいて、前記第１の補間フレームおよび前記第２の補間フレームのいずれかを選択する選択手段と、
該選択された前記第１の補間フレームおよび／または前記第２の補間フレームから合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
【請求項６】
動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する第２の補間手段と、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得する座標変換手段と、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出する相関値算出手段と、
前記相関値に基づいて、対応する前記第１の補間フレームおよび前記第２の補間フレームから該第１の補間フレームおよび該第２の補間フレームのいずれかを選択する選択手段と、
該選択された対応する前記第１の補間フレームおよび／または前記第２の補間フレームから中間合成フレームを作成し、さらに該中間合成フレームから合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。
【請求項７】
前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をローパスフィルタによりフィルタリングしてフィルタリング済み相関値を算出するフィルタリング手段をさらに備え、
前記選択手段は、該フィルタリング済み相関値に基づいて前記選択を行う手段であることを特徴とする請求項５または６記載の動画像合成装置。
【請求項８】
前記対応関係推定手段、前記第１の補間手段、前記第２の補間手段、前記座標変換手段、前記相関値算出手段、前記選択手段および前記合成手段は、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記選択および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段であることを特徴とする請求項５から７のいずれか１項記載の動画像合成装置。
【請求項９】
動画像から連続する２つのフレームをサンプリングする手順と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する手順と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する手順と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された、前記各フレームよりも解像度が高い第１の補間フレーム、および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された前記各フレームよりも解像度が高い第２の補間フレームのいずれかを前記相関値に基づいて選択する手順と、該選択された前記第１の補間フレームおよび／または前記第２の補間フレームから前記合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。
【請求項１０】
動画像から連続する３以上のフレームをサンプリングする手順と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得する手順と、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出する手順と、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された、前記各フレームよりも解像度が高い複数の第１の補間フレーム、および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより前記複数の第１の補間フレームと対応付けて１または複数取得された、前記各フレームよりも解像度が高い第２の補間フレームにおける対応する前記第１の補間フレームおよび前記第２の補間フレームから、前記相関値に基づいて前記第１の補間フレームおよび前記第２の補間フレームのいずれかを選択する手順と、
該選択された対応する前記第１の補間フレームおよび／または前記第２の補間フレームから中間合成フレームを作成し、さらに該中間合成フレームから合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。
【請求項１１】
前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出する手順をさらに有し、
前記選択する手順は、該フィルタリング済み相関値に基づいて前記選択を行う手順である請求項９または１０記載のプログラム。
【請求項１２】
前記対応関係を推定する手順、前記座標変換済みフレームを取得する手順、前記相関値を算出する手順、前記選択する手順および前記合成フレームを作成する手順は、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記選択および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手順である請求項９から１１のいずれか１項記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、サンプリングしたフレームよりも高解像度の１の合成フレームを作成する動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像からサンプリングした複数のフレームから、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている（例えば、特許文献１参照）。この方法は、複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから合成フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特許文献１に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の合成フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、フレーム間の動きを正確に補償してより高画質の合成フレームを得ることができる。
【０００３】
また、複数のフレームのうち一のフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を推定して複数フレームをより精度よく合成する方法も提案されている（例えば、非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を推定し、推定後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００５】
【特許文献１】
特開２０００−３５４２４４号公報
【０００６】
【非特許文献１】
中沢祐二、小松隆、斉藤隆弘，「フレーム間統合による高精細ディジタル画像の獲得」，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【０００７】
【発明が解決しようとする課題】
しかしながら、非特許文献１に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および／または変形が追随できない場合がある。このように、パッチの移動および／または変形が被写体の移動および／または変形に追随できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。
【０００８】
本発明は上記事情に鑑みなされたものであり、フレームに含まれる被写体の動きに拘わらず、画質の劣化を抑えた合成フレームを得ることを目的とする。
【０００９】
【課題を解決するための手段】
本発明による第１の動画像合成方法は、動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された、前記各フレームよりも解像度が高い第１の補間フレーム、および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された前記各フレームよりも解像度が高い第２の補間フレームのいずれかを前記相関値に基づいて選択し、
該選択された前記第１の補間フレームおよび／または前記第２の補間フレームから合成フレームを作成することを特徴とするものである。
【００１０】
「相関値」は、座標変換済みフレームと基準フレームの基準パッチ内の画像との各画素毎に算出してもよいが、相対応する局所領域毎、パッチの矩形領域毎、あるいはフレーム単位で算出してもよい。
【００１１】
本発明による第１の動画像合成方法においては、相関値が上述したように画素毎、局所領域毎またはパッチの矩形領域毎に算出された場合には、画素毎、局所領域毎または矩形領域毎に選択される補間フレームが異なるものとなる。この場合、画素毎、局所領域毎または矩形領域毎に選択された第１の補間フレームおよび第２の補間フレームから合成フレームを作成する。一方、相関値が上述したようにフレーム単位で算出された場合には、相関値に基づいて第１の補間フレームおよび第２の補間フレームのいずれか一方のみが選択される。この場合、選択された第１の補間フレームまたは第２の補間フレームのみから合成フレームを作成する。
【００１２】
本発明による第２の動画像合成方法は、動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得し、該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出し、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより取得された、前記各フレームよりも解像度が高い複数の第１の補間フレーム、および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施すことにより前記複数の第１の補間フレームと対応付けて１または複数取得された、前記各フレームよりも解像度が高い第２の補間フレームにおける対応する前記第１の補間フレームおよび前記第２の補間フレームから、前記相関値に基づいて前記第１の補間フレームおよび前記第２の補間フレームのいずれかを選択し、
該選択された対応する前記第１の補間フレームおよび／または前記第２の補間フレームから中間合成フレームを作成し、さらに該中間合成フレームから合成フレームを作成することを特徴とするものである。
【００１３】
ここで、本発明による第２の動画像合成方法においては、相関値は他のフレームに対応して複数算出されるが、複数の相関値の平均値や中間値を算出し、これを重み係数を取得するために用いてもよい。
【００１４】
また、第２の補間フレームを「第１の補間フレームと対応付けて複数取得する」とは、１の第１の補間フレームにおける画素値を有する画素位置と同様の画素位置に、基準パッチ内の画素値を補間演算により割り当てることによりその第１の補間フレームに対応する第２の補間フレームを取得し、さらにこの処理を複数の第１の補間フレームのそれぞれについて行って、第１の補間フレームと同数の第２の補間フレームを取得することをいう。
【００１５】
一方、第２の補間フレームを「第１の補間フレームと対応付けて１取得する」とは、第１の補間フレームにおける画素値を有する画素位置に拘わらず、例えば第２の補間フレームにおける整数画素位置のような所定の画素位置に基準パッチ内の画素値を補間演算により割り当てて１つの第２の補間フレームを取得することをいう。この場合、複数の第１の補間フレームのそれぞれの画素位置の画素値と、これに最も近い第２の補間フレームにおける所定の画素位置の画素値とが互いに対応付けられることとなる。
【００１６】
また、本発明による第２の動画像合成方法においては、相関値が上述したように画素毎、局所領域毎またはパッチの矩形領域毎に算出された場合には、画素毎、局所領域毎または矩形領域毎に選択される補間フレームが異なるものとなる。
この場合、画素毎、局所領域毎または矩形領域毎に選択された第１の補間フレームおよび第２の補間フレームから中間合成フレームを作成する。一方、相関値が上述したようにフレーム単位で算出された場合には、相関値に基づいて第１の補間フレームおよび第２の補間フレームのいずれか一方のみが選択される。この場合、選択された第１の補間フレームまたは第２の補間フレームのみから中間合成フレームを作成する。
【００１７】
なお、本発明による第１および第２の動画像合成方法においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をローパスフィルタによりフィルタリングしてフィルタリング済み相関値を算出し、
該フィルタリング済み相関値に基づいて前記選択を行ってもよい。
【００１８】
「フィルタリング」とは、相関値の変化を滑らかにするフィルタリングを意味し、具体的にはローパスフィルタ、メディアンフィルタ、最大値フィルタまたは最小値フィルタ等を用いることができる。
【００１９】
また、本発明による第１および第２の動画像合成方法においては、前記対応関係の推定、前記座標変換済みフレームの取得、前記相関値の算出、前記選択および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行ってもよい。
【００２０】
「フレームを構成する少なくとも１つの成分」とは、例えばフレームがＲＧＢの３つの色データからなる場合においてはＲＧＢ各色成分のうちの少なくとも１つの成分であり、ＹＣＣ輝度色差成分からなる場合には、輝度および色差の各成分のうちの少なくとも１つの成分、好ましくは輝度成分である。
【００２１】
本発明による第１の動画像合成装置は、動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
前記相関値に基づいて、前記第１の補間フレームおよび前記第２の補間フレームのいずれかを選択する選択手段と、
該選択された前記第１の補間フレームおよび／または前記第２の補間フレームから合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２２】
本発明による第２の動画像合成装置は、動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する第２の補間手段と、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得する座標変換手段と、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出する相関値算出手段と、
前記相関値に基づいて、対応する前記第１の補間フレームおよび前記第２の補間フレームから該第１の補間フレームおよび該第２の補間フレームのいずれかを選択する選択手段と、
該選択された対応する前記第１の補間フレームおよび／または前記第２の補間フレームから中間合成フレームを作成し、さらに該中間合成フレームから合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２３】
なお、本発明による第１および第２の動画像合成装置においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をローパスフィルタによりフィルタリングしてフィルタリング済み相関値を算出するフィルタリング手段をさらに備えるものとし、
前記選択手段を、該フィルタリング済み相関値に基づいて前記選択を行う手段としてもよい。
【００２４】
また、本発明による第１および第２の動画像合成装置においては、前記対応関係推定手段、前記第１の補間手段、前記第２の補間手段、前記座標変換手段、前記相関値算出手段、前記選択手段および前記合成手段を、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記選択および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。
【００２５】
なお、本発明による第１および第２の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２６】
【発明の効果】
本発明によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。
【００２７】
次いで、対応関係に基づいて他のフレームのパッチ内の画像が基準フレームの座標空間に座標変換されて座標変換済みフレームが取得され、座標変換済みフレームと基準フレームの基準パッチ内の画像との相関を表す相関値が算出される。
なお、フレームが３以上サンプリングされた場合は、他のフレーム毎に座標変換済みフレームおよび相関値が取得される。
【００２８】
そして、第１の補間フレームおよび第２の補間フレームから合成フレームを作成するフレームが相関値に基づいて選択される。
【００２９】
ここで、第１の補間フレームは、推定された対応関係に基づいて、他のフレームのパッチ内の画像または他のフレームのパッチ内の画像および基準フレームの基準パッチ内の画像に対して補間演算を施すことにより取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームが取得される。この第１の補間フレームは、各フレームに含まれる被写体の動きが小さい場合には、各フレームよりも解像度が高い高精細な画像を表すものとなるが、各フレームに含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００３０】
また、第２の補間フレームは、基準フレームの基準パッチ内の画像に対して補間演算を施すことにより取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームに対応して１または複数の第２の補間フレームが取得される。この第２の補間フレームは第１の補間フレームと比較して１つのフレームのみしか補間演算に用いていないため、精細さは第１の補間フレームより劣るものの、１つのフレームのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はそれほどぼけたものとはならない。
【００３１】
ここで、各フレームに含まれる被写体の動きが小さければ、座標変換済みフレームと基準フレームとの相関は大きくなるが、被写体の動きが大きかったり複雑であったりすると、座標変換済みフレームと基準フレームとの相関は小さくなる。したがって、相関値に基づいて、相関が大きい場合には第１の補間フレームから、相関が小さい場合には第２の補間フレームから合成フレームを作成することにより、動きが小さい場合は高精細な第１の補間フレームが、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームが用いられて合成フレームが作成される。
【００３２】
なお、フレームが３以上サンプリングされた場合は、対応する第１および第２の補間フレームから中間合成フレームが作成され、さらに中間合成フレームが加算されて合成フレームが作成される。
【００３３】
このため、合成フレームは、フレームに含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームを得ることができる。
【００３４】
請求項３，７，１１の発明によれば、相関値が各フレームを構成する画素毎に算出されてなる場合、相関値がローパスフィルタによりフィルタリングされてフィルタリング済み相関値が算出され、このフィルタリング済み相関値に基づいて選択が行われる。このため、フレームの座標空間における相関値の変化が滑らかになり、その結果、相関が変化する局所領域における画像の変化を滑らかにすることができ、これにより、合成フレームの見え方を自然なものとすることができる。
【００３５】
請求項４，８，１２の発明によれば、対応関係の推定、座標変換済みフレームの取得、相関値の算出、選択および合成フレームの作成が複数のフレームを構成する少なくとも１つの成分を用いて行われる。このため、各成分毎に画質の劣化を低減した合成フレームを得ることができ、これにより、各成分毎の合成フレームからなる高画質の合成フレームを得ることができる。
【００３６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、複数のフレームのうち、基準となる１の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を推定する対応関係推定手段２と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームをそれぞれ基準フレームの座標空間上に座標変換して座標変換済みのフレーム（以下座標変換フレームとする）ＦｒＴ０を取得する座標変換手段３と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームおよび基準フレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームＦｒＨ１を取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームＦｒＨ２を取得する空間補間手段５と、座標変換フレームＦｒＴ０と基準フレームとの相関を表す相関値を算出する相関値算出手段６と、相関値算出手段６により算出された相関値に基づいて、合成フレームＦｒＧを作成するフレームを第１および第２の補間フレームＦｒＨ１，ＦｒＨ２から選択する選択手段７と、選択された第１および／または第２のフレームＦｒＨ１，ＦｒＨ２から合成フレームＦｒＧを作成する合成手段８とを備える。なお、本実施形態において合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとする。なお、以降では、合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとして説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００３７】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングするが、本実施形態においては動画像データＭ０から２つのフレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングするものとする。なお、フレームＦｒＮを基準フレームとする。ここで、動画像データＭ０はカラーの動画像を表すものであり、フレームＦｒＮ，ＦｒＮ＋１はＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。なお、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００３８】
対応関係推定手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を求める。図２はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図である。なお、図２において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００３９】
まず、対応関係推定手段２は、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図２（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図２（ａ）に示すように、本実施形態においては、基準パッチＰ０は４×４の矩形領域からなるものとする。
次いで、図２（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【数１】
2004152148.tif 000003
但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
【００４０】
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００４１】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図２（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），（４）により相関勾配ｇｘ，ｇｙを算出する。
【００４２】
【数２】
2004152148.tif 000004
【００４３】
そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図２（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００４４】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。
このとき、移動した格子点を含む矩形領域は例えば図３に示すように変形する。
そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００４５】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００４６】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定することができる。
【００４７】
座標変換手段３は以下のようにしてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換フレームＦｒＴ０を取得する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチＰ０内の領域およびフレームＦｒＮ＋１のパッチＰ１内の領域についてのみ変換、補間演算および合成が行われる。
【００４８】
本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。
【数３】
2004152148.tif 000005
【００４９】
式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００５０】
ここで、図４に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００５１】
具体的には、図５に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。
【数４】
2004152148.tif 000006
但し、Ｗｊ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【００５２】
ここで、簡単のため、図５を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。
【数５】
2004152148.tif 000007
但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）
【００５３】
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、座標変換フレームＦｒＴ０が得られる。
【００５４】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図６に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係推定手段２において求められた対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（９）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００５５】
【数６】
2004152148.tif 000008
但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
【００５６】
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００５７】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。
本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００５８】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００５９】
すなわち、図７に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１０）により算出することができる。なお、式（１０）においてΦは荷重和演算を表す関数である。
【数７】
2004152148.tif 000009
但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【００６０】
ここで、簡単のため、図７を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１１）により算出することができる。
【数８】
2004152148.tif 000010
但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）
【００６１】
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００６２】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００６３】
空間補間手段５は、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１２）により算出される。
【数９】
2004152148.tif 000011
但し、ｆ：補間演算の関数
【００６４】
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００６５】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、基準フレームＦｒＮに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１３）により算出される。
【数１０】
2004152148.tif 000012
【００６６】
相関値算出手段６は、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相対応する画素同士の相関値ｄ０（ｘ，ｙ）を算出する。具体的には下記の式（１４）に示すように、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出する。なお、相関値ｄ０（ｘ，ｙ）は座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど小さい値となる。
【数１１】
2004152148.tif 000013
【００６７】
なお、本実施形態では座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出しているが、差の二乗を相関値として算出してもよい。また、相関値を画素毎に算出しているが、座標変換フレームＦｒＴ０および基準フレームＦｒＮを複数の領域に分割し、領域内の全画素値の平均値または加算値を算出して、領域単位で相関値を得てもよい。また、画素毎に算出された相関値ｄ０（ｘ，ｙ）のフレーム全体についての平均値または加算値を算出して、フレーム単位で相関値を得てもよい。また、座標変換フレームＦｒＴ０および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、座標変換フレームＦｒＴ０および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する座標変換フレームＦｒＴ０の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動ベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動ベクトルのヒストグラムの累積和を相関値として用いてもよい。
【００６８】
さらに、相関値算出手段６は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に相関値ｄ０（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））における相関値ｄ０（ｘ°，ｙ°）を算出する。具体的には、空間補間手段５における補間演算と同様に、相関値ｄ０（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、相関値ｄ０（ｘ°，ｙ°）を取得する。
【００６９】
なお、統合画像の上記実数座標における相関値ｄ０（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された相関値ｄ０（ｘ，ｙ）の値をその実数座標の相関値ｄ０（ｘ°，ｙ°）として用いてもよい。
【００７０】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた相関値ｄ０（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における相関値ｄ０（ｘ＾，ｙ＾）を算出すればよい。
【００７１】
選択手段７は、相関値算出手段６により算出された相関値ｄ０（ｘ°，ｙ°）に基づいて、合成フレームＦｒＧの作成に第１および第２の補間フレームＦｒＨ１，ＦｒＨ２のいずれを用いるかを選択する。具体的には、相関値ｄ０（ｘ°，ｙ°）をしきい値Ｔｈ１と比較し、ｄ０（ｘ°，ｙ°）≦Ｔｈ１の場合には第１の補間フレームＦｒＨ１を、ｄ０（ｘ°，ｙ°）＞Ｔｈ１の場合には第２の補間フレームＦｒＨ２を合成フレームＦｒＧの作成に用いるよう選択する。
【００７２】
ここで、相関値ｄ０（ｘ°，ｙ°）は、統合画像の画素毎すなわち合成フレームＦｒＧの画素毎に算出されるため、画素毎に相関値ｄ０（ｘ°，ｙ°）をしきい値Ｔｈ１と比較し、比較結果に応じてその画素について第１および第２の補間フレームＦｒＨ１，ＦｒＨ２のいずれの画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を用いるかを選択する。そして、選択結果に応じて時空間補間手段４または空間補間手段５が駆動され、その画素について第１の補間フレームＦｒＨ１の画素値Ｉ１（ｘ°，ｙ°）または第２の補間フレームＦｒＨ２の画素値Ｉ２（ｘ°，ｙ°）が取得される。
【００７３】
なお、相関値ｄ０（ｘ°，ｙ°）が領域単位で算出された場合には、その領域毎に第１および第２の補間フレームＦｒＨ１，ＦｒＨ２のいずれを用いるかが選択される。また、相関値ｄ０（ｘ°，ｙ°）がフレーム単位で算出された場合には、相関値ｄ０（ｘ°，ｙ°）としきい値Ｔｈ１との関係に応じて、合成フレームＦｒＧは第１および第２の補間フレームＦｒＨ１，ＦｒＨ２のいずれか一方のみからなるものとなる。
【００７４】
合成手段８は、第１の補間フレームＦｒＨ１の画素値Ｉ１（ｘ°，ｙ°）および第２の補間フレームＦｒＨ２の画素値Ｉ２（ｘ°，ｙ°）を統合画像上に割り当てるとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを作成する。具体的には、選択手段７による選択結果に応じて、統合画像の実数座標（ｘ°，ｙ°）に第１の補間フレームＦｒＨ１の画素値Ｉ１（ｘ°，ｙ°）および第２の補間フレームＦｒＧ２の画素値Ｉ２（ｘ°，ｙ°）のいずれかを割り当てる。例えば、図８に示すように、統合画像上の領域Ａ１内の全ての座標について相関値ｄ０（ｘ°，ｙ°）≦Ｔｈ１となり、領域Ａ２内の全ての座標についてｄ０（ｘ°，ｙ°）＞Ｔｈ１となった場合、領域Ａ１には第１の補間フレームＦｒＨ１の画素値Ｉ１（ｘ°，ｙ°）を、領域Ａ２には第２の補間フレームＦｒＨ２の画素値Ｉ２（ｘ°，ｙ°）を割り当てる。
【００７５】
そして、統合画像の実数座標における画素値（以下Ｉ０（ｘ°，ｙ°）（＝Ｉ１（ｘ°，ｙ°）またはＩ２（ｘ°，ｙ°））とする）に対して、下記の式（１５）により荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１２】
2004152148.tif 000014
【００７６】
なお、式（１５）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられた第１の補間フレームＦｒＨ１または第２の補間フレームＦｒＨ２の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°）または画素値Ｉ２（ｘ°，ｙ°）を有するものである。
【００７７】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００７８】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが作成される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を推定し、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて推定された対応関係に基づいて処理を行うことが好ましい。
【００７９】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに相関値ｄ０（ｘ＾，ｙ＾）を取得した場合には、相関値ｄ０（ｘ＾，ｙ＾）がしきい値Ｔｈ１と比較され、ｄ０（ｘ＾，ｙ＾）≦Ｔｈ１の場合には第１の補間フレームＦｒＨ１の画素値Ｉ１（ｘ＾，ｙ＾）が、ｄ０（ｘ＾，ｙ＾）＞Ｔｈ１の場合には第２の補間フレームＦｒＨ２の画素値Ｉ２（ｘ＾，ｙ＾）が統合画像に割り当てられて合成フレームＦｒＧが作成される。
【００８０】
次いで、本実施形態の動作について説明する。図９は本実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１がサンプリングされる（ステップＳ２）。続いて、対応関係推定手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係が推定される（ステップＳ３）。
【００８１】
そして、推定された対応関係に基づいて、座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて座標変換フレームＦｒＴ０が取得される（ステップＳ４）。そして、相関値算出手段６により座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素の相関値ｄ０（ｘ，ｙ）、さらには実数座標に対応するｄ０（ｘ°，ｙ°）が算出される（ステップＳ５）。さらに、相関値ｄ０（ｘ°，ｙ°）に基づいて合成フレームＦｒＧの作成に第１および第２の補間フレームＦｒＨ１，ＦｒＨ２の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）のいずれを用いるかが選択される（ステップＳ６）。
【００８２】
そして、選択結果に応じて時空間補間手段４または空間補間手段５により、統合画像の実数座標の画素毎に第１または第２の補間フレームＦｒＨ１，ＦｒＨ２の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）が取得され（ステップＳ７）、合成手段８において第１および第２の補間フレームＦｒＨ１，ＦｒＨ２の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）から合成フレームＦｒＧが作成され（ステップＳ８）、処理を終了する。
【００８３】
ここで、第１の補間フレームＦｒＨ１は、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが小さい場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋１よりも解像度が高い高精細な画像を表すものとなるが、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００８４】
また、第２の補間フレームＦｒＨ２は第１の補間フレームＦｒＨ１と比較して１つの基準フレームＦｒＮのみしか補間演算に用いていないため、精細さは第１の補間フレームＦｒＨ１より劣るものの、１つの基準フレームＦｒＮのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はぼけたものとはならない。
【００８５】
ここで、各フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体の動きが小さければ、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関は大きくなるが、被写体の動きが大きかったり複雑であったりすると、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関は小さくなる。したがって、相関値ｄ０（ｘ°，ｙ°）に基づいて、相関が大きい場合には第１の補間フレームＦｒＨ１の画素値Ｉ１（ｘ°，ｙ°）から、相関が小さい場合には第２の補間フレームＦｒＨ２の画素値Ｉ２（ｘ°，ｙ°）から合成フレームＦｒＧを作成することにより、動きが小さい場合は高精細な第１の補間フレームＦｒＨ１が、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームＦｒＨ２が用いられて合成フレームＦｒＧが作成される。
【００８６】
このため、合成フレームＦｒＧは、フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体の動きに拘わらず、高画質の合成フレームＦｒＧを得ることができる。
【００８７】
次いで、本発明の第２の実施形態について説明する。図１０は本発明の第２の実施形態による動画像合成装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００８８】
第２の実施形態においては、相関値算出手段６により算出された相関値ｄ０（ｘ°，ｙ°）に対してローパスフィルタによるフィルタリング処理を施すフィルタ手段９を設けた点が第１の実施形態と異なる。
【００８９】
フィルタ手段９に用いられるローパスフィルタの例を図１１に示す。なお、ここでは３×３のローパスフィルタを用いるものとしたが、５×５あるいはそれ以上のサイズのローパスフィルタを用いてもよい。また、メディアンフィルタ、最大値フィルタまたは最小値フィルタを用いてもよい。
【００９０】
そして、第２の実施形態においては、フィルタ手段９によりフィルタリングされた相関値ｄ０′（ｘ°，ｙ°）に基づいて、第１および第２の補間フレームＦｒＨ１，ＦｒＨ２のいずれかが選択され、選択された第１または第２の補間フレームＦｒＨ１，ＦｒＨ２から合成手段８において合成フレームＦｒＧが作成される。
【００９１】
このように、第２の実施形態においては、相関値ｄ０（ｘ°，ｙ°）に対してローパスフィルタによるフィルタリング処理を施し、これにより得られた相関値ｄ０′（ｘ°，ｙ°）に基づいて第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を選択しているため、統合画像上における相関値ｄ０（ｘ°，ｙ°）の変化が滑らかになり、その結果、相関が変化する領域における画像の変化を滑らかにすることができ、これにより、合成フレームＦｒＧの見え方を自然なものとすることができる。
【００９２】
なお、上記第１および第２の実施形態においては、基準フレームＦｒＮおよびフレームＦｒＮ＋１の輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に合成フレームＦｒＧを作成しているが、輝度成分Ｙについてのみ合成フレームＦｒＧを作成し、色差成分Ｃｂ，Ｃｒについては、基準フレームＦｒＮの色差成分Ｃｂ，Ｃｒを線形補間して色差成分の合成フレームを求めてもよく、色差成分Ｃｂ，Ｃｒについて第１の補間フレームＦｒＨ１のみを取得し、これを色差成分の合成フレームとしてもよい。
【００９３】
また、フレームＦｒＮ，ＦｒＮ＋１がＲＧＢの色データからなる場合には、ＲＧＢ各色データ毎に処理を行って合成フレームＦｒＧを作成してもよい。
【００９４】
また、上記第１および第２の実施形態においては、輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に相関値ｄ０（ｘ，ｙ）を算出しているが、下記の式（１６）に示すように、輝度成分の相関値ｄ０Ｙ（ｘ，ｙ）、色差成分の相関値ｄ０Ｃｂ（ｘ，ｙ），ｄ０Ｃｒ（ｘ，ｙ）を重み係数ａ，ｂ，ｃにより重み付け加算することにより、１の相関値ｄ１（ｘ，ｙ）を算出し、この１の相関値ｄ１（ｘ，ｙ）を用いて統合画像の実数座標における相関値ｄ１（ｘ°，ｙ°）を求めて、輝度色差成分Ｙ，Ｃｂ，Ｃｒそれぞれについて第１および第２の補間フレームＦｒＨ１，ＦｒＨ２の選択を行ってもよい。
【００９５】
【数１３】
2004152148.tif 000015
【００９６】
また、下記の式（１７）に示すように、座標変換フレームＦｒＴ０の輝度成分ＦｒＴ０Ｙ（ｘ，ｙ）および色差成分ＦｒＴ０Ｃｂ（ｘ，ｙ），ＦｒＴ０Ｃｒ（ｘ，ｙ）と、基準フレームＦｒＮのＦｒＮＹ（ｘ，ｙ）および色差成分ＦｒＮＣｂ（ｘ，ｙ），ＦｒＮＣｒ（ｘ，ｙ）との重み係数ａ，ｂ，ｃを用いたユークリッド距離を算出し、これを選択を行うために用いる１の相関値ｄ１（ｘ，ｙ）としてもよい。
【数１４】
2004152148.tif 000016
【００９７】
また、上記第１および第２の実施形態においては、２つのフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを取得しているが、３以上の複数のフレームから合成フレームＦｒＧを取得してもよい。例えば、Ｔ個のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを取得する場合、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、基準フレームＦｒＮとの対応関係を推定し、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔを得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【００９８】
また、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【００９９】
さらに、推定された対応関係に基づいて、対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔの相関値ｄ０ｔ（ｘ°，ｙ°）を取得する。
【０１００】
そして、互いに対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔについて相関値ｄ０ｔ（ｘ°，ｙ°）をしきい値Ｔｈ１と比較して、いずれの補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを合成フレームの作成に使用するかを選択し、さらに荷重和演算を行うことにより、統合画像の実数座標において画素値ＦｒＧｔ（ｘ°，ｙ°）を有する中間合成フレームＦｒＧｔを作成する。具体的には、選択手段７による選択結果に応じて、統合画像の実数座標（ｘ°，ｙ°）に第１の補間フレームＦｒＨ１ｔの画素値Ｉ１ｔ（ｘ°，ｙ°）および第２の補間フレームＦｒＧ２の画素値Ｉ２ｔ（ｘ°，ｙ°）のいずれかを割り当て、下記の式（１８）により統合画像の実数座標における画素値（以下Ｉ０ｔ（ｘ°，ｙ°）（＝Ｉ１ｔ（ｘ°，ｙ°）またはＩ２ｔ（ｘ°，ｙ°））とする）に対して荷重和演算を行い、統合画像の整数座標における中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【数１５】
2004152148.tif 000017
【０１０１】
なお、式（１８）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられた第１の補間フレームＦｒＨ１ｔまたは第２の補間フレームＦｒＨ２ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°）または画素値Ｉ２ｔ（ｘ°，ｙ°）を有するものである。
【０１０２】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを作成する。具体的には、下記の式（１９）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１６】
2004152148.tif 000018
【０１０３】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【０１０４】
また、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに相関値ｄ０ｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。具体的には、、下記の式（２０）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。
【０１０５】
【数１７】
2004152148.tif 000019
【０１０６】
そして、相関値ｄ０（ｘ＾，ｙ＾）がしきい値Ｔｈ１と比較され、ｄ０（ｘ＾，ｙ＾）≦Ｔｈ１の場合には第１の補間フレームＦｒＨ１の画素値Ｉ１（ｘ＾，ｙ＾）が、ｄ０（ｘ＾，ｙ＾）＞Ｔｈ１の場合には第２の補間フレームＦｒＨ２の画素値Ｉ２（ｘ＾，ｙ＾）が統合画像に割り当てられて中間合成フレームＦｒＧｔが作成される。そして、中間合成フレームＦｒＧｔをさらに加算して合成フレームＦｒＧを取得すればよい。
【０１０７】
なお、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、座標変換フレームＦｒＴ０は複数取得されるため、相関値も複数取得される。この場合、複数取得された相関値の平均値や中間値を第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を選択するための相関値とすればよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図
【図２】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図
【図３】パッチの変形を説明するための図
【図４】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図５】双１次内挿を説明するための図
【図６】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図７】統合画像における整数座標の画素値の算出を説明するための図
【図８】合成フレームの作成を説明するための図
【図９】本実施形態において行われる処理を示すフローチャート
【図１０】本発明の第２の実施形態による動画像合成装置の構成を示す概略ブロック図
【図１１】ローパスフィルタの例を示す図
【符号の説明】
１    サンプリング手段
２    対応関係推定手段
３    座標変換手段
４    時空間補間手段
５    空間補間手段
６    相関値算出手段
７    選択手段
８    合成手段
９    フィルタ手段
【図１】
2004152148.tif 000020
【図２】
2004152148.tif 000021
【図３】
2004152148.tif 000022
【図４】
2004152148.tif 000023
【図５】
2004152148.tif 000024
【図６】
2004152148.tif 000025
【図７】
2004152148.tif 000026
【図８】
2004152148.tif 000027
【図９】
2004152148.tif 000028
【図１０】
2004152148.tif 000029
【図１１】
2004152148.tif 000030