(57)【要約】【課題】  画像間において、位置ずれを推定する処理装置、および位置ずれを推定する方法を提供する。【解決手段】  本発明の位置ずれ量推定処理装置は、所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ複数の仮想ずれ量に対応する相関表を用意する。相関表では、注目する注目要素を順次設定し、注目要素ごとに相関表作成処理を行うことで、相関表を完成させる。そして、相関表に基づき、位置ずれ量を推定する。相関表作成処理としては、基準画像において基準となる基準画素を順次設定し、設定した基準画素ごとに、対象画像において、基準画素に対応する位置から、注目要素に対応する仮想ずれ量だけずらした位置にある画素を対象画素として設定し、該対象画素の画素値と、基準画素の画素値とを参照して、対象画素と基準画素との相関関係を導きだし、相関表において、得られた相関関係を注目要素に書き込む。【選択図】        図４
2005242684.tif 000002
【特許請求の範囲】
【請求項１】
基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定処理装置であって、
所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意し、
前記相関表において、注目する注目要素を順次設定し、設定した前記注目要素ごとに相関表作成処理を行うことで、前記相関表を完成させ、該相関表に基づいて、前記位置ずれ量を推定し、
前記相関表作成処理としては、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像において、前記基準画素に対応する位置から、前記注目要素に対応する前記仮想ずれ量だけずらした位置にある画素を対象画素として設定し、該対象画素の画素値と、前記基準画素の画素値とを参照して、前記対象画素と前記基準画素との相関関係を導きだし、その相関関係を表わす情報を前記相関表における前記注目要素に書き込むことを特徴とする位置ずれ量推定処理装置。
【請求項２】
基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定処理装置であって、
所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意し、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに相関表作成処理を行うことで、前記相関表を完成させ、該相関表に基づいて、前記位置ずれ量を推定し、
前記相関表作成処理としては、
前記対象画像において、前記基準画素に対応する位置から、前記複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定し、該複数の対象画素の画素値と、前記基準画素の画素値とを参照して、前記複数の対象画素と前記基準画素との相関関係をそれぞれ導き出し、その各相関関係を表わす情報を前記相関表における前記複数の対象画素の前記仮想ずれ量にそれぞれ対応する前記要素に書き込むことを特徴とする位置ずれ量推定処理装置。
【請求項３】
請求項１または請求項２に記載の位置ずれ量推定処理装置において、
前記相関表作成処理では、
前記仮想ずれ量だけずらした位置にある前記対象画素の画素値と、前記基準画素の画素値とを比較し、それらの画素値がほぼ一致すると、相関関係ありと判断し、
前記相関表において、前記対象画素の前記仮想ずれ量に対応する前記要素に、前記相関関係ありと判断した数を表わす所定の情報が書き込まれ、
前記相関表において、書き込まれた前記所定の情報に基づき前記相関関係ありと判断した数が一番多い前記要素を特定し、該要素に対応する前記仮想ずれ量を前記位置ずれ量として推定することを特徴とする位置ずれ量推定処理装置。
【請求項４】
請求項１または請求項２に記載の位置ずれ量推定処理装置において、
前記相関表作成処理では、
前記仮想ずれ量だけずらした位置にある前記複数の対象画素の画素値と、前記基準画素の画素値とをそれぞれ比較し、それらの画素値が一致しないと、相関関係なしと判断し、
前記相関表において、前記対象画素の前記仮想ずれ量に対応する前記要素に、前記前記相関関係なしと判断した数を表わす所定の情報が書き込まれ、
前記相関表において、書き込まれた前記所定の情報に基づき前記相関関係なしと判断した数が一番少ない前記要素を特定し、該要素に対応する前記仮想ずれ量を前記位置ずれ量として推定することを特徴とする位置ずれ量推定処理装置。
【請求項５】
請求項３または請求項４に記載の位置ずれ量推定処理装置において、
前記対象画素の画素値と、前記基準画素の画素値とが一致するかどうかを判断する場合に、
前記対象画素の画素値と、前記基準画素の画素値との差分の絶対値を求め、さらに、該差分絶対値と、予め決められた閾値とを比較し、
前記差分絶対値が閾値より小さいと、前記基準画素の画素値と、前記対象画素の画素値とがほぼ一致したと判断し、
前記差分絶対値が閾値より大きいと、前記基準画素の画素値と、前記対象画素の画素値とが一致していないと判断することを特徴とする位置ずれ量推定処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の位置ずれ量推定処理装置において、
前記基準画像において前記基準画素を設定する際には、前記対象画像において、複数の前記仮想ずれ量だけずれた位置にある前記対象画素がすべて存在するように前記基準画素を設定することを特徴とする位置ずれ量推定処理装置。
【請求項７】
基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定方法であって、
（ａ）所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意する工程と、
（ｂ）前記相関表において、注目する注目要素を順次設定する工程と、
（ｃ）設定した前記注目要素ごとに工程（ｆ）を実行することで、前記相関表を完成させる工程と、
（ｄ）完成した前記相関表に基づいて、前記位置ずれ量を推定する工程と、
を備え、
前記工程（ｆ）では、
（ｆ−１）前記基準画像において、基準となる基準画素を順次設定する工程と、
（ｆ−２）設定した前記基準画素ごとに、前記対象画像において、前記基準画素に対応する位置から、前記注目要素に対応する前記仮想ずれ量だけずらした位置にある画素を対象画素として設定する工程と、
（ｆ−３）前記対象画素の画素値と、前記基準画素の画素値とを参照して、前記対象画素と前記基準画素との相関関係を導き出す工程と、
（ｆ−４）前記相関表において、得られた相関関係を前記注目要素に書き込む工程と、
を備えることを特徴とする位置ずれ量推定処理方法。
【請求項８】
基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定方法であって、
（ａ）所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意する工程と、
（ｂ）前記基準画像において、基準となる基準画素を順次設定する工程と、
（ｃ）設定した前記基準画素ごとに工程（ｆ）を実行することで、前記相関表を完成させる工程と、
（ｄ）完成した前記相関表に基づいて、前記位置ずれ量を推定する工程と、
を備え、
前記工程（ｆ）では、
（ｆ−１）前記対象画像において、前記基準画素に対応する位置から、前記複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定する工程と、
（ｆ−２）前記複数の対象画素の画素値と、前記基準画素の画素値とを参照して、前記複数の対象画素と前記基準画素との相関関係をそれぞれ導き出す工程と、
（ｆ−３）前記相関表において、得られた各相関関係を前記複数の対象画素の前記仮想ずれ量にそれぞれ対応する前記要素に書き込む工程と、
を備えることを特徴とする位置ずれ量推定方法。
【請求項９】
基準画像と対象画像との画像間における位置ずれ量を推定するためのコンピュータプログラムであって、
（ａ）所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意する手順と、
（ｂ）前記相関表において、注目する注目要素を順次設定する手順と、
（ｃ）設定した前記注目要素ごとに手順（ｆ）を実行することで、前記相関表を完成させる手順と、
（ｄ）完成した前記相関表に基づいて、前記位置ずれ量を推定する手順と、
をコンピュータに実行させると共に、
前記手順（ｆ）は、
（ｆ−１）前記基準画像において、基準となる基準画素を順次設定する手順と、
（ｆ−２）設定した前記基準画素ごとに、前記対象画像において、前記基準画素に対応する位置から、前記注目要素に対応する前記仮想ずれ量だけずらした位置にある画素を対象画素として設定する手順と、
（ｆ−３）前記対象画素の画素値と、前記基準画素の画素値とを参照して、前記対象画素と前記基準画素との相関関係を導き出す手順と、
（ｆ−４）前記相関表において、得られた相関関係を前記注目要素に書き込む手順と、
を含むことを特徴とするコンピュータプログラム。
【請求項１０】
基準画像と対象画像との画像間における位置ずれ量を推定するためのコンピュータプログラムであって、
（ａ）所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意する手順と、
（ｂ）前記基準画像において、基準となる基準画素を順次設定する手順と、
（ｃ）設定した前記基準画素ごとに手順（ｆ）を実行することで、前記相関表を完成させる手順と、
（ｄ）完成した前記相関表に基づいて、前記位置ずれ量を推定する手順と、
をコンピュータに実行させると共に、
前記手順（ｆ）では、
（ｆ−１）前記対象画像において、前記基準画素に対応する位置から、前記複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定する手順と、
（ｆ−２）前記複数の対象画素の画素値と、前記基準画素の画素値とを参照して、前記複数の対象画素と前記基準画素との相関関係をそれぞれ導き出す手順と、
（ｆ−３）前記相関表において、得られた各相関関係を前記複数の対象画素の前記仮想ずれ量にそれぞれ対応する前記要素に書き込む手順と、
を含むことを特徴とするコンピュータプログラム。
【請求項１１】
請求項９または請求項１０に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間における、位置ずれ量の推定を行う処理装置、位置ずれ量の推定方法、位置ずれ量推定プログラム、および位置ずれ量推定プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
デジタルビデオ等で撮影した動画像を表す動画像データは、複数の画像データ（例えば、フレーム画像データなど。）で構成されている。従来、このような動画像データから複数の画像データを取得し、その取得後の複数の画像データを用いて、一つの高解像度な静止画像データを生成するなど、種々の画像処理が行われている。
【０００３】
一方、上記動画像データは、デジタルビデオカメラ等で、パンやチルトなどのカメラワークを駆使して撮影される場合がある。また、撮影の際には、手ぶれが生じる場合がある。このように撮影された動画像データから、上述のごとく、画像データを取得し、種々の画像処理を行う場合には、その画像処理の精度を高めるため、画像データ間においてカメラワークや手ぶれの影響による画像データ間の位置ずれを是正する処理を行う必要がある。
【０００４】
なお、上述のような位置ずれの是正処理を行う技術として関連するものには、例えば、下記特許文献１に記載されたものが知られている。かかる特許文献１では、連続するフレーム画像から１枚のフレーム画像を基準フレーム画像として選択し、この基準フレーム画像に対する他の複数のフレーム画像の位置ずれを表わす動きベクトルをそれぞれ算出し、各動きベクトルに基づいて、基準フレーム画像と他の複数のフレーム画像の位置ずれの是正処理を行う技術が開示されている。
【０００５】
【特許文献１】特開平１１−１６４２６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のような位置ずれの是正処理では、画像データ間における位置ずれ量を推定し、その推定量に基づき、その画像データ間の位置ずれを是正する必要があるが、位置ずれ量をどのように推定するかが課題であった。
【０００７】
本発明は、上記課題にかんがみてなされたもので、画像間において、位置ずれを推定する処理装置、および位置ずれを推定する方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的の少なくとも一部を達成するために、本発明の第１の位置ずれ量推定処理装置は、基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定処理装置であって、
所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意し、
前記相関表において、注目する注目要素を順次設定し、設定した前記注目要素ごとに相関表作成処理を行うことで、前記相関表を完成させ、該相関表に基づいて、前記位置ずれ量を推定し、
前記相関表作成処理としては、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに、前記対象画像において、前記基準画素に対応する位置から、前記注目要素に対応する前記仮想ずれ量だけずらした位置にある画素を対象画素として設定し、該対象画素の画素値と、前記基準画素の画素値とを参照して、前記対象画素と前記基準画素との相関関係を導きだし、その相関関係を表わす情報を前記相関表における前記注目要素に書き込むことを要旨とする。
【０００９】
対象画像に対する基準画像との位置ずれ量が或る値であった場合に、基準画像を対象画像にその位置ずれ量分だけずらせば、基準画像の各画素と対象画像の各画素の相関関係が一番高くなる。言い換えれば、基準画像の各画素と対象画像の各画素の相関関係が一番高くなるように、基準画像を、対象画像に対してずらした場合に、そのずらしたずれ量を位置ずれ量として推定することができる。
【００１０】
上記第１の位置ずれ量推定処理装置では、
まず、上記ずれ量を求めるために、複数の仮想ずれ量を設定し、各要素がそれぞれ複数の仮想ずれ量に対応する相関表を用意する。次に、相関表において、注目する注目要素を順次設定して、設定した注目要素ごとに相関表作成処理を行う。相関表作成処理では、次の（１）〜（４）の処理がなされる。
（１）基準画像において、基準となる基準画素を順次設定する。
（２）設定した基準画素ごとに、対象画像において、基準画素に対応する位置から、注目要素に対応する仮想ずれ量だけずらした位置にある画素を対象画素として設定する。
（３）設定した対象画素の画素値と、基準画素の画素値とを参照して、対象画素と基準画素との相関関係を導きだす。
（４）導き出された相関関係を表わす情報を相関表における注目要素に書き込む。
こうして相関表作成処理を、設定した注目画素ごとに行うことにより、相関表を完成させる。そして、完成した相関表の各要素には、相関関係を表わす情報が蓄積される。
【００１１】
従って、相関表において、相関関係が一番高い要素に対応する仮想ずれ量分だけ、基準画像を、対象画像にずらせば、それらの各画素の相関関係が一番高くなる。すなわち、この仮想ずれ量を上記ずれ量として求めることができる。その結果、この仮想ずれ量を位置ずれ量として推定することができる。
【００１２】
上記目的の少なくとも一部を達成するために、本発明の第２の位置ずれ量推定処理装置は、基準画像と対象画像との画像間における位置ずれ量を推定する位置ずれ量推定処理装置であって、
所定の複数の仮想ずれ量を設定すると共に、各要素がそれぞれ前記複数の仮想ずれ量に対応する相関表を用意し、
前記基準画像において、基準となる基準画素を順次設定し、設定した前記基準画素ごとに相関表作成処理を行うことで、前記相関表を完成させ、該相関表に基づいて、前記位置ずれ量を推定し、
前記相関表作成処理としては、
前記対象画像において、前記基準画素に対応する位置から、前記複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定し、該複数の対象画素の画素値と、前記基準画素の画素値とを参照して、前記複数の対象画素と前記基準画素との相関関係をそれぞれ導き出し、その各相関関係を表わす情報を前記相関表における前記複数の対象画素の前記仮想ずれ量にそれぞれ対応する前記要素に書き込むことを要旨とする。
【００１３】
対象画像に対する基準画像との位置ずれ量が或る値であった場合に、基準画像を対象画像にその位置ずれ量分だけずらせば、基準画像の各画素と対象画像の各画素の相関関係が一番高くなる。言い換えれば、基準画像の各画素と対象画像の各画素の相関関係が一番高くなるように、基準画像を、対象画像に対してずらした場合に、そのずらしたずれ量を位置ずれ量として推定することができる。
【００１４】
上記位置ずれ量推定処理装置では、
まず、上記ずれ量を求めるために、複数の仮想ずれ量を設定し、各要素がそれぞれ複数の仮想ずれ量に対応する相関表を用意する。次に、基準画像において、基準となる基準画素を順次設定し、設定した基準画素ごとに相関表作成処理を行う。相関表作成処理では、次の（１）〜（３）の処理がなされる。
（１）対象画像において、基準画素に対応する位置から、複数の仮想ずれ量だけ各々ずらした位置にある複数の画素をそれぞれ複数の対象画素として設定する。
（２）設定した複数の対象画素の画素値と、基準画素の画素値とを参照して、複数の対象画素と基準画素との相関関係をそれぞれ導き出す。
（３）導かれた各相関関係を表わす情報を相関表における複数の対象画素の仮想ずれ量にそれぞれ対応する要素に書き込む。
こうして相関表作成処理を、設定した基準画素ごとに行うことにより、相関表を完成させる。そして、完成した相関表の各要素には、相関関係を表わす情報が蓄積される。
【００１５】
従って、相関表において、相関関係が一番高い要素に対応する仮想ずれ量分だけ、基準画像を、対象画像にずらせば、それらの各画素の相関関係が一番高くなる。すなわち、この仮想ずれ量を上記ずれ量として求めることができる。その結果、この仮想ずれ量を位置ずれ量として推定することができる。
【００１６】
上記位置ずれ量推定処理装置は、
前記相関表作成処理では、
前記仮想ずれ量だけずらした位置にある前記対象画素の画素値と、前記基準画素の画素値とを比較し、それらの画素値がほぼ一致すると、相関関係ありと判断し、
前記相関表において、前記対象画素の前記仮想ずれ量に対応する前記要素に、前記相関関係ありと判断した数を表わす所定の情報が書き込まれ、
前記相関表において、書き込まれた前記所定の情報に基づき前記相関関係ありと判断した数が一番多い前記要素を特定し、該要素に対応する前記仮想ずれ量を前記位置ずれ量として推定するようにしてもよい。
【００１７】
このようにして推定した位置ずれ量に基づき位置ずれを是正すれば、基準画像の各画素の画素値と対象画像の各画素の画素値とが一番多く一致することとなり、基準画像と対象画像とを精度よく重ね合わせることができる。
【００１８】
上記位置ずれ量推定処理装置は、
前記相関表作成処理では、
前記仮想ずれ量だけずらした位置にある前記複数の対象画素の画素値と、前記基準画素の画素値とをそれぞれ比較し、それらの画素値が一致しないと、相関関係なしと判断し、
前記相関表において、前記対象画素の前記仮想ずれ量に対応する前記要素に、前記相関関係なしと判断した数を表わす所定の情報が書き込まれ、
前記相関表において、書き込まれた前記所定の情報に基づき前記相関関係なしと判断した数が一番少ない前記要素を特定し、該要素に対応する前記仮想ずれ量を前記位置ずれ量として推定するようにしてもよい。
【００１９】
このようにして推定した位置ずれ量に基づき位置ずれを是正すれば、基準画像の各画素の画素値と対象画像の各画素の画素値が一致しない数が一番少ない、言い換えれば、基準画像の各画素の画素値と対象画像の各画素の画素値が一番多く一致することとなり、基準画像と対象画像とを精度よく重ね合わせることができる。
【００２０】
上記位置ずれ量推定処理装置は、前記対象画素の画素値と、前記基準画素の画素値とが一致するかどうかを判断する場合に、
前記対象画素の画素値と、前記基準画素の画素値との差分の絶対値を求め、さらに、該差分絶対値と、予め決められた閾値とを比較し、
前記差分絶対値が閾値より小さいと、前記基準画素の画素値と、前記対象画素の画素値とがほぼ一致したと判断し、
前記差分絶対値が閾値より大きいと、前記基準画素の画素値と、前記対象画素の画素値とが一致していないと判断するようにしてもよい。
【００２１】
対象画素の画素値および基準画素の画素値は、容易に抽出することができることから、対象画素の画素値と、基準画素の画素値との差分絶対値を算出することも容易である。従って、上記位置ずれ量推定処理装置は、この差分絶対値と、上記閾値とを比較することで、対象画素の画素値と、基準画素の画素値とが一致するかどうかを容易に判断することができる。
【００２２】
上記位置ずれ量推定処理装置は、前記基準画像において前記基準画素を設定する際には、前記対象画像において、複数の前記仮想ずれ量だけずれた位置にある前記対象画素がすべて存在するように前記基準画素を設定するようにしてもよい。
【００２３】
このようにすれば、基準画素について、複数ある対象画素のすべてに対して上記相関表作成処理をすることができ、その結果を相関表の各要素に書き込むことができる。従って、相関表の各要素には、相関表作成処理の結果が均等に書き込まれることになり、その結果、その相関表から精度よく位置ずれ量を推定することができる。
【００２４】
なお、本発明は、上記した位置ずれ量推定処理装置などの装置発明の態様に限ることなく、位置ずれ量推定方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構築するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。
【００２５】
また、本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、上記装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。
【発明を実施するための最良の形態】
【００２６】
以下では、本発明の実施の形態を実施例に基づいて以下の手順で説明する。
Ａ．位置ずれ量推定処理装置の構成：
Ｂ．位置ずれ量推定処理：
Ｃ．効果：
Ｄ．変形例：
【００２７】
Ａ．位置ずれ量推定処理装置の構成：
図１は、本発明の実施例としての位置ずれ量推定処理装置の概略構成を示す説明図である。この位置ずれ量推定処理装置は、汎用のパーソナルコンピュータであり、コンピュータ１００に情報を入力する装置としてのキーボード１２０およびマウス１３０と、情報を出力する装置としてのディスプレイ１５０と、動画像データなど、種々のデータを記憶することが可能なハードディスク２５０と、を備えている。また、コンピュータ１００に動画像データを入力する装置としてデジタルビデオカメラ３０およびＣＤ−Ｒ／ＲＷドライブ１４０を備えている。なお、動画像データを入力する装置としては、ＣＤ−Ｒ／ＲＷドライブの他、ＤＶＤドライブ等の、種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。
【００２８】
なお、本実施例においては、動画像データを構成する画像データは、フレーム画像データとする。このフレーム画像データが表す画像をフレーム画像とも呼ぶ。このフレーム画像は、ノンインターレース方式で表示可能な静止画像を意味している。
【００２９】
コンピュータ１００は、ＣＰＵ２００と、ＲＡＭ２２０と、各種プログラムが格納されているＲＯＭ２３０と、入力インターフェイス部２４０とを備え，それぞれがバスを介して接続されている。また、図に示したように、コンピュータ１００は、ＣＰＵ２００がＲＯＭ２３０からプログラムを読み出し、ＲＡＭ２２０に展開して実行することで、画像処理部３００、フレーム画像データ取得部３１０、位置ずれ量推定処理部３２０として機能する。
【００３０】
入力インターフェイス部２４０は、インタフェースボード（図示せず）に含まれ，上述した、ディスプレイ１５０，キーボード１２０，マウス１３０，およびデジタルビデオカメラ３０と、コンピュータ１００の各部とをバスを介して接続する。
【００３１】
画像処理部３００は、キーボード１２０やマウス１３０からユーザによって動画像の再生の指示が入力されると、ＣＤ−Ｒ／ＲＷドライブ１４０内に挿入されるＣＤ−ＲＯＭやＣＤ−ＲＷ、デジタルビデオカメラ３０、あるいはハードディスク２５０などからＲＡＭ２２０内に動画像データに含まれるフレーム画像データを時系列に読み込む。そして、そのＲＡＭ２２０内に読み込まれたフレーム画像データの表すフレーム画像（静止画像）をビデオドライバを介してディスプレイ１５０に時系列順に表示する。このようにして、ディスプレイ１５０上で動画像が表示される。
【００３２】
フレーム画像データ取得部３１０は、動画像の再生中に、キーボード１２０やマウス１３０からユーザによってフレーム画像データの取得指示が入力されると、時系列に連続する２つのフレーム画像データを取得する。以下では、この２つのフレーム画像データのうち、ユーザによる前記取得指示の入力タイミングに基づいて最初に取得されたフレーム画像データを基準フレーム画像データＦとして選択し、その後時系列に取得される他方のフレーム画像データを対象フレーム画像データＧとして選択することとする。以下では、基準フレーム画像データＦが表わす画像を基準フレーム画像Ｆと呼び、対象フレーム画像データＧが表わす画像対象フレーム画像Ｇと呼ぶ。
【００３３】
なお、取得されたフレーム画像データは、ドットマトリクス状の各画素の階調値(以下、「画素値」とも呼ぶ。)を示す階調データ（以下、「画素データ」とも呼ぶ。）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ(ブルーの色差)，Ｃｒ(レッドの色差)からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等である。
【００３４】
位置ずれ量推定処理部３２０は、後述する位置ずれ量を推定する処理を行う。
本実施例において、「位置ずれ」とは、撮影対象物自体の動きなどに起因するものではなく、パンやチルトなどのカメラワークや、「手ぶれ」のように、ビデオカメラの向きの変化のみに起因するものである。従って、「位置ずれ量」とは、フレーム画像間において、全ての画素が同じ量だけずれるような位置ずれ量をいう。以下に、この位置ずれについて具体的に説明する。
【００３５】
図２は、基準フレーム画像Ｆと対象フレーム画像Ｇとの間の位置ずれについて示す説明図である。図の各フレーム画像には月と、山と、止まっている車が示されている。また、図に示すように、基準フレーム画像Ｆに対する、対象フレーム画像Ｇの位置ずれ量を分かり易く示すため、基準フレーム画像Ｆの縁と、対象フレーム画像Ｇの縁とを重ねて示すとともに、基準フレーム画像Ｆ上の中心位置に仮想の十字画像ＸＦを追記し、この十字画像ＸＦが、対象フレーム画像Ｇと共にずれたとして、対象フレーム画像Ｇ上に、ずれた結果の画像である十字画像ＸＧを示すようにしている。更に、この位置ずれ量を、分かり易く示すために、基準フレーム画像Ｆ，および十字画像ＸＦを太い実線で示すとともに、対象フレーム画像Ｇ，および十字画像ＸＧを細い破線で示すようにしている。図に示すように、十字画像ＸＦの中心から十字画像ＸＧの中心へのベクトル量が、位置ずれ量となる。本実施例では、位置ずれ量を、横方向の位置ずれを「ｕ」，縦方向の位置ずれを「ｖ」とする。
【００３６】
ところで、図２の基準フレーム画像Ｆと対象フレーム画像Ｇとを重ねて示した図において、各フレーム画像の車の部分について着目すると、基準フレーム画像Ｆの車の部分の画像から位置ずれ量（ｕ，ｖ）だけずれて、対象フレーム画像Ｇの車の部分の画像がある。この時、基準フレーム画像Ｆの車の部分の画像を表わす各画素の画素値と、その各画素から位置ずれ量（ｕ，ｖ）だけずれたところにある対象フレーム画像Ｇの車の部分の画像を表わす各画素の画素値とは、それぞれほぼ一致する（つまり、相関関係が高い）。言い換えれば、基準フレーム画像Ｆの各画素の画素値と、対象フレーム画像Ｇの各画素の画素値とがほぼ一致するように（つまり、相関関係が高くなるように）、基準フレーム画像Ｆを対象フレーム画像Ｇに対してずらした場合に、そのずらした量を位置ずれ量として推定することができる。
【００３７】
Ｂ．位置ずれ量推定処理：
本実施例における位置ずれ量推定処理について、以下に説明する。この位置ずれ量推定処理では、位置ずれ量（ｕ，ｖ）を推定するために相関表を作成する。従って、まず、この相関表について、説明する。
【００３８】
図３は、本実施例における相関表について説明する図である。本実施例では、フレーム画像は、解像度が８００×６００の画像とし、フレーム画像の或る画素の位置を（ｘ，ｙ）（１≦ｘ≦８００，１≦ｙ≦６００：ｘ，ｙは整数）とする。
【００３９】
本実施例では、位置ずれ量推定処理部３２０は、位置ずれ量を推定するために、基準フレーム画像Ｆの或る画素における画素値と、対象フレーム画像Ｇの所定の範囲内の各画素における画素値とが一致するかどうかを探索する。そして、基準フレーム画像Ｆの各画素の画素値と対象フレーム画像Ｇの各画素の画素値が、一番多く一致するように基準フレーム画像Ｆを対象フレーム画像Ｇにずらした場合に、そのずらした量を位置ずれ量として推定する。
【００４０】
図３に示すように、上記所定の範囲として、対象フレーム画像Ｇに相関サーチエリアを設ける。この相関サーチエリアは、５×５のマトリックス状となっており、この一要素は、一画素に相当する。また、相関サーチエリア内において各要素の位置を、横方向をｉ（-２≦ｉ≦２：ｉは整数）、縦方向をｊ（-２≦ｊ≦２：ｊは整数）の変数を用いて表わすものとする。例えば、相関サーチエリア内において、（ｉ，ｊ）＝（−２，−２）は、一番左上の要素を表わす。さらに、探索を行う基準フレーム画像Ｆの或る画素の位置に対応する対象フレーム画像Ｇの画素の位置を、相関サーチエリアの中心（すなわち、（ｉ，ｊ）＝（０，０））とする。従って、基準フレーム画像Ｆの或る画素の位置が、（ｘ，ｙ）であったとすると、対象フレーム画像Ｇにおいて、相関サーチエリアの或る画素の位置は、（ｘ，ｙ）からｘ軸方向にi，ｙ軸方向にｊ平行移動した位置として（ｘ+ｉ，ｙ+ｊ）と表わすことができる。以下では、探索の基準となる基準フレーム画像Ｆの画素（ｘ，ｙ）を基準画素と呼び、その基準画素に対して、対象フレーム画像Ｇにおける相関サーチエリアの探索される画素（ｘ+ｉ，ｙ+ｊ）をサーチ画素と呼ぶ。例えば、基準フレーム画像Ｆの基準画素（３，３）であると、対象フレーム画像Ｇにおいて、相関サーチエリアの一番左上の要素（すなわち、（ｉ，ｊ）＝（−２，−２））に該当するサーチ画素を表わす位置は、（３+（−２）、３+（−２））＝（１，１）となる。
【００４１】
また、本実施例では、図３に示すように、基準フレーム画像Ｆ内に基準フレーム有効エリアが設けられている。この基準フレーム有効エリアの範囲は、３≦ｘ≦７９８，３≦ｙ≦５９８と設定されている。位置ずれ量推定部３２０は、この基準フレーム有効エリア内の画素のみを基準画素として、上述した探索を行う。これは、基準フレーム有効エリア外の画素を基準画素として探索を行った場合、対象フレーム画像Ｇにおける相関サーチエリアが対象フレーム画像Ｇ外にはみ出してしまい、はみ出した部分は探索できないからである。
【００４２】
一方、図３に示すように、相関表は、相関サーチエリアを表にしたもので、５×５のマトリックス状であり、横方向をｉ（−２≦ｉ≦２：ｉは整数）、縦方向をｊ（−２≦ｊ≦２：ｊは整数）とし、マトリックス内の各要素の位置を（ｉ，ｊ）と表わす。この変数ｉ，ｊも、相関サーチエリアにおける変数ｉ，ｊと１対１に対応する。相関表における各要素（ｉ，ｊ）には、相関サーチエリア内で（ｉ，ｊ）に位置する画素をサーチ画素として用いた場合における相関表作成処理の結果が表現される。すなわち、相関表作成処理において、位置ずれ量推定処理部３２０は、要素（ｉ，ｊ）において、基準フレーム画像Ｆの基準画素（ｘ，ｙ）における画素値Ｆ（ｘ，ｙ）と、対象フレーム画像Ｇの相関サーチエリア内のサーチ画素（ｘ+ｉ，ｙ+ｊ）における画素値Ｇ（ｘ+ｉ，ｙ+ｊ）との差分の絶対値を求める。そして、位置ずれ量推定処理部３２０は、その差分絶対値と予め決められた閾値とを比較し、差分絶対値が閾値より小さければ、基準画素とサーチ画素の各画素値がほぼ一致したと判断し、要素（ｉ，ｊ）に「１」を加算する。差分絶対値が閾値より大きい場合には、基準画素とサーチ画素の各画素値が一致していないと判断し、要素（ｉ，ｊ）には、何も加算しない。位置ずれ量推定処理部３２０は、この相関表作成処理を、要素（ｉ，ｊ）ごとに、基準フレーム画像における基準フレーム有効エリア内のすべての基準画素について行い、相関表を作成する。このようにすれば、相関表において、各要素の加算された数値（以下、相関値と呼ぶ。）は、上記相関表作成処理における基準画素とサーチ画素との各画素値が一致した数を表わす。従って、基準フレーム画像Ｆを対象フレーム画像Ｇに対して、相関値が最大になる要素（ｉ，ｊ）に基づき、ｘ軸方向にｉ，ｙ軸方向にｊずらすと、基準フレーム画像Ｆの各画素の画素値と対象フレーム画像Ｇの各画素の画素値が一番多く一致する（つまり、基準フレーム画像Ｆと対象フレーム画像Ｇとが、一番相関関係が高い）ことになる。以上より、本実施例では、相関値が最大になる要素（ｉ，ｊ）を位置ずれ量（ｕ，ｖ）と推定する。
それでは、以下に、相関表作成処理を含めた位置ずれ量推定処理について、具体的に説明する。
【００４３】
図４は、本実施例における位置ずれ量推定処理のフローチャートである。
まず、フレーム画像データ取得部３１０は、ステップＳ１０の処理で、動画像の再生中に、キーボード１２０やマウス１３０からユーザによってフレーム画像データの取得指示が入力されると、上述したように基準フレーム画像データＦと対象フレーム画像データＧとを取得する。
【００４４】
次に、位置ずれ量推定処理部３２０は、ステップＳ２０の処理で変数（ｉ，ｊ）、（ｘ，ｙ）を初期値として、（ｉ，ｊ）＝（−２，−２）、（ｘ，ｙ）＝（３，３）と設定する。
【００４５】
上記のように初期値として、（ｉ，ｊ）＝（−２，−２）と設定されているので（ステップＳ３０：ＹＥＳ、ステップＳ４０：ＹＥＳ）、位置ずれ量推定処理部３２０は、ステップＳ５０の処理で、相関表作成処理を行う。ここでは、相関表（図３）において、一番左上の要素，つまり要素（ｉ，ｊ）＝（−２，−２）について相関表作成処理を行う。
【００４６】
図５は、本実施例における相関表作成処理のフローチャートである。まず、この相関表作成処理を、或る要素（ｉ，ｊ）における或る基準画素（ｘ，ｙ）について一般的に説明する。
【００４７】
位置ずれ量推定処理部３２０は、まず、ステップＳ６０の処理で、基準フレーム画像Ｆの基準画素（ｘ，ｙ）における画素値Ｆ（ｘ，ｙ）および対象フレーム画像Ｇのサーチ画素（ｘ＋ｉ，ｙ＋ｊ）における画素値Ｇ（ｘ＋ｉ，ｙ＋ｊ）を各フレーム画像データの画素データから抽出する。
【００４８】
次に、位置ずれ量推定処理部３２０は、ステップＳ７０の処理では、ステップＳ６０で抽出した各画素値を用いて、以下の式（１）より、画素値差分Ｄｆ（ｘ，ｙ，ｉ，ｊ）を算出する。
Ｄｆ（ｘ，ｙ，ｉ，ｊ）＝｜Ｆ（ｘ，ｙ）−Ｇ（ｘ＋ｉ，ｙ＋ｊ）｜・・・（１）
この画素値差分Ｄｆ（ｘ，ｙ，ｉ，ｊ）は、式（１）のごとく、基準画素の画素値Ｆ（ｘ，ｙ）と、サーチ画素の画素値Ｇ（ｘ＋ｉ，ｙ＋ｊ）との差の絶対値を表わす。
【００４９】
続いて、位置ずれ量推定処理部３２０は、ステップＳ８０の処理では、画素値差分Ｄｆ（ｘ，ｙ，ｉ，ｊ）と、予め決められている閾値Ｔｈとを比較する。位置ずれ量推定処理部３２０は、Ｄｆ（ｘ，ｙ，ｉ，ｊ）が閾値Ｔｈより小さい場合（ステップＳ８０：ＹＥＳ）には、基準画素の画素値Ｆ（ｘ，ｙ）とサーチ画素の画素値Ｇ（ｘ＋ｉ，ｙ＋ｊ）とが一致したと判断し、ステップＳ９０の処理で、相関表の要素（ｉ，ｊ）に、「１」を加算する。相関表の（ｉ，ｊ）に「１」加算すると、位置ずれ量推定処理（図４）にリターンする。
【００５０】
位置ずれ量推定処理部３２０は、Ｄｆ（ｘ，ｙ，ｉ，ｊ）が閾値Ｔｈより大きい場合（ステップＳ８０：ＮＯ）には、基準画素の画素値Ｆ（ｘ，ｙ）とサーチ画素の画素値Ｇ（ｘ＋ｉ，ｙ＋ｊ）とが一致していないと判断し、相関表には、何も記載せずに、位置ずれ量推定処理（図４）にリターンする。
【００５１】
次に、図５の相関表作成処理を、要素（ｉ，ｊ）＝（−２，−２）の場合について、図６〜図８を用いて説明する。
【００５２】
図６は、要素（ｉ，ｊ）＝（−２，−２）、基準画素（ｘ，ｙ）＝（３，３）の場合における相関表作成処理を説明するための図ある。図に示すように、最初，基準画素は、初期値として基準フレーム有効エリアの一番左上の画素（３，３）と設定されているので、位置ずれ量推定処理部３２０は、上述したステップＳ６０の処理で、基準画素（ｘ，ｙ）＝（３，３）の画素値Ｆ（３，３）およびサーチ画素（ｘ＋ｉ，ｙ＋ｊ）＝（３＋（−２）、３＋（−２））＝（１，１）の画素値Ｇ（１，１）を抽出する。
【００５３】
次に、位置ずれ量推定処理部３２０は、上述したステップＳ７０の処理で、画素値Ｆ（３，３）および画素値Ｇ（１，１）を用いて、式（１）より画素値差分Ｄｆ（３，３，−２，−２）を算出する。
【００５４】
続いて、位置ずれ量推定処理部３２０は、上述したステップＳ８０の処理で、画素値差分Ｄｆ（３，３）と、予め決められている閾値Ｔｈとを比較する。本実施例では、画素値差分Ｄｆ（３，３，−２，−２）は、閾値Ｔｈより小さい（ステップＳ８０：ＹＥＳ）ので、上述したステップＳ９０の処理で、図６に示すように、相関表の要素（−２，−２）に「１」を加算する。その後、位置ずれ量推定処理（図４）にリターンする。
【００５５】
位置ずれ量推定処理にリターンすると、基準画素（ｘ，ｙ）＝（３，３）であるので（ステップＳ１００：ＹＥＳ）、次に、位置ずれ量推定処理部３２０は、ステップＳ１１０の処理で、ｘに１を加算する。すなわち、基準画素をｘ方向に１平行移動して、基準画素（ｘ，ｙ）＝（４，３）となる。そして、位置ずれ量推定処理部３２０は、基準画素（４，３）に対して、相関表作成処理（ステップＳ５０，図５）を行う。
【００５６】
図７は、要素（ｉ，ｊ）＝（−２，−２）、基準画素（ｘ，ｙ）＝（４，３）の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素（ｘ，ｙ）＝（４，３）に対して、サーチ画素（ｘ＋ｉ，ｙ＋ｊ）＝（４＋（−２）、３＋（−２））＝（２，１）となる。この場合、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ６０の処理で、基準画素（４，３）の画素値Ｆ（４，３）およびサーチ画素（２，１）の画素値Ｇ（２，１）を抽出し、ステップＳ７０の処理で、それらを用いて上述の式（１）より画素値差分Ｄｆ（４，３，−２，−２）を算出する。そして、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ８０の処理で、画素値差分Ｄｆ（４，３，−２，−２）と、予め決められている閾値Ｔｈとを比較する。本実施例では、画素値差分Ｄｆ（４，３，−２，−２）は、閾値Ｔｈより小さい（ステップＳ８０：ＹＥＳ）ので、上述と同様，位置ずれ量推定処理部３２０は、ステップＳ９０の処理で、図７に示すように、相関表の要素（ｉ，ｊ）＝（−２，−２）に「１」を加算する。要素（ｉ，ｊ）＝（−２，−２）は、上述の処理による加算と合わせて「２」となる。その後、位置ずれ量推定処理（図４）にリターンする。
【００５７】
位置ずれ量推定処理にリターンすると、基準画素（ｘ，ｙ）＝（４，３）であるので（ステップＳ１００：ＹＥＳ）、位置ずれ量推定処理部３２０は、再度、ステップＳ１１０の処理で、ｘに１を加算する。すなわち、基準画素をｘ方向に１平行移動して、基準画素は、（ｘ，ｙ）＝（５，３）となる。そして、位置ずれ量推定処理部３２０は、基準画素（５，３）に対して、相関表作成処理（ステップＳ５０，図５）を行う。
【００５８】
図８は、要素（ｉ，ｊ）＝（−２，−２）、基準画素（ｘ，ｙ）＝（７９８，５９８）の場合における相関表作成処理を説明するための図ある。
位置ずれ量推定処理部３２０は、上述のようにして、ステップＳ１１０の処理で、基準画素をｘ方向に１平行移動させては、ステップＳ５０の相関表作成処理を行う。そして、位置ずれ量推定処理部３２０は、このようにステップＳ５０〜ステップＳ１１０の処理を繰り返し、基準フレーム有効エリアの右端の基準画素，つまり基準画素（７９８，３）（図８）についてステップＳ５０の相関表作成処理が終了すると、（ｘ，ｙ）＝（７９８，３）であるので（ステップＳ１００：ＮＯ）、ステップＳ１１５の処理、ステップＳ１２０：ＹＥＳ、およびステップＳ１３０の処理で、基準フレーム有効エリアにおいて基準画素（３，４）となり、すなわち、一つ下の列の左端に移動する。その移動した基準画素（３，４）（図８）において、図５のステップＳ５０の相関表作成処理を行い、その列においても、ステップＳ１１０の処理で基準画素をｘ方向に１平行移動させては、ステップＳ５０の相関表作成処理が繰り返される。そして、位置ずれ量推定処理部３２０は、基準画素が基準フレーム有効エリアの右端までくると（ステップＳ１００：ＮＯ）、再度、ステップＳ１１５の処理、ステップＳ１２０：ＹＥＳ、およびステップＳ１３０の処理で、基準フレーム有効エリアにおいて、基準画素は一つ下の列の左端に移動する。
【００５９】
以上のようにして、位置ずれ量推定処理部３２０は、基準画素を、図８に示すように基準フレーム有効エリアの一番右下，つまり、基準画素（７９８，５９８）まで移動させ、基準フレーム有効エリア内のすべての基準画素においてステップＳ５０の相関表作成処理を行うと、相関表の要素（ｉ，ｊ）＝（−２，−２）における相関値が求まる。なお、図８に示すように、要素（ｉ，ｊ）＝（−２，−２）では、相関値が「７８」となっている。これは、すなわち、基準フレーム有効エリア内における基準画素の画素値と、相関サーチエリア内の（ｉ，ｊ）＝（−２，−２）におけるサーチ画素の画素値とが、「７８」個ほぼ一致することを示す。
【００６０】
上述のように、位置ずれ量推定処理部３２０は、要素（ｉ，ｊ）＝（−２，−２）についての相関値を求めると（すなわち、要素（ｉ，ｊ）＝（−２，−２）における基準画素（ｘ，ｙ）＝（７９８，５９８）で、図５のステップＳ５０の相関表作成処理が終了すると）、（ｘ，ｙ）＝（７９８，５９８）であるので（ステップＳ１２０：ＮＯ、図４）、ステップＳ１４０の処理で、ｉに１を加算し、要素（ｉ，ｊ）＝（−１，−２）とし、また、基準画素を基準フレーム有効エリアの一番左上の画素（ｘ，ｙ）＝（３，３）に戻す。位置ずれ量推定処理部３２０は、ステップＳ１４０の処理後、（ｉ，ｊ）＝（−１，−２）であるので（ステップＳ４０：ＹＥＳ、図４）、再度、基準フレーム有効エリア内のすべての画素を基準画素として図５のステップＳ５０の相関表作成処理を行う。以下では、要素（ｉ，ｊ）＝（−１，−２）における相関表作成処理を図９〜図１１を用いて説明する。
【００６１】
図９は、要素（ｉ，ｊ）＝（−１，−２）、基準画素（ｘ，ｙ）＝（３，３）の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素（ｘ，ｙ）＝（３，３）に対して、サーチ画素（ｘ＋ｉ，ｙ＋ｊ）＝（３＋（−１）、３＋（−２））＝（２，１）となる。この場合、位置ずれ量推定処理部３２０は、上述と同様に、図５のステップＳ６０の処理で、基準画素（３，３）の画素値Ｆ（３，３）およびサーチ画素（２，１）の画素値Ｇ（２，１）を抽出し、ステップＳ７０の処理で、それらを用いて上述の式（１）より画素値差分Ｄｆ（３，３，−１，−２）を算出する。そして、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ８０の処理で、画素値差分Ｄｆ（３，３）と、予め決められている閾値Ｔｈとを比較する。本実施例では、画素値差分Ｄｆ（３，３，−１，−２）は、閾値Ｔｈより小さい（ステップＳ８０：ＹＥＳ）ので、上述と同様，位置ずれ量推定処理部３２０は、ステップＳ９０の処理で、図９に示すように、相関表の要素（ｉ，ｊ）＝（−１，−２）に「１」を加算する。その後、位置ずれ量推定処理（図４）にリターンする。
【００６２】
位置ずれ量推定処理にリターンすると、基準画素（ｘ，ｙ）＝（３，３）であるので（ステップＳ１００：ＹＥＳ、図４）、位置ずれ量推定処理部３２０は、ステップＳ１１０の処理で、ｘに１を加算する。すなわち、基準画素をｘ方向に１平行移動して、基準画素は、（ｘ，ｙ）＝（４，３）となる。そして、位置ずれ量推定処理部３２０は、基準画素（４，３）に対して、相関表作成処理（ステップＳ５０，図５）を行う。
【００６３】
図１０は、要素（ｉ，ｊ）＝（−１，−２）、基準画素（ｘ，ｙ）＝（４，３）の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素（ｘ，ｙ）＝（４，３）に対して、サーチ画素（ｘ＋ｉ，ｙ＋ｊ）＝（４＋（−１）、３＋（−２））＝（３，１）となる。この場合、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ６０の処理で、基準画素（４，３）の画素値Ｆ（４，３）およびサーチ画素（３，１）の画素値Ｇ（３，１）を抽出し、ステップＳ７０の処理で、それらを用いて上述の式（１）より画素値差分Ｄｆ（４，３，−１，−２）を算出する。そして、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ８０の処理で、画素値差分Ｄｆ（４，３，−１，−２）と、予め決められている閾値Ｔｈとを比較する。本実施例では、画素値差分Ｄｆ（４，３，−１，−２）は、閾値Ｔｈより大きい（ステップＳ８０：ＮＯ）ので、位置ずれ量推定処理部３２０は、ステップＳ９０の処理で、相関表の要素（ｉ，ｊ）＝（−２，−２）に「１」を加算することなく、位置ずれ量推定処理（図４）にリターンする。
【００６４】
位置ずれ量推定処理にリターンすると、基準画素（ｘ，ｙ）＝（４，３）であるので（ステップＳ１００：ＹＥＳ、図４）、位置ずれ量推定処理部３２０は、再度、ステップＳ１１０の処理で、ｘに１を加算する。すなわち、基準画素をｘ方向に１平行移動して、基準画素は、（ｘ，ｙ）＝（５，３）となる。そして、位置ずれ量推定処理部３２０は、再度、相関表作成処理（ステップＳ５０，図５）を行う。
【００６５】
図１１は、要素（ｉ，ｊ）＝（−１，−２）、基準画素（ｘ，ｙ）＝（７９８，５９８）の場合における相関表作成処理を説明するための図ある。
位置ずれ量推定処理部３２０は、上述の要素（ｉ，ｊ）＝（−２，−２）と同様にして、ステップＳ１１０の処理で、基準画素をｘ方向に１平行移動させては、図５のステップＳ５０の相関表作成処理を行い、また、基準画素が基準フレーム有効エリアの右端までくると、基準フレーム有効エリアにおいて、基準画素は一つ下の列の左端に移動させ、その列の基準画素に対しても同様にステップＳ５０の相関表作成処理を行う。このようにして、基準画素を、図１１に示すように基準フレーム有効エリアの一番右下，つまり、基準画素（７９８，５９８）まで移動させ、基準フレーム有効エリア内のすべての基準画素において図５のステップＳ５０の相関表作成処理を行い、相関表の要素（ｉ，ｊ）＝（−１，−２）における相関値を求める。なお、図１１に示すように、要素（ｉ，ｊ）＝（−１，−２）では、相関値が「６４」となっている。これは、すなわち、基準フレーム有効エリア内における基準画素の画素値と、相関サーチエリア内の（ｉ，ｊ）＝（−１，−２）におけるサーチ画素の画素値とが、「６４」個ほぼ一致することを示す。
【００６６】
上述のように、位置ずれ量推定処理部３２０は、要素（ｉ，ｊ）＝（−１，−２）についての相関値を求めると、すなわち、要素（ｉ，ｊ）＝（−１，−２）における基準画素（ｘ，ｙ）＝（７９８，５９８）で、図５のステップＳ５０の相関表作成処理が終了すると、（ｘ，ｙ）＝（７９８，５９８）であるので（ステップＳ１２０：ＮＯ、図４）、ステップＳ１４０の処理で、ｉに１を加算し、要素（ｉ，ｊ）＝（０，−２）とし、また、基準画素を基準フレーム有効エリアの一番左上の画素（ｘ，ｙ）＝（３，３）に戻す。位置ずれ量推定処理部３２０は、ステップＳ１４０の処理後、（ｉ，ｊ）＝（０，−２）であるので（ステップＳ４０：ＹＥＳ、図４）、再度、基準フレーム有効エリア内の画素を基準画素として図５のステップＳ５０の相関表作成処理を行う。
【００６７】
位置ずれ量推定処理部３２０は、上述のごとく、ステップＳ５０〜ステップＳ１３０の処理を繰り返すことにより、要素（ｉ，ｊ）＝（０，−２）についても相関値を求める。このようにして、位置ずれ量推定処理部３２０は、ステップＳ１４０の処理で、ｉに１を加算しては、上述のごとく、各要素（ｉ，ｊ）について相関値を求める。そして、位置ずれ量推定処理部３２０は、相関表の右端の要素（ｉ，ｊ）＝（２，−２）についても相関値を求めると、ステップＳ１４０の処理で、ｉに１を加算し、（ｉ，ｊ）＝（３，−２）となるので（ステップＳ４０：ＮＯ）、ステップＳ１５０の処理を行う。位置ずれ量推定処理部３２０は、ステップＳ１５０の処理で、ｊに１を加算し、ｉを−２に置き換える、すなわち、要素（ｉ，ｊ）＝（−２，−１）とし、一つ下の列の左端に移動させる。この時、要素（ｉ，ｊ）＝（−２，−１）であるので（ステップＳ３０：ＹＥＳ、ステップＳ４０：ＹＥＳ、図５）、位置ずれ量推定処理部３２０は、その移動させた要素（−２，−１）についてもステップＳ５０〜ステップＳ１３０の処理を繰り返すことにより相関表を完成させ、相関表のその列において、図４のステップＳ１４０の処理で、再度、要素（ｉ，ｊ）をｉ方向に１平行移動させては、その要素（ｉ，ｊ）について相関値を求める。そして、位置ずれ量推定処理部３２０は、要素（ｉ，ｊ）が右端までくると、再度、図４のステップＳ１４０の処理、ステップＳ４０：ＮＯ、およびステップＳ１５０の処理で、相関表の一つ下の列の左端に移動させる。
【００６８】
以上のようにして、位置ずれ量推定処理部３２０は、各要素について相関値を求めながら、要素（ｉ，ｊ）＝（１，２）まで移動させる。
【００６９】
位置ずれ量推定処理部３２０は、上述のように、要素（ｉ，ｊ）＝（１，２）についての相関値を求めると（すなわち、要素（ｉ，ｊ）＝（１，２）における基準画素（ｘ，ｙ）＝（７９８，５９８）で、図５のステップＳ５０の相関表作成処理が終了すると）、ステップＳ１４０の処理で、ｉに１を加算し、要素（ｉ，ｊ）＝（２，２）とし、また、基準画素を基準フレーム有効エリアの一番左上の画素（ｘ，ｙ）＝（３，３）に戻す。位置ずれ量推定処理部３２０は、ステップＳ１４０の処理後、（ｉ，ｊ）＝（２，２）あるので（ステップＳ４０：ＹＥＳ）、再度、基準画素を基準フレーム有効エリアの一番左上の画素（３，３）から一番右下の画素（７９８，５９８）まで順に移動させてステップＳ５０の相関表作成処理を行う。
【００７０】
図１２は、要素（ｉ，ｊ）＝（２，２）、基準画素（ｘ，ｙ）＝（３，３）の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素（ｘ，ｙ）＝（３，３）に対して、サーチ画素（ｘ＋ｉ，ｙ＋ｊ）＝（３＋２，３＋２）＝（５，５）となる。この場合、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ６０の処理で、基準画素（３，３）の画素値Ｆ（３，３）およびサーチ画素（５，５）の画素値Ｇ（５，５）を抽出し、ステップＳ７０の処理で、それらを用いて上述の式（１）より画素値差分Ｄｆ（３，３，２，２）を算出する。そして、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ８０の処理で、画素値差分Ｄｆ（３，３，２，２）と、予め決められている閾値Ｔｈとを比較する。本実施例では、画素値差分Ｄｆ（３，３，２，２）は、閾値Ｔｈより小さい（ステップＳ８０：ＹＥＳ）ので、上述と同様，位置ずれ量推定処理部３２０は、ステップＳ９０の処理で、図１２に示すように、相関表の要素（ｉ，ｊ）＝（２，２）に「１」を加算する。その後、位置ずれ量推定処理（図４）にリターンする。
【００７１】
位置ずれ量推定処理にリターンすると、基準画素（ｘ，ｙ）＝（３，３）であるので（ステップＳ１００：ＹＥＳ、図４）、位置ずれ量推定処理部３２０は、図４のステップＳ１１０の処理で、ｘに１を加算する。すなわち、基準画素をｘ方向に１平行移動して、基準画素は、（ｘ，ｙ）＝（４，３）となる。そして、位置ずれ量推定処理部３２０は、基準画素（４，３）に対して相関表作成処理（ステップＳ５０，図５）を行う。
【００７２】
図１３は、要素（ｉ，ｊ）＝（２，２）、基準画素（ｘ，ｙ）＝（４，３）の場合における相関表作成処理を説明するための図ある。図に示すように、基準画素（ｘ，ｙ）＝（４，３）に対して、サーチ画素（ｘ＋ｉ，ｙ＋ｊ）＝（４＋２，３＋２）＝（６，５）となる。この場合、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ６０の処理で、基準画素（４，３）の画素値Ｆ（４，３）およびサーチ画素（６，５）の画素値Ｇ（３，１）を抽出し、ステップＳ７０の処理で、それらを用いて上述の式（１）より画素値差分Ｄｆ（４，３，２，２）を算出する。そして、位置ずれ量推定処理部３２０は、上述と同様に、ステップＳ８０の処理で、画素値差分Ｄｆ（４，３，２，２）と、予め決められている閾値Ｔｈとを比較する。本実施例では、画素値差分Ｄｆ（４，３，２，２）は、閾値Ｔｈより大きい（ステップＳ８０：ＮＯ）ので、位置ずれ量推定処理部３２０は、ステップＳ９０の処理で、相関表の要素（ｉ，ｊ）＝（２，２）に「１」を加算することなく、位置ずれ量推定処理（図４）にリターンする。
【００７３】
位置ずれ量推定処理にリターンすると、基準画素（ｘ，ｙ）＝（４，３）であるので（ステップＳ１００：ＹＥＳ、図４）、次に、位置ずれ量推定処理部３２０は、再度、ステップＳ１１０の処理で、ｘに１を加算する。すなわち、基準画素をｘ方向に１平行移動して、基準画素は、（ｘ，ｙ）＝（５，３）となる。そして、位置ずれ量推定処理部３２０は、再度、相関表作成処理（ステップＳ５０，図５）を行う。
【００７４】
図１４は、要素（ｉ，ｊ）＝（２，２）、基準画素（ｘ，ｙ）＝（７９８，５９８）の場合における相関表作成処理を説明するための図ある。
位置ずれ量推定処理部３２０は、上述のごとく、ステップＳ１１０の処理で、基準画素をｘ方向に１平行移動させては、ステップＳ５０の相関表作成処理を行い、また、基準画素が基準フレーム有効エリアの右端までくると、基準フレーム有効エリアにおいて、基準画素は一つ下の列の左端に移動させ、その列の基準画素に対しても同様にステップＳ５０の相関表作成処理を行う。このようにして、基準画素を、図１４に示すように基準フレーム有効エリアの一番右下，つまり、基準画素（７９８，５９８）まで移動させ、基準フレーム有効エリア内のすべての基準画素において図５のステップＳ５０の相関表作成処理を行い、相関表の要素（ｉ，ｊ）＝（２，２）における相関値を求める。なお、図１４に示すように、要素（ｉ，ｊ）＝（２，２）では、相関値が「３１」となっている。これは、すなわち、基準フレーム有効エリア内における基準画素の画素値と、相関サーチエリア内の（ｉ，ｊ）＝（２，２）におけるサーチ画素の画素値とが、「３１」個ほぼ一致することを示す。
【００７５】
以上のようして、図１４に示すように、すべての相関表の要素（ｉ，ｊ）について相関値を求める。位置ずれ量推定処理部３２０は、最後の要素（ｉ，ｊ）＝（２，２）についての相関値を求めると（すなわち、要素（ｉ，ｊ）＝（２，２）における基準画素（ｘ，ｙ）＝（７９８，５９８）で、ステップＳ５０の相関表作成処理が終了すると）、ステップＳ１４０の処理で、ｉに１を加算し、要素（ｉ，ｊ）＝（３，２）とする。位置ずれ量推定処理部３２０は、ステップＳ１４０の処理後、（ｉ，ｊ）＝（３，２）であるので（ステップＳ４０：ＮＯ）、ステップＳ１５０の処理で、ｊに１を加算し、ｉを−２に置き換えて、要素（ｉ，ｊ）＝（−２，３）となる（ステップＳ３０：ＮＯ）。従って、位置ずれ量推定処理部３２０は、図４のステップＳ２００の処理で、相関表において、最大値をとる要素（ｉ，ｊ）を位置ずれ量（ｕ，ｖ）として出力する。本実施例では、図１４に示すように、要素（ｉ，ｊ）＝（−１，−１）における値「１４２」が最大値となるので、その要素（ｉ，ｊ）＝（−１，−１）を位置ずれ量（ｕ，ｖ）＝（−１，−１）として出力する。
【００７６】
Ｃ．効果：
以上のように、位置ずれ量推定処理部３２０は、相関表作成処理（図５）で、基準画素とサーチ画素の各画素値が一致したと判断すると、その要素（ｉ，ｊ）に「１」を加算し、基準画素とサーチ画素の各画素値が一致していないと判断すると、その要素（ｉ，ｊ）には、何も加算しないようにしている。位置ずれ量推定処理部３２０は、この相関表作成処理を、相関表の一つ一つの要素で、基準フレーム有効エリア内のすべての基準画素について行い、相関値を求めている。このようにすれば、相関表の各要素（ｉ，ｊ）が示す相関値は、基準画素とサーチ画素との各画素値が一致した数を表わすことになる。そして、その相関値が最大になる要素（ｉ，ｊ）に基づき、基準フレーム画像Ｆを対象フレーム画像Ｇに対して、ｘ軸方向にｉ，ｙ軸方向にｊずらすと、基準フレーム画像Ｆの各画素の画素値と対象フレーム画像Ｇの各画素の画素値が一番多く一致することになる。従って、相関値が最大になる要素（ｉ，ｊ）を位置ずれ量（ｕ，ｖ）と推定することができる。
【００７７】
また、本実施例では、基準フレーム画像Ｆ内に基準フレーム有効エリアが設けられ、この範囲は、３≦ｘ≦７９８，３≦ｙ≦５９８と設定している。また、相関サーチエリアを５×５のマトリックス状とし、その中心と基準画素とが対応している。このようにすれば、基準画素に対応する相関サーチエリア内のサーチ画素がすべて存在する。そして、位置ずれ量推定処理部３２０は、対象フレーム画像Ｇの相関サーチエリア内におけるサーチ画素に対して、基準フレーム有効エリア内の画素のみを基準画素として、図５の相関表作成処理を行っている。このようにすれば、対象フレーム画像Ｇにおける相関サーチエリアが対象フレーム画像Ｇからはみ出すことがなく、すべてのサーチ画素に対して相関表作成処理を行うことができ、その結果を相関表の各要素（ｉ，ｊ）に書き込むことができる。従って、相関表の各要素には、相関表作成処理の結果が均等に書き込まれることになり、その相関表から精度よく位置ずれ量を推定することができる。
【００７８】
Ｄ．変形例：
なお、本発明では、上記した実施の形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様にて実施することが可能である。
【００７９】
Ｄ１．変形例１：
上記実施例では、相関サーチエリアおよび相関表は、５×５の正方形なマトリックス状であり、要素数は２５としているが、本発明は、これに限られるものではない。相関サーチエリアおよび相関表は、５×５より大きな正方形もしくは長方形のマトリックス状としてもよい。例えば、３０×３０や３０×４０のマトリックス状としてもよい。このようにすれば、広い範囲を探索することができ、探索の精度を向上させることができる。また、相関サーチエリアおよび相関表は、マトリックス状とは、限らず種々の形状をしてもよい。
【００８０】
Ｄ２．変形例２：
上記実施例では、位置ずれ量推定処理部３２０は、相関表を完成させるために、相関表の一つの要素で、基準フレーム有効エリア内のすべての基準画素について相関表作成処理（図５）を行ってから（すなわち、相関値を求めてから）、次の要素に移り、同様に相関値を求めるようにしているが、本発明はこれに限られるものではない。例えば、１つの基準画素について相関サーチエリア内の全てのサーチ画素に対して相関表作成処理（図５）を行い、この処理を、順番に基準フレーム有効エリア内のすべての基準画素について行うことにより、最終的に相関表の各要素の相関値を求め、その結果，相関表を完成させるようにしてもよい。
【００８１】
Ｄ３．変形例３：
上記実施例では、画像データとして、フレーム画像データを例に用いて説明したが、本発明は、これに限られるものではない。例えば、フレーム画像データの代わりにフィールド画像データを用いて、上述した処理を行ってもよい。なお、フィールド画像データが表すフィールド画像は、インターレース方式において、ノンインターレース方式のフレーム画像に相当する画像を構成する奇数フィールドの静止画像と偶数フィールドの静止画像を意味している。
【００８２】
Ｄ４．変形例４：
上記実施例では、位置ずれ量推定処理装置として、パーソナルコンピュータ（ＰＣ）を採用しているが、本発明はこれに限られるものではない。上述の位置ずれ量推定処理装置がビデオカメラ，デジタルカメラ，プリンタ，ＤＶＤプレーヤ，ビデオテーププレーヤ，ハードディスクプレーヤ，カメラ付き携帯電話などに内蔵されてもよい。
【００８３】
Ｄ５．変形例５：
上記実施例では、位置ずれ量推定処理部３２０は、図５の相関表作成処理で、基準画素とサーチ画素の各画素値がほぼ一致したと判断すると、該当する要素（ｉ，ｊ）に「１」を加算し、それらが一致してないと判断すると、該当する要素（ｉ，ｊ）には、何も加算しないようにしているが、本発明は、これに限られるものではない。例えば、図５の相関表作成処理で、基準画素とサーチ画素の各画素値がほぼ一致したと判断した場合に、該当する要素（ｉ，ｊ）に、第１の所定の値を加算するようにし、基準画素とサーチ画素の各画素値がほぼ一致していないと判断すると、該当する要素（ｉ，ｊ）には、上記第１の所定の値より小さな第２の所定の値を加算するようにする。このようにしても、上記相関表において、相関値が最大値をとる要素（ｉ，ｊ）を位置ずれ量（ｕ，ｖ）とすることができる。
【００８４】
また、図５の相関表作成処理で、基準画素とサーチ画素の各画素値がほぼ一致したと判断した場合に、該当する要素（ｉ，ｊ）に、第３の所定の値を加算するようにし、基準画素とサーチ画素の各画素値がほぼ一致していないと判断すると、該当する要素（ｉ，ｊ）には、上記第３の所定の値より大きな第４の所定の値を加算するようにする。このようにすれば、上記相関表において、相関値が最小な要素（ｉ，ｊ）を、位置ずれ量（ｕ，ｖ）として出力することができる。
【００８５】
Ｄ６．変形例６：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施例としての位置ずれ量推定処理装置の概略構成を示す説明図である。
【図２】基準フレーム画像Ｆと対象フレーム画像Ｇとの間の位置ずれについて示す説明図である。
【図３】本実施例における相関表について説明する図である。
【図４】本実施例における位置ずれ量推定処理のフローチャートである。
【図５】本実施例における相関表作成処理のフローチャートである。
【図６】要素（ｉ，ｊ）＝（−２，−２）、基準画素（ｘ，ｙ）＝（３，３）の場合における相関表作成処理を説明するための図ある。
【図７】要素（ｉ，ｊ）＝（−２，−２）、基準画素（ｘ，ｙ）＝（４，３）の場合における相関表作成処理を説明するための図ある。
【図８】要素（ｉ，ｊ）＝（−２，−２）、基準画素（ｘ，ｙ）＝（７９８，５９８）の場合における相関表作成処理を説明するための図ある。
【図９】要素（ｉ，ｊ）＝（−１，−２）、基準画素（ｘ，ｙ）＝（３，３）の場合における相関表作成処理を説明するための図ある。
【図１０】要素（ｉ，ｊ）＝（−１，−２）、基準画素（ｘ，ｙ）＝（４，３）の場合における相関表作成処理を説明するための図ある。
【図１１】要素（ｉ，ｊ）＝（−１，−２）、（ｘ，ｙ）＝（７９８，５９８）の場合における相関表作成処理を説明するための図ある。
【図１２】要素（ｉ，ｊ）＝（２，２）、基準画素（ｘ，ｙ）＝（３，３）の場合における相関表作成処理を説明するための図ある。
【図１３】要素（ｉ，，ｊ）＝（２，２）、基準画素（ｘ，ｙ）＝（４，３）の場合における相関表作成処理を説明するための図ある。
【図１４】要素（ｉ，ｊ）＝（２，２）、基準画素（ｘ，ｙ）＝（７９８，５９８）の場合における相関表作成処理を説明するための図ある。
【符号の説明】
【００８７】
３０...デジタルビデオカメラ
１００...コンピュータ
１２０...キーボード
１３０...マウス
１４０...ＣＤ−Ｒ／ＲＷドライブ
１５０...ディスプレイ
２００...ＣＰＵ
２２０...ＲＡＭ
２３０...ＲＯＭ
２４０...入力インターフェイス部
２５０...ハードディスク
３００...画像処理部
３１０...フレーム画像データ取得部
３２０...位置ずれ量推定処理部
【図１】
2005242684.tif 000003
【図２】
2005242684.tif 000004
【図３】
2005242684.tif 000005
【図４】
2005242684.tif 000006
【図５】
2005242684.tif 000007
【図６】
2005242684.tif 000008
【図７】
2005242684.tif 000009
【図８】
2005242684.tif 000010
【図９】
2005242684.tif 000011
【図１０】
2005242684.tif 000012
【図１１】
2005242684.tif 000013
【図１２】
2005242684.tif 000014
【図１３】
2005242684.tif 000015
【図１４】
2005242684.tif 000016