(57)【特許請求の範囲】
【請求項１】
基準画像と参照画像との間の動きベクトルを検出する画像処理装置において、
前記基準画像と前記参照画像を入力する画像入力手段と、
ユーザの操作を受け付ける受付手段と、
前記受付手段が受け付けた前記ユーザの操作に従って、前記基準画像における第１の基準領域を設定する基準領域設定手段と、
前記受付手段が受け付けた前記ユーザの操作に従って、前記第１の基準領域を前景部分と背景部分に区分する境界を設定する区分手段と、
前記参照画像に複数の比較領域を設定する比較領域設定手段と、
前記第１の基準領域の前記前景部分と、複数の前記比較領域との相関度を示す第１の適切度を算出する第１の算出手段と、
前記第１の基準領域の前記境界の付近を、前記境界に対して垂直方向に微分して第２の基準領域を生成する生成手段と、
前記第２の基準領域の前記境界の付近と、複数の前記比較領域との相関度を示す第２の適切度を算出する第２の算出手段と、
前記第１および第２の適切度の加算値に基づき、前記複数の比較領域の中から、前記第１の基準領域に対応するマッチング領域を決定する決定手段と、
前記基準画像における前記第１の基準領域の位置と、前記参照画像における前記マッチング領域の位置に基づき、前記基準画像と前記参照画像との間の前記動きベクトルを演算する演算手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記受付手段は、前記ユーザの描線の操作を受け付け、
前記区分手段は、前記ユーザが描線した少なくとも１本以上の線分を、前記第１の基準領域を前記前景部分と前記背景部分に区分する前記境界に設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトルに基づき、前記参照画像の全体を移動することによって補正画像を生成する補正手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
基準画像と参照画像との間の動きベクトルを検出する画像処理装置の画像処理方法において、
前記基準画像と前記参照画像を入力する画像入力ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記基準画像における第１の基準領域を設定する基準領域設定ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、
前記参照画像に複数の比較領域を設定する比較領域設定ステップと、
前記第１の基準領域の前記前景部分と、複数の前記比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、
前記第１の基準領域の前記境界の付近を、前記境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、
前記第２の基準領域の前記境界の付近と、複数の前記比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、
前記第１および第２の適切度の加算値に基づき、前記複数の比較領域の中から、前記第１の基準領域に対応するマッチング領域を決定する決定ステップと、
前記基準画像における前記第１の基準領域の位置と、前記参照画像における前記マッチング領域の位置に基づき、前記基準画像と前記参照画像との間の前記動きベクトルを演算する演算ステップと
を含むことを特徴とする画像処理方法。
【請求項５】
基準画像と参照画像との間の動きベクトルを検出するプログラムであって、
前記基準画像と前記参照画像を入力する画像入力ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記基準画像における第１の基準領域を設定する基準領域設定ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、
前記参照画像に複数の比較領域を設定する比較領域設定ステップと、
前記第１の基準領域の前記前景部分と、複数の前記比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、
前記第１の基準領域の前記境界の付近を、前記境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、
前記第２の基準領域の前記境界の付近と、複数の前記比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、
前記第１および第２の適切度の加算値に基づき、前記複数の比較領域の中から、前記第１の基準領域に対応するマッチング領域を決定する決定ステップと、
前記基準画像における前記第１の基準領域の位置と、前記参照画像における前記マッチング領域の位置に基づき、前記基準画像と前記参照画像との間の前記動きベクトルを演算する演算ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】
基準画像と参照画像との間の動きベクトルを検出するコンピュータに、
前記基準画像と前記参照画像を入力する画像入力ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記基準画像における第１の基準領域を設定する基準領域設定ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、
前記参照画像に複数の比較領域を設定する比較領域設定ステップと、
前記第１の基準領域の前記前景部分と、複数の前記比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、
前記第１の基準領域の前記境界の付近を、前記境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、
前記第２の基準領域の前記境界の付近と、複数の前記比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、
前記第１および第２の適切度の加算値に基づき、前記複数の比較領域の中から、前記第１の基準領域に対応するマッチング領域を決定する決定ステップと、
前記基準画像における前記第１の基準領域の位置と、前記参照画像における前記マッチング領域の位置に基づき、前記基準画像と前記参照画像との間の前記動きベクトルを演算する演算ステップと
を実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、連続して撮影された複数の画像間における動きベクトルを検出する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、ビデオカメラを三脚などで固定することなく、手に持って撮影をおこなった場合、手振れに起因して撮影した動画像が上下左右に振動し、再生したときに見難い画面となってしまう問題があった。そのような問題を解決する方法として、画面が振動する動画像を、画面が振動しない動画像に変換する処理、いわゆるスタビライザ処理が知られている。
【０００３】
スタビライザ処理について、図１乃至図６を参照して説明する。図１乃至図３は、それぞれ、手振れに起因して画面に振動が生じている動画像のうちのタイミングｔ1乃至タイミングｔ3の画像Ｐ1乃至画像Ｐ3を示している。当該動画像は、移動しない机とドアの間を画面の左側から右側に移動する人物の様子が撮影されたものである。
【０００４】
スタビライザ処理では、始めに、図１に示したタイミングｔ1の画像Ｐ1（以下、基準画像Ｐ1と記述する）における所定のサイズの特徴がある領域（例えば、机のように移動しない物体のエッジを含む領域）が指定される。例えば、基準画像Ｐ1の原点（０，０）から距離（Ｘ１，Ｙ１）の位置にある破線で囲まれた領域Ｒ1が指定される。以下、指定された領域Ｒ1をリファレンス領域Ｒ1と記述する。
【０００５】
次に、領域として、図２のタイミングｔ2の画像Ｐ2（以下、参照画像Ｐ2と記述する）の中で、基準画像Ｐ1のリファレンス領域Ｒ1に対応するマッチング領域（図２の領域Ｍ1）がブロックマッチング法によって検出される。
【０００６】
ブロックマッチング法では、参照画像Ｐ2の全体を探索範囲として、リファレンス領域Ｒ1の各画素と対応する画素との「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる領域、あるいは「正規化された相互相関値（normalized cross correlation）」が最大となる領域が探索されて、リファレンス領域Ｒ1に対応するマッチング領域Ｍ1が検出される。
【０００７】
ただし、ブロックマッチング法における演算量を削減するために、参照画像Ｐ2の全体を探索範囲とせず、より狭い領域を探索範囲とすることが行われる。例えば、画像間の動きベクトルが１０画素程度であることがわかっている場合、リファレンス領域Ｒ1よりも上下左右に１０画素程度大きい領域が探索範囲とされる。
【０００８】
なお、ブロックマッチング法の詳細については、「ディジタル画像処理：（株）近代科学社発行、監訳者：長尾真」の「８．３章マッチング（整合）」に記載されている。
【０００９】
検出されたマッチング領域Ｍ1は、参照画像Ｐ2の原点（０，０）から距離（Ｘ２，Ｙ２）の位置にある。同様に、図３のタイミングｔ3の画像Ｐ3（以下、参照画像Ｐ3と記述する）の中で、リファレンス領域Ｒ1に対応するマッチング領域（図３のマッチング領域Ｍ2）がブロックマッチング法によって検出される。マッチング領域Ｍ2は、参照画像Ｐ3の原点（０，０）から距離（Ｘ３，Ｙ３）の位置にある。
【００１０】
次に、基準画像Ｐ1と参照画像Ｐ2との間の動きベクトルＶ12（Ｘ１−Ｘ２，Ｙ１−Ｙ２）と、基準画像Ｐ1と参照画像Ｐ3との間の動きベクトルＶ13（Ｘ１−Ｘ３，Ｙ１−Ｙ３）が演算される。次に、基準画像Ｐ1はそのまま補正画像Ｐ1’とされ、参照画像Ｐ2は全体が動きベクトルＶ12（Ｘ１−Ｘ２，Ｙ１−Ｙ２）だけずらされて補正画像Ｐ2’に変換され、参照画像Ｐ3は全体が動きベクトルＶ13（Ｘ１−Ｘ３，Ｙ１−Ｙ３）だけずらされて補正画像Ｐ3’に変換される。
【００１１】
以上説明したように、スタビライザ処理によれば、基準画像Ｐ1、および参照画像Ｐ2，Ｐ3が、それぞれ図４乃至は図６に示す補正画像Ｐ1’乃至補正画像Ｐ3’に変換される。図４乃至図６に示すように、変換された補正画像Ｐ1’乃至補正画像Ｐ3’では、机、椅子、およびドアなどの移動しない物体が画面上の同一の座標に位置している。なお、実際には、画像Ｐ1乃至画像Ｐ3以外の元の動画像を構成する全ての画像も同様に変換される。したがって、変換された複数の連続する画像を再生した場合、画面が振動しない動画像となる。
【００１２】
【発明が解決しようとする課題】
ところで、基準画像Ｐ1において領域Ｒ1がリファレンス領域に指定されれば、上述したブロックマッチング法によって、リファレンス領域に対応する参照画像の中のマッチング領域が検出され、適切な動きベクトルが求められる。しかしながら、基準画像Ｐ1において不適切な領域がリファレンス領域に指定された場合、参照画像の中から、基準画像Ｐ1のリファレンス領域に対応するマッチング領域が検出されないことがある。そのような場合、基準画像Ｐ1と参照画像との動きベクトルを求めることができないので、画面が振動する動画像を補正することができない。
【００１３】
例えば、基準画像Ｐ1において領域Ｒ2がリファレンス領域に指定された場合、リファレンス領域Ｒ2は、移動しない机のエッジなどの特徴的な部分（前景またはフォアグランドとも記述する）と、その他の背景（バックグランドとも記述する）から構成されているが、基準画像Ｐ1のリファレンス領域Ｒ2に対応する領域として検出されるべき参照画像Ｐ2のマッチング領域には、移動中の人物が含まれているので、当該領域をリファレンス領域Ｒ2に対応するマッチング領域として検出することができない課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、基準画像におけるリファレンス領域の前景を線分によって区分けすることにより、基準画像のリファレンス領域に対応する参照画像のマッチング領域を確実に検出できるようにすることを目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、基準画像と参照画像を入力する画像入力手段と、ユーザの操作を受け付ける受付手段と、受付手段が受け付けたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定手段と、受付手段が受け付けたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分手段と、参照画像に複数の比較領域を設定する比較領域設定手段と、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出手段と、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成手段と、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出手段と、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定手段と、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算手段とを含むことを特徴とする。
【００１６】
前記受付手段は、ユーザの描線の操作を受け付けるようにすることができ、前記区分手段は、ユーザが描線した少なくとも１本以上の線分を、第１の基準領域を前景部分と背景部分に区分する境界に設定するようにすることができる。
【００１７】
本発明の画像処理装置は、動きベクトルに基づき、参照画像の全体を移動することによって補正画像を生成する補正手段をさらに含むことを特徴とする。
【００１８】
本発明の画像処理方法は、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとを含むことを特徴とする。
【００１９】
本発明の記録媒体のプログラムは、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとを含むことを特徴とする。
【００２０】
本発明のプログラムは、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとをコンピュータに実行させることを特徴とする。
【００２１】
本発明の画像処理装置および方法、並びにプログラムにおいては、基準画像と参照画像が入力され、ユーザの操作が受け付けられ、受け付けられたユーザの操作に従って基準画像における第１の基準領域が設定され、受け付けられたユーザの操作に従って第１の基準領域を前景部分と背景部分に区分する境界が設定される。また、参照画像に複数の比較領域が設定され、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度が算出される。さらに、第１の基準領域の境界の付近を境界に対して垂直方向に微分して第２の基準領域が生成され、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度が算出される。さらに、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域が決定され、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルが演算される。
【００２２】
【発明の実施の形態】
本発明の一実施の形態である画像処理装置の構成例について、図７を参照して説明する。この画像処理装置２は、撮影装置１から供給される動画像（連続して撮影された静止画像）を、画面が振動しない動画像に変換して表示装置３に出力するものである。なお、画像処理装置２には、図１乃至図３に示した基準画像Ｐ1、および参照画像Ｐ2，Ｐ3を含む動画像が撮影装置１から供給されるものとする。
【００２３】
画像処理装置２において、制御部１１は、操作入力部１３から入力されるユーザからの操作の情報に対応し、バス１２を介して画像処理装置２の各部を制御する。操作入力部１３は、ユーザの操作、例えば、基準画像Ｐ1における所定のサイズの特徴的なリファレンス領域Ｒを指定する操作と、リファレンス領域Ｒの中の前景（例えば、図１における不動の机）を指定するための複数の線分（例えば、２本の線分Ｌ1，Ｌ2）を指定する操作などを受け付け、その操作の情報を、バス１２を介して制御部１１に出力する。入力部１４は、撮影装置１から入力される動画像を、バス１２を介して画像メモリ１５に出力する。画像メモリ１５は、入力部１４からバス１２を介して供給される動画像（連続して撮影された静止画像）を記憶する。
【００２４】
動きベクトル検出部１６は、画像メモリ１５が記憶する動画像を構成する静止画像を順次読み出し、例えば、先頭の画像を基準画像Ｐ1とし、ユーザの操作に従ってリファレンス領域Ｒを設定し、さらに、リファレンス領域Ｒの中の前景を設定する。さらに、動きベクトル検出部１６は、以降に読み出す画像を参照画像Ｐn（ｎ＝２，３，４，・・・）とし、基準画像Ｐ1のリファレンス領域Ｒに対応する参照画像Ｐnのマッチング領域を検出して、基準画像Ｐ1と参照画像Ｐnとの動きベクトルＶ1n（Ｘ１−Ｘｎ，Ｙ１−Ｙｎ）を算出し、算出した動きベクトルＶ1nを、バス１２を介して画像補正部１７に出力する。
【００２５】
画像補正部１７は、画像メモリ１５から基準画像Ｐ1を読み出し、そのまま補正画像Ｐ1’として、バス１２を介して出力部１８に供給する。また、画像補正部１７は、画像メモリ１５から参照画像Ｐnを読み出し、読み出した参照画像Ｐnを動きベクトルＶ1nだけずらして補正画像Ｐn’に変換し、バス１２を介して出力部１８に供給する。出力部１８は、基準画像Ｐ1においてリファレンス領域Ｒを指定する操作や、リファレンス領域Ｒの中の前景を指定する操作のために、基準画像Ｐ1や操作中の画面を表示装置３に出力する。また、出力部１８は、画像補正部１７からバス１２を介して供給される補正画像Ｐ1’，Ｐn’（ｎ＝２，３，４，・・・）をバッファリングし、所定のレートで後段の表示装置３に出力する。
【００２６】
次に、画像処理装置２による補正処理について、図７のフローチャートを参照して説明する。なお、画像処理装置２の画像メモリ１５には、入力部１およびバス１２を介して撮影装置１から入力された動画像（連続して撮影された複数の静止画像）が記憶されているものとする。
【００２７】
ステップＳ１において、動きベクトル検出部１６は、画像メモリ１５が記憶する動画像（連続する複数の画像）のうち、先頭の画像を読み出して基準画像Ｐ1とし、操作入力部１３に対するユーザの操作に従ってリファレンス領域Ｒを設定する。ステップＳ２において、動きベクトル検出部１６は、ユーザが描画する線分によって指定された部分をリファレンス領域Ｒにおける不動の前景部分（参照画像の対応する部分においても変化しない部分）に設定する。
【００２８】
ステップＳ１，Ｓ２におけるユーザの操作について、図９および図１０を参照して具体的に説明する。図９は、表示装置３に表示される基準画像Ｐ1の表示例を示している。ユーザは、図９に示すように、基準画像Ｐ1に重畳して破線で表示される矩形を移動させ、リファレンス領域Ｒを指定する。さらに、例えば、図１０に示すように、線分Ｌ1，Ｌ2を描線することにより、線分Ｌ1，Ｌ2とリファレンス領域Ｒを示す破線とで囲まれた部分を、リファレンス領域Ｒにおける不動の前景部分（参照画像の対応する部分においても変化しない部分）として指定する。なお、前景部分を指定する線分は、２本に限定されるものではなく、１本であってもよいし、３本以上であってもよい。
【００２９】
図８に戻り、ステップＳ３において、動きベクトル検出部１６は、基準画像Ｐ1に続く参照画像Ｐ2を画像メモリ１５から読み出し、参照画像Ｐ2を探索範囲としてリファレンス領域と同じサイズの比較領域Ｃi（ｉ＝１，２，・・・，ｍ）を数画素ごとに移動して設定し、リファレンス領域Ｒのうちの前景部分の各画素と、比較領域Ｃiの対応する各画素との適切度Ｔ１iを算出する。なお、適切度Ｔ１iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３０】
ステップＳ４において、動きベクトル検出部１６は、リファレンス領域Ｒのうちの線分Ｌ1の付近を、線分Ｌ1に対して垂直な方向に微分する。以下、線分Ｌ1の付近が線分Ｌ1に対して垂直な方向に微分されているリファレンス領域Ｒを、第１の差分リファレンス領域ＲL1と記述する。また、動きベクトル検出部１６は、参照画像Ｐ2の比較領域Ｃiを、線分Ｌ1に対して垂直な方向に微分する。以下、線分Ｌ1に対して垂直な方向に微分されている比較領域Ｃiを、第１の差分比較領域ＣiL1と記述する。
【００３１】
さらに、動きベクトル検出部１６は、第１の差分リファレンス領域ＲL1の各画素と、第１の差分比較領域ＣiL1の対応する各画素との適切度Ｔ２iを算出する。なお、適切度Ｔ２iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３２】
ステップＳ５において、動きベクトル検出部１６は、リファレンス領域Ｒのうちの線分Ｌ2の付近を、線分Ｌ2に対して垂直な方向に微分する。以下、線分Ｌ2付近が線分Ｌ2に対して垂直な方向に微分されているリファレンス領域Ｒを、第２の差分リファレンス領域ＲL2と記述する。また、動きベクトル検出部１６は、参照画像Ｐ2の比較領域Ｃiを、線分Ｌ2に対して垂直な方向に微分する。以下、線分Ｌ2に対して垂直な方向に微分されている比較領域Ｃiを、第２の差分比較領域ＣiL2と記述する。
【００３３】
さらに、動きベクトル検出部１６は、第２の差分リファレンス領域ＲL2の各画素と、第２の差分比較領域ＣiL2の対応する各画素との適切度Ｔ３iを算出する。なお、適切度Ｔ３iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３４】
ステップＳ６において、動きベクトル検出部１６は、比較領域Ｃiに対して算出した適切値Ｔ１i，Ｔ２i，Ｔ３iを加算して適切値Ｔｓiを算出する。ステップＳ７において、動きベクトル検出部１６は、適切値Ｔｓiの最大値を検出し、適切値Ｔｓiの最大値に対応する比較領域Ｃiを、リファレンス領域Ｒに対応する参照画像Ｐ2のマッチング領域に決定する。
【００３５】
ステップＳ８において、動きベクトル検出部１６は、基準画像Ｐ1と参照画像Ｐ2との動きベクトルＶ12を算出し、算出した動きベクトルＶ1nを、バス１２を介して画像補正部１７に出力する。ステップＳ９において、画像補正部１７は、画像メモリ１５から参照画像Ｐ2を読み出し、読み出した参照画像Ｐ2を動きベクトルＶ12だけずらして補正画像Ｐ2’に変換し、バス１２を介して出力部１８に供給する。
【００３６】
なお、参照画像Ｐ2に続く参照画像Ｐnに対しては、ステップＳ３乃至ステップＳ９の処理が施されて補正画像Ｐn’に変換される。
【００３７】
以上説明したように、本発明の一実施の形態である画像処理装置２によれば、リファレンス領域Ｒに対応するマッチング領域を検出するとき、前景部分と前景部分と背景部分の境界にだけ着目して、背景部分については考慮しないので、背景が時間の経過とともに変化したとしても正確にマッチング領域を検出することができる。したがって、正確な動きベクトルを求めることができるので、画面が振動する動画像を、画面が振動しない動画像に変換することができる。
【００３８】
ところで、上述した一連の処理は、画像処理装置２のようなハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００３９】
この記録媒体は、図１１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フロッピディスクを含む）、光ディスク３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や記憶部２８に含まれるハードディスクなどで構成される。
【００４０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００４１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００４２】
【発明の効果】
以上のように、本発明の画像処理装置および方法、並びにプログラムによれば、受け付けたユーザの操作に従って第１の基準領域を前景部分と背景部分に区分する境界を設定し、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出し、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出し、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定するようにしたので、第１の基準領域に対応する参照画像のマッチング領域を確実に検出することが可能となる。
【図面の簡単な説明】
【図１】従来のスタビライザ処理を説明するための図である。
【図２】従来のスタビライザ処理を説明するための図である。
【図３】従来のスタビライザ処理を説明するための図である。
【図４】従来のスタビライザ処理を説明するための図である。
【図５】従来のスタビライザ処理を説明するための図である。
【図６】従来のスタビライザ処理を説明するための図である。
【図７】本発明の一実施の形態である画像処理装置２の構成例を示すブロック図である。
【図８】画像処理装置２による補正処理を説明するフローチャートである。
【図９】リファレンス領域を設定するユーザの操作を説明するための図である。
【図１０】リファレンス領域のうちの前景部分を指定するユーザの操作を説明するための図である。
【図１１】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
２  画像処理装置，  １１  制御部，  １２  バス，  １３  操作入力部，  １４  入力部，  １５  画像メモリ，  １６  動きベクトル検出部，  １７  画像補正部，  １８  出力部，  ２１  CPU，  ３１  磁気ディスク，  ３２  光ディスク，  ３３  光磁気ディスク，  ３４  半導体メモリ
【図１】
0004432274.tif 000002
【図２】
0004432274.tif 000003
【図３】
0004432274.tif 000004
【図４】
0004432274.tif 000005
【図５】
0004432274.tif 000006
【図６】
0004432274.tif 000007
【図７】
0004432274.tif 000008
【図８】
0004432274.tif 000009
【図９】
0004432274.tif 000010
【図１０】
0004432274.tif 000011
【図１１】
0004432274.tif 000012