(57)【要約】【課題】動きベクトルを一意に求めることのできる映像のパターンが画面上になくても、画面全体の動きベクトルの推定を行えるようにする。【解決手段】線分判定部４７は、動画像の画面内における局所領域のうちから、この局所領域の動きベクトルを一意には検出できないが、この動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別する。画面全体の移動量算出部４６は、この動きベクトルの該画面における第一の方向の成分については一意に検出できると線分判定部４７が判別した第一の局所領域に基づき検出される該第一の方向の成分、及び、この動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると線分判定部４７が判別した第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、画面全体の動きベクトルを推定する。【選択図】図１０
2010003094.tif 000002
【特許請求の範囲】
【請求項１】
動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別する局所領域判別手段と、
前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別手段が判別した第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別手段が判別した第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する動きベクトル推定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記局所領域判別手段は、
前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における水平方向成分については一意に検出できるものを前記第一の局所領域として判別する第一局所領域判別手段と、
前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における垂直方向成分については一意に検出できるものを前記第二の局所領域として判別する第二局所領域判別手段と、
を有し、
前記動きベクトル推定手段は、前記第一の局所領域に基づき検出される前記水平方向成分を水平方向の成分とし、前記第二の局所領域に基づき検出される前記垂直方向成分を垂直方向の成分としたベクトルを、前記画面全体の動きベクトルの推定結果とする、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記局所領域判別手段は、
前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における第一の方向の成分については一意に検出できるものを前記第一の局所領域として判別する第一局所領域判別手段と、
前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できるものを前記第二の局所領域として判別する第二局所領域判別手段と、
を有し、
前記第一の局所領域に基づき検出できる前記成分と同一の成分を前記第一の方向について有しているベクトルを、該第一の局所領域についての動きベクトルの候補として前記画面上に複数定義する第一動きベクトル候補定義手段と、
前記第二の局所領域に基づき検出できる前記成分と同一の成分を前記第二の方向について有しているベクトルを、前記第二の局所領域についての動きベクトルの候補として前記画面上に複数定義する第二動きベクトル候補定義手段と、
を更に有し、
前記動きベクトル推定手段は、前記第一動きベクトル候補定義手段が定義した動きベクトルの候補と、前記第二動きベクトル候補定義手段が定義した動きベクトルの候補との間で共通のものを、該画面全体の動きベクトルの推定結果とする、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像処理装置により行われる画像処理方法であって、
前記画像処理装置の有する局所領域判別手段が、動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別し、
前記画像処理装置の有する動きベクトル推定手段が、前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別手段が判別した第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別手段が判別した第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する、
ことを特徴とする画像処理方法。
【請求項５】
動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別する局所領域判別処理と、
前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別処理により判別された第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別処理により判別された第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する動きベクトル推定処理と、
をコンピュータに行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、動画像の撮影時における振れの補正等に好適である、画像の動きベクトルの検出技術に関する。
【背景技術】
【０００２】
ビデオカメラを手で持って動画像の撮影を行う、又は移動を行う航空機等に搭載されたビデオカメラから動画像の撮影を行う場合、カメラが固定されないため画像の振れが発生する。このような画像の振れを補償する方式として、電子式画像補正方式が知られている。この方式は、図１に示すように、動画像におけるある映像フレームｆと、それに続く次の映像フレームｆ＋１の間の画面全体の移動量を求め、この移動量を打ち消すように画面の表示位置を補正することで、表示される画面全体の変化を抑えるというものである。
【０００３】
また、このときの画面全体の移動量を求める手法として、画像の局所的な動きベクトルを使用する手法が知られている。画像の局所的な動きベクトルとは、画像内の局所領域がフレーム間でどの方向にどの程度動いたかを、その方向と移動量とにより表したものである。図１において、映像フレームｆにおける特定の位置にあった局所領域Ｐｆ が、次の映像フレームｆ＋１でＰｆ+1 の位置に動いたとすると、Ｐｆ からＰｆ+1 へと向かうベクトルが動きベクトルである。
【０００４】
動画像における画面全体の動きベクトルを求める方式として、ブロックマッチング方式が知られている。図２を用いてブロックマッチング方式を説明する。
ブロックマッチング方式は、まず、動画像において、ある映像フレームｆの画面から局所領域を参照ブロックＲとして抽出する。次に、映像フレームｆに続く次の映像フレームｆ＋１の画面における所定の探索範囲から探索ブロックＳを抽出し、参照ブロックＲと探索ブロックＳとの間で画像の相関度を計算する。ここで、探索ブロックＳを探索範囲内で２次元的にスキャンしながら上記の相関度の変化を調べて、この相関度が最高となるときの探索ブロックＳの位置を求める。そして、映像フレームｆ＋１でのこの位置を、参照ブロックＲの映像フレームｆ上の位置からの移動先の位置と推定し、このときの参照ブロックＲの移動ベクトル、すなわち、参照ブロックＲの動きベクトルを求める。なお、参照ブロックＲと探索ブロックＳとの間での画像の相関度は、下記の式の値Ｄ（ｕ，ｖ）を求める、すなわち、ブロック内の画素毎の輝度の差の２乗の総和（ＳＳＤ：Sum of Squared Difference）を求めることで算出することができる。
【０００５】
【数１】
2010003094.tif 000003
なお、上記の式において、Ｒ（ｘ，ｙ）は参照ブロックＲの画像を構成する画素（ｘ，ｙ）の輝度であり、Ｓ（ｘ，ｙ）は探索ブロックＳの画像を構成する画素（ｘ，ｙ）の輝度である。ここで、参照ブロックＲと探索ブロックＳとの相関が最高のときにＤ（ｕ，ｖ）の値が最小となり、このＤ（ｕ，ｖ）の値を最小とする（ｕ，ｖ）が、参照ブロックＲの動きベクトルとなる。本明細書では、上記の式を計算して動きベクトルを求めることを、「ブロックマッチング計算」と称することとする。
【０００６】
ところで、動画像の画面上に固定計測点（局所領域）を複数定義し、各計測点での動きベクトルをフレーム毎に取得すると、図３に例示するような動きベクトル群が得られる。
従来は、この動きベクトル群を形成している各動きベクトルについてのヒストグラム（度数分布）をとり、その度数が最大である動きベクトルを、その動画像における画面全体の動きベクトルであると推定していた。すなわち、例えば、図４に示した動きベクトル（ｕ，ｖ）のヒストグラム例では、動きベクトル（ｕ，ｖ）＝（２，−２）である局所領域の度数が最大値５をとる。従って、この例では、（ｕ，ｖ）＝（２，−２）が画面全体の動きベクトルと推定される。この場合には、映像フレームｆの画面の表示位置を、この画面全体の動きベクトルで移動させる補正を行うと、画像の振れが補償される。
【０００７】
なお、このような画像の動きベクトルの検出技術に関し、例えば、少ない演算量で画像の動きベクトルを検出する技術や、画像の動きベクトルの検出精度及び信頼性を高める技術が知られている。また、例えば、より少ない箇所での局所的動きベクトルの検出結果から、安定した画像全体の動きベクトルを算出する技術が知られている。
【特許文献１】特開２００６−２６８４１３号公報
【特許文献２】特開平５−２３３８１５号公報
【特許文献３】特開２０００−９９７４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
局所領域の動きベクトルは、その局所領域に表されている映像のパターンにより、一意には求まらない場合がある。
例えば、図５に示されている局所領域Ｂ１には、２つの線分がコーナー（角）を形成しているパターンが表されており、このようなパターンであれば、動きベクトルを一意に求めることができる。従って、このようなパターンの局所領域を画面内から十分な数設定することができれば、画像全体の動きベクトルを安定に求めることが可能である。
【０００９】
ところが、図５に示した局所領域Ｂ２に表されているような横線のみのパターンや、局所領域Ｂ３のような縦線のみのパターンでは、線分の方向と同一方向に類似パターンが存在するため、局所領域の動きベクトルが一意に求まらない。すなわち、局所領域Ｂ２のような横線パターンでは、垂直方向（縦方向）の動きは一意に求まるが水平方向（横方向）の動きが一意に求まらない。また、局所領域Ｂ３のような縦線パターンでは、水平方向（横方向）の動きは一意に求まるが垂直方向（縦方向）の動きが一意に求まらない。このため、画面内に設定した局所領域に表されているパターンが、このような線分パターンばかりになった場合に、前述したようにしてヒストグラムを用いて画面全体の動きベクトルを推定すると、精度の良い推定結果が得られない。
【００１０】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、動きベクトルを一意に求めることのできる映像のパターンが画面上になくても、画面全体の動きベクトルの推定を行えるようにすることである。
【課題を解決するための手段】
【００１１】
本明細書に開示の画像処理装置のひとつは、動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別する局所領域判別手段と、前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別手段が判別した第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別手段が判別した第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する動きベクトル推定手段と、を有するというものである。
【００１２】
また、本明細書に開示の画像処理方法のひとつは、画像処理装置により行われる画像処理方法であって、前記画像処理装置の有する局所領域判別手段が、動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別し、前記画像処理装置の有する動きベクトル推定手段が、前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別手段が判別した第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別手段が判別した第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する、というものである。
【００１３】
また、本明細書に開示のプログラムのひとつは、動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別する局所領域判別処理と、前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別処理により判別された第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別処理により判別された第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する動きベクトル推定処理と、をコンピュータに行わせるためのものである。
【００１４】
動きベクトルを一意には検出できない局所領域であっても、動きベクトルの特定の一方向の成分については一意に検出できるものがある。従って、複数のこのような局所領域から検出できる動きベクトルの成分が、互いに異なる方向についてのものであれば、これらから検出される成分を組み合わせることで、画面全体の動きベクトルを一意に求めることができるのである。
【発明の効果】
【００１５】
本明細書で開示の装置、方法、及びプログラムは、動きベクトルを一意に求めることのできる映像のパターンが画面上になくても、画面全体の動きベクトルの推定を行うことができるという効果を奏する。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面に基づいて説明する。
図６は、本発明を実施する画像処理装置の第一の例の構成を示している。
図６において、ビデオ入力部１０は、装置外部から送られてくる動画像のビデオ（映像）信号を受信し、そのビデオ信号を表している画像データを画像メモリ２０に転送する。
【００１７】
画像メモリ２０は、ビデオ入力部１０から転送されてきた画像データを、映像フレーム毎に記憶する。
局所領域ブロックマッチング部３０は、画像メモリ２０から、連続した２フレーム分の画像データを読出する。そして、その画像データで表されている画面に対して十分な数の局所領域を設定して、前述したブロックマッチング計算を行い、各局所領域についての動きベクトル（動きベクトル群）を求める。
【００１８】
移動量判定部４０は、画像メモリ２０から読出された画像データで表されている映像についての画面全体の移動量（動きベクトル）を、局所領域ブロックマッチング部３０が求めた動きベクトル群に基づいて算出する。この移動量判定部４０は、後で詳細に説明する。
【００１９】
ビデオ出力部５０は、局所領域ブロックマッチング部３０が読出した画像データ（連続した２フレーム分の画像データのうちの先の方）に対し、移動量判定部４０が算出した画面全体の移動量に基づいた表示位置の補正を行って、画像の振れを補償する。すなわち、画像データで表されている画面の表示位置を、この画像全体の動きベクトルで移動させる補正を行う。そして、この補正後の画像データを表しているビデオ信号を出力する。
【００２０】
図６に示した画像処理装置は以上の構成を有している。
次に、移動量判定部４０の詳細について説明する。
一意性判定部４１は、判定対象の局所領域が、動きベクトルを一意に求めることができるものであるか否かを判定する。
【００２１】
縦方向線分判定部４２は、判定対象の局所領域で表されている映像が縦線のみのパターンであるために、動きベクトルを一意に求めることはできないものの、水平方向（横方向）の動きは一意に求めることができるものであるか否かを判定する。
【００２２】
横方向線分判定部４３は、判定対象の局所領域で表されている映像が横線のみのパターンであるために、動きベクトルを一意に求めることはできないものの、垂直方向（縦方向）の動きは一意に求めることができるものであるか否かを判定する。
【００２３】
以上の一意性判定部４１、縦方向線分判定部４２、及び横方向線分判定部４３は、局所領域ブロックマッチング部３０で算出したＤ（ｕ，ｖ）の値のうち、下記の３点での値を、判定値として利用する。
【００２４】
（１）  （ｕ，ｖ）＝（０，０）
（２）  （ｕ，ｖ）＝（ｕ1 ，ｖ1 ）：Ｄ（ｕ，ｖ）が最小値となる位置
（３）  （ｕ，ｖ）＝（ｕ2 ，ｖ2 ）：（ｕ1 ，ｖ1 ）の周辺領域を除外した領域で
Ｄ（ｕ，ｖ）が最小値となる位置
一意性判定部４１は、判定対象の局所領域に対し、下記の２つの条件についての判定を行う。
【００２５】
・Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ1 以下であること・・・・・・・・・・・・［１−１］
・Ｄ（ｕ2 ，ｖ2 ）−Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ21以上であること・・・［１−２］
ここで、この２つの条件の両方を満たした場合には、この局所領域は、動きベクトルを一意に検出できるものであるとの判定を下し、このときの（ｕ1 ，ｖ1 ）を、この局所領域に基づき一意に検出された動きベクトルとして扱う。なお、ここで、上記［１−１］の条件の判定により、連続した前後２フレームにおける前の画面に設定した局所領域と同一と見なせる局所領域が、後の画面に含まれているとの判定が下される。また、上記［１−２］の条件の判定により、この局所領域において（ｕ1 ，ｖ1 ）と似ている動きベクトルの推定結果はないので、（ｕ1 ，ｖ1 ）を、この局所領域について一意に求められた動きベクトルとすることは妥当であるとの判定が下される。
【００２６】
ヒストグラム生成部４４−１は、同一画面内の複数の局所領域の各々について一意性判定部４１により一意に検出された動きベクトルについてのヒストグラムを生成する。
最大値検出部４５−１は、ヒストグラム生成部４４−１が生成したヒストグラムにおいて、その度数が最大である動きベクトル（ｕc ，ｖc ）を抽出すると共に、その最大度数値Ｈc を求める。
【００２７】
縦方向線分判定部４２は、判定対象の局所領域に対し、下記の４つの条件についての判定を行う。
・Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ1 以下・・・・・・・・・・・・・・・・・［２−１］
・Ｄ（ｕ2 ，ｖ2 ）−Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ21以下  ・・・・・・・［２−２］
・Ｄ（０，０）−Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ01以上・・・・・・・・・・［２−３］
・｜ｕ1 −ｕ2 ｜が閾値Ｔu 以下・・・・・・・・・・・・・・・・・・［２−４］
ここで、この４条件を全て満たした場合には、この局所領域では、動きベクトルの画面における垂直方向（縦方向）の成分が一意に検出できないため動きベクトルを一意には検出できないが、その水平方向（横方向）の成分は一意に検出可能との判定を下す。そして、このときのｕ1 を、この局所領域に基づき一意に検出された水平方向移動成分として扱う。なお、ここで、上記［２−１］の条件の判定により、連続した前後２フレームにおける前の画面に設定した局所領域と同一と見なせる局所領域が、後の画面に含まれているとの判定が下される。また、上記［２−２］の条件の判定により、この局所領域について（ｕ1 ，ｖ1 ）に続いて推定される動きベクトル（ｕ2 ，ｖ2 ）が（ｕ1 ，ｖ1 ）とかなり似ているため、この局所領域についての動きベクトルを一意に求めることができないとの判定が下される。また、上記［２−３］の条件の判定により、この局所領域でも、連続した２フレームの画面間において、ある程度以上の動きのあることは認められるとの判定が下される。更に、上記［２−４］の条件の判定により、（ｕ1 ，ｖ1 ）と（ｕ2 ，ｖ2 ）とがほぼ垂直方向に並んでいる（両者の水平方向成分の値がほぼ等しい）ため、この局所領域については、水平方向の動きは一意に求まるとの判定が下される。つまり、これらの条件を満たす局所領域は、図７に示すような、縦方向のみの線分の映像パターンが表されているとの判定が下される。
【００２８】
ヒストグラム生成部４４−２は、同一画面内の複数の局所領域の各々について縦方向線分判定部４２により一意に検出された水平方向移動成分についてのヒストグラムを生成する。図８は、以上のようにして生成された水平方向移動成分についてのヒストグラムの例である。
【００２９】
最大値検出部４５−２は、ヒストグラム生成部４４−２が生成したヒストグラムにおいて、その度数が最大である水平方向移動成分ｕe を抽出すると共に、その最大度数値Ｈu を求める。図８に例示したヒストグラムの例では、度数が最大である水平方向移動成分ｕe として「１」が抽出され、その最大度数値Ｈu は「６」と求められる。
【００３０】
横方向線分判定部４３は、判定対象の局所領域に対し、下記の４つの条件についての判定を行う。
・Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ1 以下・・・・・・・・・・・・・・・・・［３−１］
・Ｄ（ｕ2 ，ｖ2 ）−Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ21以下  ・・・・・・・［３−２］
・Ｄ（０，０）−Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ01以上・・・・・・・・・・［３−３］
・｜ｖ1 −ｖ2 ｜が閾値Ｔv 以下・・・・・・・・・・・・・・・・・・［３−４］
ここで、この４条件を全て満たした場合には、この局所領域では、動きベクトルの画面における水平方向（横方向）の動きは一意に検出できないため動きベクトルを一意には検出できないが、その垂直方向（縦方向）の成分は一意に検出可能との判定を下す。そして、このときのｖ1 を、この局所領域に基づき一意に検出された垂直方向移動成分として扱う。なお、ここで、上記［３−１］の条件の判定により、連続した前後２フレームにおける前の画面に設定した局所領域と同一と見なせる局所領域が、後の画面に含まれているとの判定が下される。また、上記［３−２］の条件の判定により、この局所領域について（ｕ1 ，ｖ1 ）に続いて推定される動きベクトル（ｕ2 ，ｖ2 ）が（ｕ1 ，ｖ1 ）とかなり似ているため、この局所領域についての動きベクトルを一意に求めることができないとの判定が下される。また、上記［３−３］の条件の判定により、この局所領域でも、連続した２フレームの画面間において、ある程度以上の動きのあることは認められるとの判定が下される。更に、上記［３−４］の条件の判定により、（ｕ1 ，ｖ1 ）と（ｕ2 ，ｖ2 ）
とがほぼ水平方向に並んでいる（両者の垂直方向成分の値がほぼ等しい）ため、この局所領域については、垂直方向の動きは一意に求まるとの判定が下される。つまり、これらの条件を満たす局所領域は、横方向のみの線分の映像パターンが表されているとの判定が下される。
【００３１】
ヒストグラム生成部４４−３は、同一画面内の複数の局所領域の各々について横方向線分判定部４３により一意に検出された垂直方向移動成分についてのヒストグラムを生成する。
【００３２】
最大値検出部４５−３は、ヒストグラム生成部４４−３が生成したヒストグラムにおいて、その度数が最大である垂直方向移動成分ｖe を抽出すると共に、その最大度数値Ｈv を求める。
【００３３】
画面全体の移動量算出部４６は、最大値検出部４５−１、４５−２、及び４５−３により得られた値に基づき、画像メモリ２０から読出された画像データで表されている映像についての画面全体の移動量を算出して、画面全体の動きベクトルの推定結果とする。
【００３４】
ここで、図９について説明する。図９は、画面全体の移動量の算出処理の処理手順の第一の例をフローチャートで示したものである。この第一の例は、図６に示した画像処理装置における画面全体の移動量算出部４６が行うものである。画面全体の移動量算出部４６は、この処理を行うことにより、画面全体の移動量である動きベクトル（ｕa ，ｖa ）を、ビデオ出力部５０による補正動作における補正量情報として出力する。
【００３５】
図９において、まず、Ｓ１０１では、画面全体の動きベクトル（ｕa ，ｖa ）を（０，０）に初期設定する処理が行われる。
次に、Ｓ１０２では、最大値検出部４５−１が動きベクトル（ｕc ，ｖc ）を抽出したときの最大度数値Ｈc が、所定の閾値以上であるか否かを判定する処理が行われる。ここで、最大度数値Ｈc がこの閾値以上であると判定したとき（判定結果がＹｅｓのとき）にはＳ１０３に処理を進め、最大度数値Ｈc がこの閾値未満であると判定したとき（判定結果がＮｏのとき）にはＳ１０４に処理を進める。
【００３６】
Ｓ１０３では、最大値検出部４５−１が抽出した動きベクトル（ｕc ，ｖc ）を画面全体の動きベクトル（ｕa ，ｖa ）に設定する処理が行われ、その後はＳ１０８に処理を進める。
【００３７】
Ｓ１０４では、最大値検出部４５−２が水平方向移動成分ｕe を抽出したときの最大度数値Ｈu が、所定の閾値以上であるか否かを判定する処理が行われる。ここで、最大度数値Ｈu がこの閾値以上であると判定したとき（判定結果がＹｅｓのとき）にはＳ１０５に処理を進め、最大度数値Ｈu がこの閾値未満であると判定したとき（判定結果がＮｏのとき）にはＳ１０６に処理を進める。
【００３８】
Ｓ１０５では、最大値検出部４５−２が抽出した水平方向移動成分ｕe を、画面全体の動きベクトルにおける水平方向成分ｕa に設定する処理が行われる。
Ｓ１０６では、最大値検出部４５−３が垂直方向移動成分ｖe を抽出したときの最大度数値Ｈv が、所定の閾値以上であるか否かを判定する処理が行われる。ここで、最大度数値Ｈv がこの閾値以上であると判定したとき（判定結果がＹｅｓのとき）にはＳ１０７に処理を進め、最大度数値Ｈvがこの閾値未満であると判定したとき（判定結果がＮｏのとき）にはＳ１０８に処理を進める。
【００３９】
Ｓ１０７では、最大値検出部４５−３が抽出した垂直方向移動成分ｖe を、画面全体の
動きベクトルにおける垂直方向成分ｖa に設定する処理が行われる。
Ｓ１０８では、現在の画面全体の動きベクトルの推定結果である（ｕa ，ｖa ）の値を、補正量情報として、ビデオ出力部５０に出力する処理が行われ、その後はこの図９に示した処理が終了する。
【００４０】
以上までの処理が画面全体の移動量の算出処理であり、この処理により、画像メモリ２０から読出された画像データで表されている映像についての画面全体の移動量が求まる。例えば、Ｓ１０２の判定結果がＹｅｓの場合には、画面全体の動きベクトル（ｕa ，ｖa ）＝（ｕc ，ｖc ）と推定される。すなわち、この場合には、動きベクトルを一意に検出できる局所領域に基づき検出された動きベクトルが、画面全体の動きベクトルの推定結果となる。一方、例えば、Ｓ１０２の判定結果がＮｏであり、Ｓ１０４及びＳ１０６の判定結果がＹｅｓの場合には、画面全体の動きベクトル（ｕa ，ｖa ）＝（ｕe ，ｖe ）と推定される。すなわち、この場合には、画面全体の動きベクトルの推定結果の水平方向の成分は、動きベクトルの水平方向成分（第一の方向の成分）を一意に検出できる局所領域に基づき検出された該水平方向成分となる。また、この場合には、画面全体の動きベクトルの推定結果の垂直方向の成分は、動きベクトルの垂直方向成分（第一の方向とは異なる第二の方向の成分）を一意に検出できる局所領域に基づき検出された該垂直方向成分となる。
【００４１】
図６の画像処理装置が以上のように動作することで、動きベクトルが一意に求まる局所領域が少なくても、縦方向線分若しくは横方向線分が映像パターンとして表されている局所領域が十分に存在する場合には、画面全体の移動量を精度良く求めることができる。
【００４２】
次に図１０について説明する。図１０は、本発明を実施する画像処理装置の第二の例の構成を示す図である。
図１０において、図６に示した第一の例の構成と同一の構成要素には同一の符号を付しており、その詳細な説明は省略する。
【００４３】
図１０に示した第二の例の構成は、図６に示した第一の例の構成から、縦方向線分判定部４２、横方向線分判定部４３、ヒストグラム生成部４４−２及び４４−３、並びに最大値検出部４５−２及び４５−３が削除されている。その一方で、第一の例の構成に対し、線分判定部４７、ヒストグラム生成部４４−４、及び最大値検出部４５−４が移動量判定部４０に追加されている。また、このような構成の違いに伴い、画面全体の移動量算出部４６の動作が異なっている。
【００４４】
線分判定部４７は、判定対象の局所領域が、動きベクトルを一意に求めることはできないものの、ある特定の方向の動きは一意に求めることができるものであるか否かを判定する。線分判定部４７は、このために、判定対象の局所領域に対し、下記の３つの条件についての判定を行う。
【００４５】
・Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ1 以下・・・・・・・・・・・・・・・・・［４−１］
・Ｄ（ｕ2 ，ｖ2 ）−Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ21以下  ・・・・・・・［４−２］
・Ｄ（０，０）−Ｄ（ｕ1 ，ｖ1 ）が閾値Ｔ01以上・・・・・・・・・・［４−３］
ここで、この３条件を全て満たした場合には、この局所領域では、動きベクトルを一意には検出できないが、画面上の特定の一方向の成分については一意に検出可能との判定を下す。なお、ここで、上記［４−１］の条件の判定により、連続した前後２フレームにおける前の画面に設定した局所領域と同一と見なせる局所領域が、後の画面に含まれているとの判定が下される。また、上記［４−２］の条件の判定により、この局所領域について（ｕ1 ，ｖ1 ）に続いて推定される動きベクトル（ｕ2 ，ｖ2 ）が（ｕ1 ，ｖ1 ）とかな
り似ているため、この局所領域についての動きベクトルを一意に求めることができないとの判定が下される。また、上記［４−３］の条件の判定により、この局所領域でも、連続した２フレームの画面間において、ある程度以上の動きのあることは認められるとの判定が下される。
【００４６】
ヒストグラム生成部４４−４では、まず、画面上の１つの局所領域について検出される（一意なものではない）動きベクトル（ｕ1 ，ｖ1 ）と（ｕ2 ，ｖ2 ）とを結ぶ直線上に、異なるベクトルを複数定義する。このようにして定義されるベクトルを、この局所領域についての「動きベクトルの候補」と称することとする。そして、この動きベクトルの候補をヒストグラムに投票する。図１１は、このときのヒストグラムへの投票の例を示しており、１つの局所領域について、例えば図１１に網掛けで示した欄に動きベクトルの候補の投票が行われる。
【００４７】
前述したように、局所領域に表されているパターンが線分パターンである場合には、動きベクトルが一意には求まらない。しかしながら、この局所領域についての、連続した２フレームの画面間においての動きを正しく表している動きベクトルは、少なくとも、（ｕ1 ，ｖ1 ）と（ｕ2 ，ｖ2 ）とを通る直線上に定義した動きベクトルの候補のうちのどれかのはずである。ここで、この直線の向きは、この局所領域に表されている線分パターンの向きと同じ（すなわち、両者は平行）になる。つまり、１つの局所領域についての動きベクトルの候補は、いずれも、局所領域から当該直線に直交する方向の向きについて同一の成分を有している。なお、この成分は、当該直線に直交する向きの傾きと、局所領域と当該直線との距離とを求めることで、容易に算出することができる。
【００４８】
ヒストグラム生成部４４−４は、画面に設定されている全ての局所領域についての上述した投票を、単一のヒストグラムに対して行う。なお、この投票は、画面に設定されている全ての局所領域のうち、少なくとも、一意に検出できる動きベクトルの成分が互いに異なる方向である２つの局所領域について行う必要がある。
【００４９】
最大値検出部４５−４は、ヒストグラム生成部４４−４での投票により生成されたヒストグラムにおいて、その度数が最大である動きベクトル（ｕl ，ｖl ）を抽出すると共に、その最大度数値Ｈl を求める。（このｕ、ｖ、Ｈの添え字は「１」ではなく「ｌ」（Ｌの小文字）である。）この動作について、図１２を用いて説明する。
【００５０】
図１２では、表されているパターンが線分パターンであるために動きベクトルを一意には求めることができない２つの局所領域（第一の局所領域及び第二の局所領域）の各々についての動きベクトルの候補を、点線の矢印及び実線の矢印により表している。なお、２つの局所領域の各々に表されている線分パターンは平行ではないものとする。ここで、この２つの局所領域についての動きベクトルの候補のうちで共通のもの（図１２において実線の矢印で示したもの）は、２つの局所領域のどちらにとってもその動きを正しく表している動きベクトルである。このような共通である動きベクトルの候補は、すなわち画面全体の動きベクトルを表していることは明らかである。
【００５１】
従って、向きの異なる線分パターンが表されている少なくとも２以上の局所領域が設定されていれば、ヒストグラム生成部４４−４が以上のようにして生成したヒストグラムにおいて度数が最大のものが、画面全体の動きベクトルに一致するのである。最大値検出部４５−４は、この度数が最大である動きベクトルの検出を行うものである。
【００５２】
画面全体の移動量算出部４６は、最大値検出部４５−１及び４５−４により得られた値に基づき、画像メモリ２０から読出された画像データで表されている映像についての画面全体の移動量（動きベクトル）を求める。
【００５３】
ここで、図１３について説明する。図１３は、画面全体の移動量の算出処理の処理手順の第二の例をフローチャートで示したものである。この第二の例は、図１０に示した画像処理装置における画面全体の移動量算出部４６が行うものである。画面全体の移動量算出部４６は、この処理を行うことにより、画面全体の移動量である動きベクトル（ｕa ，ｖa ）を、ビデオ出力部５０による補正動作における補正量情報として出力する。
【００５４】
図１３において、まず、Ｓ２０１では、画面全体の動きベクトル（ｕa ，ｖa ）を（０，０）に初期設定する処理が行われる。
次に、Ｓ２０２では、最大値検出部４５−１が動きベクトル（ｕc ，ｖc ）を抽出したときの最大度数値Ｈc が、所定の閾値以上であるか否かを判定する処理が行われる。ここで、最大度数値Ｈc がこの閾値以上であると判定したとき（判定結果がＹｅｓのとき）にはＳ２０３に処理を進め、最大度数値Ｈc がこの閾値未満であると判定したとき（判定結果がＮｏのとき）にはＳ２０４に処理を進める。
【００５５】
Ｓ２０３では、最大値検出部４５−１が抽出した動きベクトル（ｕc ，ｖc ）を画面全体の動きベクトル（ｕa ，ｖa ）に設定する処理が行われ、その後はＳ２０６に処理を進める。
【００５６】
Ｓ２０４では、最大値検出部４５−４が動きベクトル（ｕl ，ｖl ）を抽出したときの最大度数値Ｈl が、０より大きい所定の閾値以上であるか否かを判定する処理が行われる。ここで、最大度数値Ｈl がこの閾値以上であると判定したとき（判定結果がＹｅｓのとき）にはＳ２０５に処理を進め、最大度数値Ｈl がこの閾値未満であると判定したとき（判定結果がＮｏのとき）にはＳ２０６に処理を進める。
【００５７】
Ｓ２０５では、最大値検出部４５−４が抽出した動きベクトル（ｕl ，ｖl ）を画面全体の動きベクトル（ｕa ，ｖa ）に設定する処理が行われ、その後はＳ２０６に処理を進める。
【００５８】
Ｓ２０６では、現在の画面全体の動きベクトルの推定結果である（ｕa ，ｖa ）の値を、補正量情報として、ビデオ出力部５０に出力する処理が行われ、その後はこの図１３に示した処理が終了する。
【００５９】
以上までの処理が画面全体の移動量の算出処理であり、この処理により、画像メモリ２０から読出された画像データで表されている映像についての画面全体の移動量（動きベクトル）が求まる。例えば、Ｓ２０２の判定結果がＹｅｓの場合には、画面全体の動きベクトル（ｕa ，ｖa ）＝（ｕc ，ｖc ）と推定される。すなわち、この場合には、動きベクトルを一意に検出できる局所領域に基づき検出された動きベクトルが、画面全体の動きベクトルの推定結果となる。一方、例えば、Ｓ２０２の判定結果がＮｏであり、Ｓ２０４の判定結果がＹｅｓの場合には、画面全体の動きベクトル（ｕa ，ｖa ）＝（ｕl ，ｖl ）と推定される。すなわち、この場合には、向きの異なる線分パターンが表されている少なくとも２以上の局所領域について定義された動きベクトルの候補のうち、局所領域間で共通のものが、画面全体の動きベクトルの推定結果となる。
【００６０】
図１０の画像処理装置が以上のように動作することで、動きベクトルが一意に求まる局所領域が少なくても、線分が映像パターンとして表されている局所領域が十分に存在する場合には、画面全体の移動量を精度良く求めることができる。
【００６１】
なお、図６に示した画像処理装置の第一の例、及び図１０に示した画像処理装置の第二の例により行われる画像処理を、図１４に例示するような、標準的な構成を有するコンピ
ュータに行わせることも可能である。
【００６２】
図１４について説明する。図１４は標準的なコンピュータのハードウェア構成例を示している。  図１４に示したコンピュータは、ＭＰＵ６１、ＲＯＭ６２、ＲＡＭ６３、ハードディスク装置６４、入力装置６５、表示装置６６、インタフェース装置６７、及び記録媒体駆動装置６８を備えている。これらの構成要素はいずれもバス６９に接続されており、ＭＰＵ６１の管理の下で各種のデータを相互に授受することができる。
【００６３】
ＭＰＵ（Micro Processing Unit）６１は、このコンピュータ全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）６２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ６１は、この基本制御プログラムをコンピュータの起動時に読み出して実行することにより、このコンピュータの各構成要素の動作制御が可能になる。
【００６４】
ＲＡＭ（Random Access Memory）６３は、ＭＰＵ６１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
【００６５】
ハードディスク装置６４は、ＭＰＵ６１によって実行される各種の制御プログラムを記憶しておく記憶装置である。ＭＰＵ６１は、ハードディスク装置６４に記憶されている所定の制御プログラムを読み出して実行することにより、各種の制御処理を行えるようになる。
【００６６】
入力装置６５は、例えばキーボード装置やマウス装置であり、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ６１に送付する。
【００６７】
表示装置６６は例えば液晶ディスプレイであり、ＭＰＵ６１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置６７は、このコンピュータに接続されている外部装置（動画像のビデオ信号をこのコンピュータへ送出するビデオ装置など）との間で行われる各種データの授受の管理を行う。
【００６８】
記録媒体駆動装置６８は、可搬型記録媒体７０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ６１は、可搬型記録媒体７０に記録されている所定の制御プログラムを、記録媒体駆動装置６８を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体７０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。
【００６９】
次に図１５について説明する。図１５は、図１４に示したコンピュータのＭＰＵ６１により行われる制御処理の第一の例の処理内容をフローチャート示したものである。この制御処理は、図６に示した画像処理装置の第一の例により行われる画像処理を、このコンピュータに行わせるためのものである。
【００７０】
この図１５の制御処理をＭＰＵ６１に行わせるには、まず、この制御処理をＭＰＵ６１に行わせるための制御プログラムを作成してハードディスク装置６４に記憶させておく。そして、入力装置６５から所定の指示をＭＰＵ６１に与えて、この制御プログラムをハードディスク装置６４から読み出させて実行させるようにする。
【００７１】
なお、図１５の処理は、外部から送られてくる動画像のビデオ（映像）信号における１フレーム分の画像についての信号をインタフェース装置６７が受信したことを、ＭＰＵ６１が検出する度に開始される。
【００７２】
図１５において、まず、Ｓ３０１ではビデオ入力処理が行われる。この処理は、ビデオ入力部１０の前述した動作をコンピュータに行わせる処理であり、インタフェース装置６７が受け取った１フレーム分の画面を表しているが画像データを、画像メモリ２０として機能するＲＡＭ６３に転送して記憶される処理が同様に行われる。
【００７３】
Ｓ３０２では局所領域ブロックマッチング処理が行われる。この処理は、局所領域ブロックマッチング部３０の前述した動作をコンピュータに行わせる処理である。すなわち、連続した２フレームの画面についての画像データをＲＡＭ６３から読出し、その画面に対して十分な数の局所領域を設定して前述したブロックマッチング計算を行い、各局所領域についての動きベクトル（動きベクトル群）を求める処理が同様に行われる。
【００７４】
Ｓ３０３からＳ３１２にかけて行われる処理は、図６に示した移動量判定部４０の前述した動作をコンピュータに行わせる処理であり、Ｓ３０２の処理により画面に対して設定された局所領域のひとつずつを対象として行われる処理である。
【００７５】
Ｓ３０３では一意性判定処理が行われる。この処理は、一意性判定部４１の前述した動作をコンピュータに行わせる処理である。すなわち、処理対象の局所領域が、動きベクトルを一意に求めることができるものであるか否かを判定すると共に、この局所領域についての動きベクトル（ｕ1 ，ｖ1 ）を一意に検出する処理が同様に行われる。ここで、動きベクトルを一意に求めることができると判定されたとき（判定結果がＹｅｓのとき）にはＳ３０４に処理を進め、動きベクトルを一意には求めることができないと判定されたとき（判定結果がＮｏのとき）にはＳ３０６に処理を進める。
【００７６】
Ｓ３０４ではヒストグラム生成処理が行われる。この処理は、ヒストグラム生成部４４−１の前述した動作をコンピュータに行わせる処理である。すなわち、処理対象の局所領域についてＳ３０３の処理により一意に検出された動きベクトル（ｕ1 ，ｖ1 ）をヒストグラムに投票して、各局所領域の動きベクトルについてのヒストグラムを生成していく処理が同様に行われる。
【００７７】
Ｓ３０５では最大値検出処理が行われる。この処理は、最大値検出部４５−１の前述した動作をコンピュータに行わせる処理である。すなわち、Ｓ３０４の処理により生成中のヒストグラムにおいて、この時点で度数が最大である動きベクトル（ｕc ，ｖc ）を抽出すると共に、その最大度数値Ｈc を求める処理が同様に行われる。この処理を終えた後にはＳ３１２に処理を進める。
【００７８】
Ｓ３０６では縦方向線分判定処理が行われる。この処理は、縦方向線分判定部４２の前述した動作をコンピュータに行わせる処理である。すなわち、処理対象の局所領域が、動きベクトルの水平方向（横方向）の動きを一意に求めることができるものであるか否かを判定すると共に、この局所領域についての動きベクトルの水平方向移動成分ｕ1 を一意に検出する処理が同様に行われる。ここで、水平方向の動きを一意に求めることができると判定されたとき（判定結果がＹｅｓのとき）にはＳ３０７に処理を進め、水平方向の動きを一意には求めることができないと判定されたとき（判定結果がＮｏのとき）にはＳ３０９に処理を進める。
【００７９】
Ｓ３０７ではヒストグラム生成処理が行われる。この処理は、ヒストグラム生成部４４
−２の前述した動作をコンピュータに行わせる処理である。すなわち、処理対象の局所領域についてＳ３０６の処理により一意に検出された動きベクトルの水平方向移動成分ｕ1 をヒストグラムに投票して、各局所領域の動きベクトルの水平方向移動成分についてのヒストグラムを生成していく処理が同様に行われる。
【００８０】
Ｓ３０８では最大値検出処理が行われる。この処理は、最大値検出部４５−２の前述した動作をコンピュータに行わせる処理である。すなわち、Ｓ３０７の処理により生成中のヒストグラムにおいて、この時点で度数が最大である水平方向移動成分ｕe を抽出すると共に、その最大度数値Ｈu を求める処理が同様に行われる。この処理を終えた後にはＳ３１２に処理を進める。
【００８１】
Ｓ３０９では横方向線分判定処理が行われる。この処理は、横方向線分判定部４３の前述した動作をコンピュータに行わせる処理である。すなわち、処理対象の局所領域が、動きベクトルの垂直方向（縦方向）の動きを一意に求めることができるものであるか否かを判定すると共に、この局所領域についての動きベクトルの垂直方向移動成分ｖ1 を一意に検出する処理が同様に行われる。ここで、垂直方向の動きを一意に求めることができると判定されたとき（判定結果がＹｅｓのとき）にはＳ３１０に処理を進め、垂直方向の動きを一意には求めることができないと判定されたとき（判定結果がＮｏのとき）にはＳ３１２に処理を進める。
【００８２】
Ｓ３１０ではヒストグラム生成処理が行われる。この処理は、ヒストグラム生成部４４−３の前述した動作をコンピュータに行わせる処理である。すなわち、処理対象の局所領域についてＳ３０９の処理により一意に検出された動きベクトルの垂直方向移動成分ｖ1 をヒストグラムに投票して、各局所領域の動きベクトルの垂直方向移動成分についてのヒストグラムを生成していく処理が同様に行われる。
【００８３】
Ｓ３１１では最大値検出処理が行われる。この処理は、最大値検出部４５−３の前述した動作をコンピュータに行わせる処理である。すなわち、Ｓ３１０の処理により生成中のヒストグラムにおいて、この時点で度数が最大である垂直方向移動成分ｖe を抽出すると共に、その最大度数値Ｈv を求める処理が同様に行われる。この処理を終えた後にはＳ３１２に処理を進める。
【００８４】
Ｓ３１２では、Ｓ３０２の処理により画面に対して設定された全ての局所領域について、Ｓ３０３からＳ３１１にかけての処理が行われたか否かを判定する処理が行われる。ここで、全ての局所領域について処理を終えたと判定されたとき（判定結果がＹｅｓのとき）にはＳ３１３に処理を進める。一方、処理を終えていない局所領域が残っていると判定されたとき（判定結果がＮｏのとき）にはＳ３０３へと処理を戻し、未処理の局所領域を処理対象として、上述したＳ３０３からＳ３１１にかけての処理が行われる。
【００８５】
Ｓ３１３では画面全体の移動量算出処理が行われる。この処理は、図６に示した画面全体の移動量算出部４６の前述した動作をコンピュータに行わせる処理であり、具体的には図９に示した処理がＭＰＵ６１により行われる。すなわち、Ｓ３０５、Ｓ３０８、及びＳ３１１の各処理において最後に得られた各値に基づき、画像メモリ２０から読出された画像データで表されている映像についての画面全体の移動量を算出して、画面全体の動きベクトルの推定結果とする処理が同様に行われる。
【００８６】
Ｓ３１４ではビデオ出力処理が行われる。この処理は、ビデオ出力部５０の前述した動作をコンピュータに行わせる処理である。すなわち、Ｓ３０２の処理によりＲＡＭ６３から読出した画像データ（連続した２フレーム分の画像データのうちの先の方）に対し、Ｓ３１３の処理により得られた画面全体の移動量に基づいた表示位置の補正を行って、画像
の振れを補償する処理が同様に行われる。更に、インタフェース装置６７を制御して、この補正後の画像データを表しているビデオ信号を出力させる処理が同様に行われる。ここで、ビデオ信号を出力させる処理を行う代わりに、この補正後の画像データで表されている画像を表示装置６６に表示させる処理を行うようにしてもよい。この処理を終えた後には、この図１５に示した処理が終了する。
【００８７】
以上の制御処理をＭＰＵ６１が行うことにより、図６に示した画像処理装置の第一の例により行われる画像処理を、図１４に示したコンピュータでも行えるようになる。
次に図１６について説明する。図１６は、図１４に示したコンピュータのＭＰＵ６１により行われる制御処理の第二の例の処理内容をフローチャート示したものである。この制御処理は、図１０に示した画像処理装置の第二の例により行われる画像処理を、このコンピュータに行わせるためのものである。
【００８８】
この図１６の制御処理をＭＰＵ６１に行わせるには、まず、この制御処理をＭＰＵ６１に行わせるための制御プログラムを作成してハードディスク装置６４に記憶させておく。そして、入力装置６５から所定の指示をＭＰＵ６１に与えて、この制御プログラムをハードディスク装置６４から読み出させて実行させるようにする。
【００８９】
なお、図１６の処理は、外部から送られてくる動画像のビデオ（映像）信号における１フレーム分の画像についての信号をインタフェース装置６７が受信したことを、ＭＰＵ６１が検出する度に開始される。
【００９０】
図１６において、Ｓ４０１及びＳ４０２の処理は、それぞれ、図１５に示した第一の例におけるＳ３０１及びＳ３０２の処理と同一である。
Ｓ４０３からＳ４０９にかけて行われる処理は、図１０に示した移動量判定部４０の前述した動作をコンピュータに行わせる処理であり、Ｓ４０２の処理により画面に対して設定された局所領域のひとつずつを対象として行われる処理である。
【００９１】
Ｓ４０３からＳ４０５にかけての処理は、それぞれ、図１５に示した第一の例におけるＳ３０３からＳ３０５にかけての処理と同一である。但し、Ｓ４０３の判定結果がＮｏのときには、Ｓ４０６に処理を進める。また、Ｓ４０５の処理を終えた後には、Ｓ４０９に処理を進める。
【００９２】
Ｓ４０６では線分判定処理が行われる。この処理は、線分判定部４７の前述した動作をコンピュータに行わせる処理である。すなわち、処理対象の局所領域が、動きベクトルを一意に求めることはできないものの、ある特定の方向の動きは一意に求めることができるものであるか否かを判定する処理が行われる。更に、この局所領域についての（一意なものではない）前述した動きベクトル（ｕ1 ，ｖ1 ）及び（ｕ2 ，ｖ2 ）を検出する処理も同様に行われる。ここで、そのような動きを一意に求めることができると判定されたとき（判定結果がＹｅｓのとき）にはＳ４０７に処理を進め、そのような動きを一意には求めることができないと判定されたとき（判定結果がＮｏのとき）にはＳ４０９に処理を進める。
【００９３】
Ｓ４０７ではヒストグラム生成処理が行われる。この処理は、ヒストグラム生成部４４−４の前述した動作をコンピュータに行わせる処理である。すなわち、処理対象の局所領域についてＳ３０９の処理により検出された動きベクトル（ｕ1 ，ｖ1 ）及び（ｕ2 ，ｖ2 ）を結ぶ直線上に動きベクトルの候補を定義する処理が同様に行われる。更に、この動きベクトルの候補をヒストグラムに投票して、各局所領域の動きベクトルの候補についてのヒストグラムを生成していく処理も同様に行われる。
【００９４】
Ｓ４０８では最大値検出処理が行われる。この処理は、最大値検出部４５−４の前述した動作をコンピュータに行わせる処理である。すなわち、Ｓ３０４の処理により生成中のヒストグラムにおいて、この時点で度数が最大である動きベクトル（ｕl ，ｖl ）を抽出すると共に、その最大度数値Ｈl を求める処理が同様に行われる。
【００９５】
Ｓ４０９では、Ｓ４０２の処理により画面に対して設定された全ての局所領域について、Ｓ４０３からＳ４０８にかけての処理が行われたか否かを判定する処理が行われる。ここで、全ての局所領域について処理を終えたと判定されたとき（判定結果がＹｅｓのとき）にはＳ４１０に処理を進める。一方、処理を終えていない局所領域が残っていると判定されたとき（判定結果がＮｏのとき）にはＳ４０３へと処理を戻し、未処理の局所領域を処理対象として、上述したＳ４０３からＳ４０８にかけての処理が行われる。
【００９６】
Ｓ４１０では画面全体の移動量算出処理が行われる。この処理は、図１０に示した画面全体の移動量算出部４６の前述した動作をコンピュータに行わせる処理であり、具体的には図１３に示した処理がＭＰＵ６１により行われる。すなわち、Ｓ４０５及びＳ４０８の各処理において最後に得られた各値に基づき、画像メモリ２０から読出された画像データで表されている映像についての画面全体の移動量を算出して、画面全体の動きベクトルの推定結果とする処理が同様に行われる。
【００９７】
Ｓ４１１ではビデオ出力処理が行われる。この処理は、図１５に示した第一の例におけるＳ３１４の処理と同一である。この処理を終えた後には、この図１６に示した処理が終了する。
【００９８】
以上の制御処理をＭＰＵ６１が行うことにより、図１０に示した画像処理装置の第二の例により行われる画像処理を、図１４に示したコンピュータでも行えるようになる。
以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
【００９９】
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別する局所領域判別手段と、
前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別手段が判別した第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別手段が判別した第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する動きベクトル推定手段と、
を有することを特徴とする画像処理装置。
（付記２）
前記局所領域判別手段は、
前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における水平方向成分については一意に検出できるものを前記第一の局所領域として判別する第一局所領域判別手段と、
前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における垂直方向成分については一意に検出できるものを前記第二の局所領域として判別する第二局所領域判別手段と、
を有し、
前記動きベクトル推定手段は、前記第一の局所領域に基づき検出される前記水平方向成分を水平方向の成分とし、前記第二の局所領域に基づき検出される前記垂直方向成分を垂
直方向の成分としたベクトルを、前記画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記第一局所領域判別手段が判別した前記画面内における複数の第一の局所領域の各々に基づき検出される前記水平方向成分についてのヒストグラムを生成する水平方向成分ヒストグラム生成手段と、
前記第二局所領域判別手段が判別した前記画面内における複数の第二の局所領域の各々に基づき検出される前記垂直方向成分についてのヒストグラムを生成する垂直方向成分ヒストグラム生成手段と、
を更に有し、
前記動きベクトル推定手段は、前記水平方向成分ヒストグラム生成手段が生成したヒストグラムにおいて度数が最大である前記水平方向成分を水平方向の成分とし、前記垂直方向成分ヒストグラム生成手段が生成したヒストグラムにおいて度数が最大である前記垂直方向成分を垂直方向の成分としたベクトルを、前記画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記２に記載の画像処理装置。
（付記４）
前記動きベクトル推定手段は、前記水平方向成分ヒストグラム生成手段が生成したヒストグラムにおいて度数が最大である前記水平方向成分を、該度数が所定の閾値以上の場合において水平方向の成分とし、前記垂直方向成分ヒストグラム生成手段が生成したヒストグラムにおいて度数が最大である前記垂直方向成分を、該度数が所定の閾値以上の場合において垂直方向の成分としたベクトルを、前記画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記３に記載の画像処理装置。
（付記５）
前記局所領域判別手段は、
前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における第一の方向の成分については一意に検出できるものを前記第一の局所領域として判別する第一局所領域判別手段と、
前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できるものを前記第二の局所領域として判別する第二局所領域判別手段と、
を有し、
前記第一の局所領域に基づき検出できる前記成分と同一の成分を前記第一の方向について有しているベクトルを、該第一の局所領域についての動きベクトルの候補として前記画面上に複数定義する第一動きベクトル候補定義手段と、
前記第二の局所領域に基づき検出できる前記成分と同一の成分を前記第二の方向について有しているベクトルを、前記第二の局所領域についての動きベクトルの候補として前記画面上に複数定義する第二動きベクトル候補定義手段と、
を更に有し、
前記動きベクトル推定手段は、前記第一動きベクトル候補定義手段が定義した動きベクトルの候補と、前記第二動きベクトル候補定義手段が定義した動きベクトルの候補との間で共通のものを、該画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記１に記載の画像処理装置。
（付記６）
前記第一動きベクトル候補定義手段及び前記第二動きベクトル候補定義手段がそれぞれ定義した動きベクトルの候補についてのヒストグラムを生成する動きベクトル候補ヒストグラム生成手段を更に有し、
前記動きベクトル推定手段は、前記動きベクトル候補ヒストグラム生成手段が生成したヒストグラムにおいて度数が最大である動きベクトルの候補を、前記画面全体の動きベク
トルの推定結果とする、
ことを特徴とする付記５に記載の画像処理装置。
（付記７）
前記動きベクトル推定手段は、前記ヒストグラム生成手段が生成したヒストグラムにおいて度数が最大である動きベクトルの候補を、該度数が所定の閾値以上の場合において前記画面全体の動きベクトルの推定結果とすることを特徴とする付記６に記載の画像処理装置。
（付記８）
前記画面内における局所領域の動きベクトルを一意に検出できるか否かにより、該局所領域を判別する一意性判別手段を更に有し、
前記動きベクトル推定手段は、前記動きベクトルを一意に検出できると前記一意性判別手段が判別した局所領域については、該局所領域に基づき検出される動きベクトルを、該画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記１から７のうちのいずれか一項に記載の画像処理装置。
（付記９）
前記画面内における複数の局所領域の各々について前記動きベクトル検出手段が検出した動きベクトルについてのヒストグラムを生成する動きベクトルヒストグラム生成手段を更に有し、
前記動きベクトル推定手段は、前記動きベクトルヒストグラム生成手段が生成したヒストグラムにおいて度数が最大である動きベクトルを、前記画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記８に記載の画像処理装置。
（付記１０）
前記動きベクトル推定手段は、前記動きベクトルヒストグラム生成手段が生成したヒストグラムにおいて度数が最大である動きベクトルを、該度数が所定の閾値以上の場合において前記画面全体の動きベクトルの推定結果とすることを特徴とする付記９に記載の画像処理装置。
（付記１１）
前記動きベクトル推定手段による前記画面全体の動きベクトルの推定結果に基づいて該画面の表示位置を補正して、前記動画像の表示時における振れを補償する補正手段を更に有することを特徴とする付記１から１０のうちのいずれか一項に記載の画像処理装置。
（付記１２）
画像処理装置により行われる画像処理方法であって、
前記画像処理装置の有する局所領域判別手段が、動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別し、
前記画像処理装置の有する動きベクトル推定手段が、前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別手段が判別した第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別手段が判別した第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する、
ことを特徴とする画像処理方法。
（付記１３）
前記局所領域判別手段は、前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における水平方向成分については一意に検出できるものを前記第一の局所領域として判別すると共に、前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における垂直方向成分については一意に検出できるものを前記第二の局所領域として判別し、
前記動きベクトル推定手段は、前記第一の局所領域に基づき検出される前記水平方向成分を水平方向の成分とし、前記第二の局所領域に基づき検出される前記垂直方向成分を垂直方向の成分としたベクトルを、前記画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記１２に記載の画像処理方法。
（付記１４）
前記局所領域判別手段は、前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における第一の方向の成分については一意に検出できるものを前記第一の局所領域として判別すると共に、前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できるものを前記第二の局所領域として判別し、
前記画像処理装置の有する第一動きベクトル候補定義手段が、前記第一の局所領域に基づき検出できる前記成分と同一の成分を前記第一の方向について有しているベクトルを、該第一の局所領域についての動きベクトルの候補として前記画面上に複数定義し、
前記画像処理装置の有する第二動きベクトル候補定義手段が、前記第二の局所領域に基づき検出できる前記成分と同一の成分を前記第二の方向について有しているベクトルを、前記第二の局所領域についての動きベクトルの候補として前記画面上に複数定義し、
前記動きベクトル推定手段は、前記第一動きベクトル候補定義手段が定義した動きベクトルの候補と、前記第二動きベクトル候補定義手段が定義した動きベクトルの候補との間で共通のものを、該画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記１２に記載の画像処理方法。
（付記１５）
前記画像処理装置の有する一意性判別手段が、前記画面内における局所領域の動きベクトルを一意に検出できるか否かにより、該局所領域を判別し、
前記動きベクトル推定手段は、前記動きベクトルを一意に検出できると前記一意性判別手段が判別した局所領域については、該局所領域に基づき検出される動きベクトルを、該画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記１２から１４のうちのいずれか一項に記載の画像処理方法。
（付記１６）
動画像の画面内における局所領域のうちから、該局所領域の動きベクトルを一意には検出できないが、該動きベクトルの該画面における特定の一方向の成分については一意に検出できるものを判別する局所領域判別処理と、
前記動きベクトルの前記画面における第一の方向の成分については一意に検出できると前記局所領域判別処理により判別された第一の局所領域に基づき検出される該第一の方向の成分、及び、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できると該局所領域判別処理により判別された第二の局所領域に基づき検出される該第二の方向の成分の両者に基づいて、該画面全体の動きベクトルを推定する動きベクトル推定処理と、
をコンピュータに行わせるためのプログラム。
（付記１７）
前記局所領域判別処理は、前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における水平方向成分については一意に検出できるものを前記第一の局所領域として判別すると共に、前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における垂直方向成分については一意に検出できるものを前記第二の局所領域として判別する処理であり、
前記動きベクトル推定処理は、前記第一の局所領域に基づき検出される前記水平方向成分を水平方向の成分とし、前記第二の局所領域に基づき検出される前記垂直方向成分を垂直方向の成分としたベクトルを、前記画面全体の動きベクトルの推定結果とする処理である、
ことを特徴とする付記１６に記載のプログラム。
（付記１８）
前記局所領域判別処理は、前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における第一の方向の成分については一意に検出できるものを前記第一の局所領域として判別すると共に、前記動きベクトルを一意には検出できない前記局所領域のうちから、該動きベクトルの該画面における該第一の方向とは異なる第二の方向の成分については一意に検出できるものを前記第二の局所領域として判別する処理であり、
前記プログラムは、
前記第一の局所領域に基づき検出できる前記成分と同一の成分を前記第一の方向について有しているベクトルを、該第一の局所領域についての動きベクトルの候補として前記画面上に複数定義する第一動きベクトル候補定義処理と、
前記第二の局所領域に基づき検出できる前記成分と同一の成分を前記第二の方向について有しているベクトルを、前記第二の局所領域についての動きベクトルの候補として前記画面上に複数定義する第二動きベクトル候補定義処理と、
を前記コンピュータに更に行わせ、
前記動きベクトル推定処理は、前記第一動きベクトル候補定義処理により定義された動きベクトルの候補と、前記第二動きベクトル候補定義処理により定義された動きベクトルの候補との間で共通のものを、該画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記１６に記載のプログラム。
（付記１９）
前記プログラムは、前記画面内における局所領域の動きベクトルを一意に検出できるか否かにより、該局所領域を判別する一意性判別処理を前記コンピュータに更に行わせ、
前記動きベクトル推定手段は、前記動きベクトルを一意に検出できると前記一意性判別処理により判別された局所領域については、該局所領域に基づき検出される動きベクトルを、該画面全体の動きベクトルの推定結果とする、
ことを特徴とする付記１６から１８のうちのいずれか一項に記載のプログラム。
【図面の簡単な説明】
【０１００】
【図１】電子式画像補正方式を説明する図である。
【図２】ブロックマッチング方式による動画像の動きベクトルの導出を説明する図である。
【図３】動画像で得られる動きベクトル群の例を示す図である。
【図４】動きベクトルのヒストグラム例を示す図である。
【図５】動きベクトルの一意性を説明する図である。
【図６】本発明を実施する画像処理装置の第一の例の構成を示す図である。
【図７】縦方向線分判定部の動作を説明する図である。
【図８】水平方向移動成分についてのヒストグラムの例を示す図である。
【図９】画面全体の移動量の算出動作の動作手順の第一の例をフローチャートで示した図である。
【図１０】本発明を実施する画像処理装置の第二の例の構成を示す図である。
【図１１】（ｕ1 ，ｖ1 ）と（ｕ2 ，ｖ2 ）を結ぶ直線上にある動きベクトルのヒストグラムへの投票の例を示す図である。
【図１２】２つの局所領域の各々についての動きベクトルの候補から画面全体の動きベクトルを求める原理を説明する図である。
【図１３】画面全体の移動量の算出動作の動作手順の第二の例をフローチャートで示した図である。
【図１４】標準的なコンピュータのハードウェア構成例を示した図である。
【図１５】制御処理の第一の例の処理内容をフローチャート示した図である。
【図１６】制御処理の第二の例の処理内容をフローチャート示した図である。
【符号の説明】
【０１０１】
１０  ビデオ入力部
２０  画像メモリ
３０  局所領域ブロックマッチング部
４０  移動量判定部
４１  一意性判定部
４２  縦方向線分判定部
４３  横方向線分判定部
４４−１、４４−２、４４−３、４４−４  ヒストグラム生成部
４５−１、４５−２、４５−３、４５−４  最大値検出部
４６  画面全体の移動量算出部
４７  線分判定部
５０  ビデオ出力部
６１  ＭＰＵ
６２  ＲＯＭ
６３  ＲＡＭ
６４  ハードディスク装置
６５  入力装置
６６  表示装置
６７  インタフェース装置
６８  記録媒体駆動装置
６９  バス
７０  可搬型記録媒体
【図３】
2010003094.tif 000004
【図９】
2010003094.tif 000005
【図１０】
2010003094.tif 000006
【図１２】
2010003094.tif 000007
【図１３】
2010003094.tif 000008
【図１４】
2010003094.tif 000009
【図１５】
2010003094.tif 000010
【図１６】
2010003094.tif 000011
【図１】
2010003094.tif 000012
【図２】
2010003094.tif 000013
【図４】
2010003094.tif 000014
【図５】
2010003094.tif 000015
【図６】
2010003094.tif 000016
【図７】
2010003094.tif 000017
【図８】
2010003094.tif 000018
【図１１】
2010003094.tif 000019