(57)【特許請求の範囲】
【請求項１】
動画像を構成する注目画像フレームと参照画像フレームとの間で、所定の分割領域であるブロック毎に差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出することにより得られる前記分割領域に対応するローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と、前記ローカル動きベクトル（ＬＭＶ）によって動き補償がなされた動き補償画像（ＭＣ画像：Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ画像）とを算出するローカル動きベクトル算出部と、
前記ローカル動きベクトル算出部において算出された前記ローカル動きベクトル（ＬＭＶ）、前記ローカル動きベクトル算出部において算出された前記動き補償画像（ＭＣ画像）、および前記ローカル動きベクトル算出部において算出された差分絶対値和（ＳＡＤ）の全てを用いて、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出部であり、少なくとも各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズが大きくなるにつれてブロック重みを小さくする設定としたブロック重みを算出するブロック重み算出部と、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出部を有し、
前記グローバル動きベクトル算出部は、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成する構成であることを特徴とする画像処理装置。
【請求項２】
前記ブロック重み算出部は、
異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータに基づいて各ブロックに対応するブロック重みを算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ブロック重み算出部は、
異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータの乗算結果を各ブロックに対応するブロック重みとして算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ブロック重み算出部は、
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記グローバル動きベクトル算出部は、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる全てのブロックに共通の動きベクトルとしてフレーム対応の１つのグローバル動きベクトル（ＧＭＶ）を算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
画像処理装置において動きベクトル検出を実行する画像処理方法であり、
ローカル動きベクトル算出部が、動画像を構成する注目画像フレームと参照画像フレームとの間で、所定の分割領域であるブロック毎に差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出することにより得られる前記分割領域に対応するローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と、前記ローカル動きベクトル（ＬＭＶ）によって動き補償がなされた動き補償画像（ＭＣ画像：Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ画像）とを算出するローカル動きベクトル算出ステップと、
ブロック重み算出部が、前記ローカル動きベクトル算出ステップにおいて算出された前記ローカル動きベクトル（ＬＭＶ）、前記ローカル動きベクトル算出部において算出された前記動き補償画像（ＭＣ画像）、および前記ローカル動きベクトル算出部において算出された差分絶対値和（ＳＡＤ）の全てを用いて、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出ステップであり、少なくとも各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズが大きくなるにつれてブロック重みを小さくする設定としたブロック重みを算出するブロック重み算出ステップと、
グローバル動きベクトル算出部が、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成するステップであることを特徴とする画像処理方法。
【請求項７】
前記ブロック重み算出ステップは、
異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータに基づいて各ブロックに対応するブロック重みを算出するステップであることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記ブロック重み算出ステップは、
異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータの乗算結果を各ブロックに対応するブロック重みとして算出するステップであることを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記ブロック重み算出ステップは、
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行するステップであることを特徴とする請求項６に記載の画像処理方法。
【請求項１０】
前記グローバル動きベクトル算出ステップは、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる全てのブロックに共通の動きベクトルとしてフレーム対応の１つのグローバル動きベクトル（ＧＭＶ）を算出するステップであることを特徴とする請求項６に記載の画像処理方法。
【請求項１１】
画像処理装置において動きベクトル検出を実行させるコンピュータ・プログラムであり、
ローカル動きベクトル算出部に、動画像を構成する注目画像フレームと参照画像フレームとの間で、所定の分割領域であるブロック毎に差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を算出することにより得られる前記分割領域に対応するローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と、前記ローカル動きベクトル（ＬＭＶ）によって動き補償がなされた動き補償画像（ＭＣ画像：Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ画像）とを算出させるローカル動きベクトル算出ステップと、
ブロック重み算出部に、前記ローカル動きベクトル算出ステップにおいて算出された前記ローカル動きベクトル（ＬＭＶ）、前記ローカル動きベクトル算出部において算出された前記動き補償画像（ＭＣ画像）、および前記ローカル動きベクトル算出部において算出された差分絶対値和（ＳＡＤ）の全てを用いて、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出ステップであり、少なくとも各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズが大きくなるにつれてブロック重みを小さくする設定としたブロック重みを算出するブロック重み算出ステップと、
グローバル動きベクトル算出部に、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出させるグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成させるステップであることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、画像の動きベクトル検出を行う画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
動画像の圧縮などの画像符号化においては動きベクトルを検出し、動きベクトル情報に基づくデータ圧縮処理が実行される。画像符号化方式として知られるＭＰＥＧ方式では、例えば、各フレームをブロック分割して、現在フレームと参照フレームの対応ブロックごとに動きベクトルを検出する処理が実行される。しかし、ブロック単位の動きベクトル情報を圧縮データに含めるとデータ量が増大することになる。カメラが例えばパン、チルト、あるいは手振れなどで移動した場合、各ブロックの動きベクトルはほぼ共通であり、このような場合ブロック単位の動きベクトルではなく、１つのフレームに対応する１つの動きベクトルを設定して符号化処理を行うことでデータ量の削減が可能となる。
【０００３】
個々のブロック単位の動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と呼び、１つのフレームに対応する１つの動きベクトルはグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と呼ばれる。グローバル動きベクトル（ＧＭＶ）を利用したデータ符号化は、例えばＭＰＥＧ−４において採用されている。
【０００４】
例えば、図１（ａ）に示すように、時間ｔ０，ｔ１の時間で撮影された２つの画像フレーム１０，１１があるとする。この２フレームではカメラが例えばパン、チルト、あるいは手振れなどで移動して撮影されたフレームであり、撮影画像が図に示す通り、全体的に移動している。
【０００５】
このような画像を符号化するような場合、各フレームを例えばｎ画素×ｎ画素の複数のブロックに分割して、各ブロック単位の動きベクトル（ＭＶ：Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）、すなわち、ローカル動きベクトル（ＬＭＶ）を検出して、個別のブロック単位の動きベクトルを利用したデータ圧縮および復元処理が従来は行われていた。しかし、パン、チルト、あるいは手振れなどでカメラが移動した場合、図１（ｂ）に示すように、どのブロックの動きベクトルもほぼ同じベクトルとなる。
【０００６】
このような場合、図１（ｃ）に示すように画面全体の動きを表現する１つの動きベクトル２１を用い、画像符号化を実行することにより符号化効率を大幅に改善できる。このような画面全体の動きを表現するベクトルがグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と呼ばれる。
【０００７】
グローバル動きベクトル（ＧＭＶ）は、図に示すような単純な平行移動の他、複数パラメータを用いて、回転、拡大、縮小を伴ったもの、アフィン（Ａｆｆｉｎｅ）変換、投射影変換を用いたデータとして表現可能である。前述したようにグローバル動きベクトル（ＧＭＶ）を適用した符号化方法は、ＭＰＥＧ−４等で採用されている。
【０００８】
ＭＰＥＧ−４では、グローバル動きベクトル（ＧＭＶ）を適用し、グローバル動き補償（ＧＭＣ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）を用いた画像符号化手法が規格として採用されており、符号化装置（Ｅｎｃｏｄｅｒ）側でグローバル動きベクトル（ＧＭＶ）を検出し、復号装置（Ｄｅｃｏｄｅｒ）側で伝送されたグローバル動きベクトル（ＧＭＶ）を用いてグローバル動き補償（ＧＭＣ）による復元が実行される。
【０００９】
グローバル動きベクトル（ＧＭＶ）は、図２に示すように現在フレームと参照フレーム間の対応する類似画素位置（ｘ，ｙ），（ｘ'，ｙ'）の関係を平行移動、回転、拡大、縮小、アフィン（Ａｆｆｉｎｅ）変換、投射影変換などを用いたデータとして表現され、通常は、１つの画像フレームに対し、１つのグローバル動きベクトル（ＧＭＶ）が適用される。なお、例えば通常のブロックサイズより大きなサイズに画面を分割し、各々にグローバル動きベクトル（ＧＭＶ）を設定してもよい。すなわち、グローバル動きベクトル（ＧＭＶ）は画像フレームに対して１つとは限らず、画像フレームに含まれる複数のブロックに共通の動きベクトルとして１つのグローバル動きベクトル（ＧＭＶ）を設定し、１フレームに複数のグローバル動きベクトル（ＧＭＶ）を設定する構成としてもよい。
【００１０】
グローバル動きベクトル（ＧＭＶ）は、例えば平行移動（並進）のみを示すベクトルの場合は、２つのパラメータ［ａ０，ａ１］を用いて以下のように表現される。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
【００１１】
平行移動（並進）と回転を考慮したグローバル動きベクトル（ＧＭＶ）は、３つのパラメータ［ａ０，ａ１，ａ２］を用いて以下のように表現される。
ｘ'＝ｓｉｎａ０ｘ−ｃｏｓａ０ｙ＋ａ２
ｙ'＝ｃｏｓａ０ｘ＋ｓｉｎａ０ｙ＋ａ３
【００１２】
アフィン変換に対応するグローバル動きベクトル（ＧＭＶ）は、６つのパラメータ［ａ０，ａ１，ａ２，ａ３，ａ４，ａ５］を用いて以下のように表現される。
ｘ'＝ａ０ｘ−ａ１ｙ＋ａ２
ｙ'＝ａ３ｘ＋ａ４ｙ＋ａ５
【００１３】
投射変換に対応するグローバル動きベクトル（ＧＭＶ）は、８つのパラメータ［ａ０，ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７］を用いて以下のように表現される。
ｘ'＝（（ａ０ｘ＋ａ１ｙ＋ａ２）／（ａ６ｘ＋ａ７ｙ＋１））
ｙ'＝（（ａ３ｘ＋ａ４ｙ＋ａ５）／（ａ６ｘ＋ａ７ｙ＋１））
【００１４】
動画像フレームからグローバル動きベクトル（ＧＭＶ）を求める場合、図２に示すように、現在フレームと参照フレームとを用いた処理が実行される。グローバル動きベクトル（ＧＭＶ）を求める手法にはいくつかの手法があるが、その１つの手法として、まず、ブロック単位のローカル動きベクトル（ＬＭＶ）を求め、ローカル動きベクトル（ＬＭＶ）を利用してグローバル動きベクトル（ＧＭＶ）を求める手法がある。この手法は、例えば非特許文献１（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ，  Ｖｏｌ．  ５２，  Ｎｏ．  ２，  ＭＡＹ  ２００６）に記載されている。
【００１５】
この手法は、まず、ブロック単位のローカル動きベクトル（ＬＭＶ）を求め、さらに、ブロック数に対応する複数のローカル動きベクトル（ＬＭＶ）から信頼度の高いローカル動きベクトル（ＬＭＶ）を選択し、選択された信頼度の高いローカル動きベクトル（ＬＭＶ）のみに基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法である。
【００１６】
例えば、ｐ個のブロック数に対応するｐ個のローカル動きベクトル（ＬＭＶ）が求められた場合、ｐ個中からｑ個の信頼度の高いローカル動きベクトル（ＬＭＶ）を選択し、（ｐ−ｑ）個の信頼度の低いローカル動きベクトル（ＬＭＶ）は利用することなく、ｍ個の信頼度の高いローカル動きベクトル（ＬＭＶ）のみに基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める。
【００１７】
ローカル動きベクトル（ＬＭＶ）の信頼度情報としては、例えば現在フレームと参照フレームとのブロックマッチングで明確な特徴点一致情報が得られているか否かといった情報が利用される。また、信頼度の高いローカル動きベクトル（ＬＭＶ）に基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法としては、例えば最小二乗法が適用される。
【００１８】
このローカル動きベクトル（ＬＭＶ）を利用したグローバル動きベクトル（ＧＭＶ）の導出手法は、従来のローカル動きベクトル（ＬＭＶ）算出の延長上で実行可能であり、既存の構成を利用可能であるという利点がある。しかし、信頼度の高いローカル動きベクトル（ＬＭＶ）の数が少ない場合、グローバル動きベクトル（ＧＭＶ）の信頼度が極端に低下するという欠点がある。
【００１９】
【非特許文献１】ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ，  Ｖｏｌ．  ５２，  Ｎｏ．  ２，  ＭＡＹ  ２００６
【発明の開示】
【発明が解決しようとする課題】
【００２０】
本発明は、このような問題点に鑑みてなされたものであり、ローカル動きベクトル（ＬＭＶ）を利用したグローバル動きベクトル（ＧＭＶ）の導出処理において、信頼度の高いローカル動きベクトル（ＬＭＶ）の数が少ない場合においても、グローバル動きベクトル（ＧＭＶ）の信頼度を極端に低下させることのないグローバル動きベクトル（ＧＭＶ）の導出を可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明の第１の側面は、
画像処理装置であり、
動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）として算出するローカル動きベクトル算出部と、
前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出部と、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出部を有し、
前記グローバル動きベクトル算出部は、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成する構成であることを特徴とする画像処理装置にある。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記ブロック重み算出部は、異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータに基づいて各ブロックに対応するブロック重みを算出する構成であることを特徴とする。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記ブロック重み算出部は、異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータの乗算結果を各ブロックに対応するブロック重みとして算出する構成であることを特徴とする。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記ブロック重み算出部は、
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行する構成であることを特徴とする。
【００２５】
さらに、本発明の画像処理装置の一実施態様において、前記グローバル動きベクトル算出部は、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる全てのブロックに共通の動きベクトルとしてフレーム対応の１つのグローバル動きベクトル（ＧＭＶ）を算出する構成であることを特徴とする。
【００２６】
さらに、本発明の第２の側面は、
画像処理装置において動きベクトル検出を実行する画像処理方法であり、
ローカル動きベクトル算出部が、動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）として算出するローカル動きベクトル算出ステップと、
ブロック重み算出部が、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出ステップと、
グローバル動きベクトル算出部が、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成するステップであることを特徴とする画像処理方法にある。
【００２７】
さらに、本発明の画像処理方法の一実施態様において、前記ブロック重み算出ステップは、異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータに基づいて各ブロックに対応するブロック重みを算出するステップであることを特徴とする。
【００２８】
さらに、本発明の画像処理方法の一実施態様において、前記ブロック重み算出ステップは、異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータの乗算結果を各ブロックに対応するブロック重みとして算出するステップであることを特徴とする。
【００２９】
さらに、本発明の画像処理方法の一実施態様において、前記ブロック重み算出ステップは、
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行するステップであることを特徴とする。
【００３０】
さらに、本発明の画像処理方法の一実施態様において、前記グローバル動きベクトル算出ステップは、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる全てのブロックに共通の動きベクトルとしてフレーム対応の１つのグローバル動きベクトル（ＧＭＶ）を算出するステップであることを特徴とする。
【００３１】
さらに、本発明の第３の側面は、
画像処理装置において動きベクトル検出を実行させるコンピュータ・プログラムであり、
ローカル動きベクトル算出部に、動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）として算出させるローカル動きベクトル算出ステップと、
ブロック重み算出部に、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出させるブロック重み算出ステップと、
グローバル動きベクトル算出部に、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出させるグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成させるステップであることを特徴とするコンピュータ・プログラムにある。
【００３２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３４】
本発明の一実施例の構成によれば、動画像を構成する画像フレームの分割領域であるブロックに対応するローカル動きベクトル（ＬＭＶ）と、ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みとを算出し、ブロック重みに応じて各ブロック対応の寄与率を設定してグローバル動きベクトル（ＧＭＶ）を算出する構成とした。ブロック重みの算出においては、ローカル動きベクトル（ＬＭＶ）のサイズや、差分絶対値和（ＳＡＤ）、ブロック構成画素値の分散値、処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値など様々な視点からの指標を適用した構成としたので、信頼度の高いグローバル動きベクトル（ＧＭＶ）を算出することが可能となる。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００３６】
本発明の画像処理装置は、動画像データを入力し、動画像データに対応するグローバル動きベクトル（ＧＭＶ）を求める処理を実行する。本発明の画像処理装置は、まずブロック単位のローカル動きベクトル（ＬＭＶ）を求め、ローカル動きベクトル（ＬＭＶ）を利用してグローバル動きベクトル（ＧＭＶ）を求める。
【００３７】
本発明の構成では、ローカル動きベクトル（ＬＭＶ）に対応するブロック各々に対して信頼度を設定し、信頼度に対応する重み（Ｗｅｉｇｈｔ）を定義し、個々のローカル動きベクトル（ＬＭＶ）の重み（Ｗｅｉｇｈｔ）を考慮してグローバル動きベクトル（ＧＭＶ）を求める。
【００３８】
本発明の画像処理装置におけるグローバル動きベクトル（ＧＭＶ）の導出手法の概要について、図３を参照して説明する。図３（ａ）は、先に説明した従来手法を説明する図であり、図３（ｂ）が本発明の手法を説明する図である。
【００３９】
図３（ａ）は、１つの画像フレームを区分したｐ個のブロック数に対応するｐ個のローカル動きベクトル（ＬＭＶ）を求め、ｐ個からｑ個の信頼度の高いローカル動きベクトル（ＬＭＶ）を選択し、（ｐ−ｑ）個の信頼度の低いローカル動きベクトル（ＬＭＶ）は利用することなく、ｑ個の信頼度の高いローカル動きベクトル（ＬＭＶ）のみに基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法である。ローカル動きベクトル（ＬＭＶ）の信頼度情報としては、例えば現在フレームと参照フレームとのブロックマッチングで明確な特徴点一致情報が得られているか否かといった情報が利用される。また、信頼度の高いローカル動きベクトル（ＬＭＶ）に基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法としては、例えば最小二乗法が適用される。
【００４０】
このローカル動きベクトル（ＬＭＶ）を利用したグローバル動きベクトル（ＧＭＶ）の導出手法は、従来のローカル動きベクトル（ＬＭＶ）算出の延長上で実行可能であり、既存の構成を利用可能であるという利点がある。しかし、信頼度の高いローカル動きベクトル（ＬＭＶ）の数が少ない場合、グローバル動きベクトル（ＧＭＶ）の信頼度が極端に低下するという欠点がある。
【００４１】
一方、図３（ｂ）に示す本発明の手法では、１つの画像フレームを区分したｎ個のブロック数に対応するｎ個のローカル動きベクトル（ＬＭＶ）を求め、さらに全てのブロックに信頼度に応じた重み（ｗｅｉｇｈｔ）を設定する。その後、個々のローカル動きベクトル（ＬＭＶ）の重み（Ｗｅｉｇｈｔ）を考慮してグローバル動きベクトル（ＧＭＶ）を求める。
【００４２】
本発明の手法の具体例について説明する。グローバル動きベクトル（ＧＭＶ）は、例えば平行移動（並進）のみを示すベクトルの場合は、前述したように、現フレーム画像の座標（ｘ，ｙ）と、参照画像の座標（ｘ'，ｙ'）との対応関係が、２つのパラメータ［ａ０，ａ１］を用いて以下の式（式１）として表現される。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
・・・（式１）
【００４３】
一方、図３（ｂ）に示す画像フレーム中の任意のブロック、ブロックｎについて、ローカル動きベクトル（ＬＭＶｎ）が、平行移動（並進）のみを示すベクトルの場合、
ローカル動きベクトル（ＬＭＶｎ）＝（ＭＶＸｎ，ＭＶＹｎ）
とすると、現フレーム画像のブロックｎの座標（ｘｎ，ｙｎ）と、参照画像のブロックｎの座標（ｕｎ，ｖｎ）との対応は、以下の式（式２）によって示される。
ｕｎ＝ｘｎ＋ＭＶＸｎ
ｖｎ＝ｙｎ＝ＭＶＹｎ
・・・（式２）
例えば、ブロック数がｐ個の場合、ｐ個のローカル動きベクトル（ＬＭＶ）＝（ＭＶＸｎ，ＭＶＹｎ）に対応する上記関係式が設定される。
【００４４】
ここで、１つの画像フレームに対応するグローバル動きベクトル（ＧＭＶ）とそのフレームに含まれるブロックｎのローカル動きベクトル（ＬＭＶｎ）との差分［ｅｎ］を以下の式（式３）のように定義する。
【数１】
0005045320.tif 000002
・・・（式３）
【００４５】
上記式（式３）によって算出される各ブロックｎに対応するベクトル差分［ｅｎ］と各ブロックｎに対応して設定される重み（ｗｅｉｇｈｔ）［Ｗｎ］を利用して、グローバル動きベクトルコスト（ＧＭＶコスト）［Ｑ］を以下の式（式４）に従って算出する。
【数２】
0005045320.tif 000003
・・・（式４）
【００４６】
上記式（式４）によって算出されるＧＭＶコスト［Ｑ］を最小にする２つのパラメータ［ａ０，ａ１］を算出し、算出したパラメータ［ａ０，ａ１］によって、上記式（式１）で示すグローバル動きベクトル（ＧＭＶ）、すなわち、
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
上記のグローバル動きベクトル（ＧＭＶ）を決定する。
【００４７】
なお、上記の式（式３）（式４）に従って、コストＱを最小にするパラメータａ０，ａ１を算出する処理は、各ブロック対応の重み（ｗｅｉｇｈｔ）を考慮した最小二乗法を適用した処理である。
【００４８】
また、上述した処理例は、グローバル動きベクトル（ＧＭＶ）が、平行移動（並進）のみを示すベクトルの場合であり、２つのパラメータ［ａ０，ａ１］を求める処理として説明したが、前述したように、グローバル動きベクトル（ＧＭＶ）は、平行移動、回転、拡大、縮小、アフィン（Ａｆｆｉｎｅ）変換、投射影変換などを含む情報として設定される場合もあり、設定態様に応じてパラメータ数は変化する。この場合も、上述の処理と同様に、グローバル動きベクトル（ＧＭＶ）とそのフレームに含まれるブロックｎのローカル動きベクトル（ＬＭＶｎ）との差分［ｅｎ］を算出し、各ブロック対応の重み（ｗｅｉｇｈｔ）を考慮したＧＭＶコスト［Ｑ］を最小にするパラメータ［ａ０，ａ１，ａ２，ａ３・・・］を算出し、算出したパラメータによって、グローバル動きベクトル（ＧＭＶ）を決定する。
【００４９】
本発明のグローバル動きベクトル（ＧＭＶ）の算出処理の詳細について、図４、図５を参照して説明する。図４は、本発明の画像処理装置内に設定されるグローバル動きベクトル（ＧＭＶ）生成手段の構成例を示している。入力は、現在フレーム画像と参照フレーム画像であり、出力がグローバル動きベクトル（ＧＭＶ）となる。
【００５０】
本発明の画像処理装置内に設定されるグローバル動きベクトル（ＧＭＶ）生成手段は、図４に示すように、ローカル動きベクトル算出部（ＬＭＥ）１０１と、ブロック重み算出部１０２と、グローバル動きベクトル（ＧＭＶ）算出部１０３を有する。
【００５１】
ローカル動きベクトル算出部（ＬＭＥ）１０１は、現在フレーム画像と、参照フレーム画像を入力して、１フレームを小領域のブロックに分割した各ブロック対応の動きベクトル、すなわちローカル動きベクトル（ＬＭＥ）を算出する。なお、このローカル動きベクトル算出部（ＬＭＥ）１０１における処理は、従来から公知の例えばブロックマッチング処理を適用して、各ブロック対応のローカル動きベクトル（ＬＭＶ）を算出する。
【００５２】
ローカル動きベクトル算出部（ＬＭＥ）１０１において算出したローカル動きベクトル（ＬＭＶ）は、ブロック重み算出部１０２と、グローバル動きベクトル（ＧＭＶ）算出部１０３に入力される。
【００５３】
また、ローカル動きベクトル算出部（ＬＭＥ）１０１におけるローカル動きベクトル（ＬＭＶ）算出処理に際して生成される動き補償（ＭＣ：Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）画像と、現在画像フレームと参照画像フレームの対応ブロックの画素情報の差分絶対値和である最小残差（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｎｃｅ）とがブロック重み算出部１０２に入力される。
【００５４】
ブロック重み算出部１０２は、現在フレームに設定されたブロック各々の重み（ｗｅｉｇｈｔ）を算出する。ブロック重み算出部１０２の一例の詳細構成および処理について図５を参照して説明する。
【００５５】
ブロック重み算出部１０２は、図５に示すように、ブロック分散値算出部２１１、画像間共分散算出部２１２、近傍ＬＭＶとの相関算出部２１３、さらに、
（ａ）ＬＭＶ対応重み算出部２２１、
（ｂ）残差対応重み算出部２２２、
（ｃ）分散対応重み算出部２２３、
（ｄ）共分散対応重み算出部２２４、
（ｅ）ＬＭＶ相関対応重み算出部２２５、
さらに、乗算部２３１を有する。
【００５６】
本実施例で示すブロック重み算出部１０２は、上記（ａ）〜（ｅ）の５種類の異なるデータに対応するブロック重みを各々算出し、これら５種類のブロック重みの乗算により最終的なブロック重みを算出する構成としている。以下、上記（ａ）〜（ｅ）の５種類のブロック重みデータの算出処理について順次、説明する。
【００５７】
（ａ）ＬＭＶ対応重み算出部２２１
ＬＭＶ対応重み算出部２２１は、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応のローカル動きベクトル（ＬＭＶ）を入力し入力ＬＭＶに基づいてＬＭＶ対応重みを算出する。
【００５８】
ＬＭＶ対応重み算出部２２１は、ＬＭＶ対応重み算出テーブルを保持しており、このテーブルに従ってＬＭＶ対応重みの算出を行う。ＬＭＶ対応重み算出テーブルの構成例を図６に示す。図６に示すテーブルは、ローカル動きベクトル（ＬＭＶ）のスカラー量に対応して算出される値［ＬＭＶ２］とＬＭＶ対応重み（ｗｅｉｇｈｔ）との対応データによって構成されている。
【００５９】
本処理例では、
ＬＭＶ２＝ＬＭＶｘ２＋ＬＭＶｙ２
として算出される。ＬＭＶｘはローカル動きベクトル（ＬＭＶ）のｘ成分、ＬＭＶｙはローカル動きベクトル（ＬＭＶ）のｙ成分を示している。
なお、図６に示すＬＭＶ対応重み算出テーブルに設定される重みは１．０〜０．０の範囲であり、最大重みが［１．０］となっている。なお、このテーブルは一例であり、設定する重みの範囲も０．０〜１．０の範囲とする設定でもよいし、例えば０．５〜１．０ｋ範囲に設定するなどの構成としてもよい。
【００６０】
また、ＬＭＶ対応重み算出部２２１は、図７（ａ）に示すフローに従ってＬＭＶ対応重み算出する構成としてもよい。まず、ステップＳ１０１において、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応のローカル動きベクトルの水平成分（ＬＭＶｘ）と、垂直成分（ＬＭＶｙ）から、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］を計算する。ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］は、以下の式（式５）によって算出される。
【数３】
0005045320.tif 000004
・・・（式５）
【００６１】
次に、ステップＳ１０２において、ステップＳ１０１で算出したローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］に基づいて、予め定められた変換式により、ＬＭＶ対応重みを算出する。例えば、図７（ｂ）に示す変換テーブルに従った変換により重み算出を行う。
【００６２】
このようにして算出されるＬＭＶ対応重みは、図７（ｂ）に示すように、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］が小さいほど大きく、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］が大きくなるほど重みが小さい設定となる。図７（ｂ）に示す例では、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］に応じて階段上に重みが変化する設定となっている。
【００６３】
（ｂ）残差対応重み算出部２２２
残差対応重み算出部２２２は、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応の最小残差（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｎｃｅ）を入力して、最小残差（ＳＡＤ）対応の重みを算出する。この処理について、図８を参照して説明する。
【００６４】
図８（ａ）は、残差対応重み算出部２２２において、最小残差（ＳＡＤ）に基づいて最小残差（ＳＡＤ）対応の重みを算出する処理シーケンスを説明するフローチャートであり、図８（ｂ）は、最小残差（ＳＡＤ）と残差対応重みとの対応関係の一例を示す図である。
【００６５】
最小残差（ＳＡＤ）は、前述したように現在画像フレームと参照画像フレームの対応ブロックの画素情報の差分絶対値和である。残差対応重み算出部２２２は、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応の最小残差（ＳＡＤ）に基づいて、図８（ａ）に示すフローに従った処理を実行して残差対応重みを算出する。
【００６６】
まず、ステップＳ２０１において、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応のローカル動きベクトルの水平成分（ＬＭＶｘ）と、垂直成分（ＬＭＶｙ）から、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］を計算する。ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］は、前述の式（式５）によって算出される。
【００６７】
次に、ステップＳ２０２において、ステップＳ２０１で算出したローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］に基づいて、予め定められた変換式により、残差対応重みを算出する。例えば、図８（ｂ）に示す変換テーブルに従った変換により重み算出を行う。
【００６８】
このようにして算出される残差対応重みは、図８（ｂ）に示すように、最小残差（ＳＡＤ）が小さいほど大きく、最小残差（ＳＡＤ）が大きくなるほど重みが小さい設定となる。図８（ｂ）に示す例では、一定値［Ｔｈａ］以下の最小残差（ＳＡＤ）に対しては、重みの最大値［１．０］を設定し、一定値［Ｔｈｂ］以上の最小残差（ＳＡＤ）に対しては、重みの最小値［０．０］を設定する例を示している。
【００６９】
（ｃ）ブロック分散対応重み算出部２２３
ブロック分散対応重み算出部２２３は、ブロック分散値算出部２１１から現在フレームの各ブロック対応のブロック分散値を入力して、ブロック分散対応重みを算出する。この処理について、図９を参照して説明する。
【００７０】
図９（ａ）は、ブロック分散値算出部２１１と、ブロック分散対応重み算出部２２３において実行されるブロック分散対応重み算出処理シーケンスを説明するフローチャートであり、図９（ｂ）は、ブロック分散値算出部２１１におけるブロック分散値の算出処理を説明する図であり、図９（ｃ）は、ブロック分散とブロック分散対応重みとの対応関係の一例を示す図である。
【００７１】
まず、図９（ａ）に示すフローチャートのステップＳ３０１はブロック分散値算出部２１１の処理であり、現在フレーム画像を入力し、現在フレーム画像の各ブロック各々についてのブロック分散値［ＶａｒＢｌｋ］を算出する。ブロック分散値［ＶａｒＢｌｋ］の算出は、以下の式（式６）に従って実行される。
【数４】
0005045320.tif 000005
・・・（式６）
なお、
ｐｉはブロック内のｉ番目の画素値、
ｐｉバー（−）は、ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
【００７２】
図９（ｂ）は、このステップＳ３０１の処理、すなわち、ブロック分散値算出部２１１におけるブロック分散値の算出処理を説明している図であり、現在フレーム３０１の処理対象ブロック３０２からの画素値ｐｉと、ブロック内画素の画素値平均値ｐｉバー（−）を算出して、上記式（式６）に従ってブロック分散値［ＶａｒＢｌｋ］を算出することを説明する図である。
【００７３】
次のステップＳ３０２の処理は、ブロック分散対応重み算出部２２３の処理であり、ブロック分散対応重み算出部２２３は、ブロック分散値算出部２１１において、ステップＳ３０１で算出したブロック分散値［ＶａｒＢｌｋ］を入力し、ブロック分散値［Ｖａｒｂｌｏｃｋ］に基づいて、予め定められた変換式により、ブロック分散対応重みを算出する。例えば、図９（ｃ）に示す変換テーブルに従った変換により重み算出を行う。
【００７４】
このようにして算出されるブロック分散対応重みは、図９（ｃ）に示すように、ブロック分散が小さいほど小さく、ブロック分散が大きくなるほど重みが大きい設定となる。図９（ｃ）に示す例では、ブロック分散の値［ＶａｒＢｌｋ］に応じて階段上に重みが変化する設定となっている。
【００７５】
（ｄ）ブロック共分散対応重み算出部２２４
ブロック共分散対応重み算出部２２４は、画像間共分散算出部２１２から現在フレームと動き補償（ＭＣ）画像の対応ブロックの解析によって算出した共分散値を入力して共分散対応重みを算出する。この処理について、図１０を参照して説明する。
【００７６】
図１０（ａ）は、画像間共分散算出部２１２と、共分散対応重み算出部２２４において実行される共分散対応重みを算出処理シーケンスを説明するフローチャートであり、図１０（ｂ）は、画像間共分散算出部２１２における共分散の算出処理を説明する図であり、図１０（ｃ）は、共分散と共分散対応重みとの対応関係の一例を示す図である。
【００７７】
まず、図１０（ａ）に示すフローチャートのステップＳ４０１は共分散算出部２１２の処理であり、現在フレーム画像と参照フレームの動き補償（ＭＣ）画像を入力し、現在フレーム画像の各ブロック各々についての共分散［ＣｏＶａｒＢｌｋ］を算出する。共分散値［ＣｏＶａｒＢｌｋ］の算出は、以下の手順で実行される。図１０（ｂ）を参照して説明する。
まず、現在フレーム画像３２１の処理対象ブロック３２２のブロック内画素値（ｐｉ）の平均値（ｐｉバー（−））を算出する。
次に、動き補償のなされた参照画像（ＭＣ画）３３１の対応ブロック３３２のブロック内画素値（ｑｉ）の平均値（ｑｉバー（−））を算出する。
これらの算出値に基づいて以下の式（式７）に従って共分散を算出する。
【数５】
0005045320.tif 000006
・・・（式７）
なお、
ｐｉは現在フレームのブロック内のｉ番目の画素値、
ｐｉバー（−）は、現在フレームのブロック内の画素値の平均値、
ｑｉは動き補償のなされた参照画像（ＭＣ画）の対応ブロック内のｉ番目の画素値、
ｑｉバー（−）は、動き補償のなされた参照画像（ＭＣ画）の対応ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
【００７８】
次のステップＳ４０２の処理は、共分散対応重み算出部２２４の処理であり、共分散対応重み算出部２２４は、画像間分散算出部２１２において、ステップＳ４０１で算出した共分散値［ＣｏＶａｒＢｌｋ］を入力し、共分散値［ＣｏＶａｒｂｌｋ］に基づいて、予め定められた変換式により、共分散対応重みを算出する。例えば、図１０（ｃ）に示す変換テーブルに従った変換により重み算出を行う。
【００７９】
このようにして算出される共分散対応重みは、例えば図１０（ｃ）に示すように、共分散が小さいほど小さく、共分散が大きくなるほど重みが大きい設定となる。図１０（ｃ）に示す例では、共分散の値［ＣｏＶａｒＢｌｋ］に応じて階段上に重みが変化する設定となっている。
【００８０】
なお、上述した処理では、共分散を検出して変換式を用いて共分散対応重みを算出する構成としているが、現在フレーム画像と参照フレームの動き補償（ＭＣ）画像の対応ブロックの画素値データから相関係数を算出し、算出した相関係数に基づいて相関係数対応重みを算出する構成としてもよい。この処理について、図１１を参照して説明する。
【００８１】
図１１（ａ）は、現在フレーム画像と参照フレームの動き補償（ＭＣ）画像の対応ブロックの画素値データから相関係数を算出し、算出した相関係数に基づいて共分散対応重みを算出する処理シーケンスを説明するフローチャートであり、図１１（ｃ）は、相関係数と共分散対応重みとの対応関係の一例を示す図である。
【００８２】
まず、図１１（ａ）に示すフローチャートのステップＳ４２１において、現在フレーム画像と参照フレームの動き補償（ＭＣ）画像を入力し、現在フレーム画像の各ブロック各々の対応ブロックデータから以下の式（式８）に従って相関係数を算出する。
【数６】
0005045320.tif 000007
・・・（式８）
なお、
ｐｉは現在フレームのブロック内のｉ番目の画素値、
ｐｉバー（−）は、現在フレームのブロック内の画素値の平均値、
ｑｉは動き補償のなされた参照画像（ＭＣ画）の対応ブロック内のｉ番目の画素値、
ｑｉバー（−）は、動き補償のなされた参照画像（ＭＣ画）の対応ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
【００８３】
次のステップＳ４２２の処理は、ステップＳ４２１で算出した相関係数を入力し、相関係数に基づいて、予め定められた変換式により、相関係数対応重みを算出する。例えば、図１１（ｂ）に示す変換テーブルに従った変換により重み算出を行う。
【００８４】
このようにして算出される相関係数対応重みは、例えば図１１（ｂ）に示すように、相関係数が小さいほど小さく、相関係数が大きくなるほど重みが大きい設定となる。図１１（ｂ）に示す例では、相関係数の値に応じてなだらかに重みが変化する設定となっている。
【００８５】
（ｅ）ＬＭＶ相関対応重み算出部２２５
ローカル動きベクトル（ＬＭＶ）相関対応重み算出部２２５は、近傍ＬＭＶとの相関算出部２１３から現在フレームの各ブロック対応のローカル動きベクトル（ＬＭＶ）相関値を入力して、ローカル動きベクトル（ＬＭＶ）相関対応重みを算出する。この処理について、図１２を参照して説明する。
【００８６】
図１２（ａ）は、近傍ＬＭＶとの相関算出部２１３と、ローカル動きベクトル（ＬＭＶ）相関対応重み算出部２２５において実行されるローカル動きベクトル（ＬＭＶ）相関対応重み算出処理シーケンスを説明するフローチャートであり、図１２（ｂ）は、近傍ＬＭＶとの相関算出部２１３における近傍ＬＭＶとの相関算出処理を説明する図であり、図１２（ｃ）は、近傍ＬＭＶとの相関［Ｌｍｖ＿ｃｏｒ］とＬＭＶ相関対応重みとの対応関係の一例を示す図である。
【００８７】
まず、図１２（ａ）に示すフローチャートのステップＳ５０１は近傍ＬＭＶとの相関算出部２１３の処理であり、現在フレーム画像の処理対象ブロックのローカル動きベクトル（ＬＭＶ）と、周辺ブロックのローカル動きベクトル（ＬＭＶ）を入力し、現在フレーム画像の各ブロック各々についてのＬＭＶ相関値［Ｌｍｖ＿ｃｏｒ］を算出する処理である。
【００８８】
この処理の手順について、図１２（ｂ）を参照して説明する。現在フレーム画像５５１の処理対象ブロック５５２のブロック内画素の画素値平均を算出し、次に、この平均値と、ブロック内各画素の画素値を用いて、以下の式（式９）に従ってＬＭＶ相関値［Ｌｍｖ＿ｃｏｒ］を算出する。
【数７】
0005045320.tif 000008
・・・（式９）
ただし、
ＡｖｅＬｍｖＸ：処理対象ブロックの近傍ブロックのＬＭＶ平均値（水平方向）
ＡｖｅＬｍｖＹ：処理対象ブロックの近傍ブロックのＬＭＶ平均値（垂直方向）
ＬＭＶｘ：処理対象ブロックのＬＭＶ（水平方向）
ＬＭＶｙ：処理対象ブロックのＬＭＶ（垂直方向）
である。
【００８９】
次のステップＳ５０２の処理は、ＬＭＶ相関対応重み算出部２２５の処理であり、近傍ＬＭＶとの相関算出部２１３において、ステップＳ５０１で算出したＬＭＶ相関値［Ｌｍｖ＿ｃｏｒ］を入力し、ＬＭＶ相関値［Ｌｍｖ＿ｃｏｒ］に基づいて、予め定められた変換式により、ＬＭＶ相関対応重みを算出する。例えば、図１２（ｃ）に示す変換テーブルに従った変換により重み算出を行う。
【００９０】
このようにして算出されるＬＭＶ相関対応重みは、図１２（ｃ）に示すように、ＬＭＶ相関が小さいほど大きく、ＬＭＶ相関が大きくなるほど重みが小さくなる設定となる。図１２（ｃ）に示す例では、一定値［Ｔｈａ］以下のＬＭＶ相関に対しては、重みの最大値［１．０］を設定し、一定値［Ｔｈｂ］以上のＬＭＶ相関に対しては、重みの最小値［０．０］を設定する例を示している。
【００９１】
以上、図４に示すグローバル動きベクトル生成手段におけるブロック重み算出部１０２の実行する処理、すなわち、図５に示す
（ａ）ＬＭＶ対応重み算出部２２１、
（ｂ）残差対応重み算出部２２２、
（ｃ）分散対応重み算出部２２３（＋ブロック分散値算出部２１１）
（ｄ）共分散対応重み算出部２２４（＋画像間共分散算出部２１２）、
（ｅ）ＬＭＶ相関対応重み算出部２２５（＋近傍ＬＭＶとの相関算出部２１３）、
これらの各重み算出部の処理について説明した。
【００９２】
ブロック重み算出部１０２は、図５に示すように、これら（ａ）〜（ｅ）の異なるブロック対応重みデータを乗算部２３１に入力して、最終的なブロック対応重みを算出して、図４に示すグローバル動きベクトル算出部（ＧＭＥ）１０３に出力する。
【００９３】
（ａ）ＬＭＶ対応重み算出部２２１の算出するＬＭＶ対応重みを［Ｗ＿ｌｍｖ］、
（ｂ）残差対応重み算出部２２２の算出する残差対応重みを［Ｗ＿ｓａｄ］、
（ｃ）分散対応重み算出部２２３の算出する分散対応重みを［Ｗ＿ｖａｒ］、
（ｄ）共分散対応重み算出部２２４の算出する共分散対応重みを［Ｗ＿ｃｏｒ］、
（ｅ）ＬＭＶ相関対応重み算出部２２５の算出するＬＭＶ相関対応重みを［Ｗ＿ｌｍｖｃｏｒ］、
このように設定したとき、乗算部２３１は、これらの値を入力して、ブロック重み［Ｗ＿ｂｌｏｃｋ］を以下の算出式（式１０）に従って算出する。
Ｗ＿ｂｌｏｃｋ＝Ｗ＿ｌｍｖ×Ｗ＿ｓａｄ×Ｗ＿ｖａｒ×Ｗ＿ｃｏｒ×Ｗ＿ｉｍｖｃｏｒ
・・・（式１０）
【００９４】
図４に示すグローバル動きベクトル算出部（ＧＭＥ）１０３は、ブロック重み算出部１０２の算出した上記ブロック重み［Ｗ＿ｂｌｏｃｋ］と、ローカル動きベクトル算出部（ＬＭＥ）１０１の算出した各ブロック対応のローカル動きベクトル（ＬＭＶ）を入力し、これらの入力テータに基づいて、フレーム対応のグローバル動きベクトル（ＧＭＶ）を算出する。
【００９５】
グローバル動きベクトル算出部（ＧＭＥ）１０３における、グローバル動きベクトル（ＧＭＶ）の算出処理について図１３を参照して説明する。
【００９６】
グローバル動きベクトル算出部（ＧＭＥ）１０３は、ブロック重み算出部１０２の算出したブロック重み［Ｗ＿ｂｌｏｃｋ］データとして例えば、図１３（ａ）に示すデータを受領する。これは、１つのフレームに設定された小領域のブロック各々について、前述の複数の異なる重みデータ、すなわち、
（ａ）ＬＭＶ対応重み算出部２２１の算出したＬＭＶ対応重み［Ｗ＿ｌｍｖ］、
（ｂ）残差対応重み算出部２２２の算出した残差対応重み［Ｗ＿ｓａｄ］、
（ｃ）分散対応重み算出部２２３の算出した分散対応重み［Ｗ＿ｖａｒ］、
（ｄ）共分散対応重み算出部２２４の算出した共分散対応重み［Ｗ＿ｃｏｒ］、
（ｅ）ＬＭＶ相関対応重み算出部２２５の算出したＬＭＶ相関対応重み［Ｗ＿ｌｍｖｃｏｒ］、
これらのデータに基づいて、下式、すなわち、
Ｗ＿ｂｌｏｃｋ＝Ｗ＿ｌｍｖ×Ｗ＿ｓａｄ×Ｗ＿ｖａｒ×Ｗ＿ｃｏｒ×Ｗ＿ｉｍｖｃｏｒ
このブロック重み算出式を適用して、各ブロック各々の重みを算出した結果である。
【００９７】
グローバル動きベクトル算出部（ＧＭＥ）１０３は、この図１３（ａ）に示すブロック重みの他、さらに、ローカル動きベクトル算出部（ＬＭＥ）１０１の算出した各ブロック対応のローカル動きベクトル（ＬＭＶ）を入力し、個々のローカル動きベクトル（ＬＭＶ）の重み（Ｗｅｉｇｈｔ）を考慮してグローバル動きベクトル（ＧＭＶ）を求める。
【００９８】
グローバル動きベクトル算出部（ＧＭＥ）１０３における処理例について、図１３（ｂ）に示すフローチャートを参照して説明する。ここでは、一例として、グローバル動きベクトル（ＧＭＶ）と、ブロック対応のローカル動きベクトル（ＬＭＶ）とが平行移動（並進）のみを示すベクトルであると仮定して説明する。
【００９９】
まず、ステップＳ６０１において、処理対象フレームの各ブロック（ｎ）に対応するローカル動きベクトル（ＬＭＶｎ）と、グローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］を算出する
【０１００】
前述したように、グローバル動きベクトル（ＧＭＶ）は、例えば平行移動（並進）のみを示すベクトルの場合、現フレーム画像の座標（ｘ，ｙ）と、参照画像の座標（ｘ'，ｙ'）との対応関係が、２つのパラメータ［ａ０，ａ１］を用いて以下の式として表現される。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
【０１０１】
一方、各ブロックのローカル動きベクトル（ＬＭＶｎ）が、平行移動（並進）のみを示すベクトルの場合、
ローカル動きベクトル（ＬＭＶｎ）＝（ＭＶＸｎ，ＭＶＹｎ）
とすると、現フレーム画像のブロックｎの座標（ｘｎ，ｙｎ）と、参照画像のブロックｎの座標（ｕｎ，ｖｎ）との対応は、以下の式によって示される。
ｕｎ＝ｘｎ＋ＭＶＸｎ
ｖｎ＝ｙｎ＝ＭＶＹｎ
【０１０２】
ここで、１つの画像フレームに対応するグローバル動きベクトル（ＧＭＶ）とそのフレームに含まれるブロックｎのローカル動きベクトル（ＬＭＶｎ）との差分［ｅｎ］は、先に説明したように、以下の式（式１１）となる。
【数８】
0005045320.tif 000009
・・・（式１１）
【０１０３】
ステップＳ６０２において、各ブロック（ｎ）のブロック重み［Ｗｎ］と差分［ｅｎ］との乗算結果の総和データであるコスト［Ｑ］を算出する。すなわち、上記式（式１１）によって算出される各ブロックｎに対応するベクトル差分［ｅｎ］と各ブロックｎに対応して設定される重み（ｗｅｉｇｈｔ）を利用して、グローバル動きベクトルコスト（ＧＭＶコスト）［Ｑ］を以下の式（式１２）に従って算出する。
【数９】
0005045320.tif 000010
・・・（式１２）
【０１０４】
次に、ステップＳ６０３において、上記式（式１２）によって算出されるＧＭＶコスト［Ｑ］を最小にするパラメータ［ａ０〜ａｋ］を算出する。本例では、グローバル動きベクトル（ＧＭＶ）は、平行移動（並進）のみを示すベクトルの例であり、２つのパラメータ［ａ０，ａ１］を用いた以下の式、
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
この２つのパラメータ［ａ０，ａ１］を用いた式として表現されているので、上記式（式１２）によって算出されるＧＭＶコスト［Ｑ］を最小にする２つのパラメータ［ａ０，ａ１］算出する。
【０１０５】
最後に、ステップＳ６０４において、算出したパラメータ［ａ０〜ａｋ］によって、表現されるグローバル動きベクトル（ＧＭＶ）を処理対象フレームに対応するグローバル動きベクトル（ＧＭＶ）として決定する。平行移動（並進）のみを示すベクトルの場合は、ＧＭＶコスト［Ｑ］を最小にする２つのパラメータ［ａ０，ａ１］を適用して、
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
上記のグローバル動きベクトル（ＧＭＶ）が決定される。
【０１０６】
なお、前述したように、上記の式（式１１）（式１２）に従って、コストＱを最小にするパラメータａ０，ａ１を算出する処理は、各ブロック対応の重み（ｗｅｉｇｈｔ）を考慮した最小二乗法を適用した処理である。また、上述した処理例は、グローバル動きベクトル（ＧＭＶ）が、平行移動（並進）のみを示すベクトルの場合であり、２つのパラメータ［ａ０，ａ１］を求める処理として説明したが、前述したように、グローバル動きベクトル（ＧＭＶ）は、平行移動、回転、拡大、縮小、アフィン（Ａｆｆｉｎｅ）変換、投射影変換などを含む情報として設定される場合もあり、設定態様に応じてパラメータ数は変化する。この場合も、上述の処理と同様に、グローバル動きベクトル（ＧＭＶ）とそのフレームに含まれるブロックｎのローカル動きベクトル（ＬＭＶｎ）との差分［ｅｎ］を算出し、各ブロック対応の重み（ｗｅｉｇｈｔ）を考慮したＧＭＶコスト［Ｑ］を最小にするパラメータ［ａ０，ａ１，ａ２，ａ３・・・］を算出し、算出したパラメータによって、グローバル動きベクトル（ＧＭＶ）を決定する。
【０１０７】
このように本発明の画像処理装置では、各ブロックに対応するローカル動きベクトルの信頼度に対応するブロック重みを算出してブロック重みに応じて各ブロックに対応するローカル動きベクトルの寄与率を設定してグローバル動きベクトル（ＧＭＶ）を決定する構成としている。従って、各ブロックのローカル動きベクトル（ＬＭＶ）を信頼度に応じて確実に反映させた信頼度の高いグローバル動きベクトル（ＧＭＶ）を決定することが可能となる。
【０１０８】
最後に、図１４を参照して、上述した処理を実行する装置の１つのハードウェア構成例としてパーソナルコンピュータのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ  
Ｏｎｌｙ  Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の実施例において説明したグローバル動きベクトル（ＧＭＶ）を決定するプログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ３０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
【０１０９】
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
【０１１０】
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１１１】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。
【０１１２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１３】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１１４】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１１５】
以上、説明したように、本発明の一実施例構成によれば、動画像を構成する画像フレームの分割領域であるブロックに対応するローカル動きベクトル（ＬＭＶ）と、ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みとを算出し、ブロック重みに応じて各ブロック対応の寄与率を設定してグローバル動きベクトル（ＧＭＶ）を算出する構成とした。ブロック重みの算出においては、ローカル動きベクトル（ＬＭＶ）のサイズや、差分絶対値和（ＳＡＤ）、ブロック構成画素値の分散値、処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値など様々な視点からの指標を適用した構成としたので、信頼度の高いグローバル動きベクトル（ＧＭＶ）を算出することが可能となる。
【図面の簡単な説明】
【０１１６】
【図１】グローバル動きベクトル（ＧＭＶ）について説明する図である。
【図２】現在フレームと参照フレームの対応点とグローバル動きベクトル（ＧＭＶ）の関係について説明する図である。
【図３】本発明の画像処理装置におけるグローバル動きベクトル（ＧＭＶ）の導出手法の概要について説明する図である。
【図４】本発明の画像処理装置内に設定されるグローバル動きベクトル（ＧＭＶ）生成手段の構成例を示す図である。
【図５】ブロック重み算出部の一例の詳細構成および処理について説明する図である。
【図６】ＬＭＶ対応重み算出部においてＬＭＶ対応重みの算出を行うために適用するＬＭＶ対応重み算出テーブルの構成例について説明する図である。
【図７】ＬＭＶ対応重み算出部の実行する処理について説明するフローチャートおよびＬＭＶ対応重みの設定例について説明する図である。
【図８】残差対応重み算出部の実行する処理について説明するフローチャートおよび残差対応重みの設定例について説明する図である。
【図９】ブロック分散対応重み算出部の実行する処理について説明するフローチャートおよびブロック分散対応重みの設定例について説明する図である。
【図１０】ブロック共分散対応重み算出部の実行する処理について説明するフローチャートおよびブロック共分散対応重みの設定例について説明する図である。
【図１１】相関係数対応重みの算出処理について説明するフローチャートおよび相関係数対応重みの設定例について説明する図である。
【図１２】ＬＭＶ相関対応重み算出部の実行する処理について説明するフローチャートおよびＬＭＶ相関対応重みの設定例について説明する図である。
【図１３】グローバル動きベクトル算出部（ＧＭＥ）１０３における、グローバル動きベクトル（ＧＭＶ）の算出処理について説明する図である。
【図１４】本発明の一実施例に係る画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１１７】
１０，１１  画像フレーム
２１  動きベクトル
１０１  ローカル動きベクトル算出部（ＬＭＥ）
１０２  ブロック重み算出部
１０３  グローバル動きベクトル（ＧＭＶ）算出部
２１１  ブロック分散値算出部
２１２  画像間共分散算出部
２１３  近傍ＬＭＶとの相関算出部
２２１  ＬＭＶ対応重み算出部
２２２  残差対応重み算出部
２２３  分散対応重み算出部
２２４  共分散対応重み算出部
２２５  ＬＭＶ相関対応重み算出部
２３１  乗算部
７０１  ＣＰＵ
７０２  ＲＯＭ
７０３  ＲＡＭ
７０４  バス
７０５  入出力インタフェース
７０６  入力部
７０７  出力部
７０８  記憶部
７０９  通信部
７１０  ドライブ
７１１  リムーバブルメディア
【図４】
0005045320.tif 000011
【図５】
0005045320.tif 000012
【図６】
0005045320.tif 000013
【図７】
0005045320.tif 000014
【図８】
0005045320.tif 000015
【図１１】
0005045320.tif 000016
【図１３】
0005045320.tif 000017
【図１４】
0005045320.tif 000018
【図１】
0005045320.tif 000019
【図２】
0005045320.tif 000020
【図３】
0005045320.tif 000021
【図９】
0005045320.tif 000022
【図１０】
0005045320.tif 000023
【図１２】
0005045320.tif 000024