(57)【要約】【課題】動画像データから得た動きベクトルの評価情報を使用して、候補ベクトルを検出する場合の精度を向上させる。【解決手段】頻度の高い動きベクトルを検出すると共に評価情報を生成する処理部１２と、評価情報に基いて動きベクトルを抽出する抽出部１３と、抽出された候補の中から動きベクトルを決定する動きベクトル決定部１４とを備える。評価情報の生成処理部１２は、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチ範囲内の参照画素との相関情報から求められる動きベクトル候補が高頻度動きベクトルと相関が高いかどうか判定する。その判定で相関が高い場合、動きベクトル候補に対応する注目画素及び／又は参照画素をフレーム中の画素から選別し、選別された画素以外の画素に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価情報を形成する。【選択図】図１
2010103715.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームで構成される動画像データから、頻度の高い動きベクトルを検出する高頻度動きベクトル検出部と、
前記動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報から求められる動きベクトル候補が前記高頻度動きベクトルと相関が高い場合に、該動きベクトル候補に対応する注目画素及び／又は参照画素を、フレーム中の画素から選別する画素選別部と、
前記選別された画素以外の画素に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価情報を形成する評価情報形成部と、
前記評価情報形成部が形成した評価情報から検出した動きベクトルと、前記高頻度動きベクトル検出部が検出した頻度の高い動きベクトルの情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出部と、
動きベクトル抽出部で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割当てる動きベクトルを決定する動きベクトル割り当て部とを備えた
動きベクトル検出装置。
【請求項２】
前記高頻度動きベクトル検出部は、前記評価情報形成部で注目画素を設定する前記一方のフレームより前のフレームと、前記一方のフレームとの相関から検出した動きベクトルから、頻度の高い動きベクトルを検出する
請求項１に記載の動きベクトル検出装置。
【請求項３】
前記高頻度動きベクトル検出部は、前記評価情報形成部で注目画素を設定する前記一方のフレームと、前記他方のフレームとの相関から検出した動きベクトルから、頻度の高い動きベクトルを検出する
請求項１に記載の動きベクトル検出装置。
【請求項４】
前記高頻度動きベクトル検出部は最も頻度の高い動きベクトルを検出し、その検出した最も頻度の高い動きベクトルと相関の高い動きベクトルの注目画素及び／又は参照画素となる画素に関わる評価情報を、前記積算する情報から除外する選別除去を前記画素選別部で行う
請求項１〜３のいずれか１項に記載の動きベクトル検出装置。
【請求項５】
前記高頻度動きベクトル検出部は最も頻度の高い動きベクトルから所定番目に頻度が高い動きベクトルまでを検出し、その検出した所定番目まで頻度の高い動きベクトルと相関の高い動きベクトルの注目画素及び／又は参照画素となる画素に関わる評価情報を、前記積算する情報から除外する選別除去を前記画素選別部で行う
請求項１〜３のいずれか１項に記載の動きベクトル検出装置。
【請求項６】
前記評価情報形成部は、前記一方のフレームで注目画素とその隣接画素との空間傾斜状態を判断し、前記他方のフレームの参照画素とその隣接画素との空間傾斜状態を判断し、それぞれの空間傾斜の符号が一致した状態である場合に、該当する注目画素から参照画素への動きベクトルを、評価情報に積算する
請求項１〜３のいずれか１項に記載の動きベクトル検出装置。
【請求項７】
前記空間傾斜状態は、注目画素又は参照画素とそれぞれの周囲の隣接画素との空間傾斜に基づいたパターンで判断する
請求項６記載の動きベクトル検出装置。
【請求項８】
前記動きベクトル割り当て部は、前記動きベクトル抽出部で抽出された候補となる動きベクトルの注目画素及び参照画素について、同じ画素値が連続する状態に応じて適応的に定常領域を設定し、その設定した定常領域どうしの相関を比較した結果に基づいて、前記一方のフレームから前記他方のフレームへの各画素の動きベクトルを割り当てる
請求項１〜３のいずれか１項に記載の動きベクトル検出装置。
【請求項９】
複数のフレームで構成される動画像データから、頻度の高い動きベクトルを検出する高頻度動きベクトル検出処理と、
前記動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報から求められる動きベクトル候補が前記高頻度動きベクトルと相関が高い場合に、該動きベクトル候補に対応する注目画素及び／又は参照画素を、フレーム中の画素から選別する画素選別処理と、
前記画素選別処理で選別された画素以外の画素に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価情報を形成する評価情報形成処理と、
前記評価情報形成処理で形成された評価情報と、前記高頻度動きベクトル検出処理が検出した頻度の高い動きベクトルの情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル候補抽出処理と、
動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割当てる動きベクトルを決定する動きベクトル割り当て処理とを行う
動きベクトル検出方法。
【請求項１０】
複数のフレームで構成される動画像データから、頻度の高い動きベクトルを検出する高頻度動きベクトル検出処理と、
前記動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報から求められる動きベクトル候補が前記高頻度動きベクトルと相関が高い場合に、該動きベクトル候補に対応する注目画素及び／又は参照画素を、フレーム中の画素から選別する画素選別処理と、
前記画素選別処理で選別された画素以外の画素に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価情報を形成する評価情報形成処理と、
前記評価情報形成処理で形成された評価情報と、前記高頻度動きベクトル検出処理が検出した頻度の高い動きベクトルの情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル候補抽出処理と、
動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割当てる動きベクトルを決定する動きベクトル割り当て処理を、
情報処理装置に実装して実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データから動きベクトルを検出して、高能率符号化などの画像処理を行う場合に適用して好適な動きベクトル検出装置及び動きベクトル検出方法、並びにその動きベクトル検出処理を実行するプログラムに関する。
【背景技術】
【０００２】
従来、動画像の処理の分野において、動きの情報、即ち時間的に異なる画像中の物体の動き方向と大きさを用いて、画像処理を効率的に行うことが行われている。例えば、画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによるテレビジョン雑音低減装置における動きによるパラメータ制御などに、動き権検出結果を利用することが行われている。動きを求める手法としては、ブロックマッチング法が知られている。ブロックマッチング法は、１フレームの画像を所定画素単位のブロックとしたブロック単位で、そのブロックが動いた領域を探索するものである。このブロックマッチングによる動きベクトル検出処理は、ＭＰＥＧ方式などで実用化されている、動きベクトルを利用した画像処理として、最も普及した一般的な処理である。
【０００３】
ところが、ブロックマッチング法では、ブロックを単位とした処理であるため、各フレーム内の画像の動き検出を必ずしも高精度に検出しているとは言えなかった。このため、本出願人は、先に特許文献１に記載した動きベクトル検出処理を提案した。この動きベクトル検出処理は、画像信号から、各画素位置の動きに関する評価値を検出し、その検出した評価値を評価値テーブルとして持ち、評価値テーブルのデータから、１画面内の候補ベクトルとして複数のベクトルを抽出する。そして、その抽出した複数の候補ベクトルを対象として、全画面の各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素の相関を判定する。その結果、最も相関が高いと判定された画素を結ぶ候補ベクトルを、その画素に対する動きベクトルとして決定するものである。この処理の詳細は、後述する実施の形態の中で説明する。
【０００４】
図２７は、この評価値テーブルを使用して、動きベクトルを決定する場合の、先に提案した評価値テーブル形成部の構成を示した図である。図２７の構成を説明すると、入力端子１に得られる画像信号は、相関演算部２に供給される。相関演算部２は、参照点メモリ２ａと注目点メモリ２ｂと絶対値算出部２ｃとを備える。入力端子１に得られる画像信号を、最初に参照点メモリ２ａに記憶させ、さらに参照点メモリ２ａの記憶データを注目点メモリ２ｂに移して、参照点メモリ２ａと注目点メモリ２ｂとで１フレームの差がある画素信号を記憶させる。そして、注目点メモリ２ｂに記憶された画像信号の中の、注目画素の画素値と、参照点メモリ２ａに記憶された画像信号の中の参照画素として選定された画素位置の画素値とを読み出し、両信号の差分を絶対値検出部２ｃで検出する。検出した差分の絶対値のデータを、相関判定部３に供給する。相関判定部３は、比較部３ａを備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、一例として相関値を用いることができ、例えば差分が閾値以下であるとき、相関が高いとする。
【０００５】
相関判定部３で得られた評価値は、評価値テーブル算出部４に供給し、評価値積算部４ａで評価値を積算し、その積算結果を評価値テーブルメモリ４ｂに記憶させる。そして、評価値テーブルメモリ４ｂの記憶データを、評価値テーブルデータとして出力端子５から後段の回路に供給する。
【０００６】
図２８は、この図２７に示す従来の評価値テーブルを使用して動きベクトルを決定する処理状態の概要を示した図である。図２８（ａ）に示すように、まず現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ０とする。この注目画素ｄ０が決まると、その注目画素ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ１として評価値が算出され、評価テーブルに登録される。そして、評価値テーブルに登録された値から、サーチエリアＳＡで最も評価値が高い参照画素が、前フレームの注目画素から動いた現フレームの画素位置として求まる。このように最も評価値が高い参照画素が求まることで、図２８（ｂ）に示されるように、その評価値が最も高い参照画素と注目画素との動き量から、動きベクトルが定まる。
この図２７，図２８に示す処理を、１フレーム内の各画素を注目画素として行うことで、前フレームと現フレームとの間で、存在する可能性のある動きベクトルの評価値が全画素分積算された評価値テーブルデータが得られる。その評価値テーブルデータを後段の処理部に送ることで、評価値テーブルデータに基づいて動きベクトルを検出することができる。
【特許文献１】特開２００５−１７５８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
評価値テーブルデータに基づいて動きベクトルを検出する場合、最適な動きベクトルの決定は、評価値テーブルの性能に依存する。図２８に示した従来方式では、注目画素と未来フレーム（現フレーム）内の探索範囲における、動き候補先画素との相関判定、具体的には輝度値の差分絶対値がある閾値以下であれば、動き候補のベクトルとして、評価値テーブルに度数がカウントされる。
【０００８】
ところが、この従来手法による処理では、画面中の同じ動きをした画素の個数に、評価値テーブルの情報が依存してしまう。
具体的には、例えば画面中の背景が一定の方向に大きく動いている状況の中で、その画面中の比較的小さな物体が背景とは異なる動きをするような画面を考える。このような画面の１つの例としては、例えば、何らかのスポーツ競技を撮影して、フィールド上を動く選手やボールを追いかけた画像としたとき、発生する。
このような状況の画面では、評価値テーブルに積算される動きベクトルは、大部分が背景の動きによる動きベクトルであり、背景とは異なる動きをする物体の動きベクトルの検出は僅かであり、評価値テーブル内に埋もれてしまう。
【０００９】
従って、従来のこの種の評価値テーブルを使って、後段の処理系で候補ベクトルの決定を行っても、比較的小さな物体の動きベクトルが候補として選び出すことは困難であり、背景動きなどの大きな動き以外の他の動きが抽出されないという問題があった。このため、画面中の大きな動きとは異なる動きについては、動きベクトルの割当てが正しくできない可能性があった。特に、画像中に背景の動きとは異なる複数の動きがあった場合には、それぞれの動きに起因する評価値が埋もれ、それぞれの動きベクトルを検出することが困難であった。
なお、ここでは画面中の大きな動きとして背景が動いている例について説明したが、画面中の背景以外であっても、比較的広い範囲で同じ方向に大きく動いている場合には、同様な問題がある。例えば、画面を大きく占有する前景物体の動きなどについても、背景の場合と同じである。
【００１０】
本発明はかかる点に鑑みてなされたものであり、評価値テーブルの如き評価情報を使用して動きベクトルを検出する場合の精度を向上させることを目的とする。また、複数の動きがある場合にも複数の動きを検出できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、動画像データから動きベクトルを検出する場合に適用される。
その処理構成としては、頻度の高い動きベクトルを検出する高頻度動きベクトル検出処理と、画素選別処理と、評価情報を生成する処理と、評価情報に基いて動きベクトルを抽出する処理と、抽出された候補の中から動きベクトルを決定する割り当て処理を行う。
画素選別処理は、動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報から求められる動きベクトル候補が高頻度動きベクトルと相関が高いかどうか判定する。その判定で相関が高い場合に、該動きベクトル候補に対応する注目画素及び／又は参照画素を、フレーム中の画素から選別する。
評価情報を生成する処理では、画素選別処理で選別された画素以外の画素に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価情報を形成する。
【００１２】
本発明によると、評価情報を作成する際に、高い頻度で現われるベクトルと相関の高い動きベクトルの画素に関わる評価情報が選別除去される。このため、動きベクトルの候補となる可能性を示す評価値として、背景動きなどのように、画面中に１つの方向への大きな動きがある場合でも、それとは異なる画面中の動きが、積算された評価情報から判別可能になる。従って、得られた評価情報を使用することで、画面中の全ての動きを正しく検出できるようになる。
【発明の効果】
【００１３】
本発明によると、評価情報を作成する際に、高い頻度で現われるベクトルと相関の高い動きベクトルの画素に関わる評価情報を選別除去するようにしたので、各フレーム中に存在する細かい動きが評価情報から判別できるようになる。従って、動きベクトル割り当て処理で動きベクトルを各画素に割り当てる際に、背景などの画面の大部分とは異なる動きをした箇所の画素であっても、正しい動きベクトルが候補に含まれる可能性が高くなり、動きベクトルの割当て精度が向上する。また、例えば１画面内に比較的小さな物体の複数の動きがあった場合でも、それぞれの動きに対する評価値が適切に得られて、複数の動きを同時に算出することが可能となる。
【発明を実施するための最良の形態】
【００１４】
本発明の実施の形態の例について、以下の順序で説明を行う。
１．動きベクトルを検出する全体の構成の概要：図１
２．動きベクトルを検出する全体の処理の概要：図２
３．第１の実施の形態の構成例（例１）：図３
４．第１の実施の形態の処理例（注目画素と高頻度動きを考慮した場合の例１）：図４
５．注目画素と高頻度動きとの関係の説明：図６
６．図４例での画像と評価値テーブルの例：図７〜図９
７．第１の実施の形態の構成例（例２）：図１０
８．第１の実施の形態の処理例（注目画素と高頻度動きを考慮した場合の例２）：図１１
９．第１の実施の形態の他の処理例（注目画素及び参照画素と高頻度動きを考慮した場合の例２）：図１２
１０．参照画素と高頻度動きとの関係の説明：図１３
１１．図１２例での評価値テーブルの例：図１４
１２．第１の実施の形態の変形例
１３．第２の実施の形態の構成例：図１５
１４．第２の実施の形態の処理例：図１６
１５．空間傾斜パターンの説明：図１７〜図２１
１６．動きベクトル抽出部の例：図２２，図２３
１７．動きベクトル割り当て部の例：図２４〜図２６
１８．各実施の形態に共通の変形例の説明
【００１５】
［１．動きベクトルを検出する全体構成の概要］
本発明の第１の実施の形態を、図１〜図１４を参照して説明する。
本実施の形態においては、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、その検出処理として、画素値相関情報より評価情報を形成させて、その評価情報から、動きベクトルを判定するものである。なお、以下の説明では、動きベクトルの評価情報を記憶したものを評価値テーブルと称するが、この評価値テーブルは、必ずしもテーブル状の記憶情報として構成されてなくてもよく、動くベクトルの評価を示す情報であれば良い。例えば、評価値をヒストグラム化した情報として、そのヒストグラム化された評価情報を持つようにしてもよい。
【００１６】
図１は、動きベクトル検出装置の全体構成を示した図である。画像信号入力端子１１に得られる画像信号を、評価値テーブル形成部１２に供給して、評価値テーブルを形成させる。画像信号は、例えば、各フレーム内の各画素で個別の輝度値が得られるデジタル映像信号である。評価値テーブル形成部１２では、サーチエリアと同一の大きさの評価値テーブルを作成する。サーチエリアと同一の大きさの評価値テーブルということは、サーチエリアの中心位置に対応した画素位置から、次のフレームのサーチエリア内のどの位置に動いたかを示す動きベクトルが、積算されるテーブルとなる。
【００１７】
評価値テーブル形成部１２が作成した評価値テーブルデータは、動きベクトル抽出部１３に供給して、評価値テーブルから、候補ベクトルとして複数の動きベクトルを抽出する。ここでは、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。動きベクトル抽出部１３で抽出した複数の候補ベクトルは、動きベクトル割り当て部１４に供給する。動きベクトル割り当て部１４では、候補ベクトル抽出部１３において抽出した複数の候補ベクトルを対象として、全画面の画素ごとに、候補ベクトルによって対応付けられるフレーム間の画素間の相関を領域マッチング等により判定する。そして、最も相関の高い対応となった画素又はブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。これらの動きベクトルを得る処理は、制御部（コントローラ）１６による制御で実行される。
設定された動きベクトルのデータは、動きベクトル出力端子１５から出力させる。このとき、必要により入力端子１１に得られる画像信号に付加して出力させてもよい。出力された動きベクトルデータは、例えば画像データの高能率符号化に使用される。或いは、画像をテレビジョン受像機で表示させる際の高画質化処理に使用される。さらにまた、その他の画像処理に、本例の処理で検出された動きベクトルを使用してもよい。
【００１８】
［２．動きベクトルを検出する全体の処理の概要］
図２のフローチャートは、この動きベクトルを決定するまでの処理例を示したものである。まず、入力した画像信号から、動きベクトルの評価情報である評価値テーブルを形成させ（ステップＳ１１）、その形成された評価値テーブルから、候補となる複数のベクトルを抽出する（ステップＳ１２）。そして、その抽出された複数の候補ベクトルの中から、最も相関の高い動きベクトルを決定する（ステップＳ１３）。この図２のフローチャートの処理が、各フレームで実行される。ここまでは、評価値テーブルを使用した動きベクトル検出構成として一般的な構成である。
【００１９】
そして本実施の形態においては、評価値テーブル形成部１２での評価値テーブルの形成処理として、図３に示す構成とする。図３の例は、評価値テーブルの形成時に、それぞれの動きベクトルの頻度を判定して、高頻度の動きベクトルと相関の高い動きベクトルの注目画素となる画素に関わる評価情報を、積算する情報から除外する選別除去を行うものである。なお、注目画素とは、動きベクトルを判定する上での基準となる点（基準点：注目点）の位置の画素である。注目画素は、例えば１フレーム内の全ての画素を順に注目画素として選定する。参照画素とは、その注目画素から動いた先である可能性がある点（参照点）の位置の画素である。参照画素は、注目画素とは後又は前の別のフレームで、注目画素の画素位置の近傍（即ちサーチエリア内）の画素である。
【００２０】
本実施の形態で特徴となる構成である、図３の構成を説明する前に、注目画素と参照画素との関係について、図５を参照して説明する。
図５に示すように、現在のフレーム（現フレーム）Ｆ１１の１フレーム前の画像データである前フレームＦ１０内の、動きベクトルを判断する基準となる画素位置を注目画素ｄ１０とする。この注目画素ｄ１０が決まると、その注目画素ｄ１０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照画素ｄ１１として評価値が算出される。
【００２１】
［３．第１の実施の形態の構成例（例１）］
図５に示したように注目画素と参照画素とを設定して、図３の構成により評価値テーブルのデータが生成される。
図３の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０に供給する。相関演算部２０は、参照点メモリ２１と注目点メモリ２２と絶対値算出部２３とを備える。入力端子１１に得られる画像信号の中で、参照画素として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。この例では、参照画素が１フレーム前の信号の例である。
【００２２】
そして、注目点メモリ２２に記憶された注目画素の画素値と、参照点メモリ２１に記憶された参照画素の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した差分の絶対値は、相関判定部３０に供給する。
【００２３】
ここで、絶対値算出部２３では、差分の絶対値を算出するのに使った２つの画素位置、即ち注目画素の画素位置と、参照画素の画素位置の内で、注目画素の位置が、画素選別処理部４０から指示された、評価値積算から除外される画素位置と一致するか判断する。その判断で、画素選別処理部４０から指示された画素位置と一致する場合には、後段の処理部である相関判定部３０への差分の絶対値の出力を制限させる。また、このような制限を行わない差分絶対値（即ち全ての差分絶対値）を、画素選別処理部４０内の相関判定部４５に供給する。
相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。相関判定部３０で得られた評価値は、評価値テーブル算出部５０に供給する。
【００２４】
評価値テーブル算出部５０に供給された評価値は、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。評価値テーブルメモリ５２に記憶される評価値は、画素選別処理部４０からの指示に基づいて画素選別が行われた評価値である。このようにして得られた評価値テーブルメモリ５２の記憶データは、評価値テーブルデータとして出力端子１２ａから後段の回路（図１の動きベクトル抽出部１３）に供給する。
【００２５】
次に、画素選別処理部４０の構成について説明する。画素選別処理部４０は、絶対値算出部２３が出力する全ての（即ち選別されていない）差分絶対値を、相関判定部４５に供給し、差分絶対値を閾値と比較する。この相関判定部４５での処理は、相関判定部３０内での処理と同じである。その相関判定部４５での判定結果を、高頻度動き算出部４１に供給する。この相関判定結果に基づいて、１フレーム内で検出される候補ベクトルの内で、頻度が高い動きを算出する。ここでの頻度が高い動きとしては、例えば最も頻度が高い動きベクトルを算出する。或いは、評価値テーブルを作成する代わりに、各ベクトル位置のカウンタを持って、そのカウント値が最も高いベクトルまで算出するようにしてもよい。
本実施の形態では、最も頻度が高い動きベクトルを取り出すものとして説明するが、２番目まで頻度が高い動きベクトルなどの予め決められた所定順位までの高頻度の動きベクトルを取り出してもよい。２番目までなどの複数の動きベクトルを取り出す場合の処理については後述する。
【００２６】
高頻度動き算出部４１で算出した頻度が高い動きベクトルのデータは、高頻度動き判定部４２に供給する。高頻度動き判定部４２では、参照点メモリ２１に記憶された参照画素のデータと注目点メモリ２２に記憶された注目画素のデータとを見て、注目画素から見て候補となる動きベクトルが、高頻度動きのベクトルと同じか否か判断される。ここでの同じとは、候補となる動きベクトルの注目画素と参照画素を結ぶ距離と方位が、最も頻度が高い動きベクトルの始点と終点とを結ぶ距離と方位と相関が高いということである。
候補となる動きベクトルが、高頻度動きのベクトルと同じ場合には、そのときの注目画素の１フレーム内の画素位置を、選別注目点メモリ４３に指示して、該当する画素位置が評価値積算から除外されることを記憶する。従って、１フレーム内の全ての注目画素についての処理が完了すると、選別注目点メモリ４３には、高頻度の動きベクトルと相関の高い動きベクトルを持つ注目画素の、１フレーム内での画素位置の情報が記憶される。なお、図３では選別参照点メモリ４４を示してあるが、この選別参照点メモリ４４を使った例については後述する。
選別注目点メモリ４３に記憶された情報は、絶対値算出部２３に供給して、差分絶対値の出力の選別に使用する。
【００２７】
なお、高頻度動き算出部４１で高頻度動きを算出するフレーム間としては、現在注目画素を設定しているフレームよりも１フレーム前のフレームから、現在処理中の注目画素が存在するフレーム（前フレーム）への動きである。即ち、高頻度動きを算出するフレーム間は、動きベクトルの候補を検出中のフレーム間よりも、１フレーム前のフレーム間としてある。そして、高頻度動き算出部４１での算出結果を次のフレームの処理時に高頻度動き判定部４２に供給する。
このように、１フレーム前の高頻度動きベクトルを検出するのが、この図３の構成では簡単であるが、現在処理中の注目画素が存在するフレーム（前フレーム）から、参照画素が存在するフレーム（現フレーム）への動きを検出してもよい。この前フレームから現フレームへの動きの場合には、相関演算部２０などでタイミングを合わせるための一時記憶用のメモリ（図示せず）が必要になる。
【００２８】
なお、出力端子１２ａからは、高頻度動き算出部４１で算出された高頻度動きベクトルのデータについても出力させて、動きベクトル抽出部１３に供給する。動きベクトル抽出部１３では、高頻度動き算出部４１で算出された高頻度動きベクトルと、評価値テーブルデータで示された動きベクトルの評価情報とを使って、候補ベクトルを抽出する。動きベクトル抽出部１３での処理の例については後述する。
【００２９】
［４．第１の実施の形態の処理例（例１）］
図３の構成での処理動作を示したのが、図４のフローチャートである。
この図４のフローチャートは、評価値テーブルへの足し込みを行うか否かが決定するまでのプロセスの例を順に示したものであり、必ずしも図３の構成での信号の流れとは一致していない。図４のフローチャートに示した各処理が行われれば、図４のフローチャートとは異なる順序で各処理を実行してもよい。後述説明する他のフローチャートについても、異なる順序で処理される場合がある点は同様である。
【００３０】
まず、高頻度動き算出部４１で高頻度の動きベクトルを算出する（ステップＳ２１）。ここで算出する高頻度動きベクトルとしては、先に説明したように最頻度動き１つだけの場合と、頻度が高い順に所定番目である場合とがある。図３のフローチャートでは、ｎ番目（ｎは正の整数）までの高頻度動きを求めるものして示し、ｎ＝１のとき最頻度動きを使うものとし、ｎ＝２などの２以上の値であるとき、その値までの順位の高頻度動きを使うものとする。また、この高頻度の動きベクトルは、高頻度動きを算出するフレーム間は、動きベクトルの候補を検出中のフレーム間よりも、１フレーム前のフレーム間で検出したものである。
【００３１】
ステップＳ２１で高頻度の動きベクトルを算出すると、高頻度動き判定部４２で、現在の注目画素が、ｎ番目までの高頻度動きと関係しているか否か判断し、選別注目点メモリ４３を使って、画素選別を行う（ステップＳ２２）。ここでの高頻度動きと関係しているとは、注目点から見て候補となる動きベクトルが、高頻度動きのベクトルと同じか否か判断することにより行われる。高頻度動きのベクトルと同じである場合には、その注目画素に関係した評価値、即ちその注目画素を始点とした動きベクトルの評価値を、全て評価値の積算から除外させる。
【００３２】
そして、高頻度動きに基づいた選別処理の後に、比較部３１で注目画素と参照画素との相関の有無を判断する（ステップＳ２３）。この注目画素と参照画素との相関の有無の判断は、比較部３１で両画素の差分が閾値以下か否か判断することで行われる。
【００３３】
ステップＳ２３で両画素の差分が閾値以下であると判断した場合には、そのときの注目画から見た参照画素への動きベクトルについてのカウント値を、評価値テーブル積算部５１に送り、評価値テーブルに積算させる（ステップＳ２４）。
ステップＳ２３で注目画素と参照画素との相関がないと判断した場合には、該当する注目画素と参照画素との評価値の評価値テーブルへの足し込みを禁止する（ステップＳ２５）。
この図４のフローチャートの処理が、１フレーム内の全ての注目画素について行われる。
【００３４】
［５．注目画素と高頻度動きとの関係の説明］
ここで、高頻度動きと、注目画素とに関係がある状態の例を、図６を参照して説明する。
図６は、注目画素が存在するタイミング（ｔ）の前フレームＦ１０と、参照画素が設定されるタイミング（ｔ＋１）の現フレームＦ１１と、前フレームＦ１０の１フレーム前のタイミング（ｔ−１）の前々フレームＦ９の３つのフレームを示している。この例では、高頻度動き（最頻度動き）の検出を、１フレーム前に行った例である。
【００３５】
タイミング（ｔ−１）の前々フレームＦ９と、タイミング（ｔ）の前フレームＦ１０との間での高頻度動きが動きベクトルｍ′であるとする。このとき、タイミング（ｔ）の前フレームＦ１０の注目画素と、現フレームＦ１１の参照画素とで決まる動きベクトルｍが、注目画素から見た動き先の候補である可能性が高いとする。高頻度動きの動きベクトルｍ′と、注目画素ｄ１０からの候補ベクトルｍとは、同じ動きベクトルである。ここでの同じとは動きベクトルの動き方向と、水平方向に動いた画素数及び垂直方向に動いた画素数が全く同じ場合である。
【００３６】
このような場合には、注目画素に関わる全ての評価値、即ち該当する注目画素を始点とした全てのベクトルの評価値の、評価値テーブルへの積算を禁止させる選別除去処理を行う。そして、注目画素から見た動き先の候補である可能性が高いベクトルが、高頻度動きベクトルｍ′と異なったベクトルである場合には、その注目画素に関わる評価値の評価値テーブルへの積算制限を行わない。
【００３７】
［６．評価値テーブルの例］
次に、実際の画像の動き状態と、その動き状態に基づいて得られる評価値テーブルの例について説明する。
図７は、タイミング（ｔ−１）の前々フレームＦ９、タイミング（ｔ）の前フレームＦ１０、タイミング（ｔ＋１）の現フレームＦ１１の３つのフレームの画像の例である。
この例では、３つのフレームのいずれでも、画面中の背景全体が下側にほぼ一定の速度で下側に下がる動きＭａがあるとする。この状態で、画面中の小物体Ｘが、動きＭａとは異なる斜め下への動きｍ１で、１フレームずつ動いているとする。
【００３８】
この図７に示した動きがある画像で、前フレームＦ１０上の注目画素と、現フレームＦ１１上の参照画素との相関から求めた、選別なしの評価値テーブルは、図８に示す状態となる。即ち、図８に示す評価値テーブルは、本実施の形態の選別除去処理をしない評価値テーブルで、従来例で求まる評価値テーブルに相当する。
この評価値テーブルは、中心の座標位置（０，０）からの水平方向Ｖｘと垂直方向Ｖｙの２次元での各動きベクトルの位置での、評価値の積算値を示したものである。縦軸が評価値の積算値である。即ち、度数１０００００ということは、該当する動きベクトルが候補の可能性となることが、１フレーム中の全ての画素を注目画素として判断して、１０００００回あったことになる。この図８から判るように、選別除去処理なしの評価値テーブルの場合には、背景動きに相当する動きベクトルの位置に大きなピークがあり、画像中の他の動きは評価値テーブルからは判らない状態となっている。
【００３９】
図９は、本実施の形態の処理を行って評価値テーブルを作成させた例である。
図９（ａ）は、高頻度動き算出部４１で算出される高頻度動きに基づいた評価値テーブルである。この評価値テーブルは、図７に示した前フレームＦ１０と現フレームＦ１１との間で求める場合と、前々フレームＦ９と前フレームＦ１０との間で求める場合のいずれでもよい。連続した動画像の場合には、高頻度動きについては、いずれの場合でも大きな違いは生じない。
この図９（ａ）に示した高頻度動き算出部４１で算出される評価値テーブルは、図８に示した選別なしの従来処理で得られる評価値テーブルと同じである。
この図９（ａ）の評価値テーブル積算部に基づいて、高頻度動き（最頻度動き）が検出される。この例では、下方への背景動きが高頻度動きとして１つ検出されている。
【００４０】
このようにして検出された高頻度動きの動きベクトルと相関のある注目画素に関わる評価値を選別除去する処理を行って、評価値テーブル算出部５２で得られた評価値テーブルが、図９（ｂ）に示したものである。なお、この図９（ｂ）は、図９（ａ）の評価値テーブルと縦軸の積算値のスケールが異なり、ピーク位置でも度数１０００程度である。
【００４１】
この図９（ｂ）の評価値テーブルでは、図７に示した小物体Ｘの動きがピークの１つとして現われている。従って、積算値のピークから、小物体Ｘの動きに相当する動きベクトルを、候補ベクトルとして後段の処理部に送ることができる。
なお、図９（ｂ）では、積算値のピーク位置として、小物体Ｘの動き位置とは別の位置にも存在するが、この別のピーク位置は背景動きに対応した動きである。
【００４２】
このように本実施の形態によると、背景動きなどの画面中の大領域の動きがあった場合でも、画面中の小さな動きについても検出できるようになる。従って、後段の処理部で候補ベクトルの中から各画素に割り当てる動きベクトルを決定する際に、小さな動きの物体に割り当てるベクトルが正しい動きベクトルになる可能性が高くなり、正確な動きベクトル検出が可能となる。なお、図９（ｂ）の例では、背景と異なる動きをする小物体が１つの例について示したが、複数の小物体が存在する場合にも、同様に複数の小物体の動きを良好に検出できるようになる。
【００４３】
［７．第１の実施の形態の構成例（例２）］
図３及び図４の処理構成では、相関演算部２０で得た差分絶対値の後段の処理部への出力の制限で、評価値の選別除去を行うようにした。これに対して、相関判定部３０の出力を制限するゲート部を設けて、そのゲート部で評価値の選別除去を行うようにした例について説明する。
図１０はその場合の構成例について示した図である。図１０において、図３と同一部分については同一符号を付してある。
【００４４】
図１０の構成について説明すると、相関判定部３０内の比較部３１で閾値と比較して、相関の高低を判定した評価値は、画像選別処理部６０内の一時記憶メモリ６１に供給して、一旦蓄積する。そして、１フレーム内の全ての評価値が一時記憶メモリ６１に蓄積されてから、読出されてゲート部６２に供給する。ゲート部６２では、高頻度動き判定部６４で判定した高頻度動きに関係した注目画素に関わる画素の評価値であるとき、出力を制限させる。高頻度動きに関係した注目画素に関係しない評価値である場合には、そのままゲート部６２を通過させて、評価値テーブル算出部５０の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。
【００４５】
また、比較部３１が出力する評価値を、画像選別処理部６０内の高頻度動き算出部６３に供給する。高頻度動き算出部６３では、その評価値を１フレーム内で積算して、１フレーム内で検出される候補ベクトルの内で、頻度が高い動きを算出する。ここでの頻度が高い動きとしては、最も頻度が高い動きベクトルを算出する。或いは、２番目まで頻度が高い動きベクトルなどの予め決められた所定順位までの高頻度の動きベクトルを取り出してもよい。
【００４６】
高頻度動き算出部６３で算出した頻度が高い動きベクトルのデータは、高頻度動き判定部６４に供給する。高頻度動き判定部６４では、参照点メモリ２１に記憶された参照画素のデータと注目点メモリ２２に記憶された注目画素のデータとを見て、注目点から見て候補となる動きベクトルが、高頻度動きのベクトルと同じか否か判断される。
候補となる動きベクトルが、高頻度動きのベクトルと同じ場合には、そのときの注目画素に関わる評価値について、ゲート部６２で通過を制限させる。ゲート部６２の前段には一時記憶メモリ６１があり、高頻度動き判定部６４での判定が終了してから、一時記憶メモリ６１の出力をゲート部６２に供給する。ゲート部６２では、制限する必要のある注目画素に関わる評価値を出力させず、制限させる必要のない評価値を、評価値積算部５１に供給する。この制限を行う必要がある評価値かどうかを判断するために、後述する図１１のフローチャートで説明するように、本実施の形態においては、フラグを設定するようにしてある。評価値積算部５１以降の処理は、図３の例と同じである。
【００４７】
［８．第１の実施の形態の処理例（注目画素と高頻度動きを考慮した場合の例２）］
次に、図１０の構成での処理例を、図１１のフローチャートを参照して説明する。
まず、高頻度動き算出部６３で高頻度の動きベクトルを算出する（ステップＳ５１）。ここで算出する高頻度動きベクトルとしては、先に説明したように最頻度動き１つだけの場合と、頻度が高い順に所定番目である場合とがある。図１１のフローチャートでは、ｎ番目（ｎは正の整数）までの高頻度動きを求めるものして示し、ｎ＝１のとき最頻度動きを使うものとし、ｎ＝２などの２以上の値であるとき、その値までの順位の高頻度動きを使うものとする。
【００４８】
ステップＳ５１で高頻度の動きベクトルを算出すると、現在処理中のフレーム内に注目画素の位置を設定し、（ステップＳ５２）、フラグを０にする（ステップＳ５３）。その後、注目画素を中心としたサーチエリアＳＡ（図５参照）内に参照画素を設定し（ステップＳ５４）。そして、注目画素が、ｎ番目までの高頻度動きと関係した動きベクトルの注目画素と同じ画素位置であるか否か判断し（ステップＳ５５）、同じ画素位置である場合には、フラグを１とする（ステップＳ５６）。
【００４９】
そして、注目画素と参照画素とに相関があるか否か判断し（ステップＳ５７）、相関がある場合、即ち画素値が閾値以下である場合には、一時記憶メモリ６１への足し込みを行う（ステップＳ５８）。画素値が閾値を越えたときには、一時記憶メモリ６１には記憶させない。
その後、サーチエリアＳＡ内の全ての参照画素についての処理が終了したか否か判断し（ステップＳ５９）、全ての参照画素の処理が終了していない場合には、ステップＳ５４に戻り、サーチエリアＳＡ内の別の位置に参照画素を設定して、同じ処理を繰り返す。
ステップＳ５９で、全ての参照画素の処理が終了したと判断した場合には、一時記憶メモリ６１に記憶されたデータを、ゲート部６２に供給し、フラグに基づいて通過を制限させる。即ち、フラグが１であるか否か判断して（ステップＳ６０）、フラグが１である場合には、通過を制限させ、フラグが０である場合には、評価値テーブルメモリ５２に記憶させる（ステップＳ６１）。
【００５０】
その後、１フレームの全ての注目画素についての処理が終了したか否か判断し（ステップＳ６２）、終了していない場合には、ステップＳ５２の注目画素位置の設定に戻り、その新たに設定された注目画素についての処理が繰り返される。１フレームの全ての注目画素についての処理が終了した場合には、ここでのフレームでの処理を終了し、次のフレームの処理に移る。
この図１１のフローチャートに示すように、フラグを設定して順に処理を行う処理構成としたことでも、図３及び図４の処理構成の場合と同様に、高頻度動きに関係した注目画素の制限が行える。
【００５１】
［９．第１の実施の形態の他の処理例］
図４のフローチャートの処理例では、検出された高頻度動きと相関のある注目画素に関する評価値を選別除去するようにしたが、検出された高頻度動きと相関のある参照画素に関する評価値についても選別除去しても良い。
参照画素について高頻度動きと相関のある参照画素に関する評価値を選別除去する処理は、注目画素の場合と同様に、図３に示した画素選別部４０での高頻度動き算出部４１で算出された結果に基づき、高頻度動き判定部４２で判定して行う。そして、その判定に基づいて、該当する参照画素の画素位置の情報を、図３に示したように、選別参照点メモリ４４に指示して、該当する画素位置が評価値積算から除外されることを記憶させる。その選別参照点メモリ４４に記憶された情報を使って、絶対値算出部２３から相関判定部３０への差分の絶対値の出力を制限させる。選別注目点メモリ４３に記憶された注目画素の位置情報についても、図３の例と同様に使用されて、絶対値算出部２３から相関判定部３０への差分の絶対値の出力の制限に使用される。
図１２のフローチャートは、この場合の処理例を示したものである。この図１２のフローチャートの場合にも、フローチャート内の各処理は、図１２のフローチャートとは異なる順序で実行してもよい。
【００５２】
まず、高頻度動き算出部４１で高頻度の動きベクトルを算出する（ステップＳ３１）。ここで算出する高頻度動きベクトルとしては、最頻度動き１つだけの場合と、頻度が高い順に所定番目である場合とがある。図１２のフローチャートでは、ｎ番目（ｎは正の整数）までの高頻度動きを求めるものして示し、ｎ＝１のとき最頻度動きを使うものとし、ｎ＝２などの２以上の値であるとき、その値までの順位の高頻度動きを使うものとする。
【００５３】
ステップＳ３１で高頻度の動きベクトルを算出すると、高頻度動き判定部４２で、現在の注目画素が、ｎ番目までの高頻度動きと関係しているか否か判断し、選別注目点メモリ４３を使って、画素選別を行う（ステップＳ３２）。この画素選別は、先に説明した図４のフローチャートのステップＳ２２と同じである。
次に、高頻度動き判定部４２で、現在の参照画素が、ｎ番目までの高頻度動きと関係しているか否か判断し、選別参照点メモリ４４を使って、画素選別を行う（ステップＳ３３）。
【００５４】
そして、この高頻度動きに基づいた選別処理の後に、比較部３１で注目画素と参照画素との相関の有無を判断する（ステップＳ３４）。この注目画素と参照画素との相関の有無の判断は、比較部３１で両画素の差分が閾値以下か否か判断することで行われる。
【００５５】
ステップＳ３４で両画素の差分が閾値以下であると判断した場合には、そのときの注目画から見た参照画素への動きベクトルについてのカウント値を、評価値テーブル積算部５１に送り、評価値テーブルに積算させる（ステップＳ３５）。
ステップＳ３４で注目画素と参照画素との相関がないと判断した場合には、該当する注目画素と参照画素との評価値の評価値テーブルへの足し込みを禁止する（ステップＳ３６）。
この図４のフローチャートの処理が、１フレーム内の全ての注目画素について行われる。
【００５６】
［１０．参照画素と高頻度動きとの関係の説明］
ここで、高頻度動きと、参照画素とに関係がある状態の例を、図１３を参照して説明する。
図１３は、参照画素が設定されるタイミング（ｔ＋１）の現フレームＦ１１と、タイミング（ｔ）の前フレームＦ１０との２フレームを示している。
【００５７】
ここで、現フレームＦ１１に設定された参照画素について、その参照画素についての動きベクトルの動き元の注目画素を判断する。そして、その参照画素から注目画素を見た動きと逆方向の動きが、動きベクトルの候補となる場合に、その動きベクトルが、前フレームＦ１０での高頻度動きと一致するか否か判断する。この判断が図１２のフローチャートのステップＳ３３で行われて、高頻度動きと一致した場合に、該当する参照画素の画素位置を参照画素とした全ての評価値の評価値テーブルへの積算が制限される。
なお、図１２のフローチャートの例の場合には、この図１３に示した高頻度動きに関係した参照画素に関わる評価値の選別除去の他に、既に図６に示した高頻度動きに関係した注目画素に関する評価値の選別除去も行っている。
【００５８】
［１１．他の処理例での評価値テーブルの例］
図１４は、図１２のフローチャートに示した処理の実行で得られた評価値テーブルの例である。この場合の評価値テーブルについても、図７に示した下側へ下がる背景動きがある中で、それとは異なる小物体Ｘの動きがある場合の例である。
この図１４の評価値テーブルを、図９（ｂ）の評価値テーブルと比較すると判るように、注目画素だけでなく、高頻度動きに関係した参照画素についても評価値の選別除去をしたことで、より背景動きを効果的に除去した評価値テーブルとなっている。従って、図１２のフローチャートの処理を行うことで、図４のフローチャートの例に比較して、より小物体の動きが良好に評価情報から検出できる効果を有する。このことは、例えば画面中に複数の小物体が存在する場合に、それぞれの小物体の動きをより良好に検出できるようになる効果も有する。
【００５９】
［１２．第１の実施の形態の変形例］
図１２のフローチャートの例では、注目画素と参照画素の双方で、高頻度動きを考慮した例としたが、参照画素についてだけ、高頻度動きと関係した評価値の選別除去する処理構成としてもよい。即ち、図１２のフローチャートのステップＳ３２の処理を行わず、ステップＳ３１で高頻度動きを検出した後に、ステップＳ３３での参照画素と高頻度動きとの関係の判断を行うようにしてもよい。
この参照画素側での判断だけで制限する場合でも、画面中の小物体の動きを良好に検出できるようになる効果を有する。
【００６０】
また、図４のフローチャートの説明などでも述べたが、画素選別時に判断する高頻度動きは、１フレーム内での最も動きが高い最頻度動き１つだけを検出する処理とする場合と、頻度が高いものから順に所定番目まで検出する処理を行う場合のいずれでもよい。
図９や図１４に示した評価値テーブルの例では、最頻度動きだけを検出して、評価値の選別除去を行う例を示したが、画像の内容によっては、頻度の高い複数の動きを検出して選別除去を行う方がよい場合がある。
例えば、頻度が高いもから２番目までや３番目などの複数番目までの高頻度動きを検出して、その検出された高頻度動きと相関のある画素（注目画素及び／又は参照画素）に関わる評価値を選別除去するようにしてもよい。
この何番目までの高頻度動きを検出して選別除去するか（即ち図４のフローチャートのｎの値）は、予め固定値としてもよい。或いは、例えば図９（ａ）に示されるように評価値テーブルで検出される高頻度動きの度数が、一定の閾値以上であるものを全て高頻度動きと判断するようにしてもよい。
また、検出されたフレーム間の最頻度動きの頻度数が、一定の閾値以下で、１画面内の大きな面積での動きがないと判断されるような場合には、ここまで説明した高頻度動きに基づいた選別除去を、実行しないようにしてもよい。
また、処理する画像の内容（例えば動きが激しい画像か否かなど）によって、これらの条件は変化させるようにしてもよい。
【００６１】
［１３．第２の実施の形態の構成例］
次に、本発明の第２の実施の形態を、図１５〜図２１を参照して説明する。
本実施の形態においても、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータから動きベクトルを判定する点は、第１の実施の形態と同じである。
動きベクトル検出装置の全体構成及び全体処理については、第１の実施の形態で説明した図１の処理構成及び図２のフローチャートと同じである。注目画素（注目点）及び参照画素（参照点）の定義についても、第１の実施の形態で説明した定義と同じである。
【００６２】
そして本実施の形態においては、図１に示した動きベクトル検出装置の評価値テーブル形成部１２を、図１５に示す構成としたものである。図１５の評価値テーブル形成部１２において、第１の実施の形態で説明した図３の評価値テーブル形成部１２と同一部分には同一符号を付す。
図１４に示した本実施の形態の例では、評価値テーブル形成部１２での評価値テーブルの形成処理として、高頻度動きに対応した評価値の選別除去を行う他に、注目画素と参照画素の空間傾斜パターンを使った評価値の積算制限を行うようにしたものである。
【００６３】
図１５の例の構成について説明すると、相関演算部２０と、相関判定部３０については、図３に示した構成と同じである。即ち、入力端子１１に得られる画像信号の中で、参照画素として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。
【００６４】
そして、注目点メモリ２２に記憶された注目画素の画素値と、参照点メモリ２１に記憶された参照画素の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。
ここで、絶対値算出部２３では、差分の絶対値を算出するのに使った２つの画素位置、即ち注目画素の画素位置と参照画素の画素位置が、画素選別処理部７０の選別注目点メモリ７３及び選別参照点メモリ７４から指示された画素位置と一致するか否か判断する。ここでの選別参照点メモリ７４から指示された画素位置は、評価値積算から除外される画素位置である。その判断で、画素選別処理部７０から指示された評価値積算から除外される画素位置と一致する場合には、後段の処理部である相関判定部３０への差分の絶対値の出力を制限させる。また、このような制限を行わない差分絶対値（即ち全ての差分絶対値）を、画素選別処理部７０内の相関判定部７６に供給する。
なお、本実施の形態の例の場合には、選別注目点メモリ７３には、図３の例で説明した画素選別用の注目画素の位置のデータの他に、指定された空間傾斜パターンと一致した注目画素であることのデータも記憶される。選別参照点メモリ７４についても同様に、画素選別用の注目画素の位置のデータの他に、指定された空間傾斜パターンと一致した注目画素であることのデータも記憶される。指定された空間傾斜パターンについては後述する。
【００６５】
相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。相関判定部３０で得られた評価値は、評価値テーブル算出部５０に供給する。
【００６６】
評価値テーブル算出部５０に供給された評価値は、評価値テーブル算出部５０内の評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。評価値テーブルメモリ５２に記憶される評価値は、画素選別処理部４０からの指示に基づいて画素選別が行われた評価値である。このようにして得られた評価値テーブルメモリ５２の記憶データは、評価値テーブルデータとして出力端子１２ａから後段の回路（図１の動きベクトル抽出部１３）に供給する。
【００６７】
次に、画素選別処理部７０の構成について説明する。画素選別処理部７０は、絶対値算出部２３が出力する全ての（即ち選別されていない）差分絶対値を、相関判定部７６に供給し、差分絶対値を閾値と比較する。この相関判定部７６での処理は、相関判定部３０内での処理と同じである。その相関判定部７６での判定結果を、高頻度動き算出部７１に供給する。この相関判定結果に基づいて、１フレーム内で検出される候補ベクトルの内で、頻度が高い動きを算出する。ここでの頻度が高い動きとしては、例えば最も頻度が高い動きベクトルを算出する。
【００６８】
高頻度動き算出部７１で算出した頻度が高い動きベクトルのデータは、高頻度動き判定部７２に供給する。高頻度動き判定部７２では、参照点メモリ２１に記憶された参照画素のデータと注目点メモリ２２に記憶された注目画素のデータとを見て、注目画素から見て候補となる動きベクトルが、高頻度動きのベクトルと同じか否か判断される。
候補となる動きベクトルが、高頻度動きのベクトルと同じ場合には、そのときの注目画素の１フレーム内の画素位置を、選別注目点メモリ７３に指示して、該当する画素位置が評価値積算から除外されることを記憶する。
また、候補となる動きベクトルが、高頻度動きのベクトルと同じ場合に、そのときの参照画素の１フレーム内の画素位置を、選別参照点メモリ７４に指示して、該当する画素位置が評価値積算から除外されることを記憶する。
【００６９】
また、画素選別処理部７０は、空間傾斜パターン判定部７５を備える。
空間傾斜パターン判定部７５は、参照点メモリ２１に得られるデータから、参照画素とその周囲の８画素との空間傾斜パターンを算出する。空間傾斜状態の詳細については後述する。算出した空間傾斜パターンは、予め記憶された指定された空間傾斜パターンと比較され、指定されたパターンと一致するか否か判断する。指定されたパターンの具体例、及びそのパターンの比較についての詳細については後述する。
【００７０】
そして、空間傾斜パターン判定部７５で指定された空間傾斜パターンと、注目画素とその周囲との空間傾斜パターン（又は参照画素とその周囲との空間傾斜パターン）との一致が検出されると、そのことを選別注目点メモリ７３に記憶させる。また、空間傾斜パターン判定部７５で指定された空間傾斜パターンと、参照画素とその周囲との空間傾斜パターンとの一致が検出されると、そのことを選別参照点メモリ７４に記憶させる。
【００７１】
本実施の形態の場合には、高頻度動きに基づいた画素選別と、空間傾斜パターンに基づいた制限との２つが行われる。従って、本実施の形態では、第１の実施の形態の場合に比べて、より厳しい条件で、積算される評価値が絞られることになる。
【００７２】
［１４．第２の実施の形態の処理例］
次に、図１５の構成での処理状態を、図１６のフローチャートを参照して説明する。
この図１６のフローチャートの場合にも、フローチャート内の各処理は、図１６のフローチャートとは異なる順序で実行してもよい。
【００７３】
まず、高頻度動き算出部７１で高頻度の動きベクトルを算出する（ステップＳ４１）。ここで算出する高頻度動きベクトルとしては、最頻度動き１つだけの場合と、頻度が高い順に所定番目である場合とのいずれでもよい。図１６のフローチャートでは、ｎ番目（ｎは正の整数）までの高頻度動きを求めるものして示し、ｎ＝１のとき最頻度動きを使うものとし、ｎ＝２などの２以上の値であるとき、その値までの順位の高頻度動きを使うものとする。
【００７４】
ステップＳ４１で高頻度の動きベクトルを算出すると、注目画素と参照画素のそれぞれについて、ｎ番目までの高頻度動きと関係しているかの情報に基づいて、画素選別を行う（ステップＳ４２）。このステップＳ４２は、図１２のフローチャートでのステップＳ３２の処理とステップＳ３３の処理を１つにまとめて示したものである。
【００７５】
次に、注目画素及び参照画素とそれぞれの隣接差分から、それぞれの空間傾斜パターンを算出する（ステップＳ４３）。そして、その算出した注目画素側の空間傾斜パターン及び参照画素側の空間傾斜パターンが、それぞれ予め決められた所定の空間傾斜パターンと一致するか否か判断する（ステップＳ４４）。ここで空間傾斜パターンが一致している場合には、ステップＳ４５の処理に移る。空間傾斜パターンが一致していない場合には、ステップＳ４７に移る。
【００７６】
ステップＳ４５では、注目画素と参照画素との相関の有無を判断する。この注目画素と参照画素との相関の有無の判断は、比較部３１で両画素の差分が閾値以下か否か判断することで行われる。
【００７７】
ステップＳ４６で両画素の差分が閾値以下であると判断した場合には、そのときの評価値を、評価値テーブル積算部５１に送り、評価値テーブルに積算させる（ステップＳ４６）。
ステップＳ４４で所定の空間傾斜パターンと一致しないと判断した場合と、ステップＳ４５で注目画素と参照画素との相関がないと判断した場合には、該当する評価値が評価値テーブル算出部５０に供給されず、評価値テーブルへの足し込みが禁止される。
この図１６のフローチャートの処理が、１フレーム内の全ての注目画素と参照画素について行われる。
【００７８】
［１５．空間傾斜パターンの説明］
次に、本実施の形態で適用した注目画素及び参照画素の空間傾斜パターンについて、図１７〜図２１を参照して説明する。
まず図１７を参照して、注目画素と参照画素に隣接する周辺の８画素について示す。図１７（ａ）に示すように、前フレームＦ１０に注目画素ｄ１０を設定して、その注目画素ｄ１０から次の現フレームＦ１１のサーチエリアＳＡ内のある参照画素ｄ１１を見たとき、それぞれの画素ｄ１０，ｄ１１には、隣接した画素として８画素が存在する。
図１７（ｂ）は、この注目画素と参照画素に隣接する周辺の８画素を示したのである。
ここで、注目画素の空間傾斜パターンとは、注目画素と周辺の８つの隣接画素との差分を見て、差分が一定範囲内である場合と、一定範囲を−方向又は＋方向に越えている場合とに分ける。ここでの差分とは、例えば該当する画素の輝度値の差分である。差分が一定範囲を−方向又は＋方向に越えている場合は、符号−又は＋に空間傾斜ありとし、差分が一定範囲内である場合には、空間傾斜状態０（即ち空間傾斜なし）とする。その空間傾斜の有無の状態を周囲の８つの隣接画素で見て、パターン化したものが、空間傾斜パターンである。
【００７９】
図１８から図２１は、空間傾斜パターンの例を示したものである。
図１８はモード１として定義した空間傾斜パターンであり、図１９はモード２として定義した空９傾斜パターンであり、図２０はモード３として定義した空間傾斜パターンであり、図１３はモード４として定義した空間傾斜パターンである。
【００８０】
図１８に示したモード１のパターンは、左上に拡大して示すように、隣接８画素と中央の１画素の９画素のパターンとして、中央の注目画素又は参照画素と、隣接８画素との関係が、全て０以外（即ち符号＋又は−）である場合である。この図１８は、注目画素や参照画素が、隣接画素と全て輝度値が異なる場合に相当する。
このモード１を図１６のフローチャートのステップＳ４４での比較時に設定した場合には、周辺８画素の内の１つでも空間傾斜なしであれば、ゲート部６１での評価値の通過が阻止されて、評価値の積算から除外される。
【００８１】
図１９に示したモード２のパターンは、周辺８画素の内、少なくとも７画素以上に空間傾斜がある場合に、注目画素と参照画素との空間傾斜符号を比較する。そして、一致を検出した場合にだけ、該当する注目画素から参照画素を見た場合の評価値を、ゲート部６１で通過させる。そして、その通過した評価値を評価値テーブルに積算させる。
モード２のパターンを使用した場合、空間傾斜の符号比較は周辺８画素で比較する必要はなく、空間傾斜があると判定された７画素について比較すればよい。もちろん周辺８画素について符号を比較することとしても良い。
【００８２】
図２０に示したモード３のパターンは、モード１，モード２の条件に加えて、周辺８画素の内、注目画素又は参照画素を含む２×２の４画素の領域が空間傾斜なしである場合にも、候補に加えて注目画素と参照画素との空間傾斜符号を比較する。そして、その比較で一致を検出した場合にだけ、該当する注目画素から参照画素を見た場合の評価値を、ゲート部６１で通過させて積算させる。
この場合においても、空間傾斜ありとされる隣接画素方向に対してのみ符号の比較を行なえばよい。
【００８３】
図２１に示したモード４のパターンは、モード１〜３の条件に加えて、周辺８画素の内、注目画素又は参照画素を含む水平，垂直，斜めに３連続画素で空間傾斜がない場合を除外するものである。このようにして注目画素と参照画素との空間傾斜符号を比較する。そして、その比較で一致を検出した場合にだけ、該当する注目画素から参照画素を見た場合の評価値を、積算させる。
この場合においても、空間傾斜ありとされる隣接画素方向に対してのみ符号の比較を行なえばよい。
【００８４】
上述した図１６のフローチャートのステップＳ４４での処理時には、モード１，モード２，モード３，モード４のいずれかのモードを設定する。モード１を設定することで、最も厳しい選定を行うことになり、モード２，モード３，モード４と順に選定基準が緩くなる。
【００８５】
このように、本実施の形態で説明したように、高頻度動きの判断に基づいた評価値テーブルへの積算の制限と、空間傾斜パターンに基づいた評価値テーブルへの積算の制限を合わせて行うことで、より良好な評価値テーブルが得られるようになる。即ち、評価値テーブルの積算値として、第１の実施の形態の場合よりもより絞られた積算値となり、背景などの画像中の大面積の動きとは異なる比較的小さな動きがある場合の検出が、より良好に検出できるようになる。
なお、空間傾斜に基づいた評価値テーブルの積算の制限としては、ここまで説明した空間傾斜パターンを使った処理は一例であり、空間傾斜を用いたその他の制限処理を行うようにしてもよい。例えば、空間傾斜パターンを得るために得た空間傾斜符号そのものを比較して、その符号の注目画素側と参照画素側との一致、不一致に応じて、制限を行うようにしてもよい。その場合、動きのある方向などの制限された方向だけで、空間傾斜符号を比較するようにしてもよい。
【００８６】
［１６．動きベクトル抽出部の例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル抽出部１３の構成及び動作の例について、図２２〜図２３を参照して説明する。
図２２は、図１の動きベクトル抽出部１３の例を示したものである。
動きベクトル抽出部１３では、入力端子１３ａに、評価値テーブルデータ及び高頻度動きデータが供給される。この評価値テーブルデータは、例えば、既に説明した第１〜第２の実施の形態のいずれかの処理構成で得られた動きベクトルの評価値テーブルのデータであり、１つのフレーム内で候補ベクトルとなる可能性のある動きベクトルを積算したデータである。
例えば、図３の評価値テーブル算出部５０内の評価値テーブルメモリ５２から供給されるデータであり、評価値テーブルデータ変換部１１１に供給する。
【００８７】
評価値テーブルデータ変換部１１１では、供給された評価値テーブルデータで示された候補ベクトルに、その評価値テーブル形成時に使用した高頻度動きを加えたベクトル群を、最終の候補ベクトルとする。その候補ベクトルを、頻度値或いはその微分値などのデータに変換する。変換されたデータは、頻度順ソート処理部１１２で、１フレーム内で候補ベクトルを頻度順に並び替える処理を行う。頻度順に並び替えられた候補ベクトルの評価値テーブルデータは、候補ベクトル評価部１１３に供給する。ここでは、頻度順に並び替えられた候補ベクトルの内で、上位の所定順位までの候補ベクトルを、候補ベクトル評価部１１３に供給する。
例えば、１フレーム内に存在する頻度の高い候補ベクトルの内で、最も頻度の高いものから１０番目までの候補ベクトルを抽出して、候補ベクトル評価部１１３に供給する。
【００８８】
候補ベクトル評価部１１３では、供給された頻度の高い候補ベクトルのそれぞれを、さらに、決められ条件で評価する処理を行う。ここでの評価処理としては、例えば頻度値が上位の所定順位以内の候補ベクトルであっても、頻度値が予め決めた閾値以下などで、それほど高くない候補ベクトルについては除外するなど、決められた条件での評価を行う。
【００８９】
このようにして候補ベクトル評価部１１３で得られた、各候補ベクトルの評価結果に基づいて、候補ベクトル信頼度判定部１１４で、候補ベクトルの内で信頼度の高い候補ベクトルを選定して、その信頼度の高い候補ベクトルのデータを出力端子１３ｂから出力する。
出力端子１３ｂから出力される候補ベクトルの信頼度データは、図１の動きベクトル決定部１４に供給する。
【００９０】
図２３は、図２２に示した動きベクトル抽出部１３で、評価値テーブルデータから候補ベクトルを抽出する際の、処理動作例を示したフローチャートである。
まず、評価値テーブルデータで示された候補ベクトルを、頻度順にソートする処理を行う（ステップＳ１１１）。その頻度順に並び替えられた評価値テーブルの中から、頻度の高いものから順に、所定番目までの候補ベクトルを取り出す。この所定番目としては、例えば頻度の最も高いものから１０番目などの決められた順位のものを取り出す（ステップＳ１１２）。
その後、取り出した複数の候補ベクトルが、候補ベクトルとして適正であるか否か評価し、必要により候補ベクトルを絞る処理が（ステップＳ１１３）。例えば、取り出したそれぞれの候補ベクトルの頻度値がどの程度が判断して、閾値以下の頻度値の候補ベクトルについては評価値を低くする評価処理を行う。この候補ベクトルの評価処理については、種々の処理が考えられ、その評価処理が、候補ベクトルを取り出す精度に影響する。
【００９１】
その評価処理結果に基づいて、各候補ベクトルの信頼度を判定し、信頼度が高い候補ベクトル、即ち画像に割当てられる可能性の高い候補ベクトルだけを、後段のベクトル割当て部１４（図１）に供給する（ステップＳ１１４）。
【００９２】
［１７．動きベクトル割り当て部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル割り当て部１４の構成及び動作の例について、図２４〜図２６を参照して説明する。
図２４は、図１の動きベクトル決定部１４の構成例を示したものである。
動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである参照点メモリ２１１に供給されて１フレーム記憶される。そして、参照点メモリ２１１に記憶された画像信号が、フレーム期間ごとに注目点メモリ２１２に移される。従って、参照点メモリ２１１に記憶される画像信号と、注目点メモリ２１２に記憶される画像信号とは、常に１フレーム期間ずれた信号である。
【００９３】
そして、注目点メモリ２１２に記憶された画像信号から、注目画素を中心とした定常領域の画素信号をデータ読出し部２１３に読み出す。ここでの定常領域は、定常領域判定部２１４によって、注目点メモリ２１２の記憶データから判断される。定常領域判定部２１４で判断される定常領域は、注目画素の周囲で、注目画素と同じレベルの画素値が連続する領域である。従って、各フレームの画像信号の状態によってサイズは可変し、定常領域は常に適応的に設定される。本明細書で定常領域と述べた場合には、同じ画素値（ここでは輝度値）が連続する、適応的に設定される領域を示す。同じ画素値との判断は、例えば注目画素の画素値と、所定レベル以下の差の画素値である場合に、同じ画素値であると判断して、わずかな画素値の変化については、許容できるようにする。なお、画像状態によっては、定常領域が全く存在しない場合もある。
【００９４】
そして、参照点メモリ２１１に記憶された画像信号から、参照画素を中心とした領域の画素信号をデータ読出し部２１３に読み出す。このとき読み出す領域は、注目画素側の定常領域と同じサイズの領域とする。データ読出し部２１３で読出される注目画素と参照画素の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部２１３で判断される。
【００９５】
そして、データ読出し部２１３で読出された、注目画素を中心とした定常領域の画素信号と、参照画素を中心とした定常領域と同じ範囲の領域の画素信号とを、評価値算出部２１５に供給して、両領域の画素信号の差分を検出して、両領域の相関を判断する。このようにして、評価値算出部２１５では、現在評価中の注目画素と候補ベクトルで接続された全ての参照画素の定常領域と同じ領域の画素信号を判断し、注目画素を中心とした定常領域の画素信号と比較する。
そして、評価値算出部２１５では、比較の結果で、注目画素を中心とした定常領域の画素信号と最も類似した領域を持った参照画素を選定する。ここでの比較としては、後述するように、各領域内の画素の輝度値の差分の絶対値を加算した差分絶対値和を比較して、差分絶対値和が最小のものを選定する。
評価値算出部２１５で選定された参照画素と注目画素とを結ぶ候補ベクトルのデータは、ベクトル決定部２１６に送る。ベクトル決定部２１６では、該当する候補ベクトルを、注目画素からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子２１５から出力させる。
【００９６】
図２５のフローチャートは、この図２４のベクトル割当て処理動作例を示したフローチャートである。
図２５に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ１２１）。読出された候補ベクトルについての注目画素の座標位置を判断し、その位置の画素（注目画素）の画素値を判断し、注目画素の周囲で、その画素値と同じ画素値と見なせる画素値が連続する領域（定常領域）を判断する。その判断した定常領域の画素値を読み出す（ステップＳ１２２）。
また、読出された全ての候補ベクトルについての参照画素の座標位置を判断し、その判断した位置の画素（参照画素）を中心にして、定常領域と同じサイズの領域を個別に設定し、その設定した各領域内の画素値を参照点メモリ６１から読出す（ステップＳ１２３）。
そして、それぞれの領域内の画素レベル（画素値）の差分の絶対値和を算出する（ステップＳ１２４）。
そして、参照画素について設定した領域内の画素と、注目画素について設定した領域内の画素とを比較して、差分値を得て、その差分値の絶対値を領域全てで加算して、絶対値差分和を得て、絶対値差分和が最小になる参照画素の領域を探す。この処理で、絶対値差分和が最小になる参照画素の領域を判断すると、その判断された領域の中央の参照画素と注目画素を結ぶ候補ベクトルを、注目画素についての動きベクトルとして割り当てることを決定する（ステップＳ１２５）。
【００９７】
図２６は、この図２４の構成及び図２５のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ２０（注目フレーム）に注目画素ｄ２０が存在し、その時間軸上の次のフレームＦ２１（参照フレーム）内との間で、複数の候補ベクトルＶ２１，Ｖ２２が存在しているとする。フレームＦ２１には、候補ベクトルＶ２１，Ｖ２２で注目画素ｄ２０と結ばれた参照画素ｄ２１，ｄ２２が存在している。
【００９８】
このような図２６の状態を想定すると、図２５のステップＳ１２２では、フレームＦ２０内で、注目画素ｄ２０の中心にして、注目画素ｄ２０の画素値（ここでは輝度値）と同じレベルの画素値が周辺で連続する定常領域Ａ２０が設定される。この定常領域Ａ２０内の全ての画素の画素値が判断される。
図１３のステップＳ１２３では、フレームＦ２１内で、参照画素ｄ２１，ｄ２２の中心にして、領域Ａ２１，Ａ２２が設定される。領域Ａ２１，Ａ２２は、１つ前のフレームＦ２０に設定した定常領域Ａ２０と同じ面積（同じ画素数）を持つ領域である。中央の参照画素ｄ２１，ｄ２２と領域Ａ２１，Ａ２２との位置関係や領域の配置方向についても、注目画素ｄ２０と定常領域Ａ２０との関係と同じである。このようにして設定された各領域Ａ２１，Ａ２２について、各領域内の全ての画素の画素値が判断される。そして、その判断された参照画素側の領域内の画素と、注目画素側の領域内の同じ位置の画素とが比較されて、画素値の差分が得られ、その差分の領域全体での絶対値和を得て、差分絶対値和が、各参照画素の領域ごとに算出される。
【００９９】
そして、領域Ａ２１と領域Ａ２０を使って得た差分の絶対値和と、領域Ａ２２と領域Ａ２０を使って得た差分の絶対値和の内で、いずれが最小か比較される。この比較で、例えば定常領域Ａ２１を使って得た絶対値差分和の方が小さいと判断すると、その領域Ａ２１の中心の参照画素ｄ２１と、注目画素ｄ２０とを結ぶ候補ベクトルＶ２１が選択される。この選択された候補ベクトルＶ２１を、注目画素ｄ２０の動きベクトルとして割り当てる。
なお、図２６では説明を簡単にするために候補ベクトルを２つとして説明したが、実際には１つの注目画素に対してより多くの候補ベクトルが存在することがある。また、図２６では説明を簡単にするために１つの注目画素だけを示してあるが、本実施の形態での処理の場合には、１フレーム内の代表となる複数の画素又は全ての画素が、このような注目画素となる。
【０１００】
このようにして候補ベクトルから選定するベクトルを決定する処理を行うことで、注目画素の周囲の画素の状態と、参照画素の周囲の画素の状態とが、近いものが選定されることになり、それぞれの画素に割り当てる動きベクトルの選定が、良好に行える。
特に上述した本実施の形態の処理構成である、高頻度動きとの相関に基づいて、注目画素又は参照画素を選別除去した評価値テーブルのデータを使って、図２５に示した如き動きベクトルの決定処理を行うことで、より良好な動きベクトルの割り当てが行えるようになる。
【０１０１】
［１８．各実施の形態に共通の変形例の説明］
上述した各実施の形態では、注目画素の選定処理については具体的に説明しなかったが、注目画素の選定処理については各種処理が適用可能である。例えば１フレーム内の全ての画素を順に注目画素として選定して、それぞれの画素について動きベクトルを検出させる構成としてもよい。或いは、１フレーム内で代表となる画素を注目画素として選び出し、その選び出した画素についての動きベクトルを検出させる場合にも適用してもよい。
また、注目画素に対する参照画素の選定処理についても、図６などに図示したサーチエリアＳＡは一例であり、注目画素に対して様々なサイズのサーチエリアを設定する構成を適用することができる。
【０１０２】
また、上述した各実施の形態では、動きベクトル検出装置として構成させた例について説明したが、この動きベクトル検出装置は、各種画像処理装置に組み込むようにしてもよい。例えば、高能率符号化を行う符合化装置に組み込み、動きベクトルデータを利用して符号化を行うようにすることができる。或いは、入力（受信）した画像データによる表示を行う画像表示装置や記録を行う画像記録装置に組み込み、高画質化するために動きベクトルデータを利用するようにしてもよい。
【０１０３】
また、本発明の動きベクトル検出を行う各構成要素をプログラム化して、例えば各種データ処理を行うコンピュータ装置などの各種情報処理装置に、そのプログラムを実装させてもよい。このようにすることで、その情報処理装置に入力した画像信号から動きベクトルを検出する処理を実行する際に、同様の処理を行うことが可能になる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施の形態による装置構成例を示すブロック図である。
【図２】本発明の実施の形態による全体処理例を示すフローチャートである。
【図３】本発明の第１の実施の形態による評価値テーブル形成例（高頻度動きを考慮した例１）を示すブロック図である。
【図４】本発明の第１の実施の形態による処理例（注目画素と高頻度動きを考慮した例１）を示したフローチャートである。
【図５】参照画素と注目画素との関係を示した説明図である。
【図６】図３，図４の例による注目画素と最頻度動きの関係を考慮した処理の概要を示す説明図である。
【図７】背景動きと異なる動きがある画像の例を示す説明図である。
【図８】画素選別部での選別がない評価値テーブルの例を示す説明図である。
【図９】最頻度動きの評価値テーブル（ａ）とその最頻度動きを除いた評価値テーブル（ｂ）の例を示す特性図である。
【図１０】本発明の第１の実施の形態による評価値テーブル形成例（高頻度動きを考慮した例２）を示すブロック図である。
【図１１】本発明の第１の実施の形態による処理例（注目画素と高頻度動きを考慮した例２）を示したフローチャートである。
【図１２】本発明の第１の実施の形態による別の処理例（注目画素及び参照画素と高頻度動きを考慮した例）を示したフローチャートである。
【図１３】図１２の例による参照画素と最頻度動きの関係を考慮した処理の概要を示す説明図である。
【図１４】図１２の例による注目画素及び参照画素について最頻度動きを除いた評価値テーブルの例を示す特性図である。
【図１５】本発明の第２の実施の形態による評価値テーブル形成例（高頻度動きと空間傾斜パターンを考慮した例）を示すブロック図である。
【図１６】本発明の第２の実施の形態による処理例を示したフローチャートである。
【図１７】図１５の例による空間傾斜パターンの概要を示す説明図である。
【図１８】空間傾斜パターンの例（ｍｏｄｅ１の例）を示す説明図である。
【図１９】空間傾斜パターンの例（ｍｏｄｅ２の例）を示す説明図である。
【図２０】空間傾斜パターンの例（ｍｏｄｅ３の例）を示す説明図である。
【図２１】空間傾斜パターンの例（ｍｏｄｅ４の例）を示す説明図である。
【図２２】本発明の実施の形態による動きベクトル抽出部の構成例を示すブロック図である。
【図２３】図２２の例による処理を示したフローチャートである。
【図２４】本発明の実施の形態による動きベクトル決定部の構成例を示すブロック図である。
【図２５】図２４の例による処理を示したフローチャートである。
【図２６】図２４の例による動きベクトル決定処理状態の例を示す説明図である。
【図２７】従来の評価値テーブルデータ生成処理構成の一例を示すブロック図である。
【図２８】従来の評価値テーブルデータ生成処理例の概要を示す説明図である。
【符号の説明】
【０１０５】
１…画像信号入力端子、２…相関演算部、２ａ…参照点メモリ、２ｂ…注目点メモリ、２ｃ…絶対値算出部、３…相関判定部、３ａ…比較部、４…評価値テーブル算出部、４ａ…評価値積算部、４ｂ…評価値テーブルメモリ、５…評価値テーブルデータ出力端子、１１…画像信号入力端子、１２…評価値テーブル形成部、１２ａ…評価値テーブルデータ出力端子、１３…動きベクトル抽出部、１４…動きベクトル割り当て部、１５…動きベクトル出力端子、１６…制御部（コントローラ）、２０…相関演算部、２１…参照点メモリ、２２…注目点メモリ、２３…絶対値算出部、３０…相関判定部、３１…比較部、４０…画素選別処理部、４１…高頻度動き算出部、４２…高頻度動き判定部、４３…選別注目点メモリ、４４…選別参照点メモリ、５０…評価値テーブル算出部、５１…評価値積算部、５２…評価値テーブルメモリ、６０…画素選別処理部、６１…一時記憶メモリ、６２…ゲート部、６３…高頻度動き算出部、６４…高頻度動き判定部、７０…画素選別処理部、７１…高頻度動き算出部、７２…高頻度動き判定部、７３…選別注目点メモリ、７４…選別参照点メモリ、７５…空間傾斜パターン判定部、１１１…評価値テーブルデータ変換部、１１２…頻度順ソート処理部、１１３…候補ベクトル評価部、１１４…候補ベクトル信頼度判定部、２１１…参照点メモリ、２１２…注目点メモリ、２１３…データ読出し部、２１４…定常領域判定部、２１５…評価値算出部、２１６…ベクトル決定部
【図１】
2010103715.tif 000003
【図２】
2010103715.tif 000004
【図３】
2010103715.tif 000005
【図４】
2010103715.tif 000006
【図５】
2010103715.tif 000007
【図６】
2010103715.tif 000008
【図７】
2010103715.tif 000009
【図８】
2010103715.tif 000010
【図９】
2010103715.tif 000011
【図１０】
2010103715.tif 000012
【図１１】
2010103715.tif 000013
【図１２】
2010103715.tif 000014
【図１３】
2010103715.tif 000015
【図１４】
2010103715.tif 000016
【図１５】
2010103715.tif 000017
【図１６】
2010103715.tif 000018
【図１７】
2010103715.tif 000019
【図１８】
2010103715.tif 000020
【図１９】
2010103715.tif 000021
【図２０】
2010103715.tif 000022
【図２１】
2010103715.tif 000023
【図２２】
2010103715.tif 000024
【図２３】
2010103715.tif 000025
【図２４】
2010103715.tif 000026
【図２５】
2010103715.tif 000027
【図２６】
2010103715.tif 000028
【図２７】
2010103715.tif 000029
【図２８】
2010103715.tif 000030