(57)【要約】【課題】評価値テーブルを使用して候補ベクトルを求めて、動きベクトルを検出する場合の精度を向上させる。また、複数の動きベクトルを確実かつ簡単に検出できるようにする。【解決手段】動きベクトルの評価値情報を生成する処理と、評価値情報に基づいて動きベクトルの候補を抽出する処理と、候補となる動きベクトルの中から割り当てる動きベクトルを決定する処理とを行う。評価値テーブルは、第１のフレームの注目画素と、第２のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価して、生成させる。動きベクトル割り当て処理では、動きベクトル抽出処理で抽出された候補となる動きベクトルの注目画素及び参照画素について、同じ画素値が連続する状態に応じて適応的に定常領域を設定する。そして、その設定した定常領域から求めた値の比較に基づいて、第１のフレームから第２のフレームへの動きベクトルを割り当てる。【選択図】図１２
2010034999.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームで構成される動画像データの、第１のフレームの注目画素と、第２のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成する評価値情報形成部と、
前記評価値情報形成部で形成された評価値情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル抽出部と、
前記動きベクトル抽出部で抽出された候補となる動きベクトルの注目画素及び参照画素について、同じ画素値が連続する状態に応じて適応的に定常領域を設定し、その設定した定常領域どうしの相関を比較した結果に基づいて、前記第１のフレームから前記第２のフレームへの各画素の動きベクトルを割り当てる動きベクトル割り当て部とを備えた
動きベクトル検出装置。
【請求項２】
前記動きベクトル割り当て部は、前記第１のフレームの注目画素の定常領域内の各画素の画素値と、前記第２のフレームの参照画素の定常領域内の各画素の画素値との差分を、領域内全て求めて、その求まった差分の絶対値を領域内で加算して差分絶対値和を求め、
前記差分絶対値和が最小となるものを、割り当てる動きベクトルとする処理を行う
請求項１に記載の動きベクトル検出装置。
【請求項３】
前記動きベクトル割り当て部は、前記注目画素が存在する第１のフレームから見て、前記参照画素が存在する第２のフレームとは時間軸上の反対側に位置する第３のフレームに、前記第１のフレーム上の参照画素に対応した第２参照画素を設定し、その第２参照画素の定常領域内の画素についても、前記第１のフレームの定常領域内の画素と差分を求め、その求まった差分の絶対値を領域内で加算して差分絶対値和を求め、
前記第２参照画素の定常領域の比較結果を参照して、前記第１のフレームから前記第２のフレームへの動きベクトルを割り当てる
請求項２に記載の動きベクトル検出装置。
【請求項４】
前記第２のフレーム内の参照画素を使って得た差分絶対値和と、前記第３のフレーム内の前記第２参照画素の定常領域を使って得た差分絶対値和とを比較し、
比較の結果で、第１のフレーム内の注目画素の定常領域と差が最小になるものが、前記第２のフレーム内の参照画素を使って得た差分絶対値和になるとき、その参照画素と注目画素とを結ぶ動きベクトルを割り当て、
比較の結果で、第１のフレーム内の注目画素の定常領域と差が最小になるものが、前記第３のフレーム内の第２参照画素を使って得た差分絶対値和になるとき、その第２参照画素と注目画素を結ぶ動きベクトルの延長線上に存在する前記第１のフレームから前記第２のフレームへの動きベクトルを割り当てる
請求項３に記載の動きベクトル検出装置。
【請求項５】
前記評価値テーブルで示される候補ベクトルの頻度に関する情報を取得し、前記差が最小となる候補が複数存在する場合に、前記頻度に関する情報で頻度が高い候補ベクトルを、割り当てる動きベクトルとする処理を行う
請求項２に記載の動きベクトル検出装置。
【請求項６】
前記それぞれを使って得た定常領域の差分絶対値和は、その差分絶対値和で示される定常領域の面積又は画素数で正規化した平均差分絶対値として、比較する処理を行う
請求項２に記載の動きベクトル検出装置。
【請求項７】
前記注目画素と前記参照画素について、同じ画素値が連続する定常領域を設定し、前記注目画素の定常領域と、前記参照画素の定常領域とが重なる領域の大きさを判断し、重なり合う大きさが最も大きな定常領域の参照画素についての動きベクトルを割り当てる
請求項１に記載の動きベクトル検出装置。
【請求項８】
前記動きベクトル抽出部は、評価値情報形成部で形成された評価値情報に基づいて、動きベクトルの候補を頻度順とし、その頻度順の動きベクトルの内の上位の所定順位までの動きベクトルを抽出する
請求項１〜７のいずれか１項に記載の動きベクトル検出装置。
【請求項９】
複数のフレームで構成される動画像データの、第１のフレームの注目画素と、第２のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成し、
前記形成された評価値情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出し、
前記抽出された候補となる動きベクトルの注目画素及び参照画素について、同じ画素値が連続する定常領域を設定し、その設定した定常領域から求めた値の比較に基づいて、前記第１のフレームから前記第２のフレームへの各画素の動きベクトルを割り当てる
動きベクトル検出方法。
【請求項１０】
複数のフレームで構成される動画像データの、第１のフレームの注目画素と、第２のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成する処理と、
前記評価値情報の形成処理で形成された評価値情報に基づいて動画像データのフレーム内の各画素に対する動きベクトルの候補を抽出する動きベクトル候補抽出処理と、
前記動きベクトル候補抽出処理で抽出された候補となる動きベクトルの注目画素及び参照画素について、同じ画素値が連続する定常領域を設定し、その設定した定常領域から求めた値の比較に基づいて、前記第１のフレームから前記第２のフレームへの各画素の動きベクトルを割り当てる動きベクトル割り当て処理とを、情報処理装置に実装して実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データから動きベクトルを検出して、高能率符号化などの画像処理を行う場合に適用して好適な動きベクトル検出装置及び動きベクトル検出方法、並びにその動きベクトル検出方法を実行するプログラムに関する。
【背景技術】
【０００２】
従来、動画像の処理の分野において、動きの情報、即ち時間的に異なる画像中の物体の動き方向と大きさを用いて、画像処理を効率的に行うことが行われている。例えば、画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによるテレビジョン雑音低減装置における動きによるパラメータ制御などに、動き権検出結果を利用することが行われている。動きを求める手法としては、ブロックマッチング法が知られている。ブロックマッチング法は、１フレームの画像を所定画素単位のブロックとしたブロック単位で、そのブロックが動いた領域を探索するものである。このブロックマッチングによる動きベクトル検出処理は、ＭＰＥＧ方式などで実用化されている、動きベクトルを利用した画像処理として、最も普及した一般的な処理である。
【０００３】
ところが、ブロックマッチング法では、ブロックを単位とした処理であるため、各フレーム内の画像の動き検出を必ずしも高精度に検出しているとは言えなかった。このため、本出願人は、先に特許文献１に記載した動きベクトル検出処理を提案した。この動きベクトル検出処理は、画像信号から、各画素位置の動きに関する評価値を検出し、その検出した評価値を評価値テーブルとして持ち、評価値テーブルのデータから、１画面内の候補ベクトルとして複数のベクトルを抽出する。そして、その抽出した複数の候補ベクトルを対象として、全画面の各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素の相関を判定する。その結果、最も相関が高いと判定された画素を結ぶ候補ベクトルを、その画素に対する動きベクトルとして決定するものである。この処理の詳細は、後述する実施の形態の中で説明する。
【０００４】
図２２は、この評価値テーブルを使用して、動きベクトルを決定する場合の、先に提案した評価値テーブル形成部の構成を示した図である。図２２の構成を説明すると、入力端子１に得られる画像信号は、相関演算部２に供給される。相関演算部２は、参照点メモリ２ａと注目点メモリ２ｂと絶対値算出部２ｃとを備える。入力端子１に得られる画像信号を、最初に参照点メモリ２ａに記憶させ、さらに参照点メモリ２ａの記憶データを注目点メモリ２ｂに移して、参照点メモリ２ａと注目点メモリ２ｂとで１フレームの差がある画素信号を記憶させる。そして、注目点メモリ２ｂに記憶された画像信号の中の、注目点の画素値と、参照点メモリ２ａに記憶された画像信号の中の参照点として選定された画素位置の画素値とを読み出し、両信号の差分を絶対値検出部２ｃで検出する。検出した差分の絶対値のデータを、相関判定部３に供給する。相関判定部３は、比較部３ａを備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、一例として相関値を用いることができ、例えば差分が閾値以下であるとき、相関が高いとする。
【０００５】
相関判定部３で得られた評価値は、評価値テーブル算出部４に供給し、評価値積算部４ａで評価値を積算し、その積算結果を評価値テーブルメモリ４ｂに記憶させる。そして、評価値テーブルメモリ４ｂの記憶データを、評価値テーブルデータとして出力端子５から後段の回路に供給する。
【０００６】
図２３は、この図２２に示す従来の評価値テーブルを使用して動きベクトルを決定する処理状態の概要を示した図である。図２３（ａ）に示すように、まず現在のフレーム（現フレーム）Ｆ１の１フレーム前の画像データである前フレームＦ０内の、動きベクトルを判断する基準となる画素位置を注目点ｄ０とする。この注目点ｄ０が決まると、その注目点ｄ０の画素位置の周辺の所定範囲でのサーチエリアＳＡが、現フレームＦ１内で設定される。サーチエリアＳＡが設定されると、そのサーチエリアＳＡ内の各画素を参照点ｄ１として評価値が算出され、評価テーブルに登録される。そして、評価値テーブルに登録された値から、サーチエリアＳＡで最も評価値が高い参照点が、前フレームの注目点から動いた現フレームの画素位置として求まる。このように最も評価値が高い参照点が求まることで、図２３（ｂ）に示されるように、その評価値が最も高い参照点と注目点との動き量から、動きベクトルが定まる。
この図２２，図２３に示す処理を行うことで、評価値テーブルデータに基づいて動きベクトルを検出することができる。
【特許文献１】特開２００５−１７５８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
評価値テーブルデータに基づいて動きベクトルを検出する場合、最適な動きベクトルの決定は、評価値テーブルの性能に依存する。図２２に示した従来方式では、注目点と未来フレーム（現フレーム）内の探索範囲における、動き候補先画素との相関判定、具体的には輝度値の差分絶対値がある閾値以下であれば、動き候補として、評価値テーブルに度数がカウントされる。
【０００８】
ところが、この従来手法による処理では、画素値に変化がほとんどない画像が平坦である箇所では、最適な動きベクトルを割り当てることが困難であった。即ち、注目点が隣接した周辺画素と輝度や色と異なる孤立点である場合には、周辺画素との状態が同じである参照点を検出すれば、動きベクトルの候補が正確に検出できる。
これに対して、注目点が隣接した周辺画素と同じ画素値である平坦状態の場合には、同じ画素値が周辺に多数存在することになり、動き先の候補が多数検出されて、その多数の候補（参照画素）から、どの画素を動き先の画素と選定するのが困難である。
【０００９】
注目点と参照点とを比較する際に、それぞれをある程度の領域で考えて、その注目領域と参照領域とのマッチングを行うことで、このような平坦部での動きベクトル検出の精度を上げることは可能である。ところが、領域で２フレーム間のマッチングを行う場合、そのマッチングを行う領域の設定を適正に行うのが困難であった。
即ち、注目領域と参照領域のそれぞれを、比較的小さな領域とした場合には、同じ画素値が続く平坦部の面積が小さいとき、このようなマッチングで正確に候補を検出できることになる。しかしながら、比較的小さな領域でマッチングして、画像中の同じ輝度値が続く平坦部の大きさがマッチングで比較する領域より大きいと、１画素の注目点と１画素の参照点とを比較する場合と同様に、類似した多数の参照領域が検出されてしまう。
【００１０】
逆に、注目領域と参照領域のそれぞれを、比較的大きな領域とした場合には、画像中の大きな領域の平坦部が画像中にあった際には、マッチングで候補を良好に絞ることが可能であるが、平坦部が小さいとき、その小さな平坦部を検出できなくなってしまう。
また、比較的大きな領域でマッチングを行った場合には、そのマッチングをしている領域内に、別の動いた物体が入ってしまうと、領域マッチングで不一致が検出されて、正確な動きベクトルの割り当てが出来なくなってしまう。
【００１１】
本発明はかかる点に鑑みてなされたものであり、動きベクトルの評価値を使用して動きベクトルを割り当てる場合の割り当て精度を向上させることを目的とする。また、画像中に複数の動きがある場合にも、その複数の動きを的確に検出できるようにすることを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、動画像データから動きベクトルを検出する場合に適用される。
その処理構成としては、動きベクトルの評価値情報を生成する処理と、評価値情報に基づいて動きベクトルの候補を抽出する処理と、抽出された候補となる動きベクトルの中から割り当てる動きベクトルを決定する動きベクトル割り当て処理とを行う。
評価値情報を生成する処理では、第１のフレームの注目画素と、第２のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値情報を形成する。
動きベクトル割り当て処理では、動きベクトル抽出処理で抽出された候補となる動きベクトルの注目画素及び参照画素について、同じ画素値が連続する状態に応じて適応的に定常領域を設定する。そして、その設定した定常領域から求めた値の比較に基づいて、第１のフレームから第２のフレームへの各画素の動きベクトルを割り当てる。
【００１３】
本発明によると、注目画素の周囲で、同じ画素値が連続する画像状態に応じて適応的に定常領域のサイズを可変設定することで、そのときの画像状態に応じて、適切に動きベクトルの候補の絞り込みが行えて、動きベクトルの割り当てが行えるようになる。従って、注目点が周囲の画素値と同じ画素である平坦部である場合でも、その動きベクトルの動き先を判定できるようになる。しかも、定常領域のサイズが、同じ画素値が連続する画像状態に応じて適応的に設定されることで、比較する領域のサイズが適正なものになり、良好な判定が可能となる。
【発明の効果】
【００１４】
本発明によると、画像状態に応じて適応的に設定した定常領域を使用して、注目点と参照点との動き候補を示す動きベクトルの評価値情報のデータから動きベクトルを割り当てることで、画素値に変化のない平坦な領域であっても、正確に動きベクトルを検出できる。
即ち、注目点と参照点との評価値情報を使った動きベクトル検出は、画像内の画素を単位として候補を探す処理であり、隣接した画素と間で画素値に変化がある領域では有効に評価が可能であるが、画素値に変化がない領域では、候補を絞ることが困難である。ここで本発明の場合には、画像状態に応じて適応的に設定した定常領域を使用して、注目点と参照点との評価値から候補を絞ることができ、画素値に変化のない平坦な領域についても、正確に動きベクトルの候補から、割り当てる動きベクトルを決定できるようになる。しかも本発明の場合には、判定する定常領域は、画像状態に応じて適応的に設定した領域であるので、平坦領域のサイズの大小に関係なく、正確に割り当てる動きベクトルを決定できるようになる。
また、画像中の平坦な領域から平坦でない点まで、それぞれの箇所で正確に動きベクトルの候補を決定できることで、１つの画像内に複数の動きがある場合でも、その複数の動きに対応した動きベクトルを正確に検出できるようになる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施の形態の例について、図１〜図２１を参照して、以下の順序で説明を行う。
１．動きベクトルを検出する全体の構成及び処理の概要：図１，図２
２．評価値テーブルの生成例：図３，図４
３．動きベクトル抽出部の構成及び動作例：図５，図６
４．ベクトル割り当て部で領域を使う一般的な構成及び例：図７〜図９
５．第１の実施の形態の要部の構成例：図１０
６．図１０の処理のフローチャートの例：図１１
７．図１０の処理状態の概要の説明：図１２
８．定常領域の探索処理例：図１３，図１４
９．レベル差分の絶対値和を正規化する例：図１５
１０．評価値の頻度を使って判定する例：図１６
１１．定常領域の重なりで判断する例：図１７
１２．第２の実施の形態の要部の構成例（２つの参照フレームを使う例）：図１８
１３．図１８の処理のフローチャートの例：図１９
１４．図１８の処理状態の概要の説明：図２０
１５．各実施の形態の処理による効果の説明：図２１
１６．各実施の形態の変形例の説明
【００１６】
［１．動きベクトルを検出する全体構成及び処理の概要］
本実施の形態においては、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、その検出処理として、画素値相関情報より評価値テーブルを形成させて、その評価値テーブルのデータを積算して、動きベクトルを判定するものである。
【００１７】
図１は、動きベクトル検出装置の全体構成を示した図である。画像信号入力端子１１に得られる画像信号を、評価値テーブル形成部１２に供給して、評価値テーブルを形成させる。画像信号は、例えば、各フレーム内の各画素で個別の輝度値が得られるデジタル映像信号である。評価値テーブル形成部１２では、注目点ごとに、サーチエリアと同一の大きさの評価値テーブルを作成する。
【００１８】
評価値テーブル形成部１２が作成した評価値テーブルデータは、動きベクトル抽出部１３に供給する。動きベクトル抽出部１３では、評価値テーブルから、候補ベクトルとして複数の動きベクトルを抽出する。動きベクトル抽出部１３では、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。動きベクトル抽出部１３で抽出した複数の候補ベクトルは、動きベクトル割当て部１４に供給する。
動きベクトル割当て部１４では、候補ベクトル抽出部１３において抽出した複数の候補ベクトルを対象として、全画面の画素ごとに、最も相関が高いと思われる適正な候補ベクトルを割り当て、その割り当てた候補ベクトルを、その画素に対応する動きベクトルとして決定する。この候補ベクトルから割り当てられる動きベクトルを決定する処理の詳細については後述する。これらの動きベクトルを得る処理は、制御部（コントローラ）１６による制御で実行される。
設定された動きベクトルのデータは、動きベクトル出力端子１５から出力させる。このとき、必要により入力端子１１に得られる画像信号に付加して出力させてもよい。出力された動きベクトルデータは、例えば画像データの高能率符号化に使用される。或いは、画像をテレビジョン受像機で表示させる際の高画質化処理に使用される。さらにまた、その他の画像処理に、本例の処理で検出された動きベクトルを使用してもよい。
【００１９】
図２のフローチャートは、この動きベクトルを決定するまでの処理例を示したものである。まず、入力した画像信号から評価値テーブルを形成させ（ステップＳ１１）、その形成された評価値テーブルから、候補となる複数のベクトルを抽出する（ステップＳ１２）。そして、その抽出された複数の候補ベクトルの中から、最も相関の高い動きベクトルを決定する（ステップＳ１３）。この図２のフローチャートの処理が、各フレームで実行される。ここまでは、評価値テーブルを使用した動きベクトル検出構成として一般的な構成である。
【００２０】
そして本実施の形態においては、評価値テーブル形成部１２での評価値テーブルの形成処理として、図３に示す構成で行う。ここでの注目点とは、動きベクトルを判定する上での基準となる点（基準点）の画素位置（注目画素）である。参照点とは、その注目点から動いた先である可能性がある点の画素位置（参照画素）である。参照点は、注目点とは後又は前の別のフレームで、注目点の画素位置の近傍（即ちサーチエリア内）の画素である。なお、以下の説明では、注目点と参照点を、注目画素及び参照画素と称する場合がある。注目画素と述べた場合には、注目点の位置の画素を示し、参照画素と述べた場合には、参照点の位置の画素を示す。
【００２１】
［２．評価値テーブルを生成させる例］
上述した注目点と参照点とを設定して、評価値テーブルを生成させる構成例を、図３に示す。
図３の例の構成について説明すると、入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０に供給する。相関演算部２０は、参照点メモリ２１と注目点メモリ２２と絶対値算出部２３とを備える。入力端子１１に得られる画像信号の中で、参照点として使用されるフレームの画素値を、参照点メモリ２１に記憶する。その参照点メモリに記憶されたフレームの信号を、次のフレーム周期に、注目点メモリ２２に移す処理が行われる。この例では、参照点が１フレーム前の信号の例である。
【００２２】
そして、注目点メモリ２２に記憶された注目点の画素値と、参照点メモリ２１に記憶された参照点の画素値とを、絶対値算出部２３に供給し、両信号の差分の絶対値を検出する。ここでの差分とは、画素信号の輝度値の差分である。検出した絶対値の差分のデータは、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。
【００２３】
相関判定部３０で得られた評価値は、評価値テーブル算出部４０に供給し、評価値テーブル算出部４０内の評価値積算部４１で積算し、その積算結果を評価値テーブルメモリ４２に記憶させる。このようにして得られた評価値テーブルメモリ４２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路（動きベクトル抽出部１３：図１）に供給する。
【００２４】
この図３の構成での評価値テーブルのデータの生成処理を示したのが、図４のフローチャートである。この図４は、それぞれの注目点と参照点とを結ぶ動きベクトルごとに行われる判断処理であり、相関判定部３０での処理に相当する。
まず、現在比較している注目点と参照点との差分が閾値以下か否か判断する（ステップＳ１５）。この判断で、閾値以下であると判断した場合、該当するベクトルの評価値を１として、その評価値１を評価値テーブルに書き込ませる（ステップＳ１６）。また、ステップＳ１５の判断で、注目点と参照点との差分が閾値以下でないと判断した場合には、該当するベクトルの評価値を０として、その評価値を評価値テーブルに書き込ませる（ステップＳ１７）。
この図４のフローチャートの処理が、１フレーム内の各注目点から見た全ての参照点に対して行われる。このようにして評価値テーブルに書き込まれたデータの内で、評価値が高い動きベクトルの候補を、動きベクトル抽出部１３（図１）で読み出し、その読み出した候補ベクトルを、次に説明する動きベクトル割当て部１４に供給する。
【００２５】
［３．動きベクトル抽出部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル抽出部１３の構成及び動作の例について、図５〜図６を参照して説明する。
図５は、図１の動きベクトル抽出部１３の例を示したものである。
動きベクトル抽出部１３では、入力端子１３ａに、評価値テーブルデータが供給される。この評価値テーブルデータは、例えば、既に説明した第１〜第３の実施の形態のいずれかの処理構成で得られた動きベクトルの評価値テーブルのデータであり、１つのフレーム内で候補ベクトルとなる可能性のある動くベクトルを積算したデータである。
例えば、図３の評価値テーブル算出部４０内の評価値テーブルメモリ４２から供給されるデータであり、評価値テーブルデータ変換部１１１に供給する。
【００２６】
評価値テーブルデータ変換部１１１では、供給された評価値テーブルデータを、頻度値或いはその微分値などのデータに変換する。変換されたデータは、頻度順ソート処理部１１２で、１フレーム内で候補ベクトルを頻度順に並び替える処理を行う。頻度順に並び替えられた候補ベクトルの評価値テーブルデータは、候補ベクトル評価部１１３に供給する。ここでは、頻度順に並び替えられた候補ベクトルの内で、上位の所定順位までの候補ベクトルを、候補ベクトル評価部１１３に供給する。例えば、１フレーム内に存在する頻度の高い候補ベクトルの内で、最も頻度の高いものから１０番目までの候補ベクトルを抽出して、候補ベクトル評価部１１３に供給する。
【００２７】
候補ベクトル評価部１１３では、供給された頻度の高い候補ベクトルのそれぞれを、さらに、決められ条件で評価する処理を行う。ここでの評価処理としては、例えば頻度値が上位の所定順位以内の候補ベクトルであっても、頻度値が予め決めた閾値以下などで、それほど高くない候補ベクトルについては除外するなど、決められた条件での評価を行う。
あるいは、例えば動きベクトル抽出部１３の前段の評価値テーブル形成部１２（図１）での画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価するようにしてもよい。画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価する場合には、例えば、図３の画素選別部４０などで画素選別に使用された、選別された注目点のデータを使う。その選別された注目点のデータを、評価値テーブル形成部１２から得て、選別された各注目点から見たとき、どの候補ベクトルが最も適しているかを評価して、候補ベクトルの評価を行う。
【００２８】
このようにして候補ベクトル評価部１１３で得られた、各候補ベクトルの評価結果に基づいて、候補ベクトル信頼度判定部１１４で、候補ベクトルの内で信頼度の高い候補ベクトルを選定して、その信頼度の高い候補ベクトルのデータを出力端子１３ｂから出力する。
出力端子１３ｂから出力される候補ベクトルの信頼度データは、図１の動きベクトル決定部１４に供給する。
【００２９】
図６は、図５に示した動きベクトル抽出部１３で、評価値テーブルデータから候補ベクトルを抽出する際の、処理動作例を示したフローチャートである。
まず、評価値テーブルデータで示された候補ベクトルを、頻度順にソートする処理を行う（ステップＳ１１１）。その頻度順に並び替えられた評価値テーブルの中から、頻度の高いものから順に、所定番目までの候補ベクトルを取り出す。この所定番目としては、例えば頻度の最も高いものから１０番目などの決められた順位のものを取り出す（ステップＳ１１２）。
その後、取り出した複数の候補ベクトルが、候補ベクトルとして適正であるか否か評価し、必要により候補ベクトルを絞る処理が（ステップＳ１１３）。例えば、取り出したそれぞれの候補ベクトルの頻度値がどの程度が判断して、閾値以下の頻度値の候補ベクトルについては評価値を低くする評価処理を行う。この候補ベクトルの評価処理については、種々の処理が考えられ、その評価処理が、候補ベクトルを取り出す精度に影響する。
【００３０】
その評価処理結果に基づいて、各候補ベクトルの信頼度を判定し、信頼度が高い候補ベクトル、即ち画像に割当てられる可能性の高い候補ベクトルだけを、後段のベクトル割当て部１４（図１）に供給する（ステップＳ１１４）。
【００３１】
［４．ベクトル割り当て部で領域を使う一般的な構成及び例］
図７は、図１の動きベクトル割当て部１４の構成例を示したものである。
本実施の形態では、評価値テーブルから読み出した動きベクトルを評価して割り当てベクトルを決定する場合に、注目点について定常領域を適応的に設定し、また参照点でも同様の領域を設定して、動きベクトルとして割り当てるのが適正か判断するものである。
このように注目点について定常領域を適応的に設定する点が、本実施の形態で特徴となる点であるが、この本実施の形態の処理構成を説明する前に、前提構成として、注目点の周囲に固定した領域である固定ブロックを設定して判定する例について説明する。
【００３２】
図７は、この注目点の周囲に固定領域を設定して判定する例の構成図である。
動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである参照点メモリ５１に供給されて１フレーム記憶される。そして、参照点メモリ５１に記憶された画像信号が、フレーム期間ごとに注目点メモリ５２に移される。従って、参照点メモリ５１に記憶される画像信号と、注目点メモリ５２に記憶される画像信号とは、常に１フレーム期間ずれた信号である。
【００３３】
そして、注目点メモリ５２に記憶された画像信号から、注目点を中心として決められたサイズの固定ブロックの画素信号をデータ読出し部５３に読み出す。同様に、参照点メモリ５１に記憶された画像信号から、参照点を中心とした決められたサイズの固定ブロックの画素信号をデータ読出し部５３に読み出す。このデータ読出し部５３で読出される注目点と参照点の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部５３で判断される。
【００３４】
そして、データ読出し部５３で読出された、注目点を中心とした固定領域の画素信号と、参照点を中心とした固定領域の画素信号とを、評価値算出部５４に供給して、両固定領域の画素信号の差分が検出される。このようにして、評価値算出部５４では、現在評価中の注目点と候補ベクトルで接続された全ての参照点の固定領域の画素信号を判断し、注目点を中心とした固定領域の画素信号と比較する。
そして、評価値算出部５４では、比較の結果で、注目点を中心とした固定領域の画素信号と最も類似した固定領域を持った参照点を選定する。
選定された参照点と注目点とを結ぶ候補ベクトルのデータは、ベクトル決定部５５に送る。ベクトル決定部５５では、該当する候補ベクトルを、注目点からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子１５から出力させる。
【００３５】
図８のフローチャートは、この図７のベクトル割当て処理動作例を示したフローチャートである。
図８に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ２１）。読出された候補ベクトルについての注目点の座標位置を判断し、その位置の画素（注目画素）とその周辺画素で構成される固定ブロックの画素を注目点メモリ５２から読出す（ステップＳ２２）。また、読出された候補ベクトルについての参照点の座標位置を判断し、その位置の画素（参照画素）とその周辺画素で構成される固定ブロックの画素を参照点メモリ５１から読出す（ステップＳ２３）。
そして、それぞれの固定ブロック内の各画素の画素レベル（画素値：ここでは輝度値）と、注目点について設定した固定ブロック内の各画素の画素レベルとの差を求め、その差を絶対値化したものをブロック全てで加算し、絶対値差分和を算出する（ステップＳ２４）。ここまでの処理を、現在の注目点についての全ての候補ベクトルで示された参照点について行う。
そして、複数の参照点ごとに注目点と比較して得た絶対値差分和の内で、値が最小になる参照点を探す。この処理で、値が最小になる参照点を判断すると、その判断された参照点と注目点を結ぶ候補ベクトルを、注目点についての動きベクトルとして割り当てることを決定する（ステップＳ２５）。
【００３６】
図９は、この図７の構成及び図８のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ１０（注目フレーム）に注目点ｄ１０が存在し、その時間軸上の次のフレームＦ１１（参照フレーム）内との間で、複数の候補ベクトルＶ１１，Ｖ１２が存在しているとする。フレームＦ１１には、候補ベクトルＶ１１，Ｖ１２で注目点ｄ１０と結ばれた参照点ｄ１１，ｄ１２が存在している。
このような図９の状態を想定すると、図８のステップＳ２２では、フレームＦ１０内で、注目点ｄ１０の中心にして固定した所定画素数の固定ブロックＢ１０が設定され、その固定ブロックＢ１０内の画素値が判断される。同様に、図８のステップＳ２３では、フレームＦ１１内で、参照点ｄ１１，ｄ１２の中心にして固定した所定画素数の固定ブロックＢ１１，Ｂ１２が設定され、その固定ブロックＢ１１，Ｂ１２内の画素値が、それぞれ判断される。
【００３７】
そして、固定ブロックＢ１１内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。同様に、固定ブロックＢ１２内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。そして、いずれの絶対値差分和の方が小さいか比較される。この比較で、例えば固定ブロックＢ１１を使った絶対値差分和の方が小さいと判断すると、その固定ブロックＢ１１の中心の参照点ｄ１１と、注目点ｄ１０とを結ぶ候補ベクトルＶ１１が選択される。この選択された候補ベクトルＶ１１を、注目点ｄ１０の動きベクトルとして割り当てる。
なお、図９では説明を簡単にするために候補ベクトルを２つとして説明したが、実際には１つの注目点に対してより多くの候補ベクトルが存在することがある。また、説明を簡単にするために１つの注目点だけを示してあるが、実際には、１フレーム内の代表となる複数の画素又は全ての画素が、このような注目点となる。
【００３８】
このようにして候補ベクトルから選定するベクトルを決定する処理を行うことで、注目点の周囲の画素の状態と、参照点の周囲の画素の状態とが、近いものが選定されることになり、候補ベクトルからの選定が良好に行える。
ところが、この図９に示したような固定ブロックとして周辺画素領域を選び出すようにした場合には、例えば注目点の周辺が、全く輝度や色の変化がない平坦領域を想定すると、候補ベクトルからの選定を正しく行うことが困難である。
例えば、注目点が白色の輝度レベルの画素で、その周辺についても同じ輝度レベルがある程度連続しているとする。さらに、各参照点とその周辺画素についても、同じように白色の輝度レベルの画素が連続しているとする。このような場合には、図９に示した２つの固定ブロックＢ１１，Ｂ１２を使った差分の絶対値和が、いずれも等しくなり、いずれの候補ベクトルを選定するのかが困難である。
このように固定的に差分絶対値和を求めるブロックを決めた場合には、判断する注目点や参照点の周囲が平坦であると、正確な割り当てができなくなる問題がある。
本実施の形態においては、このような問題を解決するものである。
【００３９】
［５．第１の実施の形態の要部の構成例］
次に、本発明の第１の実施の形態の構成について、図１０〜図１７を参照して説明する。
この第１の実施の形態においては、図１〜図４を用いて説明した動きベクトル検出装置の構成及び処理を行うものとした上で、動きベクトル割り当て部１４（図１）として、図１０に示した構成としたものである。
【００４０】
以下、図１０に示した動きベクトル割り当て部１４の構成について説明する。
動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである参照点メモリ６１に供給されて１フレーム記憶される。そして、参照点メモリ６１に記憶された画像信号が、フレーム期間ごとに注目点メモリ５２に移される。従って、参照点メモリ５１に記憶される画像信号と、注目点メモリ６２に記憶される画像信号とは、常に１フレーム期間ずれた信号である。
【００４１】
そして、注目点メモリ６２に記憶された画像信号から、注目点を中心とした定常領域の画素信号をデータ読出し部６３に読み出す。ここでの定常領域は、定常領域判定部６４によって、注目点メモリ６２の記憶データから判断される。定常領域判定部６４で判断される定常領域は、注目点の周囲で、注目点と同じレベルの画素値が連続する領域である。従って、各フレームの画像信号の状態によってサイズは可変し、定常領域は常に適応的に設定される。本明細書で定常領域と述べた場合には、同じ画素値（ここでは輝度値）が連続する、適応的に設定される領域を示す。同じ画素値との判断は、例えば注目点の画素値と、所定レベル以下の差の画素値である場合に、同じ画素値であると判断して、わずかな画素値の変化については、許容できるようにする。なお、画像状態によっては、定常領域が全く存在しない場合もある。
【００４２】
そして、参照点メモリ６１に記憶された画像信号から、参照点を中心とした領域の画素信号をデータ読出し部６３に読み出す。このとき読み出す領域は、注目点側の定常領域と同じサイズの領域とする。データ読出し部６３で読出される注目点と参照点の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部６３で判断される。
【００４３】
そして、データ読出し部６３で読出された、注目点を中心とした定常領域の画素信号と、参照点を中心とした定常領域と同じ範囲の領域の画素信号とを、評価値算出部６５に供給して、両領域の画素信号の差分を検出して、両領域の相関を判断する。このようにして、評価値算出部６５では、現在評価中の注目点と候補ベクトルで接続された全ての参照点の定常領域と同じ領域の画素信号を判断し、注目点を中心とした定常領域の画素信号と比較する。
そして、評価値算出部６５では、比較の結果で、注目点を中心とした定常領域の画素信号と最も類似した領域を持った参照点を選定する。ここでの比較としては、後述するように、各領域内の画素の輝度値の差分の絶対値を加算した差分絶対値和を比較して、差分絶対値和が最小のものを選定する。
評価値算出部６５で選定された参照点と注目点とを結ぶ候補ベクトルのデータは、ベクトル決定部６６に送る。ベクトル決定部６６では、該当する候補ベクトルを、注目点からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子１５から出力させる。
【００４４】
［６．図１０の処理のフローチャートの例］
図１１のフローチャートは、この図１０のベクトル割当て処理動作例を示したフローチャートである。
図１１に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ３１）。読出された候補ベクトルについての注目点の座標位置を判断し、その位置の画素（注目画素）の画素値を判断し、注目画素の周囲で、その画素値と同じ画素値と見なせる画素値が連続する領域（定常領域）を判断する。その判断した定常領域の画素値を読み出す（ステップＳ３２）。
また、読出された全ての候補ベクトルについての参照点の座標位置を判断し、その判断した位置の画素（参照画素）を中心にして、定常領域と同じサイズの領域を個別に設定し、その設定した各領域内の画素値を参照点メモリ６１から読出す（ステップＳ３３）。
そして、それぞれの領域内の画素レベル（画素値）の差分の絶対値和を算出する（ステップＳ３４）。
そして、参照点について設定した領域内の画素と、注目点について設定した領域内の画素とを比較して、差分値を得て、その差分値の絶対値を領域全てで加算して、絶対値差分和を得て、絶対値差分和が最小になる参照点の領域を探す。この処理で、絶対値差分和が最小になる参照点の領域を判断すると、その判断された領域の中央の参照点と注目点を結ぶ候補ベクトルを、注目点についての動きベクトルとして割り当てることを決定する（ステップＳ３５）。
【００４５】
［７．図１０の処理状態の概要の説明］
図１２は、この図１０の構成及び図１１のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ２０（注目フレーム）に注目点ｄ２０が存在し、その時間軸上の次のフレームＦ２１（参照フレーム）内との間で、複数の候補ベクトルＶ２１，Ｖ２２が存在しているとする。フレームＦ２１には、候補ベクトルＶ２１，Ｖ２２で注目点ｄ２０と結ばれた参照点ｄ２１，ｄ２２が存在している。
【００４６】
このような図１２の状態を想定すると、図１１のステップＳ３２では、フレームＦ２０内で、注目点ｄ２０の中心にして、注目点ｄ２０の画素値（ここでは輝度値）と同じレベルの画素値が周辺で連続する定常領域Ａ２０が設定される。この定常領域Ａ２０内の全ての画素の画素値が判断される。
図１１のステップＳ３３では、フレームＦ２１内で、参照点ｄ２１，ｄ２２の中心にして、領域Ａ２１，Ａ２２が設定される。領域Ａ２１，Ａ２２は、１つ前のフレームＦ２０に設定した定常領域Ａ２０と同じ面積（同じ画素数）を持つ領域である。中央の参照点ｄ２１，ｄ２２と領域Ａ２１，Ａ２２との位置関係や領域の配置方向についても、注目点ｄ２０と定常領域Ａ２０との関係と同じである。このようにして設定された各領域Ａ２１，Ａ２２について、各領域内の全ての画素の画素値が判断される。そして、その判断された参照点側の領域内の画素と、注目点側の領域内の同じ位置の画素とが比較されて、画素値の差分が得られ、その差分の領域全体での絶対値和を得て、差分絶対値和が、各参照点の領域ごとに算出される。
【００４７】
そして、領域Ａ２１と領域Ａ２０を使って得た差分の絶対値和と、領域Ａ２２と領域Ａ２０を使って得た差分の絶対値和の内で、いずれが最小か比較される。この比較で、例えば定常領域Ａ２１を使って得た絶対値差分和の方が小さいと判断すると、その領域Ａ２１の中心の参照点ｄ２１と、注目点ｄ２０とを結ぶ候補ベクトルＶ２１が選択される。この選択された候補ベクトルＶ２１を、注目点ｄ２０の動きベクトルとして割り当てる。
なお、図１２では説明を簡単にするために候補ベクトルを２つとして説明したが、実際には１つの注目点に対してより多くの候補ベクトルが存在することがある。また、図１２では説明を簡単にするために１つの注目点だけを示してあるが、本実施の形態での処理の場合には、１フレーム内の代表となる複数の画素又は全ての画素が、このような注目点となる。
【００４８】
［８．定常領域の探索処理例］
図１３は、本実施の形態で、注目点についての定常領域を探索する処理例を示したフローチャートである。図１４での設定例を参照しながら、この図１３のフローチャートについて説明する。
まず、注目点が決まると、その注目点を中心して定常領域探索範囲を設定する（ステップＳ４１）。最初に設定される定常領域探索範囲のサイズは、予め決められたサイズである。例えば水平Ｎ個×垂直Ｍ個（Ｎ，Ｍは任意の整数）の決められたサイズとする。
図１４（ａ）の範囲Ｘ２０が、定常領域探索範囲の例である。
図１４（ａ）に示すように定常領域探索範囲Ｘ２０が設定されると、その範囲内の各画素の画素値が判断され、注目点ｄ２０の画素値と同じ画素値が連続する定常領域Ａ２０が探索される。この定常領域Ａ２０内の各画素は、注目点と画素値（輝度値）の差が閾値以下で同じと見なせる値であり、かつ空間的に注目点から連続したものと定義される。
【００４９】
この設定処理を行って、探索範囲内に定常領域があるか否か判断し（ステップＳ４２）、その判断で定常領域がない場合には、定常領域がないと判断する（ステップＳ４６）。
ステップＳ４２で定常領域があると判断した場合には、その判定された定常領域が探索範囲Ｘ２０の中に収まっているか否か判断する（ステップＳ４３）。ここでの収まっていることの判断としては、例えば、検出された定常領域Ａ２０が、探索範囲Ｘ２０の最外周の画素まで含まれるかの判断などで行う。
この判断で、定常領域Ａ２０が探索範囲Ｘ２０内に収まっていると判断した場合には、現在探索された定常領域を定常領域Ａ２０として確定する（ステップＳ４４）。
【００５０】
また、ステップＳ４３で定常領域Ａ２０が探索範囲Ｘ２０内に収まっていないと判断した場合には、探索範囲を拡大して（ステップＳ４５）、ステップＳ４２での定常領域を探索する処理に戻る。即ち、例えば図１４（ｂ）に示すように、最初に設定した探索範囲Ｘ２０からはみ出す定常領域Ａ２０′であったとき、拡大された定常領域探索範囲Ｘ２１を再設定し、その範囲Ｘ２１で再度、定常領域Ａ２０′を探索させる。
このようにして、そのときの画像状態に応じた範囲の定常領域が、適切に探索される。
なお、ステップＳ４５で探索範囲を拡大する際には、拡大する最大の範囲を予め決めるようにして、その最大の範囲となったときには、その最大の範囲で探索された定常領域に確定するようにしてもよい。
【００５１】
［９．レベル差分の絶対値和を正規化する例］
注目点についての定常領域と、参照点についての領域とを比較する場合には、上述したように、領域内の全ての画素どうしを比較して画素値の差分を得て、その差分の絶対値を加算して絶対値差分和としたが、算出された絶対値差分和を、領域内の画素数で正規化するようにしてもよい。
図１５のフローチャートは、この正規化する場合の処理例を示したものである。
図１５に従って説明すると、まず、定常領域の面積（又は画素数）を算出する（ステップＳ５１）。そして、定常領域を比較して領域内の全ての画素値の差分絶対値和を算出する（ステップＳ５２）。この算出した差分絶対値和を、定常領域の面積（又は画素数）で割る正規化処理を行い、１画素あたりの平均差分絶対値を得る（ステップＳ５３）。
【００５２】
このように正規化して、１画素あたりの平均差分絶対値を得て、その平均差分絶対値を比較することで、ノイズなどで生じるレベル差分絶対値和の誤差を吸収することが可能となる。
【００５３】
［１０．評価値の頻度を使って判定する例］
上述した図１１のフローチャートの処理では、注目点についての定常領域と、参照点についての領域との差分絶対値和の比較だけから、割り当てる候補ベクトルを決めるようにしたが、その他の条件を加えて、割り当てる候補ベクトルを決めるようにしてもよい。
ここでは、その割り当ての条件に、候補ベクトルの頻度を判断する例について説明する。
図１６は、この頻度を判断する例であり、図１１のフローチャートの処理と同一のものについては、同一のステップ番号を付与してある。
【００５４】
図１６のフローチャートにおいて、候補ベクトルの読出し（ステップＳ３１）から、画素レベルの差分の絶対値和の算出（ステップＳ３４）までは、図１１の処理と同じである。但し、ステップＳ３１で読出される候補ベクトルには、その候補ベクトルが、同一フレーム内での頻度がどの程度かのデータが付与されている。ここでの頻度としては、例えば１フレーム内で、動き方向と動き量ごとに候補の動きベクトルをソート化して、上位から順位を付けたものである。或いは、過去の複数フレーム内での動きベクトルをソート化したものでもよい。
そして、ステップＳ３４で候補ベクトルごとの参照点の領域の差分絶対値和を算出した後に、差分絶対値和が最小のものが複数存在するか否か判断する（ステップＳ３６）。ここでの判断時には、ほぼ同じ値で最小のものが複数存在する場合には、完全な同一でなくても、複数存在すると判断してもよい。
【００５５】
ステップＳ３６の判断で、複数存在しないと判断した場合には、ステップＳ３５に移り、図１１の例と同様に、最小と判断された領域の中央の参照点と注目点を結ぶ候補ベクトルを、注目点についての動きベクトルとして割り当てることを決定する。
そして、ステップＳ３６の判断で、差分絶対値和が最小のものが複数存在する場合には、その複数の最小のものについて、それぞれに対応した候補ベクトルの頻度データを見て、頻度が一番上位の候補ベクトルを選択して割り当てる（ステップＳ３７）。
この図１６のフローチャートに示すように頻度データを利用して、候補を絞る処理を行うことで、差分絶対値和の最小値が同じものが複数存在する場合の割り当てを適正に行うことができる。
【００５６】
なお、図１６のフローチャートの例では、差分絶対値和の最小値が同じものが複数存在する場合に、頻度データを利用する例を示したが、最小でない場合でも、ある程度の範囲で、最小に近い差分絶対値和が複数存在する場合に、同様に頻度データを利用して、候補を絞るようにしてもよい。
【００５７】
［１１．定常領域の重なりで判断する例］
次に、差分絶対値和以外の条件で、各参照点の領域から最適なものを取り出して割り当てる例について、図１７のフローチャートを参照して説明する。
図１７の例は、注目点の定常領域と参照点の各領域との重なりから判断する例である。
図１７に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ６１）。読出された候補ベクトルについての注目点の座標位置を判断し、その位置の画素（注目画素）の画素値を判断し、注目画素の周囲で、その画素値と同じ画素値と見なせる画素値が連続する領域（定常領域）を判断する。その判断した定常領域の画素値を読み出す（ステップＳ６２）。
また、読出された全ての候補ベクトルについての参照点の座標位置を判断し、その判断した位置の画素（参照画素）を中心にして、定常領域と同じサイズの領域を個別に設定し、その設定した各領域内の画素値を参照点メモリ６１から読出す（ステップＳ６３）。ここまでの領域設定は、図１１のフローチャートの例での領域設定と同じである。
【００５８】
そして、参照点の周辺に設定した領域の座標位置を検出する（ステップＳ６４）。この検出で、注目点側の定常領域と重なる領域の面積を、それぞれの参照点の周辺領域ごとに算出する（ステップＳ６５）。その算出で、注目点の定常領域と、座標位置が重なる面積が一番大きい参照点の周辺領域がどれであるか判断する（ステップＳ６６）。
この判断で、座標位置が重なる面積が一番大きい参照点の周辺領域が検出されると、その検出された周辺領域の中心の参照点と注目点を結ぶ候補ベクトルを、割り当てる動きベクトルに決定する。
このように、注目点の定常領域と参照点の領域との重なりの判断から、割り当てる動きベクトルの決定を行うこともできる。
【００５９】
［１２．第２の実施の形態の要部の構成例（２つの参照フレームを使う例）］
次に、本発明の第２の実施の形態を、図１９〜図２０を参照して説明する。
この第２の実施の形態は、図１〜図４を用いて説明した動きベクトル検出装置の構成及び処理を行うものとした上で、動きベクトル割り当て部１４（図１）として、図１８に示した構成としたものである。第１の実施の形態では、注目点があるフレームと、参照点がある２フレーム間だけの処理で、動きベクトルを決定したが、第２の実施の形態の場合には、さらに別のフレームの参照点についても考慮するようにしたものである。
【００６０】
以下、図１８に示した動きベクトル割り当て部１４の構成について説明する。
動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである第１の参照点メモリ７１に供給されて１フレーム記憶される。そして、第１の参照点メモリ７１に記憶された画像信号が、フレーム期間ごとに注目点メモリ７２に移される。さらに、注目点メモリ７２に記憶された画像信号が、フレーム期間ごとに第２の参照点メモリ７３に移される。従って、第１の参照点メモリ７１に記憶される画像信号と、注目点メモリ７２に記憶される画像信号と、第２の参照点メモリ７３に記憶される画像信号とは、順に１フレーム期間ずつずれた信号である。第２の参照点メモリ７３に記憶される１フレームの画像信号は、注目点メモリ７２に記憶されたフレームより１フレーム前の信号である。第１の参照点メモリ７１に記憶される１フレームの画像信号は、注目点メモリ７２に記憶されたフレームより１フレーム後の信号である。以下の説明では、第１の参照点メモリ７１に記憶されたフレームを、第１の参照フレームとし、第２の参照点メモリ７３に記憶されたフレームを、第２の参照フレームとする。
【００６１】
注目点メモリ７２に記憶された画像信号については、注目点を中心とした定常領域の画素信号をデータ読出し部７３に読み出す。ここでの定常領域は、定常領域判定部７５によって、注目点メモリ７２の記憶データから判断される。定常領域判定部７５で判断される定常領域は、注目点の周囲で、注目点と同じレベルの画素値が連続する領域である。従って、各フレームの画像信号の状態によってサイズは可変し、定常領域は常に適応的に設定される。
【００６２】
そして、第１の参照点メモリ７１に記憶された画像信号から、参照点を中心とした領域の画素信号をデータ読出し部７４に読み出す。このとき読み出す領域は、注目点側の定常領域と同じサイズの領域とする。さらに、第１の参照点メモリ７１から読出した参照点と、注目点を挟んで反対側になる位置の参照点とその周辺領域の画素信号を、第２の参照点メモリ７３からデータ読出し部７４に読出す。このとき読み出す領域についても、注目点側の定常領域と同じサイズの領域とする。データ読出し部７４で読出される注目点と２つのフレームの参照点の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部７４で判断される。
【００６３】
そして、データ読出し部７４で読出された、注目点を中心とした定常領域の画素信号と、２つのフレームの参照点を中心とした定常領域と同じ範囲の領域の画素信号とを、評価値算出部７６に供給して、各領域の画素信号の差分を検出する。このようにして、評価値算出部７６では、現在評価中の注目点と候補ベクトルで接続された全ての参照点及びその参照点と反対側の参照点の定常領域と同じ領域の画素信号を判断し、注目点を中心とした定常領域の画素信号と比較する。
そして、評価値算出部７６では、比較の結果で、注目点を中心とした定常領域の画素信号と最も類似した領域を持った参照点を選定する。ここでの比較としては、後述するように、各参照点の領域の輝度値と注目点の領域の輝度値との差分の絶対値和の値を比較する。但し、２つのフレームの参照点を重視するのかの優先順位が予め決めてある。その優先順位については後述する。
評価値算出部７６で選定された参照点と注目点とを結ぶ候補ベクトルのデータは、ベクトル決定部７７に送る。ベクトル決定部７７では、該当する候補ベクトルを、注目点からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子１５から出力させる。
【００６４】
［１３．図１８の処理のフローチャートの例］
図１９のフローチャートは、この図１８のベクトル割当て処理動作例を示したフローチャートである。
図１９に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ７１）。読出された候補ベクトルについての注目点の座標位置を判断し、その位置の画素（注目画素）の画素値を判断し、注目画素の周囲で、その画素値と同じ画素値と見なせる画素値が連続する領域（定常領域）を判断する。その判断した定常領域の画素値を読み出す（ステップＳ７２）。
また、読出された全ての候補ベクトルについての参照点の座標位置を判断し、その判断した位置の画素（参照画素）を中心にして、定常領域と同じサイズの領域を個別に設定し、その設定した各領域内の画素値を参照点メモリ７１から読出す（ステップＳ７３）。この参照点に関して読出される信号は、第１の参照フレームの信号である。そして、読出されたそれぞれの領域内の画素レベル（画素値）と、注目点側の領域内内の画素レベルと同じ画素位置で比較して、画素毎に差分を得、その差分の領域内の画素全ての絶対値和を算出する（ステップＳ７４）。
【００６５】
次に、注目点から第１の参照フレーム上の各参照点を結ぶ候補ベクトルを、第２の参照フレーム側に伸ばして、その伸ばした候補ベクトルが第２の参照フレーム上で交差する点を、第２の参照フレーム上の参照点として設定する。そして、その第２の参照フレーム上の参照点について、定常領域と同じサイズの領域を個別に設定し、その設定した各領域内の画素値を参照点メモリ７３から読出す（ステップＳ７５）。この参照点に関して読出される信号は、第２の参照フレームの信号である。そして、読出されたそれぞれの領域内の画素レベル（画素値））と、注目点側の領域内内の画素レベルと同じ画素位置で比較して、画素毎に差分を得、その差分の領域内の画素全ての絶対値和を算出する（ステップＳ７６）。
【００６６】
そして、第１の参照フレーム上の各候補の領域を使って得た差分の絶対値差分和の中で、値が最小のものを判断する（ステップＳ７７）。さらに、第２の参照フレーム上の各候補の領域を使って得た差分の絶対値差分和の中で、値が最小のものを判断する（ステップＳ７８）。
そして、第１の参照フレーム側で値が最小のものと、第２の参照フレーム側で値が最小のものとを比較し、いずれの方が小さいか判断する（ステップＳ７９）。この判断で、第１の参照フレーム側の差分絶対値和の方が小さい場合には、その最小の領域の中心の参照点と注目点とを結ぶ候補ベクトルを、割り当てるベクトルに決定する（ステップＳ８０）。
また、ステップＳ７９の判断で、第２の参照フレーム側の差分絶対値和の方が小さい場合には、その差分の絶対値和が最小の領域の中心の参照点と注目点を結ぶ動きベクトルを、第１の参照フレーム側に延長したベクトルに決定する（ステップＳ８１）。
【００６７】
［１４．図１８の処理状態の概要の説明］
図２０は、この図１８の構成及び図１９のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ３０（注目フレーム）に注目点ｄ３０が存在し、その時間軸上の次のフレームＦ３１（第１の参照フレーム）内との間で、複数の候補ベクトルＶ３１，Ｖ３２が存在しているとする。第１の参照フレームＦ３１には、候補ベクトルＶ３１，Ｖ３２で注目点ｄ３０と結ばれた参照点ｄ３１，ｄ３２が存在している。
また、フレームＦ３０の１フレーム前に、第２の参照フレームＦ２９が存在する。その第２の参照フレームＦ２９には、候補ベクトルＶ３１，Ｖ３２をそのまま延長させて交差する点に、参照点ｄ２８，ｄ２８を設定する。注目点ｄ３０と参照点ｄ２８とを結ぶベクトルＶ３１′は候補ベクトルＶ３１をそのまま延長したものである。同様に、注目点ｄ３０と参照点ｄ２９とを結ぶベクトルＶ３２′は候補ベクトルＶ３２をそのまま延長したものである。
【００６８】
そして、フレームＦ３０内で、注目点ｄ３０の中心にして、注目点ｄ３０の画素値（ここでは輝度値）と同じレベルの画素値が周辺で連続する定常領域Ａ３０を設定する。
第１の参照フレームＦ３１では、各参照点ｄ３１，ｄ３２を中心して、定常領域Ａ３０と同じ面積の領域Ａ３１，Ａ３２を設定し、各領域内の全ての画素の画素値と、定常領域Ａ３０内の全ての画素の画素値の差分を得て、その差分の絶対値和が算出される。
第２の参照フレームＦ２９では、各参照点ｄ２８，ｄ２９を中心して、定常領域Ａ３０と同じ面積の領域Ａ２８，Ａ２９を設定し、各領域内の全ての画素の画素値と、定常領域Ａ３０内の全ての画素の画素値の差分を得て、その差分の絶対値和が算出される。
【００６９】
第１の参照フレームＦ３１内の領域を使った差分の絶対値和と、第２の参照フレームＦ２９内の領域の領域を使った差分の絶対値和は、先に図１９のフローチャートで説明したように比較される。その比較で、第１の参照フレームＦ３１の方が小さい場合には、そのまま適用されて割り当てられる。第２の参照フレームＦ２９の方が小さい場合には、その第２の参照フレーム上の参照点を延長した、第１の参照フレームＦ３１と注目フレームＦ３０とを結ぶ候補ベクトルが選択される。
このようにして候補ベクトルの割当てを行うことで、候補ベクトルから割り当てる動きベクトルを決定することが、正確に行えるようになる。
【００７０】
［１５．各実施の形態の処理による効果の例］
以上説明したように、本発明の各実施の形態によると、注目点の周囲の状態と参照点の周囲の状態とがほぼ同じものが選定され、注目点の周囲が同じ画素値が連続する平坦な領域であっても、正確に動きベクトルを検出できる。
即ち、各実施の形態の構成として説明した、注目点と参照点とを評価した評価値テーブルを使った動きベクトル検出は、画像内の画素を単位として候補を探す処理であり、隣接した画素と間で画素値に変化がある領域では有効に評価が可能である。しかしながら、１画素間の比較だけでは、画素値に変化がない平坦な領域では、同じような値の画素が多数存在することになり、候補を絞ることが困難である。ここで本実施の形態の場合には、画像状態に応じて適応的に設定した定常領域を使用して、注目点と参照点との評価値から候補を絞ることができ、画素値に変化のない平坦な領域についても、正確に動きベクトルの候補から、割り当てる動きベクトルを決定できるようになる。
しかも本実施の形態の場合には、判定する定常領域は、画像状態に応じて適応的に設定した領域であるので、平坦領域のサイズの大小に関係なく、正確に割り当てる動きベクトルを決定できるようになる。
また、画像中の平坦な領域から平坦でない点まで、それぞれの箇所で正確に動きベクトルの候補を決定できることで、１つの画像内に複数の動きがある場合でも、その複数の動きに対応した動きベクトルを正確に検出できるようになる。
【００７１】
ここで、実際の画像から動きベクトルが正しく割り当てられているかを評価した例につて、図２１を参照して説明する。
図２１（ａ）〜（ｃ）に示した画像は、動きのある人物が比較的大きな布を持ち上げている状態の１フレームの画像で、図２１（ａ）〜（ｃ）で全く同じ画像であり、それより前の画像からの変化で動きベクトルを検出させてある。ここで、各画像中に黒く潰れた部分は、動きベクトルの割り当てが正しくない箇所を示している。
【００７２】
図２１（ａ）は、本発明の前提処理として説明した、図８のフローチャートの処理を行って、図９に示した如き固定ブロックを用いた割り当ての例を示してある。この固定ブロックを用いた図２１（ａ）の画像の場合には、画像中に黒く潰れた部分が点在して多数存在していることから判るように、動きベクトルの割り当てに多くのエラーが発生している。図２１（ａ）の画像で実験した例では、動きベクトルの正解率７２％であった。
【００７３】
図２１（ｂ）は、第１の実施の形態で、図１１のフローチャートの処理を行って、図１２に示した如き定常領域を設定して割り当てを行った例を示してある。この例では、全体的には、動きベクトルの割り当て状態の精度が向上している。図２１（ｂ）の画像で実験した例では、動きベクトルの正解率９０％であった。
但し、図２１（ｂ）を見ると判るように、連続して動きベクトルの割り当て状態が正しくない領域が、比較的大きな面積で発生している。この割り当て状態が正しくない領域は、画像中の物体（人物）が直前のフレームから動いている箇所であり、１フレーム前に、対応した注目点が特定できない箇所である。
【００７４】
図２１（ｃ）は、第２の実施の形態で、図１９のフローチャートの処理を行って、図２０に示した如き定常領域を設定して割り当てを行った例を示してある。この例では、図２０に示したように２つの参照フレームを使用して割り当ててあるので、画像中に動きがあるために、直前のフレームとの比較で特定できない箇所についても、ほぼ正確な動きベクトルの割り当てができるようになっている。図２１（ｂ）の画像で実験した例では、動きベクトルの正解率９９％であった。
この図２１の３つの例を比較すると判るように、本発明の各実施の形態による動きベクトルの割り当て処理を行うことで、従来よりも動きベクトルの割り当て精度が向上していることが判る。
【００７５】
［１６．実施の形態の変形例の説明］
なお、第２の実施の形態で説明した、２つの参照フレームを用いて候補ベクトルを選定する処理は、第１の実施の形態で説明した変形例と組み合わせるようにしてもよい。即ち、各領域の差分絶対値和の正規化する例（図１５のフローチャートの例）や、頻度データと組み合わせる例（図１６のフローチャートの例）を、第２の実施の形態で説明した２つの参照フレームを用いる例と組み合わせてもよい。
【００７６】
また、上述した各実施の形態では、注目点の選定処理については具体的に説明しなかったが、例えば１フレーム内の全ての画素を順に注目点として選定して、それぞれの画素について動きベクトルを検出させる構成としてもよい。或いは、１フレーム内で代表となる画素を注目点として選び出し、その選び出した画素についての動きベクトルを検出させる場合にも適用してもよい。
【００７７】
また、上述した各実施の形態では、画像信号の画素値として、輝度信号を適用した例について説明したが、色信号や色差信号などの、画素単位で得られるその他の信号成分を使うようにしてもよい。
【００７８】
また、上述した各実施の形態では、画像信号の動きベクトル検出装置として構成させた例について説明したが、この動きベクトル検出装置は、各種画像処理装置に組み込むようにしてもよい。例えば、高能率符号化を行う符合化装置に組み込み、動きベクトルデータを利用して符号化を行うようにすることができる。或いは、入力（受信）した画像データによる表示を行う画像表示装置や記録を行う画像記録装置に組み込み、高画質化するために動きベクトルデータを利用するようにしてもよい。
【００７９】
また、本発明の動きベクトル検出を行う各構成要素をプログラム化して、例えば各種データ処理を行うコンピュータ装置などの各種情報処理装置に、そのプログラムを実装させて、その情報処理装置に入力した画像信号から動きベクトルを検出する処理を実行する際に、同様の処理を行うようにしてもよい。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態による装置構成例を示すブロック図である。
【図２】本発明の実施の形態による全体処理例を示すフローチャートである。
【図３】本発明の実施の形態による評価値テーブル形成例を示すブロック図である。
【図４】図３の評価値テーブル形成時の処理例を示したフローチャートである。
【図５】本発明の実施の形態による動きベクトル抽出部の構成例を示すブロック図である。
【図６】図５の例による処理を示したフローチャートである。
【図７】本発明の実施の形態を説明する上で前提となるベクトル割り当て部の構成例を示すブロック図である。
【図８】図７のベクトル割り当て部での処理例を示したフローチャートである。
【図９】図７のベクトル割り当て部での処理状態の概要を示す説明図である。
【図１０】本発明の第１の実施の形態の例によるベクトル割り当て部の構成例を示すブロック図である。
【図１１】図１０のベクトル割り当て部での処理例を示したフローチャートである。
【図１２】図１０のベクトル割り当て部での処理状態の概要を示す説明図である。
【図１３】本発明の第１の実施の形態の例による定常領域の探索処理例を示すフローチャートである。
【図１４】図１３の探索処理状態を示す説明図である。
【図１５】本発明の第１の実施の形態の例による絶対値差分和を正規化した場合の処理例を示すフローチャートである。
【図１６】本発明の第１の実施の形態の変形例として、頻度データを使用する処理例を示すフローチャートである。
【図１７】本発明の第１の実施の形態の変形例として、定常領域の重なる領域を判断する処理例を示すフローチャートである。
【図１８】本発明の第２の実施の形態の例によるベクトル割り当て部の構成例を示すブロック図である。
【図１９】図１８のベクトル割り当て部での処理例を示したフローチャートである。
【図２０】図１８のベクトル割り当て部での処理状態の概要を示す説明図である。
【図２１】本発明の実施の形態による動きベクトルの割当ての誤り状態の概要を示す説明図である。
【図２２】従来の評価値テーブルデータ生成処理構成の一例を示すブロック図である。
【図２３】従来の評価値テーブルデータで示される注目点と参照点とを示す説明図である。
【符号の説明】
【００８１】
１…画像信号入力端子、２…相関演算部、２ａ…参照点メモリ、２ｂ…注目点メモリ、２ｃ…絶対値算出部、３…相関判定部、３ａ…比較部、４…評価値テーブル算出部、４ａ…評価値積算部、４ｂ…評価値テーブルメモリ、５…評価値テーブルデータ出力端子、１１…画像信号入力端子、１２…評価値テーブル形成部、１２ａ…評価値テーブルデータ出力端子、１３…動きベクトル抽出部、１４…動きベクトル割当て部、１４ａ…ベクトル割当て部入力端子、１５…動きベクトル出力端子、１６…制御部（コントローラ）、２０…相関演算部、２１…参照点メモリ、２２…注目点メモリ、２３…絶対値算出部、３０…相関判定部、３１…比較部、４０…評価値テーブル算出部、４１…評価値積算部、４２…評価値テーブルメモリ、５１…参照点メモリ、５２…注目点メモリ、５３…データ読み出し部、５４…評価値算出部、５５…ベクトル決定部、６１…参照点メモリ、６２…注目点メモリ、６３…データ読み出し部、６４…定常領域判定部、６５…評価値算出部、６６…ベクトル決定部、７１…参照点メモリ、７２…注目点メモリ、７３…参照点メモリ、７４…データ読み出し部、７５…定常領域判定部、７６…評価値算出部、７７…ベクトル決定部、１１１…評価値テーブルデータ変換部、１１２…頻度順ソート処理部、１１３…候補ベクトル評価部、１１４…候補ベクトル信頼度判定部
【図１】
2010034999.tif 000003
【図２】
2010034999.tif 000004
【図３】
2010034999.tif 000005
【図４】
2010034999.tif 000006
【図５】
2010034999.tif 000007
【図６】
2010034999.tif 000008
【図７】
2010034999.tif 000009
【図８】
2010034999.tif 000010
【図９】
2010034999.tif 000011
【図１０】
2010034999.tif 000012
【図１１】
2010034999.tif 000013
【図１２】
2010034999.tif 000014
【図１３】
2010034999.tif 000015
【図１４】
2010034999.tif 000016
【図１５】
2010034999.tif 000017
【図１６】
2010034999.tif 000018
【図１７】
2010034999.tif 000019
【図１８】
2010034999.tif 000020
【図１９】
2010034999.tif 000021
【図２０】
2010034999.tif 000022
【図２１】
2010034999.tif 000023
【図２２】
2010034999.tif 000024
【図２３】
2010034999.tif 000025