(57)【要約】【課題】動きベクトルの評価値情報を使用して候補ベクトルを求めて、各画素に割り当てる動きベクトルの検出精度を向上させる。特に１つの画像中から複数の動きベクトルを正確に検出できるようにする。【解決手段】複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、動き候補である可能性を評価した評価値情報を形成する。その評価値情報を生成させる際に、注目画素及び／又は参照画素の空間傾斜の有無に基づいた画素値相関情報から、動きベクトルの評価値情報を作成する。その評価値情報形成部処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する。そして、抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する。【選択図】図５
2009089370.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した動きベクトルの評価値情報を形成し、前記注目画素及び／又は参照画素の空間傾斜の有無に基づいた画素値相関情報から、動きベクトルの評価値情報を作成する評価値情報形成部と、
前記評価値情報形成部が形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出部と、
動きベクトル抽出部で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定部とを備えた
動きベクトル検出装置。
【請求項２】
前記評価値テーブル形成部は、動きベクトルを判断する注目画素とその注目画素に隣接する隣接画素との間で所定の変化がある状態を示す空間傾斜の有無から評価値テーブルを作成する
請求項１記載の動きベクトル検出装置。
【請求項３】
前記空間傾斜の有無は、注目画素とその注目画素に隣接する隣接画素との輝度値の変化量が閾値以上あるか否か判断し、その閾値以上の変化を検出した隣接画素が、隣接した全ての方位の内で所定数あると判断した場合に空間傾斜ありと判断する
請求項１記載の動きベクトル検出装置。
【請求項４】
前記空間傾斜の有無を判断する隣接画素は、注目画素から所定数の画素離れた位置を隣接画素とした
請求項３記載の動きベクトル検出装置。
【請求項５】
前記注目画素から所定数の画素離れた位置を隣接画素とした判断と、前記注目画素に隣接した画素を隣接画素とした判断とに基づいて空間傾斜の有無を判断する
請求項４記載の動きベクトル検出装置。
【請求項６】
前記評価値情報形成部は、注目画素の空間傾斜の有無と、動きベクトルを判断する注目画素の動き候補先の参照画素の空間傾斜の有無の双方を参照して、評価値情報を作成する
請求項２記載の動きベクトル検出装置。
【請求項７】
前記評価値情報形成部は、動きベクトルを判断する注目画素の動き候補先の参照画素の空間傾斜の有無から評価値情報を作成する
請求項１記載の動きベクトル検出装置。
【請求項８】
前記空間傾斜の有無は、参照画素とその参照画素に隣接する隣接画素との輝度値の変化量が閾値以上あるか否か判断し、その閾値以上の変化を検出した隣接画素が、隣接した全ての方位の内で所定数あると判断した場合に空間傾斜ありと判断する
請求項１記載の動きベクトル検出装置。
【請求項９】
前記動きベクトル抽出部は、評価値情報で示される動きベクトルを頻度順とし、その頻度順の動きベクトルの中の上位から所定の順位までの動きベクトルを候補として抽出する
請求項１記載の動きベクトル検出装置。
【請求項１０】
前記動きベクトル決定部は、動きベクトル抽出部で抽出された候補となる動きベクトルの中を、１フレーム内の全ての画素又は代表する画素に割り当てて、その割り当てた画素位置とその周辺の領域と、動き先の領域との相関を判断して、相関が最も高い領域についての動きベクトルを、該当する画素の動きベクトルに決定する
請求項１に記載の動きベクトル検出装置。
【請求項１１】
複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値情報を形成すると共に、その評価値情報を生成させる際に、前記注目画素及び／又は参照画素の空間傾斜の有無に基づいた画素値相関情報から、動きベクトルの評価値情報を作成する評価値情報形成処理と、
前記評価値情報形成部処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出処理と、
動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定処理とを行う
動きベクトル検出方法。
【請求項１２】
複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、参照画素が注目画素の動き候補である可能性を評価した評価値情報を形成すると共に、その評価値情報を生成させる際に、前記注目画素及び／又は参照画素の空間傾斜の有無に基づいた画素値相関情報から、動きベクトルの評価値情報を作成する評価値情報形成処理と、
前記評価値情報形成部処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する動きベクトル抽出処理と、
動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する動きベクトル決定処理とを、
情報処理装置に実装して実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データから動きベクトルを検出して、高能率符号化などの画像処理を行う場合に適用して好適な動きベクトル検出装置及び動きベクトル検出方法、並びにその動きベクトル検出処理を実行するプログラムに関する。
【背景技術】
【０００２】
従来、動画像の処理の分野において、動きの情報、即ち時間的に異なる画像中の物体の動き方向と大きさを用いて、画像処理を効率的に行うことが行われている。例えば、画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フィルタによるテレビジョン雑音低減装置における動きによるパラメータ制御などに、動き権検出結果を利用することが行われている。動きを求める手法としては、ブロックマッチング法が知られている。ブロックマッチング法は、１フレームの画像を所定画素単位のブロックとしたブロック単位で、そのブロックが動いた領域を探索するものである。このブロックマッチングによる動きベクトル検出処理は、ＭＰＥＧ方式などで実用化されている、動きベクトルを利用した画像処理として、最も普及した一般的な処理である。
【０００３】
ところが、ブロックマッチング法では、ブロックを単位とした処理であるため、各フレーム内の画像の動き検出を必ずしも高精度に検出しているとは言えなかった。このため、本出願人は、先に特許文献１に記載した動きベクトル検出処理を提案した。この動きベクトル検出処理は、画像信号から、各画素位置の動きに関する評価値を検出し、その検出した評価値を評価値テーブルとして持ち、評価値テーブルのデータから、１画面内の候補ベクトルとして複数のベクトルを抽出する。そして、その抽出した複数の候補ベクトルを対象として、全フレームの各画素毎に、候補ベクトルによって対応付けられるフレーム間の画素の相関を判定し、最も相関が高いと判定された画素を結ぶ候補ベクトルを、その画素に対する動きベクトルとして決定するものである。この処理の詳細は、後述する実施の形態の中で説明する。
【０００４】
図２３は、この評価値テーブルを使用して、動きベクトルを決定する場合の、先に提案した評価値テーブル形成部の構成を示した図である。図２３の構成を説明すると、入力端子１に得られる画像信号は、相関演算部２に供給される。相関演算部２は、注目点メモリ２ａと減算器２ｂと絶対値算出部２ｃとを備える。入力端子１に得られる画像信号の中で、注目画素の画素値を、注目点メモリ２ａに記憶する。そして、その注目点メモリ２ａに記憶された注目点の画素（注目画素）の画素値と、入力端子１に入力した参照点として選定された画素位置（参照画素）の画素値とのフレーム間の差分を減算器２ｂで検出する。検出した差分のデータを、絶対値算出部２ｃに供給し、絶対値化されたデータを、相関判定部３に供給する。相関判定部３は、比較部３ａを備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、一例として相関値を用いることができ、例えば差分が閾値以下であるとき、相関が高いとする。
【０００５】
相関判定部３で得られた評価値は、評価値テーブル算出部４に供給し、評価値積算部４ａで積算し、その積算結果を評価値テーブルメモリ４ｂに記憶させる。そして、評価値テーブルメモリ４ｂの記憶データを、評価値テーブルデータとして出力端子５から後段の回路に供給する。
この図２３に示す処理を行うことで、評価値テーブルデータに基づいて動きベクトルを検出することができる。
【特許文献１】特開２００５−１７５８６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
評価値テーブルデータに基づいて動きベクトルを検出する場合、最適な動きベクトルの決定は、評価値テーブルの性能に依存する。図２３に示した従来方式では、注目画素と未来フレーム内の探索範囲における、動き候補先画素との相関判定、具体的には輝度値の差分絶対値がある閾値以下であれば、動き候補として、評価値テーブルに度数がカウントされる。
【０００７】
ところが、この従来手法による処理では、画像が平坦である箇所や縞模様の箇所などで、空間傾斜が全て、あるいは、一部の方向に対して、ほとんどない画像の場合には、上述した相関判定のみで評価値テーブルを作成すると、誤った動きを足しこんでしまう可能性があり、評価値テーブルの信頼性が低下してしまう。評価値テーブルの信頼性が低下すると、検出される動きベクトルの精度も低下してしまう。
また、従来の評価値テーブルでは、画像中に複数の動きがあった場合には、誤った動きが足されてしまうために、それぞれの動きに起因する評価値が埋もれ、それぞれの動きベクトルを検出することが困難であった。
【０００８】
本発明はかかる点に鑑みてなされたものであり、動きベクトルの評価値情報を使用して動きベクトルを各画素に割り当てる場合の精度を向上させることを目的とする。また、複数の動きがある場合にも複数の動きを検出できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、動画像データから動きベクトルを検出する場合に適用される。
その処理構成としては、評価値情報形成処理と、動きベクトル抽出処理と、動きベクトル決定処理とを行う。
評価値情報形成処理では、複数のフレームで構成される動画像データの、時間軸上における一方のフレームの注目画素と、他方のフレームのサーチエリア内の参照画素との画素値相関情報に基づいて、動き候補である可能性を評価した評価値情報を形成する。さらに、その評価値情報を生成させる際に、注目画素及び／又は参照画素の空間傾斜の有無に基づいた画素値相関情報から、動きベクトルの評価値情報を作成する。
動きベクトル抽出処理は、評価値情報形成部処理で形成した評価値情報に基づいて、複数の動きベクトルの中から候補となる動きベクトルを抽出する。
動きベクトル決定処理は、動きベクトル抽出処理で抽出された候補となる動きベクトルの中から、フレーム内の各画素に割り当てる動きベクトルを決定する。
【００１０】
本発明によると、候補ベクトルから動きベクトルを検出する際に、その候補ベクトルを得るための評価値情報として、注目画素などの画素の空間傾斜を使用して、候補を絞ることが可能となり、適切な評価値情報が得られるようになる。
【発明の効果】
【００１１】
本発明によると、相関判定結果の度数分布である評価値情報を作成する際に、注目画素の空間傾斜、或いは、動き候補先の空間傾斜を考慮することで、画像の平坦部や繰り返しパターン部などの画素による動きの誤りを軽減することができる。従って、信頼性の高い評価値テーブルを作成することが可能となり、検出される動きベクトルの精度を向上させることが可能なる。
【発明を実施するための最良の形態】
【００１２】
本発明の実施の形態の例について、以下の順序で説明を行う。
１．動きベクトルを検出する全体の構成の概要：図１
２．動きベクトルを検出する全体の処理の概要：図２
３．一実施の形態の例（注目画素の空間傾斜を使った例）：図３，図５
４．一実施の形態の例（注目画素と参照画素の空間傾斜を使った例）：図４，図６
５．空間傾斜ありと判定する具体例：図７〜図１２
６．評価値テーブルの例：図１３〜図１７
７．動きベクトル抽出部の構成及び動作例：図１８〜図１９
８．動きベクトル決定部の構成及び動作例：図２０〜図２２
９．実施の形態の変形例の説明
【００１３】
［１．動きベクトルを検出する全体構成の概要］
以下、本発明の一実施の形態を、図１〜図１７を参照して説明する。
本実施の形態においては、動画像データから動きベクトルを検出する動きベクトル検出装置としたものであり、その検出処理として、動きベクトルの評価値テーブルを形成させて、その評価値テーブルのデータを積算して、動きベクトルを判定するものである。評価値テーブルの生成処理としては、時間軸上における異なるフレーム間の画素値相関情報に基づいて生成するようにしてある。なお、以下の説明では、動きベクトルの評価値情報を記憶したものを評価値テーブルと称するが、この評価値テーブルは、必ずしもテーブル状の記憶情報として構成されてなくてもよく、動くベクトルの評価値を示す情報であれば良い。例えば、評価値をヒストグラム化した情報として、そのヒストグラム化された評価値情報を持つようにしてもよい。
【００１４】
図１は、動きベクトル検出装置の全体構成を示した図である。画像信号入力端子１１に得られる画像信号を、評価値テーブル形成部１２に供給して、評価値テーブルを形成させる。画像信号は、例えば、各フレーム内の各画素ごとに輝度値が得られるデジタル映像信号である。評価値テーブル形成部１２では、例えばサーチエリアと同一の大きさの評価値
テーブルを作成する。
【００１５】
評価値テーブル形成部１２が作成した評価値テーブルデータは、動きベクトル抽出部１３に供給して、評価値テーブルから、１画面内（１フレーム内）の候補ベクトルとして、複数の動きベクトルを抽出する。ここでは、評価値テーブルに出現したピークに基づいて、複数の候補ベクトルを抽出する。動きベクトル抽出部１３で抽出した複数の候補ベクトルは、動きベクトル決定部１４に供給する。動きベクトル決定部１４では、候補ベクトル抽出部１３において抽出した複数の候補ベクトルを対象として、全フレームの各画素ごとに、候補ベクトルによって対応付けられるフレーム間の画素間の相関をブロックマッチング等により判定し、最も相関の高い対応となったブロックを結ぶ候補ベクトルを、その画素に対応する動きベクトルとして設定する。このように、最も相関の高い対応となった画素間の相関から候補ベクトルを求める点が、画素値相関情報を使用して候補ベクトルを求める点である。これらの動きベクトルを得る処理は、制御部（コントローラ）１６による制御で実行される。
設定された動きベクトルのデータは、動きベクトル出力端子１５から出力させる。このとき、必要により入力端子１１に得られる画像信号に付加して出力させてもよい。出力された動きベクトルデータは、例えば画像データの高能率符号化に使用される。或いは、その他の画像処理に、本例の処理で検出された動きベクトルを使用してもよい。
【００１６】
［２．動きベクトルを検出する全体の処理の概要］
図２のフローチャートは、この動きベクトルを決定するまでの処理例を示したものである。まず、入力した画像信号から評価値テーブルを形成させ（ステップＳ１１）、その形成された評価値テーブルから、候補となる複数のベクトルを抽出する（ステップＳ１２）。そして、その抽出された複数の候補ベクトルの中から、最も相関の高い動きベクトルを決定する（ステップＳ１１）。この図２のフローチャートの処理が、各フレームで実行される。ここまでは、評価値テーブルを使用した動きベクトル検出構成として一般的な構成である。
【００１７】
そして本実施の形態においては、評価値テーブル形成部１２での評価値テーブルの形成処理として、図３又は図４に示す構成で実行する。図３の例は、評価値テーブルの形成時に、注目画素の空間傾斜を考慮して形成させるようにしたものである。図４の例は、評価値テーブルの形成時に、注目画素の空間傾斜と参照画素の空間傾斜を考慮して形成させるようにしたものである。ここでの注目画素とは、動きベクトルを判定する上での基準となる点（基準点）の画素位置であり、参照画素とは、その注目画素から動いた先である可能性がある点である。従って、参照画素は、注目画素とは後又は前の別のフレームで、注目画素の画素位置の近傍の画素である。
【００１８】
［３．一実施の形態の例（注目画素の空間傾斜を使った例）］
まず、図３の例の構成について説明する。図３の例は、評価値テーブルを形成させる際に、注目画素の空間傾斜を考慮して形成させるようにしたものである。
入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０に供給する。相関演算部２０は、注目点メモリ２１と減算器２２と絶対値算出部２３とを備える。入力端子１１に得られる画像信号の中で、注目画素の画素値を、注目点メモリ２１に記憶する。この際、後述する空間傾斜の判定を行うために、注目点メモリ２１では、注目画素の周辺画素の値についても記憶する。
【００１９】
そして、その注目点メモリ２１に記憶された注目画素の画素値と、入力端子１１に入力した画素値とのフレーム間の差分を減算器２２で検出する。検出した差分のデータを、絶対値算出部２３に供給し、絶対値化されたデータを、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。
【００２０】
相関判定部３０で得られた評価値は、画素選別部４０に供給する。画素選別部４０は、空間傾斜判定部４１とゲート部４２とを備える。空間傾斜判定部４１では、注目点メモリ２１に記憶された注目画素の画素値と、その注目画素の周辺の画素値（同じフレーム内の画素値）を読み出して、注目画素の空間傾斜を判定する。例えば、図７（ａ）に示すように、注目画素の画素（中央の画素）に対して、その周囲の８画素を周辺画素として、注目画素と周辺の８画素との輝度値の差分を、空間傾斜判定部４１で得る。そして、注目画素と隣接画素との輝度値の差分が、予め設定された閾値以上であれば空間傾斜ありと判定する。閾値より小さい場合には、空間傾斜なしと判定する。
【００２１】
但し、注目画素の周辺の８画素の内の、何個の画素が閾値以上である場合に、空間傾斜ありと判定するかは、空間傾斜を判定する度合いにより調整が可能である。例えば、最も厳しく判定する場合には、注目画素の周辺の８画素全てで閾値以上である場合に、空間傾斜ありと判断する。逆に、最も緩く判定する場合には、注目画素の周辺の８画素の内の１つでも閾値以上である場合に、空間傾斜ありと判定する。どの程度で空間傾斜ありと判定するかは、動き検出の度合いにより設定（調整）が可能である。また、ここでの説明では、図７に示すように注目画素に対して隣接した８画素との判断で、空間傾斜ありと判断する例を説明したが、例えば図８に示すように、水平３画素×垂直３画素の９画素を１ブロックとして、注目画素の画素に対して、１ブロック離れた位置の画素（或いは１ブロック以上離れた所定距離の画素）と比較して、その差分で空間傾斜を判断するようにしてもよい。
あるいはまた、注目画素とその注目画素に隣接した８画素との判断による空間傾斜を、下位階層の空間傾斜とし、図８に示した隣接した８ブロックの中央などの画素との判断による空間傾斜を、上位階層の空間傾斜として、その下位階層の空間傾斜と上位階層の空間傾斜を組み合わせて使用してもよい。以下のフローチャートなどの説明では、注目画素又は参照画素に隣接した８画素から空間傾斜を判定するものとしてあるが、隣接ブロックでの判定や、隣接画素と隣接ブロックでの判定の組み合わせでもよい。
【００２２】
図３の説明に戻ると、画素選別部４０内の空間傾斜判定部４１で空間傾斜ありと判定された情報を、ゲート部４２に供給する。ゲート部４２では、相関判定部３０内の比較部３１が出力する評価値の内で、空間傾斜ありと判定した画素についての評価値を、画素選別部４０から出力する選別処理を行う。
そして、画素選別部４０が出力する評価値を評価値テーブル算出部５０に供給し、評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。そして、評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。
【００２３】
この図３の構成での処理動作を示したのが、図５のフローチャートである。
図５に沿って説明すると、まず注目点メモリ２１から周辺画素を空間傾斜判定部４１に読み出す（ステップＳ２１）。そして、空間傾斜判定部４１内で、注目画素の画素と８つの周辺画素との差分を判定し、その判定結果から空間傾斜パターンを決定する（ステップＳ２２）。この決定した注目画素についての空間傾斜パターンが、空間傾斜ありと設定されたパターンと一致するか否か判断し（ステップＳ２３）、その判断で空間傾斜ありのパターンとの一致が判断された場合には、ステップＳ２５に移る。ステップＳ２５では、注目画素と参照画素の差分絶対値を閾値と比較して、閾値未満であるか否か判断する。注目画素と参照画素の差分絶対値が閾値未満である場合には、ゲート部４２で該当する注目画素の評価値を出力させる（ステップＳ２６）。ステップＳ２３で空間傾斜ありのパターンと一致しない場合には、ゲート部４２で該当する注目画素の評価値の出力を阻止させ、評価値テーブルへの該当する評価値の書き込みを禁止させる（ステップＳ２４）。ステップＳ２５での比較で閾値未満でない場合（即ち閾値以上である場合）にも、ステップＳ２４に移って、ゲート部４２で該当する注目画素の評価値の出力を阻止させ、評価値テーブルへの該当する評価値の書き込みを禁止させる。
【００２４】
［４．一実施の形態の例（注目画素と参照画素の空間傾斜を使った例）］
ここまで説明した図３の例では、注目画素の空間傾斜を参照して評価値テーブルへの書き込みを制御する例について説明したが、図４の例は、評価値テーブルの形成時に、注目画素の空間傾斜と参照画素の空間傾斜を考慮して形成させる例である。この図４において、図３と同一部分には同一符号を付してある。
【００２５】
図４の例の構成について説明する。入力端子１１に得られる画像信号は、評価値テーブル形成部１２内の相関演算部２０に供給する。相関演算部２０では、入力端子１１に得られる画像信号の中で、注目画素の画素値を、注目点メモリ２１に記憶する。この際、空間傾斜の判定を行うために、注目点メモリ２１では、注目画素の周辺画素の値についても記憶する。
【００２６】
そして、その注目点メモリ２１に記憶された注目画素の画素値と、入力端子１１に入力した画素値とのフレーム間の差分を減算器２２で検出する。検出した差分のデータを、絶対値算出部２３に供給し、絶対値化されたデータを、相関判定部３０に供給する。相関判定部３０は、比較部３１を備えて、設定された閾値と比較し、その閾値と比較し、評価値を得る。評価値としては、例えば差分が閾値以下であるとき相関が高いとし、閾値を越えたとき相関が低いとした２値の値とする。ここまでは図３の構成と同じである。
【００２７】
相関判定部３０で得られた評価値は、画素選別部４０′に供給する。画素選別部４０′は、空間傾斜判定部４１とゲート部４２と注目点パターンメモリ４３と参照点パターンメモリ４４とを備える。空間傾斜判定部４１では、注目画素での空間傾斜を判定する。この判定結果は、注目点パターンメモリ４３に記憶させ、その注目点パターンメモリ４３に記憶された結果に基づいてゲート部４２の制御を行う。
【００２８】
さらに、注目点パターンメモリ４３に記憶されたデータを、参照点パターンメモリ４４に移して記憶させる。
参照点パターンメモリ４４では、注目画素に対する参照画素の空間傾斜パターンの判定結果に基づいて、ゲート部４２の制御を行う。それぞれでの空間傾斜の判定処理は、上述した図３の構成例を説明した際に、図７，図８を参照して説明した判定処理と同じものが適用される。
【００２９】
そして、画素選別部４０′内の注目点パターンメモリ４３で空間傾斜ありと判定された情報と、参照点パターンメモリ４４で空間傾斜ありと判定された情報とを使用して、ゲート部４２の制御を行う。即ち、ゲート部４２で、相関判定部３０内の比較部３１が出力する評価値の内で、注目画素について空間傾斜ありと判定した画素についての評価値と、参照画素について空間傾斜ありと判定した画素についての評価値を、画素選別部４０′から出力する選別処理を行う。
そして、画素選別部４０′が出力する評価値を評価値テーブル算出部５０に供給し、評価値積算部５１で積算し、その積算結果を評価値テーブルメモリ５２に記憶させる。そして、評価値テーブルメモリ５２の記憶データを、評価値テーブルデータとして出力端子１２ａから後段の回路に供給する。
【００３０】
この図４の構成での処理動作を示したのが、図６のフローチャートである。
図６に沿って説明すると、まず注目点メモリ２１から周辺画素を空間傾斜判定部４１に読み出す（ステップＳ３１）。そして、空間傾斜判定部４１内で、注目画素の画素と８つの周辺画素との差分を判定し、その判定結果から空間傾斜パターンを決定し（ステップＳ３２）、その注目画素の空間傾斜パターンを注目点空間傾斜パターンメモリ４３に格納させる（ステップＳ３３）。
【００３１】
そして、注目画素についての空間傾斜パターンが、空間傾斜ありと設定されたパターンと一致するか否か判断し（ステップＳ３４）、その判断で空間傾斜ありのパターンと一致しない場合には、ゲート部４２で該当する注目画素の評価値の出力を阻止させ、評価値テーブルへの該当する評価値の書き込みを禁止させる（ステップＳ３７）。
また、参照画素の空間傾斜パターンを注目点空間傾斜パターンメモリ４４から読み出し、参照画素についての空間傾斜パターンが、空間傾斜ありと設定されたパターンと一致するか否か判断し（ステップＳ３６）、その判断で空間傾斜ありのパターンと一致しない場合には、ステップＳ３８に移る。ステップＳ３８では、注目画素と参照画素の差分絶対値を閾値と比較して、閾値未満であるか否か判断する。注目画素と参照画素の差分絶対値が閾値未満である場合には、ゲート部４２で該当する注目画素の評価値を出力させる（ステップＳ３９）。ステップＳ３４で空間傾斜ありのパターンと一致しない場合と、ステップＳ３８での比較で閾値未満でない場合（即ち閾値以上である場合）にも、ステップＳ３７に移って、ゲート部４２で該当する注目画素の評価値の出力を阻止させ、評価値テーブルへの該当する評価値の書き込みを禁止させる。
なお、図４の構成において、後述する具体的な評価値テーブルの例（図１６）で示すように、注目画素での空間傾斜の判定結果でゲート部４２を制御させず、参照画素での空間傾斜の判定結果だけでゲート部４２を制御させてもよい。
【００３２】
［５．空間傾斜ありと判定する具体例］
次に、注目画素（又は参照画素）で空間傾斜ありと判定する具体的なパターンの例について、図９から図１２を参照して説明する。以下の説明では注目画素のパターンについて説明するが、参照画素の場合には、注目画素の画素位置が参照画素に変わるだけである。また、隣接したブロックの画素との比較で判断する場合には、隣接した画素が隣接したブロックの画素になる。図９〜図１２で、枠内に示した小さな四角は、図９の上に拡大して示すように、水平３画素×垂直３画素の９画素を示したものであり、中央の黒く示す画素が注目画素であり、中央以外で黒い画素は、注目画素と輝度変化が閾値より小さい画素である。
【００３３】
図９の例（処理例１）では、注目画素の輝度値が、周辺の８つの画素全てと閾値以上変化がある場合に、空間傾斜ありと判断する例である。それ以外のパターンでは、全て空間傾斜なしと判断する。
図１０の例（処理例２）では、注目画素の輝度値が、周辺の８つの画素全てと閾値以上変化がある場合と、周辺の８つの画素の内の１つの画素だけの輝度変化が閾値より小さい場合に、空間傾斜ありと判断する例である。それ以外のパターンでは、全て空間傾斜なしと判断する。
図１１の例（処理例３）では、注目画素を含む水平２画素×垂直２画素の４画素内の領域では、空間傾斜がなくても、残りの領域で全て閾値以上の輝度変化がある場合に、空間傾斜ありと判断する例である。それ以外のパターンでは、全て空間傾斜なしと判断する。
図１２の例（処理例４）では、注目画素を中心とした周辺の８方位の内で、注目画素を含む水平、垂直、斜めの全てで、３画素連続して輝度変化が閾値より小さい状態でない場合には、空間傾斜ありと判断し、いずれか１つの方向でも３画素連続して輝度変化が閾値より小さい状態である場合には、空間傾斜なしと判断する。
この図９〜図１２の処理例１〜４のいずれを選択してもよい。
【００３４】
［６．評価値テーブルの例］
図１４から図１７は、本実施の形態による評価値テーブルでの積算結果の例を示したものである。図１４から図１７は、図１３に示すテスト画像に対して求めた評価値である。即ち、図１３に示すように、２種類の背景色の境界部を移動する２つの物体が示された、同じ画像信号に対して処理したテスト画像に対して評価値を求めた例である。図１３のテスト画像では、背景は静止しており、背景とは若干異なる色（白色）の円形の物体が矢印ａで示す方向に、各フレームで順に移動しており、さらに、一方の背景色に近い色（黒色）の円形の物体が矢印ｂで示す方向（矢印ａで示す方向とは反対方向）に、各フレームで順に移動している状態を示している。ここでは、矢印ａ，ｂで示す２つの物体は、その面積が異なり、また移動方向は、２種類の背景色の境界部を移動している。
【００３５】
図１４は、相関判定のみから積算した評価値テーブルを得た例である。この図１４に示すように、相関判定のみから積算を行うと、その積算値が最も高い位置が出てくるが、ここでは図１３に示すように、画像中の動く物体内部、あるいは、背景部分の相関が高いため、相関判定のみによると、誤った動きを多く積算してしまい、動きの判定精度が高くない。また、実際には２つの物体が動いているにも関わらず、大きい面積を有する動き物体
の動きベクトルは評価値テーブルにから求められるものの、もう一方の物体の動きについては評価値が埋もれ、評価値テーブルからは動きベクトルを求めることができない。
【００３６】
図１５は、注目画素の空間傾斜がある箇所だけを積算させた例である。即ち図３の構成で処理させた例である。この例での空間傾斜の判定は、図９の処理例１で行った例である。この図１５に示すようにピーク位置が明確化している。さらに、２つのピーク位置が候補として正しく示されている。
【００３７】
図１６は、参照画素の空間傾斜がある箇所だけを積算させた例である。即ち図４の構成の内で、参照点パターンメモリ４４を使用してゲート部４２を制御させた例であり、注目点パターンメモリ４３の出力ではゲート部４２を制御していない例である。このように、参照画素の空間傾斜に基づいて積算を制御することでも、注目画素の空間傾斜に基づいて積算を制御する場合と比較的近い、ピーク位置が明確化した結果が得られる。
【００３８】
図１７は、注目画素の空間傾斜と参照画素の空間傾斜の双方を使用して制御して、評価値を積算させた例である。この例は、この例では、図１５、図１６の例よりもさらにピーク位置が明確化している。この例では、２つのピーク位置の内で、いずれのピーク位置が高いかがより明確化している。
【００３９】
このように、本実施の形態によると、評価値の積算値である評価値テーブルを用いて動きベクトルの検出を行う場合に、評価値の積算の制御が良好に行え、動きのある箇所とそうでない箇所との区別が明確化し、非常に精度の高い動きベクトルを検出することが可能となる。即ち、相関判定結果の度数分布である評価値テーブルを作成する際に、注目画素の空間傾斜、或いは、動き候補先の空間傾斜を考慮することで、画像の平坦部や繰り返しパターン部などの画素による動きの誤りを軽減することができる。
【００４０】
［７．動きベクトル抽出部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル抽出部１３の構成及び動作の例について、図１８〜図１９を参照して説明する。
図１８は、図１の動きベクトル抽出部１３の例を示したものである。
動きベクトル抽出部１３では、入力端子１３ａに、評価値テーブルデータが供給される。この評価値テーブルデータは、例えば、既に説明した第１〜第３の実施の形態のいずれかの処理構成で得られた動きベクトルの評価値テーブルのデータであり、１つのフレーム内で候補ベクトルとなる可能性のある動くベクトルを積算したデータである。
例えば、図３の評価値テーブル算出部５０内の評価値テーブルメモリ５２から供給されるデータであり、評価値テーブルデータ変換部１１１に供給する。
【００４１】
評価値テーブルデータ変換部１１１では、供給された評価値テーブルデータを、頻度値或いはその微分値などのデータに変換する。変換されたデータは、頻度順ソート処理部１１２で、１フレーム内で候補ベクトルを頻度順に並び替える処理を行う。頻度順に並び替えられた候補ベクトルの評価値テーブルデータは、候補ベクトル評価部１１３に供給する。ここでは、頻度順に並び替えられた候補ベクトルの内で、上位の所定順位までの候補ベクトルを、候補ベクトル評価部１１３に供給する。例えば、１フレーム内に存在する頻度の高い候補ベクトルの内で、最も頻度の高いものから１０番目までの候補ベクトルを抽出して、候補ベクトル評価部１１３に供給する。
【００４２】
候補ベクトル評価部１１３では、供給された頻度の高い候補ベクトルのそれぞれを、さらに、決められ条件で評価する処理を行う。ここでの評価処理としては、例えば頻度値が上位の所定順位以内の候補ベクトルであっても、頻度値が予め決めた閾値以下などで、それほど高くない候補ベクトルについては除外するなど、決められた条件での評価を行う。
あるいは、例えば動きベクトル抽出部１３の前段の評価値テーブル形成部１２（図１）での画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価するようにしてもよい。画素選別に使用したデータなどを使って、候補ベクトルの信頼性を評価する場合には、例えば、図３の画素選別部４０などで画素選別に使用された、選別された注目画素のデータを使う。その選別された注目画素のデータを、評価値テーブル形成部１２から得て、選別された各注目画素から見たとき、どの候補ベクトルが最も適しているかを評価して、候補ベクトルの評価を行う。
【００４３】
このようにして候補ベクトル評価部１１３で得られた、各候補ベクトルの評価結果に基づいて、候補ベクトル信頼度判定部１１４で、候補ベクトルの内で信頼度の高い候補ベクトルを選定して、その信頼度の高い候補ベクトルのデータを出力端子１３ｂから出力する。
出力端子１３ｂから出力される候補ベクトルの信頼度データは、図１の動きベクトル決定部１４に供給する。
【００４４】
図１９は、図１８に示した動きベクトル抽出部１３で、評価値テーブルデータから候補ベクトルを抽出する際の、処理動作例を示したフローチャートである。
まず、評価値テーブルデータで示された候補ベクトルを、頻度順にソートする処理を行う（ステップＳ１１１）。その頻度順に並び替えられた評価値テーブルの中から、頻度の高いものから順に、所定番目までの候補ベクトルを取り出す。この所定番目としては、例えば頻度の最も高いものから１０番目などの決められた順位のものを取り出す（ステップＳ１１２）。
その後、取り出した複数の候補ベクトルが、候補ベクトルとして適正であるか否か評価し、必要により候補ベクトルを絞る処理が（ステップＳ１１３）。例えば、取り出したそれぞれの候補ベクトルの頻度値がどの程度が判断して、閾値以下の頻度値の候補ベクトルについては評価値を低くする評価処理を行う。この候補ベクトルの評価処理については、種々の処理が考えられ、その評価処理が、候補ベクトルを取り出す精度に影響する。
【００４５】
その評価処理結果に基づいて、各候補ベクトルの信頼度を判定し、信頼度が高い候補ベクトル、即ち画像に割当てられる可能性の高い候補ベクトルだけを、後段のベクトル割当て部１４（図１）に供給する（ステップＳ１１４）。
【００４６】
［８．動きベクトル決定部の構成及び動作例］
次に、図１の構成に示した動きベクトル検出装置での、動きベクトル決定部１４の構成及び動作の例について、図２０〜図２２を参照して説明する。
図２０は、図１の動きベクトル決定部１４の構成例を示したものである。動きベクトル決定部１４は、１フレーム内のそれぞれの画素に、前段の動きベクトル抽出部１３から供給される複数の候補ベクトルのいずれかを割当てる処理を行うものである。
この例では、それぞれの画素位置を注目画素としたとき、その注目画素の周囲に、所定の画素数で構成される領域である固定ブロックを設定して、動きベクトルを判定する例である。
【００４７】
図２０に従って構成を説明すると、動きベクトル割当て部１４の入力端子１４ａには、動きベクトルの候補のデータと、その候補ベクトルについての画像信号とが供給される。画像信号は、フレームメモリである参照点メモリ２１１に供給されて１フレーム記憶される。そして、参照点メモリ２１１に記憶された画像信号が、フレーム期間ごとに注目点メモリ２１２に移される。従って、参照点メモリ２１１に記憶される画像信号と、注目点メモリ２１２に記憶される画像信号とは、常に１フレーム期間ずれた信号である。
【００４８】
そして、注目点メモリ２１２に記憶された画像信号から、注目画素を中心として決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。同様に、参照点メモリ２１１に記憶された画像信号から、参照画素を中心とした決められたサイズの固定ブロックの画素信号をデータ読出し部２１３に読み出す。このデータ読出し部２１３で読出される注目画素と参照画素の画素位置（注目画素と参照画素）は、動きベクトル抽出部１３（図１）から供給された候補ベクトルのデータから、データ読出し部２１３で判断される。即ち、例えば候補ベクトルが１０個ある場合には、注目画素からその１０個の候補ベクトルで動いた先の１０個の参照画素が判断されることになる。
【００４９】
そして、データ読出し部２１３で読出された、注目画素を中心とした固定領域の画素信号と、参照画素を中心とした固定領域の画素信号とを、評価値算出部２１４に供給して、両固定領域内の画素信号の差分が検出される。このようにして、評価値算出部２１４では、現在評価中の注目画素と候補ベクトルで接続された全ての参照画素の固定領域の画素信号を判断し、注目画素を中心とした固定領域の画素信号と比較する。
そして、評価値算出部２１４では、比較の結果で、注目画素を中心とした固定領域の画素信号と最も類似した固定領域を持った参照画素を選定する。
選定された参照画素と注目画素とを結ぶ候補ベクトルのデータは、ベクトル決定部２１５に送る。ベクトル決定部２１５では、該当する候補ベクトルを、注目画素からの動きベクトルに割り当てる決定処理を行い、その決定した候補ベクトルを出力端子２１５から出力させる。
【００５０】
図２１のフローチャートは、この図２０のベクトル決定（割当て）処理動作例を示したフローチャートである。
図２１に従って順に説明すると、まず評価値テーブルのデータに基づいて候補ベクトルが読出される（ステップＳ１２１）。読出された候補ベクトルについての注目画素の座標位置を判断し、その位置の画素（注目画素）とその周辺画素で構成される固定ブロックの画素を注目点メモリ５２から読出す（ステップＳ１２２）。また、読出された候補ベクトルについての参照画素の座標位置を判断し、その位置の画素（参照画素）とその周辺画素で構成される固定ブロックの画素を参照点メモリ５１から読出す（ステップＳ１２３）。
そして、それぞれの固定ブロック内の各画素の画素レベル（画素値：ここでは輝度値）と、注目画素について設定した固定ブロック内の各画素の画素レベルとの差を求め、その差を絶対値化したものをブロック全てで加算し、絶対値差分和を算出する（ステップＳ１２４）。ここまでの処理を、現在の注目画素についての全ての候補ベクトルで示された参照画素について行う。
そして、複数の参照画素ごとに注目画素と比較して得た絶対値差分和の内で、値が最小になる参照画素を探す。この処理で、値が最小になる参照画素を判断すると、その判断された参照画素と注目画素を結ぶ候補ベクトルを、注目画素についての動きベクトルとして割り当てることを決定する（ステップＳ１２５）。
【００５１】
図２２は、この図２０の構成及び図２１のフローチャートでの処理状態の概要を示した図である。
この例では、フレームＦ１０（注目フレーム）に注目画素ｄ１０が存在し、その時間軸上の次のフレームＦ１１（参照フレーム）内との間で、複数の候補ベクトルＶ１１，Ｖ１２が存在しているとする。フレームＦ１１には、候補ベクトルＶ１１，Ｖ１２で注目画素ｄ１０と結ばれた参照画素ｄ１１，ｄ１２が存在している。
このような図２２の状態を想定すると、図２１のステップＳ２２では、フレームＦ１０内で、注目画素ｄ１０の中心にして固定した所定画素数の固定ブロックＢ１０が設定され、その固定ブロックＢ１０内の画素値が判断される。同様に、図２１のステップＳ２３では、フレームＦ１１内で、参照画素ｄ１１，ｄ１２の中心にして固定した所定画素数の固定ブロックＢ１１，Ｂ１２が設定され、その固定ブロックＢ１１，Ｂ１２内の画素値が、それぞれ判断される。
【００５２】
そして、固定ブロックＢ１１内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。同様に、固定ブロックＢ１２内の各画素の画素値と、固定ブロックＢ１０内の各画素の画素値との差を得て、その差を絶対値化し、さらにその絶対値をブロック全てで加算して絶対値差分和を得る。そして、いずれの絶対値差分和の方が小さいか比較される。この比較で、例えば固定ブロックＢ１１を使った絶対値差分和の方が小さいと判断すると、その固定ブロックＢ１１の中心の参照画素ｄ１１と、注目画素ｄ１０とを結ぶ候補ベクトルＶ１１が選択される。この選択された候補ベクトルＶ１１を、注目画素ｄ１０の動きベクトルとして割り当てる。
なお、図２２では説明を簡単にするために候補ベクトルを２つとして説明したが、実際には１つの注目画素に対してより多くの候補ベクトルが存在することがある。また、説明を簡単にするために１つの注目画素だけを示してあるが、実際には、１フレーム内の代表となる複数の画素又は全ての画素が、このような注目画素となる。
【００５３】
このようにして候補ベクトルから選定するベクトルを決定する処理を行うことで、注目画素の周囲の画素の状態と、参照画素の周囲の画素の状態とが、近いものが選定されることになり、それぞれの画素に割り当てる動きベクトルの選定が、良好に行える。
特に、上述した本実施の形態の評価値テーブル形成処理と組み合わせることで、候補が適正に絞られた評価値テーブルを使った候補ベクトルの抽出と、その適正な候補ベクトルからの決定処理が行われ、非常に良好な動きベクトル割り当てが可能となる。
【００５４】
［９．実施の形態の変形例の説明］
なお、上述した実施の形態では、注目画素の選定処理については具体的に説明しなかったが、例えば１フレーム内の全ての画素を順に注目画素として選定して、それぞれの画素について動きベクトルを検出させる構成としてもよい。或いは、１フレーム内で代表となる画素を注目画素として選び出し、その選び出した画素についての動きベクトルを検出させる場合にも適用してもよい。
【００５５】
また、上述した実施の形態では、動きベクトル検出装置として構成させた例について説明したが、この動きベクトル検出装置は、各種画像処理装置に組み込むようにしてもよい。例えば、高能率符号化を行う符合化装置に組み込み、動きベクトルデータを利用して符号化を行うようにすることができる。或いは、入力（受信）した画像データによる表示を行う画像表示装置や記録を行う画像記録装置に組み込み、高画質化するために動きベクトルデータを利用するようにしてもよい。
【００５６】
また、本発明の動きベクトル検出を行う各構成要素をプログラム化して、例えば各種データ処理を行うコンピュータ装置などの各種情報処理装置に、そのプログラムを実装させて、その情報処理装置に入力した画像信号から動きベクトルを検出する処理を実行する際に、同様の処理を行うようにしてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施の形態による装置構成例を示すブロック図である。
【図２】本発明の一実施の形態による全体処理例を示すフローチャートである。
【図３】本発明の一実施の形態による評価値テーブルデータ取得処理例（例１：注目画素の空間傾斜を利用した例）を示すブロック図である。
【図４】本発明の一実施の形態による評価値テーブルデータ取得処理例（例２：注目画素と参照画素の空間傾斜を利用した例）を示すブロック図である。
【図５】図３の例による処理例を示したフローチャートである。
【図６】図４の例による処理例を示したフローチャートである。
【図７】本発明の一実施の形態による空間傾斜の例を示した説明図である。
【図８】本発明の一実施の形態によるブロック単位での空間傾斜を判断する場合の例を示した説明図である。
【図９】本発明の一実施の形態による空間傾斜の例（例１）を示す説明図である。
【図１０】本発明の一実施の形態による空間傾斜の例（例２）を示す説明図である。
【図１１】本発明の一実施の形態による空間傾斜の例（例３）を示す説明図である。
【図１２】本発明の一実施の形態による空間傾斜の例（例４）を示す説明図である。
【図１３】図１４から図１７の評価値テーブルを得るために使用した画像の例を示す説明図である。
【図１４】相関判定のみで作成した評価値テーブルの例を示す説明図である。
【図１５】本発明の一実施の形態による注目画素の空間傾斜を加味した評価値テーブルの例を示す説明図である。
【図１６】本発明の一実施の形態による参照画素の空間傾斜を加味した評価値テーブルの例を示す説明図である。
【図１７】本発明の一実施の形態による注目画素と参照画素の空間傾斜を加味した評価値テーブルの例を示す説明図である。
【図１８】本発明の実施の形態による動きベクトル抽出部の構成例を示すブロック図である。
【図１９】図１８の例による処理を示したフローチャートである。
【図２０】本発明の実施の形態による動きベクトル決定部の構成例を示すブロック図である。
【図２１】図２０の例による処理を示したフローチャートである。
【図２２】図２０の例による動きベクトル決定処理状態の例を示す説明図である。
【図２３】従来の評価値テーブルデータ生成処理構成の一例を示すブロック図である。
【符号の説明】
【００５８】
１１…画像信号入力端子、１２…評価値テーブル形成部、１２ａ…評価値テーブルデータ出力端子、１３…動きベクトル抽出部、１４…動きベクトル決定部、１５…動きベクトル出力端子、２０…相関演算部、２１…注目点メモリ、２２…減算器、２３…絶対値算出部、３０…相関判定部、３１…比較部、４０…画素選別部、４１…空間傾斜判定部、４２…ゲート部、５０…評価値テーブル算出部、５１…評価値積算部、５２…評価値テーブルメモリ、１１１…評価値テーブルデータ変換部、１１２…頻度順ソート処理部、１１３…候補ベクトル評価部、１１４…候補ベクトル信頼度判定部、２１１…参照点メモリ、２１２…注目点メモリ、２１３…データ読出し部、２１４…評価値算出部、２１５…ベクトル決定部
【図１】
2009089370.tif 000003
【図２】
2009089370.tif 000004
【図３】
2009089370.tif 000005
【図４】
2009089370.tif 000006
【図５】
2009089370.tif 000007
【図６】
2009089370.tif 000008
【図７】
2009089370.tif 000009
【図８】
2009089370.tif 000010
【図９】
2009089370.tif 000011
【図１０】
2009089370.tif 000012
【図１１】
2009089370.tif 000013
【図１２】
2009089370.tif 000014
【図１７】
2009089370.tif 000015
【図１８】
2009089370.tif 000016
【図１９】
2009089370.tif 000017
【図２０】
2009089370.tif 000018
【図２１】
2009089370.tif 000019
【図２２】
2009089370.tif 000020
【図２３】
2009089370.tif 000021
【図１３】
2009089370.tif 000022
【図１４】
2009089370.tif 000023
【図１５】
2009089370.tif 000024
【図１６】
2009089370.tif 000025