【手続補正書】
【提出日】平成19年4月17日(2007.4.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、
前記第１のアクセスユニットと、前記第１のアクセスユニットの直前の第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成手段と、
前記候補生成手段により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定手段と、
前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段と、
前記輝度変化演算手段と前記候補生成手段との処理結果に基づいて、前記動きベクトル決定手段により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記動きベクトルを補正する補正手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記輝度変化演算手段により演算された前記輝度の変化の度合が閾値未満の場合、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記候補生成手段は、前記注目画素の配置位置に対応する前記第２のアクセスユニット内の位置に配置される第１の画素の対応画素として、前記第１のアクセスユニットから第２の画素を検出し、前記注目画素を起点とし前記第２の画素を終点とするベクトルを、前記注目画素における前記動きベクトル候補として生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記候補生成手段はさらに、前記第１のアクセスユニットの中に前記対応画素の候補が複数個存在すると判定した場合、または、前記第２の画素が前記対応画素であることの信頼度が低いと判定した場合、前記動きベクトルの補正指令を示す第１の情報を前記補正手段に提供し、
前記補正手段は、前記候補生成手段から前記第１の情報が提供された場合、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを補正する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記候補生成手段はさらに、複数の前記対応画素の候補の中に前記注目画素自身が含まれている場合、そのことを示す第２の情報を前記補正手段に提供し、
前記補正手段は、前記候補生成手段から前記第２の情報が提供された場合、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを０ベクトルに補正する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前の第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、
前記輝度変化演算ステップと前記候補生成ステップとの処理結果に基づいて、前記動きベクトル決定ステップの処理により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記動きベクトルを補正する補正ステップと
を含むことを特徴とする画像処理方法。
【請求項７】
第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記注目画素を単位とする画像処理をコンピュータに実行させるプログラムであって、
前記第１のアクセスユニットと、前記第１のアクセスユニットの直前の第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、
前記輝度変化演算ステップと前記候補生成ステップとの処理結果に基づいて、前記動きベクトル決定ステップの処理により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記動きベクトルを補正する補正ステップと
を含むことを特徴とするプログラム。
【請求項８】
第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前の第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成手段と、
前記候補生成手段により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定手段と、
前記動きベクトル決定手段により決定された前記動きベクトルを補正する補正手段と、
前記補正手段により補正された前記動きベクトルを利用して、所定の処理を実行する処理実行手段とを備え、
前記補正手段は、前記処理実行手段の前記所定の処理の特徴に基づく第１の補正方法を利用して、前記動きベクトルを補正する
ことを特徴とする画像処理装置。
【請求項９】
前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段をさらに備え、
前記補正手段は、さらに、前記輝度変化演算手段と前記候補生成手段との処理結果に基づいて、前記動きベクトル決定手段により決定された前記動きベクトルの信頼度を評価し、前記動きベクトルの信頼度が低いと評価した場合、前記第１の補正方法により補正された前記動きベクトルを、第２の補正方法によりさらに補正する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
情報処理装置の画像処理方法において、
第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、
前記第１のアクセスユニットと、前記第１のアクセスユニットの直前の第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップと、
前記補正ステップの処理により補正された前記動きベクトルを利用した所定の処理を前記情報処理装置が実行することを制御する処理制御ステップとを含み、
前記補正ステップは、前記処理制御ステップの制御により前記情報処理装置が実行する前記所定の処理の特徴に基づく補正方法を利用して、前記動きベクトルを補正するステップを少なくとも含む
ことを特徴とする画像処理方法。
【請求項１１】
動画像を構成する複数のアクセスユニットのうちの所定の１つを処理対象として、処理対象の前記アクセスユニットを構成する各画素のそれぞれにおける動きベクトルを利用する所定の処理を実行する処理実行装置を制御するコンピュータに実行させるプログラムであって、
第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前の第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップと、
前記補正ステップの処理により補正された前記動きベクトルを利用して前記所定の処理を前記処理実行装置が実行することを制御する処理制御ステップとを含み、
前記補正ステップは、前記処理制御ステップの制御により前記処理実行装置が実行する前記所定の処理の特徴に基づく補正方法を利用して、前記動きベクトルを補正するステップを少なくとも含む
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
本発明の第２の画像処理装置の第２の画像処理方法は、第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第１のアクセスユニットと、第１のアクセスユニットの直前の第２のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、動きベクトル決定ステップの処理により決定された動きベクトルを補正する補正ステップと、補正ステップの処理により補正された動きベクトルを利用した所定の処理を第２の情報処理装置が実行することを制御する処理制御ステップとを含み、補正ステップは、処理制御ステップの制御により情報処理装置が実行する所定の処理の特徴に基づく第１の補正方法を利用して、動きベクトルを補正するステップを少なくとも含むことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
本発明によれば、第２の画像処理方法が提供される。この第２の画像処理方法は、情報処理装置（例えば、図１の画像処理装置１）の情報処理方法であって、第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前の第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップ（例えば、図２１のステップＳ２２の処理）と、前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップ（例えば、図２１のステップＳ２４の処理）と、前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップ（例えば、図２１のステップＳ２５乃至Ｓ２８の処理）と、前記補正ステップの処理により補正された前記動きベクトルを利用した所定の処理を前記情報処理装置が実行することを制御する処理制御ステップ（図２１に対応する図２０のステップＳ３の動きベクトル演算処理の後に実行されるステップＳ７の処理等）とを含み、前記補正ステップは、前記処理制御ステップの制御により前記情報処理装置が実行する前記所定の処理の特徴に基づく補正方法を利用して、前記動きベクトルを補正するステップ（例えば、図２１のステップＳ２５の処理）を少なくとも含むことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１６９
【補正方法】変更
【補正の内容】
【０１６９】
なお、図１３の後段処理用補正部１０１が、図１５の関係に従って補正を行う場合、図１５に示されるようなテーブルを保持し、そのテーブルを参照して動きベクトルvecを補正してもよい。或いは、後段処理用補正部１０１は、上述したような関数、即ち、「vec'=vec  ：  -3≦vec≦3」，「vec'=-vec-6  :  -6≦vec<-3」,「vec'=-vec+6  :  3<vec≦6」，「vec'=０  ：  vec<-6，6<vec」のような関数を保持し、対応する関数に動きベクトルvecを代入して演算し、その関数の出力値を、補正された動きベクトルvec'として出力してもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１７６
【補正方法】変更
【補正の内容】
【０１７６】
なお、後段処理用補正部１０１が、図１６の関係に従って補正を行う場合、図１５の例と同様に、図１６に示されるようなテーブルを保持し、そのテーブルを参照して動きベクトルvecを補正してもよい。或いは、後段処理用補正部１０１は、上述したような関数、即ち、「vec'=2vec  ：  -3≦vec≦3」，「vec'=-2vec-12  :  -6≦vec<-3」,「vec'=-2vec+12  :  3<vec≦6」，「vec'=０  ：  vec<-6，6<vec」のような関数を保持し、対応する関数に動きベクトルvecを代入して演算し、その関数の出力値を、補正された動きベクトルvec'として出力してもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０２１０
【補正方法】変更
【補正の内容】
【０２１０】
換言すると、テンプレートマッチング部３４は、注目画素の配置位置に対応する直前フレーム内の位置に配置される第１の画素（例えば、図５に示されるように、注目画素として画素５１が設定されている場合、配置位置iの画素７１）の対応画素として、表示対象フレームから第２の画素（例えば、図５の探索範囲i-6乃至i+6のうちのいずれかの画素）を検出し、注目画素を起点とし第２の画素を終点とするベクトル（例えば、図５に示されるように、注目画素として画素５１が設定され、第２の画素として、比較領域７３−（＋６）の中心画素、即ち、配置位置i+6の画素が検出された場合、「＋６」）を、注目画素における動きベクトル候補pvecとして生成し、ヒストグラム部３５に提供する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０２２１
【補正方法】変更
【補正の内容】
【０２２１】
ステップＳ３において、動き検出部１４は、表示対象フレームの画像データと、参照画像記憶部１３に記憶されている参照画像（直前フレーム）の画像データとを比較することで、注目画素の動きベクトルvecを演算し、必要に応じてその動きベクトルvecを補正し、画像処理部１１、画像処理部１２、および、切替部１５のそれぞれに供給する。