【手続補正書】
【提出日】平成19年11月26日(2007.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時間積分効果を有する画像センサにより取得された複数画素からなる画像内の処理領域では、動きオブジェクトの画素の画素値が、該動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとしてモデル化し、前記処理領域の画素の画素値に基づき、前記処理領域に含まれる前記動きオブジェクトの動きボケが軽減された動きボケ軽減画像を生成する動きボケ軽減画像生成手段と、
前記動きボケ軽減画像生成手段により生成された複数の動きボケ軽減画像に基づき、動きベクトルを検出する動きベクトル検出手段とを有する
ことを特徴とする画像処理装置。
【請求項２】
前記動きボケ軽減画像生成手段は、
前記処理領域について、前記動きオブジェクトである前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記前景オブジェクト成分と前記背景オブジェクト成分とが混合される混合領域とを特定する領域特定手段と、
前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出手段と、
前記混合比に基づいて、前記画像の少なくとも一部の領域を前記前景オブジェクトと前記背景オブジェクトとに分離する分離手段と、
前記動きベクトルに基づき、前記分離手段により分離された前記前景オブジェクトの動きボケを軽減させる動きボケ調整手段とを備える
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動きボケ軽減画像生成手段は、前記画像内の注目画素の動きベクトルに応じて該注目画素を含むように前記処理領域を設定し、前記注目画素の動きベクトルに基づき、該注目画素の動きボケが軽減された画素値を画素単位で生成する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記動きベクトル検出手段は、前記動きボケ軽減画像生成手段により生成された時間的に連続する少なくとも第１の画像と第２の画像を用いて、該第１の画像内の前記動きオブジェクトの位置に対応する注目画素を設定し、該注目画素を含む前記第１の画像内の領域と前記第２の画像とを比較して、前記第１の画像から前記第２の画像までの前記動きオブジェクトの動きベクトルを検出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記動きボケ軽減画像生成手段は、前記第１の画像内の前記注目画素の画素位置、あるいは前記検出された動きベクトルに基づき前記注目画素に対応する前記第２の画像の画素位置に、動きボケが軽減された前記動きオブジェクトの画像を出力する出力手段を有する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記動きボケ軽減画像に基づき拡大画像を生成する拡大画像生成手段を備え、前記出力手段は、前記動きベクトルに対応する時間方向位置に前記拡大画像を出力する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記拡大画像生成手段は、
前記動きボケ軽減画像から、生成する前記拡大画像のうちの注目画素に対する複数画素をクラスタップとして抽出し、該クラスタップの画素値から前記注目画素に対応するクラスを決定するクラス決定手段と、
前記動きボケ軽減画像に対応する画素数の第１の画像と、該第１の画像よりも画素数が多い第２の画像との間で、前記第２の画像内の注目画素に対応する前記第１の画像内の複数画素から前記注目画素を予測する予測係数を前記クラス毎に学習して記憶する記憶手段と、
前記クラス決定手段により決定されたクラスに対応する予測係数を前記記憶手段から検出し、前記動きボケ軽減画像から、前記拡大画像のうちの注目画素に対する複数画素を予測タップとして抽出し、前記記憶手段から検出した予測係数と前記予測タップとの線形一次結合により前記注目画素に対応する予測値を生成する予測値生成手段とを備える
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記動き検出手段で検出された動きベクトルに基づき、前記画像センサにより取得された画像よりも時間解像度の高い画像を生成する時間解像度創造手段を設けた
ことを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記時間解像度創造手段は、前記動きボケ軽減画像生成手段で生成された動きボケ軽減画像を用いて、前記時間解像度の高い画像を生成する
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記時間解像度創造手段は、
前記動きベクトル検出手段で検出された動きベクトルを用いて、生成する前記時間解像度の高い画像内における注目画素の動きベクトルを決定し、前記動きボケ軽減画像から前記注目画素に対応する複数画素をクラスタップとして抽出し、該クラスタップの画素値から前記注目画素に対応するクラスを決定するクラス決定手段と、
前記動きボケ軽減画像に対応する時間解像度の第１の画像と、該第１の画像よりも時間解像度の高い第２の画像との間で、前記第２の画像内の注目画素に対応する前記第１の画像内の複数画素に基づき、前記注目画素を予測する予測係数を前記クラス毎に学習して記憶する記憶手段と、
前記クラス決定手段により決定されたクラスに対応する予測係数を前記記憶手段から検出し、前記動きボケ軽減画像から、前記注目画素に対する複数画素を予測タップとして抽出し、前記記憶手段から検出した予測係数と前記予測タップとの線形一次結合により前記注目画素に対応する予測値を生成する予測値生成手段とを備える
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】
時間積分効果を有する画像センサにより取得された複数画素からなる画像内の処理領域では、動きオブジェクトの画素の画素値が、該動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとしてモデル化し、前記処理領域の画素の画素値に基づき、前記処理領域に含まれる前記動きオブジェクトの動きボケが軽減された動きボケ軽減画像を生成する動きボケ軽減画像生成ステップと、
前記動きボケ軽減画像生成ステップにより生成された複数の動きボケ軽減画像に基づき、動きベクトルを検出する動きベクトル検出ステップとを有する
ことを特徴とする画像処理方法。
【請求項１２】
前記動きボケ軽減画像生成ステップは、
前記処理領域について、前記動きオブジェクトである前景オブジェクトを構成する前景オブジェクト成分のみからなる前景領域と、背景オブジェクトを構成する背景オブジェクト成分のみからなる背景領域と、前記前景オブジェクト成分と前記背景オブジェクト成分とが混合される混合領域とを特定する領域特定ステップと、
前記混合領域における前記前景オブジェクト成分と前記背景オブジェクト成分との混合比を検出する混合比検出ステップと、
前記混合比に基づいて、前記画像の少なくとも一部の領域を前記前景オブジェクトと前記背景オブジェクトとに分離する分離ステップと、
前記動きベクトルに基づき、前記分離ステップにより分離された前記前景オブジェクトの動きボケを軽減させる動きボケ調整手段とを備える  
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１３】
前記動きボケ軽減画像生成ステップは、前記画像内の注目画素の動きベクトルに応じて該注目画素を含むように前記処理領域を設定し、前記注目画素の動きベクトルに基づき、該注目画素の動きボケが軽減された画素値を画素単位で生成する
ことを特徴とする請求項１２記載の画像処理方法。
【請求項１４】
前記動きベクトル検出ステップは、前記動きボケ軽減画像生成ステップで生成された時間的に連続する少なくとも第１の画像と第２の画像を用いて、該第１の画像内の前記動きオブジェクトの位置に対応する注目画素を設定し、該注目画素を含む前記第１の画像内の領域と前記第２の画像とを比較して、前記第１の画像から前記第２の画像までの前記動きオブジェクトの動きベクトルを検出する
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１５】
前記動きボケ軽減画像生成ステップは、前記第１の画像内の前記注目画素の画素位置、あるいは前記検出された動きベクトルに基づき前記注目画素に対応する前記第２の画像の画素位置に、動きボケが軽減された前記動きオブジェクトの画像を出力する出力ステップを有する
ことを特徴とする請求項１４記載の画像処理方法。
【請求項１６】
前記動きボケ軽減画像に基づき拡大画像を生成する拡大画像生成ステップを備え、前記出力ステップにおいて、前記動きベクトルに対応する時間方向位置に前記拡大画像を出力する
ことを特徴とする請求項１５記載の画像処理方法。
【請求項１７】
前記拡大画像生成ステップは、
前記動きボケ軽減画像から、生成する前記拡大画像のうちの注目画素に対する複数画素をクラスタップとして抽出し、該クラスタップの画素値から前記注目画素に対応するクラスを決定するクラス決定ステップと、
前記動きボケ軽減画像に対応する画素数の第１の画像と、該第１の画像よりも画素数が多い第２の画像との間で、前記第２の画像内の注目画素に対応する前記第１の画像内の複数画素から前記注目画素を予測する予測係数を前記クラス毎に学習して記憶する記憶ステップと、
前記クラス決定ステップにより決定されたクラスに対応する予測係数を前記記憶ステップから検出し、前記動きボケ軽減画像から、前記拡大画像のうちの注目画素に対する複数画素を予測タップとして抽出し、前記記憶ステップから検出した予測係数と前記予測タップとの線形一次結合により前記注目画素に対応する予測値を生成する予測値生成ステップとを備える
ことを特徴とする請求項１６記載の画像処理方法。
【請求項１８】
前記動き検出ステップで検出された動きベクトルに基づき、前記画像センサにより取得された画像よりも時間解像度の高い画像を生成する時間解像度創造ステップを設けた
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１９】
前記時間解像度創造ステップは、前記動きボケ軽減画像生成ステップで生成された動きボケ軽減画像を用いて、前記時間解像度の高い画像を生成する
ことを特徴とする請求項１８記載の画像処理方法。
【請求項２０】
前記時間解像度創造ステップは、
前記動きベクトル検出ステップで検出された動きベクトルを用いて、生成する前記時間解像度の高い画像内における注目画素の動きベクトルを決定し、前記動きボケ軽減画像から前記注目画素に対応する複数画素をクラスタップとして抽出し、該クラスタップの画素値から前記注目画素に対応するクラスを決定するクラス決定ステップと、
前記動きボケ軽減画像に対応する時間解像度の第１の画像と、該第１の画像よりも時間解像度の高い第２の画像との間で、前記第２の画像内の注目画素に対応する前記第１の画像内の複数画素に基づき、前記注目画素を予測する予測係数を前記クラス毎に学習して記憶する記憶ステップと、
前記クラス決定ステップにより決定されたクラスに対応する予測係数を前記記憶ステップから検出し、前記動きボケ軽減画像から、前記注目画素に対する複数画素を予測タップとして抽出し、前記記憶ステップから検出した予測係数と前記予測タップとの線形一次結合により前記注目画素に対応する予測値を生成する予測値生成ステップとを備える
ことを特徴とする請求項１９記載の画像処理方法。
【請求項２１】
コンピュータに、
時間積分効果を有する画像センサにより取得された複数画素からなる画像内の処理領域では、動きオブジェクトの画素の画素値が、該動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとしてモデル化し、前記処理領域の画素の画素値に基づき、前記処理領域に含まれる前記動きオブジェクトの動きボケが軽減された動きボケ軽減画像を生成する動きボケ軽減画像生成ステップと、
前記動きボケ軽減画像生成ステップにより生成された複数の動きボケ軽減画像に基づき、動きベクトルを検出する動きベクトル検出ステップとを実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
動きボケ軽減画像生成部４０は、動きベクトルＭＶＣと処理領域情報ＨＺと画像データＤＶaに基づいて領域特定や混合比の算出を行い、算出した混合比を用いて前景成分や背景成分の分離を行う。さらに、分離した前景成分の画像に対して動きボケ調整を行って動きボケ軽減オブジェクト画像の画像データである前景成分画像データＤＢfを生成する。また、背景成分画像データＤＢbに基づく背景画像上に、前景成分画像データＤＢfに基づく動きボケが軽減された前景領域の画像を合成して動きボケ軽減画像の画像データＤＶoutを生成する。この画像データＤＶoutは、メモリ５５や画像表示装置（図示せず）に供給される。ここで、動きボケ軽減オブジェクト画像である前景領域の画像は、検出された動きベクトルＭＶＣに対応する時空間位置に合成させることで、動きオブジェクトを追従した位置に動きボケの軽減された動きオブジェクトの画像を出力できる。すなわち、時間的に連続する少なくとも第１の画像と第２の画像を用いて動きベクトルを検出したとき、この検出された動きベクトルに対応する一方の画像内の注目画素の位置あるいは他方の画像内の注目画素に対応する位置に、動きボケが軽減された動きオブジェクトの画像を合成する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
処理領域設定部３１は、領域選択情報ＨＡに基づき、動きボケ軽減処理を行う処理領域を順次抽出して、この処理領域を示す処理領域情報ＨＺを検出部３３と動きボケ軽減画像生成部４０に供給する。また、後述する検出部３３で検出された動きベクトルＭＶを利用して領域選択情報ＨＡを更新して、動きボケの軽減を行う画像領域を動きオブジェクトの動きに合わせて追尾させる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
なお、カバードバックグランド領域における動き領域側の画素やアンカバードバックグランド領域における動き領域側の画素は、背景成分が含まれていなくとも、カバードバックグランド領域やアンカバードバックグランド領域と判別されてしまう場合がある。例えば図９の画素位置Ｐ21は、フレーム#n-2とフレーム#n-1の静動判定の結果が静止であり、フレーム#n-1とフレーム#nの静動判定の結果が動きであることから、背景成分が含まれていなくともカバードバックグランド領域と判別されてしまう。また、画素位置Ｐ17は、フレーム#nとフレーム#n+1の静動判定の結果が動きであり、フレーム#n+1とフレーム#n+2の静動判定の結果が静止であることから、背景成分が含まれていなくともアンカバードバックグランド領域と判別されてしまう。このため、カバードバックグランド領域における動き領域側の画素とアンカバードバックグランド領域における動き領域側の画素を動き領域の画素に補正することで、各画素の領域判定を精度良く行うことができる。このようにして領域判定を行い、各画素が静止領域やカバードバックグランド領域，アンカバードバックグランド領域，動き領域のいずれかに属するものであるかを示す領域情報ＡＲを生成して、混合比算出部４２と前景背景分離部４３と動きボケ調整部４４に供給する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
ここで、フレーム期間が短く、前景に対応する動きオブジェクトが剛体でフレーム期間内に等速で動いていると仮定できると、混合領域に属する画素の混合比αは、画素の位置の変化に対応して、直線的に変化する。このような場合、理想的な混合比αの混合領域における傾きθは、図１２に示すように、前景に対応する動きオブジェクトのフレーム期間内における動き量ｖの逆数として表すことができる。すなわち、静止(背景)領域における混合比αは「１」、動き(前景)領域における混合比αは「０」の値を有し、混合領域では「０」から「１」の範囲で変化する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】変更
【補正の内容】
【０１６３】
予測係数学習部７６２は、クラス分類部７１から供給されたクラス値で示されたクラス毎に、教師画像の画像データＧＴと生徒画素群切り出し部７６１からの画素データと予測係数を用いて正規方程式を生成する。さらに、正規方程式を掃き出し法などの一般的な行列解法を用いて予測係数についてそれぞれ解き、得られた係数を予測係数メモリ７２に格納する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１７３
【補正方法】変更
【補正の内容】
【０１７３】
ステップＳＴ３７でＣＰＵ６１は、変数ｉを「ｉ＝０」に設定してステップＳＴ３８に進む。
ステップＳＴ３８でＣＰＵ６１は、変数ｉが「ｉ≠０」であるか否かを判別し「ｉ≠０」でないときにはステップＳＴ３９に進み、「ｉ≠０」であるときは、ステップＳＴ４３に進む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１８５
【補正方法】変更
【補正の内容】
【０１８５】
ここで、動きベクトル割り付け処理について、例えば周波数情報ＨＦがフレーム倍速変換を示す情報である場合を説明する。この場合、図３２に示すように画像データＤＶaの２フレームＲＦa，ＲＦb間に新たに２フレームＲＦn0，ＲＦn1の画像を生成する。この新たに生成する２フレームの画像を注目フレームとする。動きベクトル割り付け部８０は、動きベクトル検出部３０から供給された画像データＤＶaの動きベクトルＭＶから、注目フレームの各画素について、交差する動きベクトルを検出して、検出した動きベクトルを注目フレームの画像の動きベクトルＭＶＣとして割り付ける。例えば注目フレームＲＦn0の画素ＰＧn0xにおいて、この画素ＰＧn0xに対する画素領域ＰＷを動きベクトルＭＶ-jが交差するとき、この動きベクトルＭＶ-jを画素ＰＧn0xの動きベクトルＭＶＣ-n0xとして割り付ける。また、交差する動きベクトルが複数であるときは、交差する複数の動きベクトルを平均化して割り付ける。さらに、交差する動きベクトルが検出できないときは、周辺画素や近距離の画素に割り付けられた動きベクトルを平均化したり、重み付けしたのち平均化して割り付ける。このようにして、注目フレームの全ての画素に動きベクトルを割り付ける。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１８８
【補正方法】変更
【補正の内容】
【０１８８】
画像データＤＶsは、クラス分類部９１のクラス画素群切り出し部９１３と予測演算部９３の予測画素群切り出し部９３１に供給される。周波数情報ＨＦは、時間モード値決定部９１１に供給される。また、生成するフレーム上の注目画素に割り付けられた動きベクトルＭＶＤは、タップ中心位置決定部９１２と位置モード値決定部９１５に供給される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２０４
【補正方法】変更
【補正の内容】
【０２０４】
タップ中心位置決定処理が終了してステップＳＴ６３に進むと、ステップＳＴ６３でＣＰＵ６１は、位置モード値ＨＭを決定する。この位置モード値ＨＭの決定では、上述のステップＳＴ６２２で注目画素に対応する位置を小数精度で算出して、この位置と最も近接した画素位置との差分を位置モード値ＨＭに変換する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２１０
【補正方法】変更
【補正の内容】
【０２１０】
クラス分類部９４の動きベクトル検出部９４１は、所定数のフレーム間での動きベクトルを検出して、タップ中心位置決定部９１２と位置モード値決定部９１５に供給する。タップ中心位置決定部９１２は、上述のようにタップ中心位置を決定して、クラス画素群切り出し部９１３と生徒画素群切り出し部９５１に供給する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０２１１
【補正方法】変更
【補正の内容】
【０２１１】
生徒画素群切り出し部９５１は、タップ中心位置に基づいて、複数の生徒画素からなる生徒画素群を画像データＧＳから切り出す。切り出された生徒画素群は、予測係数学習部９５２に供給される。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０２１２
【補正方法】変更
【補正の内容】
【０２１２】
クラス画素群切り出し部９１３は、タップ中心位置に基づいて、複数の生徒画素からなるクラス画素群を切り出す。切り出されたクラス画素群はクラス値決定部９１４に供給される。クラス値決定部９１４は、上述のようにクラス画素群からクラス値を決定する。この決定されたクラス値は、予測係数学習部９５２に供給される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０２１４
【補正方法】変更
【補正の内容】
【０２１４】
予測係数学習部９５２は、供給された時間モード値、位置モード値、クラス値、生徒画素群、教師画素を使用して、生徒画素群から教師画素を予測するための予測係数を学習する。予測係数の学習では、複数の予測係数と生徒画素との線型１次演算によって予測値を推定した時に、予測値と教師画像中の真値との誤差の二乗和を最小とするように、予測係数を定める。実際的な計算方法としては、誤差の二乗和に関する式を偏微分し、偏微分値が０となるように予測係数が定められる。その場合に、上述のように正規方程式がたてられ、正規方程式が掃き出し法等の一般的な行列解法にしたがって解かれ、予測係数が算出される。この算出された予測係数を予測係数メモリ９２に格納する。
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2005260929.tif 000001
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図２７
【補正方法】変更
【補正の内容】
【図２７】
2005260929.tif 000002
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図２８
【補正方法】変更
【補正の内容】
【図２８】
2005260929.tif 000003
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図３３
【補正方法】変更
【補正の内容】
【図３３】
2005260929.tif 000004
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】図３９
【補正方法】変更
【補正の内容】
【図３９】
2005260929.tif 000005