【手続補正書】
【提出日】平成19年11月26日(2007.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行う動きベクトル検出手段と、
前記動きベクトル検出手段で検出された動きベクトルと前記複数画素からなる画像を用いて、該画像よりも時間解像度の高い画像を生成する時間解像度創造手段と、
前記画像内の動きオブジェクトの画素の画素値は、該動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、前記動きベクトル検出手段で検出された動きベクトルを用いて前記動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成手段とを有する
ことを特徴とする画像処理装置。
【請求項２】
前記動きベクトル検出手段は、画像センサにより取得された複数画素からなる画像を複数用いて動きベクトルを検出し、該検出した動きベクトルに基づき、前記時間解像度の高い画像に対する動きベクトルを生成して、前記時間解像度創造手段に供給する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動きベクトル検出手段は、画像センサにより取得された複数画素からなる画像を複数用いて動きベクトルを検出し、該検出した動きベクトルを露光期間に応じて補正して、前記動きボケ軽減画像生成手段に供給する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記時間解像度創造手段は、前記動きボケ軽減画像を用いて、該動きボケ軽減画像より時間解像度の高い画像を生成する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記時間解像度創造手段は、
前記動きベクトル検出手段で検出された動きベクトルを用いて、前記生成する前記時間解像度の高い画像内の注目画素の動きベクトルを決定し、前記動きボケ軽減画像から前記注目画素に対応する複数画素をクラスタップとして抽出し、該クラスタップの画素値から前記注目画素に対応するクラスを決定するクラス決定手段と、
前記動きボケ軽減画像に対応する時間解像度の第１の画像と、該第１の画像よりも時間解像度の高い第２の画像との間で、前記第２の画像内の注目画素に対応する前記第１の画像内の複数画素に基づき前記注目画素を予測する予測係数を前記クラス毎に学習し生成された予測係数をクラス毎に記憶する記憶手段と、
前記クラス決定手段により決定されたクラスに対応する予測係数を前記記憶手段から検出し、前記動きボケ軽減画像から、前記生成する画像内の注目画素に対する複数画素を予測タップとして抽出し、前記記憶手段から検出した予測係数と前記予測タップとの線形一次結合により前記注目画素に対応する予測値を生成する予測値生成手段とを備える
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行う動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルと前記複数画素からなる画像を用いて、該画像よりも時間解像度の高い画像を生成する時間解像度創造ステップと、
前記画像内の動きオブジェクトの画素の画素値は、該動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、前記動きベクトル検出ステップで検出された動きベクトルを用いて前記動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成ステップとを有する
ことを特徴とする画像処理方法。
【請求項７】
前記動きベクトル検出ステップは、画像センサにより取得された複数画素からなる画像を複数用いて動きベクトルを検出し、該検出した動きベクトルに基づき、前記時間解像度の高い画像に対する動きベクトルを生成して、前記時間解像度創造ステップに供給する
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記動きベクトル検出ステップは、画像センサにより取得された複数画素からなる画像を複数用いて動きベクトルを検出し、該検出した動きベクトルを露光期間に応じて補正して、前記動きボケ軽減画像生成ステップに供給する
ことを特徴とする請求項７載の画像処理方法。
【請求項９】
前記時間解像度創造ステップは、前記動きボケ軽減画像を用いて、該画像より時間解像度の高い画像を生成する
ことを特徴とする請求項８記載の画像処理方法。
【請求項１０】
前記時間解像度創造ステップは、
前記動きベクトル検出ステップで検出された動きベクトルを用いて、前記生成する前記時間解像度の高い画像内の注目画素の動きベクトルを決定し、前記動きボケ軽減画像から前記注目画素に対応する複数画素をクラスタップとして抽出し、該クラスタップの画素値から前記注目画素に対応するクラスを決定するクラス決定ステップと、
前記動きボケ軽減画像に対応する時間解像度の第１の画像と、該第１の画像よりも時間解像度の高い第２の画像との間で、前記第２の画像内の注目画素に対応する前記第１の画像内の複数画素に基づき、前記注目画素を予測する予測係数を前記クラス毎に学習し生成された予測係数をクラス毎に記憶する記憶ステップと、
前記クラス決定ステップにより決定されたクラスに対応する予測係数を前記記憶ステップから検出し、前記動きボケ軽減画像から、前記生成する画像内の注目画素に対する複数画素を予測タップとして抽出し、前記記憶ステップから検出した予測係数と前記予測タップとの線形一次結合により前記注目画素に対応する予測値を生成する予測値生成ステップとを備える
ことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
コンピュータに、
時間積分効果を有する画像センサにより取得された複数画素からなる画像を用いて動きベクトルの検出を行う動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルと前記複数画素からなる画像を用いて、該画像よりも時間解像度の高い画像を生成する時間解像度創造ステップと、
前記画像内の動きオブジェクトの画素の画素値は、該動きオブジェクトに対応する動きボケが生じていない各画素の画素値を移動しながら時間方向に積分した値であるとして、前記動きベクトル検出ステップで検出された動きベクトルを用いて前記動きオブジェクトの動きボケが軽減されている動きボケ軽減画像を生成する動きボケ軽減画像生成ステップとを実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
ここで、動きベクトル割り付け処理について、例えば周波数情報ＨＦがフレーム倍速変換を示す情報である場合を説明する。この場合、図７に示すように画像データＤＶａの２フレームＲＦa，ＲＦb間に新たに２フレームＲＦn0，ＲＦn1の画像を生成する。この新たに生成する２フレームの画像を注目フレームとする。動きベクトル割り付け部８０は、動きベクトル検出部３０から供給された画像データＤＶａの動きベクトルＭＶから、注目フレームの各画素について、交差する動きベクトルを検出して、検出した動きベクトルを注目フレームの画像の動きベクトルＭＶＣとして割り付ける。例えば注目フレームＲＦn0の画素ＰＧn0xにおいて、この画素ＰＧn0xに対する画素領域ＰＷを動きベクトルＭＶ-jが交差するとき、この動きベクトルＭＶ-jを画素ＰＧn0xの動きベクトルＭＶＣ-n0xとして割り付ける。また、交差する動きベクトルが複数であるときは、交差する複数の動きベクトルを平均化して割り付ける。さらに、交差する動きベクトルが検出できないときは、周辺画素や近距離の画素に割り付けられた動きベクトルを平均化したり、重み付けしたのち平均化して割り付ける。このようにして、注目フレームの全ての画素に動きベクトルを割り付ける。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
生徒画素群切り出し部５５１は、タップ中心位置に基づいて、複数の生徒画素からなる生徒画素群を画像データＧＳから切り出す。切り出された生徒画素群は、予測係数学習部５５２に供給される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
クラス画素群切り出し部５１３は、タップ中心位置に基づいて、複数の生徒画素からなるクラス画素群を切り出す。切り出されたクラス画素群はクラス値決定部５１４に供給される。クラス値決定部５１４は、上述のようにクラス画素群からクラス値を決定する。この決定されたクラス値は、予測係数学習部５５２に供給される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
予測係数学習部５５２は、供給された時間モード値、位置モード値、クラス値、生徒画素群、教師画素を使用して、生徒画素群から教師画素を予測するための予測係数を学習する。予測係数の学習では、複数の予測係数と生徒画素との線型１次演算によって予測値を推定した時に、予測値と教師画像中の真値との誤差の二乗和を最小とするように、予測係数を定める。実際的な計算方法としては、誤差の二乗和に関する式を偏微分し、偏微分値が０となるように予測係数が定められる。その場合に、上述のように正規方程式がたてられ、正規方程式が掃き出し法等の一般的な行列解法にしたがって解かれ、予測係数が算出される。この算出された予測係数を予測係数メモリ５２に格納する。
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2005260928.tif 000001
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2005260928.tif 000002