【手続補正書】
【提出日】平成22年3月19日(2010.3.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
レンズの焦点位置を変化させながら連続して撮影された複数枚の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数枚の画像の各画素に対して鮮鋭度を算出する鮮鋭度算出手段と、
前記鮮鋭度算出手段により算出された複数枚の画像の同一位置の画素のうちの鮮鋭度が最大となる画素が、前記複数枚の画像のいずれの画像に属するかを示す第１の参照値を、前記画像の各画素毎に算出する第１の参照値算出手段と、
前記第１の参照値算出手段により算出された前記画像の各画素毎の第１の参照値から第２の参照値を算出する第２の参照値算出手段であって、ある画素の第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化して前記第２の参照値を算出する第２の参照値算出手段と、
前記画像取得手段により取得された複数枚の画像を前記第２の参照値算出手段により算出された第２の参照値に基づいて画像処理し、画像の全ての部分に焦点の合った全焦点画像を生成する、又は前記画像取得手段により取得された複数枚の画像のいずれか１枚を前記第２の参照値算出手段により算出された第２の参照値に基づいて画像処理し、主要被写体以外の部分をぼかしたぼけ強調画像を生成する画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第２の参照値算出手段は、前記第１の参照値算出手段により算出された前記画像の各画素毎の第１の参照値を、各画素位置に対応して配置してなるマップを生成するマップ生成手段を含み、前記マップ生成手段により生成されたマップを空間平滑化することにより第２の参照値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の参照値は、前記鮮鋭度が最大となる画素が前記複数枚の画像のいずれの画像に属するかを示す第１の情報と、前記鮮鋭度の大きさを示す第２の情報とからなることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の参照値は、前記第１の情報を偏角とし、前記第２の情報を動径とする２次元ベクトルで表されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の参照値算出手段は、前記画像の各画素毎の２次元ベクトルで表された第１の参照値をＸ成分とＹ成分とに分離し、前記Ｘ成分とＹ成分とをそれぞれ各画素位置に対応して配置してなるＸ成分及びＹ成分のマップを生成するマップ生成手段を含み、前記マップ生成手段により生成されたＸ成分及びＹ成分のマップをそれぞれ空間平滑化し、これらの空間平滑後のＸ成分とＹ成分から偏角を求め、この偏角を前記第２の参照値とすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記マップ生成手段は、前記第１の参照値を所定範囲で加重平均し、前記マップよりも少ないサンプル数の低解像度のマップを生成することを特徴とする請求項２又は５に記載の画像処理装置。
【請求項７】
前記画像処理手段は、
前記第２の参照値算出手段により算出された第２の参照値に基づいて、前記複数枚の画像の同一位置の画素毎の加重平均係数を決定する手段と、
前記決定された加重平均係数に基づいて前記複数枚の画像の同一位置の画素を加重平均して全焦点画像を生成する手段と、
を有することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記画像処理手段は、
前記第２の参照値算出手段により算出された第２の参照値に基づいて、前記複数枚の画像のうちの基準画像の各画素毎のぼかしの程度を調整するぼかしフィルタのフィルタ係数を決定する手段と、
前記決定されたフィルタ係数をもつぼかしフィルタにより前記基準画像の対応する画素に対してフィルタ処理をすることによりぼけ強調画像を生成する手段と、
を有することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
請求項１から８のいずれかに記載の画像処理装置と、
被写体像を撮像する撮像素子と、前記撮像素子に被写体像を結像させる撮影光学系とで構成された撮像手段と、
前記複数枚の画像を前記撮像素子に結像させるように前記撮像手段を制御する制御手段と、
を備えたことを特徴とする撮像装置。
【請求項１０】
レンズの焦点位置を変化させながら連続して撮影された複数枚の画像を取得するステップと、
前記取得された複数枚の画像の各画素に対して鮮鋭度を算出するステップと、
前記算出された複数枚の画像の同一位置の画素のうちの鮮鋭度が最大となる画素が、前記複数枚の画像のいずれの画像に属するかを示す第１の参照値を、前記画像の各画素毎に算出するステップと、
ある画素の第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化することによって、前記各画素毎の第１の参照値から前記第２の参照値を算出するステップと、
前記複数枚の画像を前記第２の参照値に基づいて画像処理し、画像の全ての部分に焦点の合った全焦点画像を生成する、又は前記複数枚の画像のいずれか１枚を前記第２の参照値に基づいて画像処理し、主要被写体以外の部分をぼかしたぼけ強調画像を生成する画像処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法を演算装置に実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
前記目的を達成するために、請求項１に記載の画像処理装置は、レンズの焦点位置を変化させながら連続して撮影された複数枚の画像を取得する画像取得手段と、前記画像取得手段により取得された複数枚の画像の各画素に対して鮮鋭度を算出する鮮鋭度算出手段と、前記鮮鋭度算出手段により算出された複数枚の画像の同一位置の画素のうちの鮮鋭度が最大となる画像が、前記複数枚の画像のいずれの画像に属するかを示す第１の参照値を、前記画像の各画素毎に算出する第１の参照値算出手段と、前記第１の参照値算出手段により算出された前記画像の各画素毎の第１の参照値から第２の参照値を算出する第２の参照値算出手段であって、ある画素の第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化して前記第２の参照値を算出する第２の参照値算出手段と、前記画像取得手段により取得された複数枚の画像を前記第２の参照値算出手段により算出された第２の参照値に基づいて画像処理し、画像の全ての部分に焦点の合った全焦点画像を生成する、又は前記画像取得手段により取得された複数枚の画像のいずれか１枚を前記第２の参照値算出手段により算出された第２の参照値に基づいて画像処理し、主要被写体以外の部分をぼかしたぼけ強調画像を生成する画像処理手段と、を備えたことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
請求項１に記載の画像処理装置によれば、レンズの焦点位置を変化させながら複数枚の画像を取得し、取得した複数枚の画像の各画素に対して鮮鋭度を算出する。鮮鋭度が最大となる画像が、複数枚の画像のいずれの画像に属するかを示す第１の参照値を各画素に算出し、算出された第１の参照値をその周囲の画素の第１の参照値に基づいて空間平滑化して第２の参照値を算出し、算出された第２の参照値に基づいて、複数枚の画像のうちの少なくとも１枚を画像処理する。これにより、合焦分布を示す第２の参照値のつながりを滑らかにすることができる、すなわち階調方向の滑らかさや空間方向の滑らかさを得ることができる。また、第２の参照値に基づいて複数枚の画像を画像処理して全焦点画像を生成するか、算出された第２の参照値に基づいて複数枚の画像のいずれか１枚を画像処理してぼけ強調画像を生成する。これにより、自然な全焦点画像又は自然なぼけ強調画像を得ることができる。ここで、「画像の全ての部分に焦点の合った全焦点画像」とは、取得した複数枚の画像のうちの少なくとも１枚において焦点の合っている部分が合成された全焦点画像という意味である。すなわち、取得した複数枚の画像の全てにおいて焦点が合っていない部分について焦点を合わせることが必須なわけではない。言い換えると、画像内のある部分Ａが、複数枚の画像全てにおいて焦点が合っていない場合には、全焦点画像の部分Ａも焦点があっていないままである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
請求項９に記載の撮像装置は、請求項１から８のいずれかに記載の画像処理装置と、被写体像を撮像する撮像素子と、前記撮像素子に被写体像を結像させる撮影光学系とで構成された撮像手段と、前記複数枚の画像を前記撮像素子に結像させるように前記撮像手段を制御する制御手段と、を備えたことを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
請求項１０に記載の画像処理方法は、レンズの焦点位置を変化させながら連続して撮影
された複数枚の画像を取得するステップと、前記取得された複数枚の画像の各画素に対し
て鮮鋭度を算出するステップと、前記算出された複数枚の画像の同一位置の画素のうちの
鮮鋭度が最大となる画素が、前記複数枚の画像のいずれの画像に属するかを示す第１の参
照値を、前記画像の各画素毎に算出するステップと、ある画素の第１の参照値をその周囲
の画素の第１の参照値に基づいて空間平滑化することによって、前記各画素毎の第１の参
照値から前記第２の参照値を算出するステップと、前記第２の参照値に基づいて前記複数
の画像のうち少なくとも１つを処理する画像処理ステップと、を含むことを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
請求項１１に記載のプログラムは、請求項１０に記載の画像処理方法を演算装置に実行させる。