(57)【特許請求の範囲】
【請求項１】
交換可能な撮影レンズを用いる撮像装置の画像処理装置であって、
前記撮影レンズから、前記撮影レンズの光学伝達情報を入力する入力手段と、
前記撮像装置の撮像部のセンサピッチを含む特性情報を取得する取得手段と、
前記特性情報に基づき、前記光学伝達情報を前記撮影レンズの光学伝達情報の単位系と異なる前記センサピッチの単位系で表現した、前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する生成手段とを有する画像処理装置。
【請求項２】
交換可能な撮影レンズを用いる撮像装置の画像処理装置であって、
前記撮影レンズから、前記撮影レンズの光学伝達情報を入力する入力手段と、
前記撮像装置の撮像部の複数の色に対応するフィルタ分光透過率を含む特性情報を取得する取得手段と、
前記フィルタ分光透過率と前記光学伝達情報に基づき、前記光学伝達情報を前記複数の色それぞれに対応させた、前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する生成手段とを有する画像処理装置。
【請求項３】
交換可能な撮影レンズを用いる撮像装置の画像処理装置であって、
前記撮影レンズから、前記撮影レンズの光学伝達情報を入力する入力手段と、
前記撮像装置の撮像部の光学ローパスフィルタ特性を含む特性情報を取得する取得手段と、
前記光学ローパスフィルタ特性と前記光学伝達情報に基づき、前記光学伝達情報を前記撮像部が受光する波長に制限した、前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する生成手段とを有する画像処理装置。
【請求項４】
前記撮影レンズは、前記撮影レンズのレンズ設定情報に対応する光学伝達情報を出力する請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項５】
さらに、前記撮影レンズのレンズ設定情報を前記撮影レンズに送信する送信手段を有し、
前記撮影レンズは、受信したレンズ設定情報に対応する光学伝達情報を出力する請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項６】
さらに、前記撮像装置の撮影モードに応じて、前記補正フィルタを使用して、前記撮影レンズによって撮影した画像の劣化を補正した画像データを出力するか、前記光学伝達情報、前記特性情報、および、前記撮影レンズによって撮影した撮像データを保存したファイルを出力するかを選択的に実行する出力手段を有する請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項７】
前記出力手段は、前記撮影モードがJPEGモードの場合、前記撮影レンズのレンズ設定に共通な光学伝達情報から生成された補正フィルタを使用して補正した画像データを出力する請求項6に記載された画像処理装置。
【請求項８】
前記出力手段は、前記撮影モードがRAWモードの場合、前記撮影レンズのレンズ設定に応じた光学伝達情報を保存した前記ファイルを出力する請求項6に記載された画像処理装置。
【請求項９】
撮像装置の交換可能な撮影レンズのデータ処理装置であって、
前記撮像装置の撮像部のセンサピッチを含む特性情報を受信する受信手段と、
前記撮影レンズのレンズ設定に応じた光学伝達情報を取得する取得手段と、
前記特性情報に基づき、前記光学伝達情報を前記撮影レンズの光学伝達情報の単位系と異なる前記センサピッチの単位系で表現した、前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する生成手段と、
前記補正フィルタを前記撮像装置に送信する送信手段とを有するデータ処理装置。
【請求項１０】
撮像装置の交換可能な撮影レンズのデータ処理装置であって、
前記撮像装置の撮像部の複数の色に対応するフィルタ分光透過率を含む特性情報を受信する受信手段と、
前記撮影レンズのレンズ設定に応じた光学伝達情報を取得する取得手段と、
前記フィルタ分光透過率と前記光学伝達情報に基づき、前記光学伝達情報を前記複数の色それぞれに対応させた、前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する生成手段と、
前記補正フィルタを前記撮像装置に送信する送信手段とを有するデータ処理装置。
【請求項１１】
撮像装置の交換可能な撮影レンズのデータ処理装置であって、
前記撮像装置の撮像部の光学ローパスフィルタ特性を含む特性情報を取得する取得手段と、
前記撮影レンズのレンズ設定に応じた光学伝達情報を取得する取得手段と、
前記光学ローパスフィルタ特性と前記光学伝達情報に基づき、前記光学伝達情報を前記撮像部が受光する波長に制限した、前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する生成手段と、
前記補正フィルタを前記撮像装置に送信する送信手段とを有するデータ処理装置。
【請求項１２】
交換可能な撮影レンズを用いる撮像装置の画像処理方法であって、
前記撮影レンズから、前記撮影レンズの光学伝達情報を入力し、
前記撮像装置の撮像部のセンサピッチを含む特性情報を取得し、
前記特性情報に基づき、前記光学伝達情報を前記撮影レンズの光学伝達情報の単位系と異なる前記センサピッチの単位系で表現した、前記撮像部の特性に依存する光学伝達情報に変換し、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する画像処理方法。
【請求項１３】
交換可能な撮影レンズを用いる撮像装置の画像処理方法であって、
前記撮影レンズから、前記撮影レンズの光学伝達情報を入力し、
前記撮像装置の撮像部の複数の色に対応するフィルタ分光透過率を含む特性情報を取得し、
前記フィルタ分光透過率と前記光学伝達情報に基づき、前記光学伝達情報を前記複数の色それぞれに対応させた、前記撮像部の特性に依存する光学伝達情報に変換し、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する画像処理方法。
【請求項１４】
交換可能な撮影レンズを用いる撮像装置の画像処理方法であって、
前記撮影レンズから、前記撮影レンズの光学伝達情報を入力し、
前記撮像装置の撮像部の光学ローパスフィルタ特性を含む特性情報を取得し、
前記光学ローパスフィルタ特性と前記光学伝達情報に基づき、前記光学伝達情報を前記撮像部が受光する波長に制限した、前記撮像部の特性に依存する光学伝達情報に変換し、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する画像処理方法。
【請求項１５】
さらに、前記撮像装置の撮影モードに応じて、前記補正フィルタを使用して、前記撮影レンズによって撮影した画像の劣化を補正した画像データを出力するか、前記光学伝達情報、前記特性情報、および、前記撮影レンズによって撮影した撮像データを保存したファイルを出力するかを選択的に実行する請求項12から請求項14の何れか一項に記載された画像処理方法。
【請求項１６】
撮像装置の交換可能な撮影レンズのデータ処理装置の方法であって、
前記撮像装置の撮像部のセンサピッチを含む特性情報を受信し、
前記撮影レンズのレンズ設定に応じた光学伝達情報を取得し、
前記特性情報に基づき、前記光学伝達情報を前記撮影レンズの光学伝達情報の単位系と異なる前記センサピッチの単位系で表現した、前記撮像部の特性に依存する光学伝達情報に変換し、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成し、
前記補正フィルタを前記撮像装置に送信する方法。
【請求項１７】
撮像装置の交換可能な撮影レンズのデータ処理装置の方法であって、
前記撮像装置の撮像部の複数の色に対応するフィルタ分光透過率を含む特性情報を受信し、
前記撮影レンズのレンズ設定に応じた光学伝達情報を取得し、
前記フィルタ分光透過率と前記光学伝達情報に基づき、前記光学伝達情報を前記複数の色それぞれに対応させた、前記撮像部の特性に依存する光学伝達情報に変換し、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成し、
前記補正フィルタを前記撮像装置に送信する方法。
【請求項１８】
撮像装置の交換可能な撮影レンズのデータ処理装置の方法であって、
前記撮像装置の撮像部の光学ローパスフィルタ特性を含む特性情報を取得する取得し、
前記撮影レンズのレンズ設定に応じた光学伝達情報を取得し、
前記光学ローパスフィルタ特性と前記光学伝達情報に基づき、前記光学伝達情報を前記撮像部が受光する波長に制限した、前記撮像部の特性に依存する光学伝達情報に変換し、
前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成し、
前記補正フィルタを前記撮像装置に送信する方法。
【請求項１９】
コンピュータを請求項1から請求項8の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【請求項２０】
コンピュータを請求項9から請求項11の何れか一項に記載されたデータ処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、劣化した撮影画像を補正する画像処理装置および画像処理方法、並びに、データ処理装置およびデータ処理方法に関する。
【背景技術】
【０００２】
ディジタルスチルカメラなどの撮像装置で撮影した画像に、収差などによる劣化が生じた場合、劣化がない画像を回復する画像回復処理が知られている。画像回復アルゴリズムとして、例えば、画像劣化の特性を点像関数(PSF)で表し、PSFに基づき劣化がない画像を回復する手法が知られている。
【０００３】
特開昭62-127976号公報は、PSFと逆特性のフィルタ処理によって暈けを補正する発明を開示する。また、特開2004-205802公報は、PSFからWiener（ウィナー）フィルタを生成し、Wienerフィルタを利用して劣化画像を回復する発明を開示する。さらに、特開2000-020691公報は、撮像装置の特性情報を使って、高品位の回復画像を得る発明を開示する。
【０００４】
［画像回復の原理］
(x, y)を画面上の位置座標とし、劣化がない場合の画像（以下、被写体像）をo(x, y)、ピンボケ、収差、手振れなどにより劣化した画像（以下、劣化画像）をz(x, y)、暈けによって広がった点の情報PSFをp(x, y)とする。これら三つは次の関係を満たす。
z(x, y) = o(x, y)＊p(x, y)      …(1)
【０００５】
式(1)において、＊はコンボリューション演算を表す。従って、式(1)を積分式に書き直すと下式のように表される。
z(x, y) = ∬o(x, y)p(x-x', y-y')dx'dy'      …(2)
【０００６】
式(2)を空間周波数(u, v)領域にフーリエ変換すると下式のようになる。
Z(u, v) = O(u, v)・P(u, v)      …(3)
ここで、Z(u, v)はz(x, y)のスペクトル、
O(u, v)はo(x, y)のスペクトル、
P(u, v)はp(x, y)のスペクトル。
【０００７】
なお、P(u, v)は、PSFの二次元フーリエ変換である光学伝達関数(OTF)の絶対値である空間周波数伝達関数(MTF)である。
【０００８】
ここで、劣化画像z(x, y)に加え、何らかの方法によりPSFであるp(x, y)を知ることができれば、それらのスペクトルを算出し、式(3)を変形した式(4)を利用することで、被写体像のスペクトルO(u, v)を算出することができる。そして、式(4)によって算出されるスペクトルを逆フーリエ変換すれば、被写体像o(x, y)を得ることができる。
O(u, v) = Z(u, v)/P(u, v)      …(4)
ここで、1/P(u, v)は、逆フィルタと呼ばれる。
【０００９】
劣化のMTFは、その値が零になる周波数が存在することがある。MTFの値が零は、劣化によって伝達されない（情報が失われる）周波数成分が存在することを意味する。MTFの値が零になる周波数が存在すると、被写体像を完全に回復することはできない。従って、MTFの逆フィルタには、フィルタ係数が無限大となる周波数が存在することがあり、当該周波数において、被写体像のスペクトル値は不定になる。
【００１０】
そこで、逆フィルタの係数が無限大にならないように、下式で表されるWienerフィルタを画像回復に使用することがある。
P(u, v)/{|P(u, v)|2 + c}      …(5)
ここで、cは非常に小さい値の定数。
【００１１】
劣化画像から被写体像を回復するには、正確なPSF（または、OTF、MTF)を取得することが望まれる。
【００１２】
PSFは像高、ズーム、被写体位置で変化することがよく知られている。従って、これら撮影情報に応じてPSFを算出し、回復処理にフィードバックする方法が提案されている。例えば、特開平4-088765号公報は、被写体距離に応じたPSFを推定し、画像劣化の回復に利用する。特開2000-020691公報は、フラッシュ使用時はシャッタ開期間における被写体の輝度変化が大きく、フラッシュを使わない（輝度変化が均一）場合のシャッタ開期間のPSFと異なることに着目し、フラッシュ使用時はPSFを補正して回復処理を行う。
【００１３】
回復処理方法は様々な文献に開示されているが、実際に、回復フィルタのデータとして、何が、どのような情報を、どのように保持するか、そして、それらを使ってどのように回復フィルタを作成すべきか、という点については、これまで議論されていない。とくに、撮影レンズ交換が可能な一眼レフカメラを想定し、撮影レンズとカメラボディの組み合わせが複数ある場合を考慮した論議はない。
【００１４】
最も簡単な方法は、撮影レンズとカメラボディを含めた撮像装置全体の回復処理情報（回復フィルタ係数や、撮像装置全体のPSFデータなど）をデータベースとしてカメラボディや画像処理ソフトに格納しておくことである。こうすれば、回復処理を行う際、撮影条件に応じた回復処理情報をデータベースから取得するだけでよい。
【００１５】
上記の方法は、撮影レンズとカメラボディの組み合わせが固定されたディジタルカメラにおいて有効である。しかし、撮影レンズ交換が可能な一眼レフカメラの場合、撮影レンズとカメラボディのすべての組み合わせに対して回復処理情報を保持する必要がある。その場合、データ量は膨大になり、メモリサイズに制約がある撮影レンズやカメラボディに回復処理情報を保持させることは困難である。また、回復処理情報は、撮影レンズとカメラボディの組み合わせに対応する固定データである。そのため、カメラボディや撮影レンズの新機種が登場する度に、新機種と既存機種の組み合わせに対応する回復処理情報を作成し、さらに、新しい回復処理情報を既存のデータベースに反映させる必要が有る。このような作業は、カメラボディや撮影レンズのユーザに煩雑な作業を強いることになる。
【発明の概要】
【課題を解決するための手段】
【００１６】
一つの面において、交換可能な撮影レンズを用いる撮像装置の画像処理装置は、前記撮影レンズから、前記撮影レンズの光学伝達情報を入力する入力手段と、前記撮像装置の撮像部の特性情報を取得する取得手段と、前記特性情報に基づき、前記光学伝達情報を前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する生成手段とを有する。
【００１７】
他の一面において、交換可能な撮影レンズを用いる撮像装置の画像処理装置は、前記撮影レンズから、前記撮影レンズの光学伝達情報を入力する入力手段と、前記撮像装置の撮像部の特性情報を取得する取得手段と、前記光学伝達情報、前記特性情報、および、前記撮影レンズによって撮影した撮像データを保存したファイルを出力する出力手段とを有する。
【００１８】
他の一面において、交換可能な撮影レンズを用いる撮像装置の画像処理装置は、前記撮影レンズから、前記撮影レンズの光学伝達情報を入力する入力手段と、前記撮像装置の撮像部の特性情報を取得する取得手段と、前記特性情報に基づき、前記光学伝達情報を前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、前記撮像部の特性に依存する光学伝達情報に基づき補正フィルタを生成する生成手段と、前記撮像装置の撮影モードに応じて、前記補正フィルタを使用して、前記撮影レンズによって撮影した画像の劣化を補正した画像データを出力するか、前記光学伝達情報、前記特性情報、および、前記撮影レンズによって撮影した撮像データを保存したファイルを出力するかを選択的に実行する出力手段とを有する。
【００１９】
他の一面において、撮像装置の交換可能な撮影レンズのデータ処理装置は、前記撮像装置の撮像部の特性情報を受信する受信手段と、前記撮影レンズのレンズ設定に応じた光学伝達情報を取得する取得手段と、前記特性情報に基づき、前記光学伝達情報を前記撮像部の特性に依存する光学伝達情報に変換する変換手段と、前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する生成手段と、前記補正フィルタを前記撮像装置に送信する送信手段とを有する。
【００２０】
他の一面において、交換可能な撮影レンズを用いる撮像装置の画像処理方法は、前記撮影レンズから、前記撮影レンズの光学伝達情報を入力し、前記撮像装置の撮像部の特性情報を取得し、前記特性情報に基づき、前記光学伝達情報を前記撮像部の特性に依存する光学伝達情報に変換し、前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成する。
【００２１】
他の一面において、交換可能な撮影レンズを用いる撮像装置の画像処理方法は、前記撮影レンズから、前記撮影レンズの光学伝達情報を入力し、前記撮像装置の撮像部の特性情報を取得し、前記光学伝達情報、前記特性情報、および、前記撮影レンズによって撮影した撮像データを保存したファイルを出力する。
【００２２】
他の一面において、交換可能な撮影レンズを用いる撮像装置のデータ処理方法は、前記撮像装置の撮像部の特性情報を受信し、前記撮影レンズのレンズ設定に応じた光学伝達情報を取得し、前記特性情報に基づき、前記光学伝達情報を前記撮像部の特性に依存する光学伝達情報に変換し、前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成し、前記補正フィルタを前記撮像装置に送信することを特徴とする。
【００２３】
他の一面において、撮像装置の交換可能な撮影レンズのデータ処理装置の方法は、前記撮像装置の撮像部の特性情報を受信し、前記撮影レンズのレンズ設定に応じた光学伝達情報を取得し、前記特性情報に基づき、前記光学伝達情報を前記撮像部の特性に依存する光学伝達情報に変換し、前記撮像部の特性に依存する光学伝達情報に基づき、前記撮影レンズによって撮影した画像の劣化を補正する補正フィルタを生成し、前記補正フィルタを前記撮像装置に送信する。
【発明の効果】
【００２４】
本発明によれば、交換可能な撮影レンズを用いる撮像装置用に、撮影レンズと撮像部の組み合わせに対応した、画像の劣化を補正する補正フィルタを生成することができる。
【００２５】
本発明のさらなる特徴は、添付する図面を参照する以下の典型的な実施例の説明から明らかになる。
【図面の簡単な説明】
【００２６】
【図１】ディジタルカメラの外観図、
【図２】ディジタルカメラの垂直断面図、
【図３】撮像デバイスの構成を示す図、
【図４】ディジタルカメラの制御、撮影および画像処理に関する構成を示すブロック図、
【図５】回復処理を実行する構成を説明するブロック図、
【図６】レンズ特性値メモリが保持するデータ構造の概念を示す図、
【図７】像高「I」のある波長におけるOTFの一例を示す図、
【図８】回復処理を説明するフローチャート、
【図９】回復フィルタの係数を生成する処理を説明するフローチャート、
【図１０Ａ】サブサンプリングを模式的に示す図、
【図１０Ｂ】サブサンプリングを模式的に示す図、
【図１１】RGBフィルタの分光透過率特性の一例を示す図、
【図１２】回復フィルタの生成を模式的に示す図、
【図１３】実施例2の回復処理を説明するフローチャート、
【図１４】実施例3の処理を説明するフローチャート、
【図１５】実施例4の処理を説明するフローチャート、
【図１６】実施例4の処理を説明するフローチャート、
【図１７】実施例5におけるレンズ特性値メモリが保持するデータ構造の概念を示す図、
【図１８】実施例6の回復フィルタを生成する処理を説明するフローチャート。
【発明を実施するための形態】
【００２７】
以下、本発明にかかる実施例の画像処理装置および画像処理方法、並びに、データ処理装置およびデータ処理方法を図面を参照して詳細に説明する。
【実施例１】
【００２８】
［カメラの構成］
図1はディジタルカメラの外観図である。
【００２９】
カメラボディ100の上部には、ビューファインダの接眼窓111、自動露出(AE)ロックボタン114、自動焦点(AF)の測距点を選択するボタン113、撮影操作をするためのレリーズボタン112がある。また、撮影モード選択ダイヤル117、表示部409、電子ダイヤル411などがある。
【００３０】
電子ダイヤル411は、他の操作ボタンと併用してカメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力部である。また、LCDパネルの表示部409には、シャッタスピード、絞り、撮影モードなどの撮影条件や、その他の情報が表示される。
【００３１】
カメラボディ100の背面には、カメラが捉えた画像、撮影した画像、各種設定画面などを表示する液晶ディスプレイ(LCD)モニタ417、LCDモニタ417の表示をオンオフするためのスイッチ121、十字キー116、メニューボタン124などがある。なお、LCDモニタ417は透過型であるため、LCDモニタ417の駆動だけではユーザが画像を視認することはできない。そのため、LCDモニタ417の裏面には、後述するように、バックライトが必要である。
【００３２】
十字キー116は、上下左右にそれぞれ配置された四つのボタンと、中央部に配置された設定ボタンを有し、LCDモニタ417に表示されるメニュー項目などの選択や実行を指示するために用いられる。
【００３３】
メニューボタン124は、LCDモニタ417にメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する場合、メニューボタン124を押した後、十字キー116の上下左右のボタンを操作して希望の撮影モードを選択し、希望の撮影モードが選択された状態で設定ボタンを押すことで、撮影モードの設定が完了する。なお、メニューボタン124と十字キー116は、後述するAFモードの設定にも使用される。
【００３４】
図2はディジタルカメラの垂直断面図である。
【００３５】
撮像光学系の撮影レンズ200はカメラボディ100に対して交換可能なレンズであり、撮影レンズ200はレンズマウント202を介してカメラボディ100に着脱可能である。
【００３６】
撮影光軸201を中心とする撮影光路中に配置されたミラー203は、撮影レンズ200からの被写体光をファインダ光学系に導く位置（斜設位置）と、撮影光路外の退避位置の間でクイックリターンが可能である。
【００３７】
ミラー203によってファインダ光学系に導かれた被写体光は、ピント板204上に結像する。そして、ピント板204を通過した被写体光は、ビューファインダの視認性を向上させるコンデンサレンズ205、ペンタゴナルダハプリズム206を通り、接眼レンズ208および測光センサ207に導かれる。
【００３８】
先幕210と後幕209は、フォーカルプレーンシャッタ（機械式シャッタ）を構成し、両幕209と210の開閉によって、その後方に配置された、電荷結像素子(CCD)やCMOSセンサである撮像デバイス418を必要時間露光する。撮像デバイス418は、プリント板211に保持されている。プリント板211の後方には、さらにプリント板215が配置され、プリント板215の反対面にLCDモニタ417とバックライト416が配置されている。
【００３９】
図3は撮像デバイス418の構成を示す図で、撮像デバイス418は単板式で、カラーフィルタの配列は典型例なベイヤ配列である。
【００４０】
さらに、カメラボディ100内には、画像データが記録される記録メディア419aと、携帯用電源である電池217がある。なお、記録メディア419aと電池217は、カメラボディ100に着脱可能である。
【００４１】
図4はディジタルカメラの制御、撮影および画像処理に関する構成を示すブロック図である。
【００４２】
マイクロコンピュータ(CPU)402は、撮像デバイス418が出力する画像データの処理や、LCDモニタ417の表示制御をはじめとし、カメラ全体の動作を制御する。
【００４３】
スイッチ(SW1)405は、レリーズボタン112を半分押した状態（半押し状態）で閉になる。スイッチ(SW1)405が閉になるとカメラは撮影準備状態になる。スイッチ(SW2)406は、レリーズボタン112を最後まで押込んだ状態（全押し状態）で閉になる。スイッチ(SW2)406が閉になるとカメラボディ100は撮影動作を開始する。
【００４４】
レンズ制御部407は、撮影レンズ200と通信し、AF時の撮影レンズ200の駆動制御や絞りの駆動制御を行う。表示制御部408は、表示部409や、ファインダ内の表示部（不図示）を制御する。スイッチセンス部410は、上述した電子ダイヤル411を含む多数のスイッチやキーから出力される信号をCPU402に伝えるためのインタフェイスである。
【００４５】
ストロボ制御部412は、X接点412aを介して接地されており、外部ストロボの発光および調光制御を行う。記録メディアドライブ419には、例えばハードディスクやメモリカードなどの記録メディア419aが装着される。
【００４６】
測距部413は、AF用に被写体に対するデフォーカス量を検出する。測光部414は、被写体の輝度を測定し、露光時間を制御する。シャッタ制御部415は、撮像デバイス418に対して適正な露光が行われるように、機械式シャッタを制御する。LCDモニタ417とバックライト416は、上述したように表示装置を構成する。
【００４７】
画像処理部425は、ディジタル信号処理プロセッサ(DSP)などから構成される。さらに、CPU402には、アナログ-ディジタル変換器(A/D)423、画像データをバッファするバッファメモリ424などが接続されている。
【００４８】
カメラ特性値メモリ428は、カメラボディ100の様々な特性を記憶する不揮発性のメモリである。レンズ特性値メモリ429は、撮影レンズ200のボディ内にあり、撮影レンズ200の様々な特性を記憶する不揮発性のメモリである。
【００４９】
回復フィルタ生成部430は、詳細は後述するが、スイッチ(SW2)406が閉になり、撮影状態になると、レンズ特性値メモリ429から撮影時の機器設定に対応するレンズ特性値を受信する。さらに、カメラ特性値メモリ428から撮影時の機器設定に対応するカメラ特性値を読み出して、劣化した撮影画像を補正する補正フィルタである回復フィルタを作成する。
【００５０】
［画像処理］
●回復処理の構成
図5は回復処理を実行する構成を説明するブロック図である。
【００５１】
撮影状態になると、シャッタ制御部415は、レンズ制御部407などから取得したF値、被写体までの距離（撮影距離）、ズーム位置をレンズ設定情報として撮影レンズ200のマイクロコントローラ(MPU)431に送信する。MPU431は、受信したレンズ設定情報に対応する撮影レンズ200の光学伝達情報であるOTFデータをレンズ特性値メモリ429から読み出し、OTFデータを回復フィルタ生成部430に送信する。
【００５２】
また、回復フィルタ生成部430は、カメラ特性値メモリ428からカメラボディ100の機器特性を読み出す。機器特性には、撮像デバイス418のセンサピッチ、光学ローパスフィルタ(LPF)情報およびRGBフィルタの分光透過率特性などが含まれる。
【００５３】
回復フィルタ生成部430は、受信したOTFデータと、読み出した機器特性に基づき回復フィルタの係数を生成し、回復フィルタの係数を画像処理部425に送信する。
【００５４】
図6はレンズ特性値メモリ429が保持するデータ構造の概念を示す図である。
【００５５】
レンズ特性値メモリ429は、レンズ設定情報に応じたOTF群が格納されたOTFテーブルのアドレスを示すポインタが記述されたポインタテーブル501を有する。なお、ズーム位置は、例えば、ズーム範囲を十分割し、ワイド端からテレ端に向かって0〜9のインデックスを付す。また、撮影距離は、例えば、最短撮影距離から無限まで十分割する。従って、ポインタテーブル501に記述されたポインタの数は、F値の数×102になる。
【００５６】
OTFテーブル502は、ズーム位置「1」、F値2.8、撮影距離2500mmに対応するOTF群を保持する。OTF群は、像高を十分割（インデックス0〜9）し、各像高に対して波長400〜700nmを10nm刻みにした、10×31=310のOTFデータの集合である。言い換えれば、一つの回復フィルタの生成に利用するOTFデータは310である。つまり、MPU431が送信するOTFデータは、レンズ設定情報に応じた、すべての像高に対応する、各波長に対応するOTFデータの集合である。
【００５７】
図7は像高「I」のある波長におけるOTFの一例を示す図である。なお、OTFは複素数であるため、図7にはOTFの絶対値であるMTFを示す。また、図7において、画像における水平方向（x方向）の空間周波数はfx、垂直方向（y方向）の空間周波数はfy、空間周波数の単位は1mm当りのラインペア(lp/mm or line pair/mm)である。ラインペアは、解像度の指標であり、幅が等しい黒ラインと白ラインの対が1mmの間に幾つ含まれるかを表す。
【００５８】
なお、撮影条件を詳細に区分すれば、撮影条件により適合するOTFデータを得て、撮影条件に最適な回復フィルタを生成することができる。しかし、撮影条件を詳細に区分する分、OTFデータ量が増加し、レンズ特性値メモリ429のメモリサイズを大きくする必要がある。
【００５９】
●回復処理
図8は回復処理を説明するフローチャートである。
【００６０】
シャッタ制御部415は、CPU402からスイッチ(SW2)406が閉を示す通知を受信する、つまり撮影状態になると(S701)、レンズ制御部407からレンズ設定情報を取得する(S702)。そして、取得したレンズ設定情報を撮影レンズ200に送信する(S703)。
【００６１】
撮影レンズ200のMPU431は、レンズ設定情報を受信すると(S704)、レンズ設定情報に対応するOTFデータをレンズ特性値メモリ429から読み出し(S705)、読み出したOTFデータをカメラボディ100に送信する(S706)。
【００６２】
カメラボディ100の回復フィルタ生成部430は、OTFデータを受信し(S707)、カメラ特性値メモリ428からカメラボディ100の機器特性を読み出す(S708)。そして、詳細は後述するが、受信したOTFデータと、読み出した機器特性に基づき回復フィルタの係数を生成し(S709)、回復フィルタの係数を画像処理部425に送信する(S710)。
【００６３】
画像処理部425は、バッファメモリ424から読み出した撮像データにデモザイキングなどの現像処理を施す(S711)。なお、撮像データは、撮像部である撮像デバイス418から出力された信号をA/D423によりディジタルデータに変換したデモザイキング（現像処理）前のデータ（以下、RAWデータと呼ぶ場合がある）である。なお、少なくとも撮像デバイス418は撮像部を構成するが、撮像デバイス418とA/D423を合わせて撮像部と呼ぶ場合がある。あるいは、カメラボディ100を撮像部と呼ぶ場合がある。
【００６４】
画像処理部425は、受信した回復フィルタの係数を使用して、現像処理した画像データに回復フィルタ処理を施して劣化した画像を補正する(S712)。そして、回復フィルタ処理後の画像データを表示制御部408や記録メディアドライブ419に出力する(S713)。
【００６５】
●回復フィルタの生成
図9は回復フィルタの係数を生成する処理(S709)を説明するフローチャートである。
【００６６】
回復フィルタ生成部430は、OTFデータの空間周波数の単位を取得する(S801)。なお、本実施例では、空間周波数の単位はlp/mmである。
【００６７】
次に、回復フィルタ生成部430は、機器特性から撮像デバイス418のセンサピッチを取得する(S802)。なお、本実施例では、センサピッチを5.0μmとする。
【００６８】
次に、回復フィルタ生成部430は、センサピッチを用いる次式により、OTFデータの空間周波数の単位をセンサピッチベース（画素ピッチベース）の単位lp/画素に変換する(S803)。
fx [lp/画素] = fx [lp/mm]×5.0[μm]
fy [lp/画素] = fy [lp/mm]×5.0[μm]      …(6)
【００６９】
空間周波数の単位をlp/画素に変換することで、ナイキスト周波数は一律に0.5 lp/画素、サンプリング周波数は1.0 lp/画素として表される。センサピッチが5.0μmの場合、ナイキスト周波数は100 lp/mmである。もし、センサピッチが2.0μmであればナイキスト周波数は250 lp/mmである。
【００７０】
次に、回復フィルタ生成部430は、センサピッチベースの周波数空間に変換したOTFデータのうちナイキスト周波数以下のOTFデータを、最終的に生成する回復フィルタのサイズでサブサンプリングする(S804)。
【００７１】
図10A、図10Bはサブサンプリングを模式的に示す図である。図10Aは、ある波長のOTFデータの周波数fy=0における周波数fx方向のMTF（OTFの絶対値）の分布を示す図である。上述したように、センサピッチが5μmの場合はナイキスト周波数は100 lp/mm（0.5 lp/画素）であり、図10Aに示す破線で挟まれた領域のMTFを抜き出す。図10Bはナイキスト周波数以下のMTFの分布を示す図である。図10Aに示すように、MTFが500 lp/mmまで分布するとすると、100 lp/mm以下のMTFを抜き出すことで、データ量は次式に示すように1/25に削減され、以降の計算量を大幅に削減することができる。
(100 + 100)2/(500 + 500)2 = 1/25      …(7)
【００７２】
次に、回復フィルタ生成部430は、抜き出したOTFデータを回復フィルタのサイズに合わせてサブサンプリングする。例えば、回復フィルタのサイズを17×17とすると、図10Bに矢印↑で示すように、0.0625 lp/画素ごとにサンプリングを行う。
【００７３】
このように、ステップS804が終了した時点で、400、410、420、…、690、700nmの各波長に対する17×17のOTFデータが得られる。なお、回復フィルタのサイズは、予め決められた固定値でもよいし、ユーザによる指定や、撮影時に設定された他のパラメータ（画素数やISO感度など）によって決めてもよい。
【００７４】
次に、回復フィルタ生成部430は、機器特性からRGBフィルタの分光透過率特性を取得し、波長別の17×17のOTFデータと掛算して、RGB成分ごとのOTFデータに変換する(S805)。
【００７５】
図11はRGBフィルタの分光透過率特性の一例を示す図である。図11に示すように、各成分のフィルタの、各波長における透過率と、各波長のOTFデータを掛算し、それら積の総和で正規化して、RGB成分ごとのOTFデータを得る。
【００７６】
次に、回復フィルタ生成部430は、機器特性から光学LPF情報を取得し、光学LPF情報が示すローパスフィルタ特性をRGB成分ごとのOTFデータに適用する(S806)。これにより、撮影レンズ200と、カメラボディ100を組み合わせた場合のRGB成分ごとのOTFデータが算出されたことになる。
【００７７】
次に、回復フィルタ生成部430は、ステップS806で得たOTFデータを使って、RGB成分ごとの回復フィルタの係数を算出する(S807)。なお、回復フィルタの作成方法は、前述したので、詳細な説明は割愛する。このようにして、最終的に、実空間の回復フィルタとして、17×17の実数値で構成されるフィルタが三つ生成される。
【００７８】
図12は回復フィルタの生成を模式的に示す図で、OTFデータからRGB成分ごとの実空間の回復フィルタが生成されるまでのデータフローを示している。このように、撮影レンズ200には、撮像デバイスに依存しない、周波数ごとのOTFデータを用意する。そして、カメラボディ100側で、撮影レンズ200から取得したOTFデータを、撮像デバイス418のセンサピッチ、RGBフィルタの分光透過率特性、光学LPF特性に基づき変換する。
【００７９】
このようにすれば、カメラボディ側で、撮影レンズとカメラの組み合わせに対応するOTFデータを生成することができる。つまり、OTFデータを保持する撮影レンズと撮像デバイスの機器特性を保持するカメラボディであれば、新機種の撮影レンズと既存のカメラボディの組み合わせ（その逆でも）に対応するOTFデータを生成し、回復フィルタを作成することができる。
【００８０】
勿論、撮影レンズにレンズのOTFデータ、カメラボディに撮像デバイスの機器特性を持たせるため、撮影レンズとカメラボディは独立に開発することができる。また、撮影レンズとカメラボディは、それ自体の情報だけを保持すればよいので、回復フィルタの作成用に保持するデータ量を、撮影レンズ、カメラボディともに抑制することができる。さらに、新機種の撮影レンズやカメラボディを使う場合、ユーザは、ファームウェアのアップデートなど、煩雑な操作を必要としない。
【実施例２】
【００８１】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と同様の構成については、同一符号を付して、その詳細説明を省略する。
【００８２】
前述したように、0.5μmのセンサピッチに対応するには、ナイキスト周波数100 lp/mmのデータまでの空間周波数のデータを含めばよい。さらにセンサピッチが細かくなると、0.25μmに対しては250 lp/mmまでの、同0.1μmに対しては500 lp/mmまでの空間周波数のデータを含む必要がある。
【００８３】
さらに、OTFデータは複素数であり、水平、垂直方向の周波数空間で構成される二次元データである。従って、ある機器特性情報に対応するOTFデータだけでも、非常にデータ量が多いデータになる。従って、撮影レンズ200からカメラボディ100に送信されるOTFデータのデータ量、言い換えれば撮影レンズ200とカメラボディ100の間のデータ通信量は極めて大きくなる。
【００８４】
そこで、実施例2においては、撮影レンズ200のMPU431によって、回復フィルタの係数を算出し、算出した係数を画像処理部425に送信する構成を説明する。なお、ワンチップマイクロコントローラなどのMPU431は、その内蔵RAMをワークメモリとして、内蔵ROMに格納されたプログラムに従い後述するデータ処理を実行する。
【００８５】
図13は実施例2の回復処理を説明するフローチャートである。なお、図8と同じ処理には、同一符号を付し、その詳細説明を省略する。
【００８６】
画像処理部425は、カメラ特性値メモリ428からカメラボディ100の機器特性を読み出す(S721)。そして、機器特性を撮影レンズ200に送信する(S722)。撮影レンズ200のMPU431は、機器特性を受信する(S723)。なお、機器特性は、撮影条件によって変化しないので、ステップS721からS723の処理は、撮影レンズ200とカメラボディ100が接続された後、電源がオンされた初期化処理時に一度実行すればよい。
【００８７】
MPU431、シャッタ制御部415から撮影状態の通知を受信すると(S724)、レンズ制御部407からレンズ設定情報を取得し(S725)、レンズ設定情報に対応するOTFデータをレンズ特性値メモリ429から読み出す(S726)。そして、受信した機器特性と、読み出したOTFデータに基づき、図9と同様の処理を行って、回復フィルタの係数を生成し(S727)、回復フィルタの係数をカメラボディ100に送信する(S728)。
【００８８】
カメラボディ100の画像処理部425は、回復フィルタの係数を受信する(S729)。そして、図8に示す処理と同様に、現像処理(S711)、回復フィルタ処理(S712)、出力処理(S713)を実行する。
【００８９】
このような構成によれば、撮影レンズ200からカメラボディ100に送信されるデータは、例えば、三つの17×17の回復フィルタの実数値のデータの集合であり、OTFデータの集合を送信する場合に比べ、データ通信量は遥かに少なくなる。
【００９０】
一般に、撮影レンズ200に搭載されるMPU431は、カメラボディ100に搭載されるCPU402に比べて、演算パワーが劣る。そのため、カメラボディ100で回復フィルタを作成する場合に比べて、撮影レンズ200で回復フィルタを作成すれば、その演算処理に時間が掛かる。しかし、撮影レンズ200とカメラボディ100の間のデータ通信量は大幅に削減される。
【００９１】
上記では、機器特性のすべてを撮影レンズ200に送信して、撮影レンズ200に回復フィルタの係数を生成させる例を説明した。しかし、例えば、センサピッチだけを撮影レンズ200に送信する方法も考えられる。そして、回復フィルタ生成部430は、サブサンプリング後のデータ量が削減されたOTFデータを受信して、以降の処理（RGBフィルタの分光透過率特性と光学LPF特性の適用、および、フーリエ変換）を実行する。こうすれば、図13に示す処理に比べてデータ通信量の削減は少ないが、MPU431の演算処理負荷を軽減することができる。
【００９２】
同様に、センサピッチとRGBフィルタの分光透過率特性を撮影レンズ200に送信する方法も考えられる。そして、回復フィルタ生成部430は、例えば、三つの17×17の回復フィルタの実数値のデータを受信して、以降の処理（光学LPF特性の適用、および、フーリエ変換）を実行する。こうすれば、図13に示す処理と同様にデータ通信量を削減して、かつ、MPU431の演算処理負荷を軽減することができる。
【００９３】
とくに、フーリエ変換は、最も演算処理負荷が重いため、MPU431の処理から少なくともフーリエ変換を外せば、MPU431の演算処理負荷をかなり軽減することができる。
【実施例３】
【００９４】
以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例2において、実施例1、2と同様の構成については、同一符号を付して、その詳細説明を省略する。
【００９５】
実施例1では、カメラボディ100において回復フィルタを作成し、回復処理を行う例を説明した。また、実施例2では、撮影レンズ200において回復フィルタを作成し、回復処理を行う例を説明した。しかし、一般に、カメラボディ100に搭載されるCPU402や、撮影レンズ200に搭載されるMPU431は非力であり、回復フィルタの作成には多くの時間を要する。
【００９６】
実施例3においては、回復フィルタの作成に必要な情報と撮像データをファイルに保存して、外部のコンピュータ上で稼働するソフトウェアにより回復フィルタの作成と回復処理を行う例を説明する。
【００９７】
図14は実施例3の処理を説明するフローチャートである。
【００９８】
MPU431、シャッタ制御部415から撮影状態の通知を受信すると(S724)、レンズ制御部407からレンズ設定情報を取得し(S731)、レンズ設定情報に対応するOTFデータをレンズ特性値メモリ429から読み出す(S732)。そして、読み出したOTFデータをカメラボディ100に送信する(S733)。
【００９９】
カメラボディ100の画像処理部425は、OTFデータを受信し(S734)、カメラ特性値メモリ428からカメラボディ100の機器特性を読み出し(S735)、バッファメモリ424から撮像データを取得する(S736)。そして、OTFデータ、機器特性、撮像データをファイルに保存して記録メディアドライブ419に出力する(S737)。
【０１００】
記録メディア419aに格納されるRAWデータフォーマットのファイルには、通常、撮像データとともに、撮影時の情報としてレンズ設定情報が保存される。従って、本実施例におけるファイルの出力は、既存のRAWデータとレンズ設定情報を保存する領域に、カメラボディ100の機器特性値とOTFデータを保存する領域を新たに追加すればよい。
【０１０１】
また、外部のコンピュータ上で稼働するソフトウェアによる回復フィルタの作成と回復処理は、上述した方法と同じである。
【０１０２】
また、上記では、撮影レンズ200から受信したOTFデータと、カメラボディ100の機器特性であるセンサピッチ、RGBフィルタの分光透過率特性、光学LPF特性をファイルに保存する例を説明した。しかし、サブサンプリング後のデータ量を削減したOTFデータ、RGBフィルタの分光透過率特性、光学LPF特性をファイルに保存してもよい。こうすれば、記録メディア419aに格納するファイルのデータサイズを削減することができる。
【０１０３】
［変形例］
実施例1、2では、回復フィルタを作成し、回復処理を施した回復画像をファイルとして記録メディア419aに格納する例を説明した。また、実施例3では、回復フィルタを作成するための情報を撮像データと一緒に保存したファイルを記録メディア419aに格納する例を説明した。
【０１０４】
カメラボディ100に設定された撮影モードがJPEGモードの場合は、実施例1または2の処理により、回復処理を行い、回復処理を施した回復画像をファイルとして記録メディア419aに格納する。一方、撮影モードがRAWモードの場合は、実施例3の処理により、撮像データと回復フィルタの作成に必要な情報をファイルに保存するようにしてもよい。
【実施例４】
【０１０５】
以下、本発明にかかる実施例4の画像処理を説明する。なお、実施例4において、実施例1〜3と同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１０６】
実施例4では、撮影モードに応じたレベルの処理を行う例を説明する。つまり、カメラボディ100に設定された撮影モードがJPEGモードの場合は、撮影時のレンズ設定情報に依存しない共通の回復フィルタを用いて回復処理を行い、回復画像をJPEGフォーマットでファイルに保存する。また、RAWモードの場合は、撮影時のレンズ設定情報に応じて作成した回復フィルタを撮像データとともにファイルに保存する。
【０１０７】
図15、図16は実施例4の処理を説明するフローチャートである。なお、図8、図14と同じ処理には、同一符号を付し、その詳細説明を省略する。
【０１０８】
撮影レンズ200のMPU431は、共通回復フィルタを作成するためのOTFデータをレンズ特性値メモリ429から取得し(S741)、取得したOTFデータをカメラボディ100に送信する(S742)。
【０１０９】
カメラボディ100の回復フィルタ生成部430は、OTFデータを受信し(S743)、カメラボディ100の機器特性をカメラ特性値メモリ428から取得する(S744)。そして、受信したOTFデータと、取得した機器特性から共通回復フィルタの係数を算出し(S745)、算出した係数を画像処理部425に送信する(S746)。
【０１１０】
なお、共通回復フィルタは、撮影レンズ200とカメラボディ100の組み合わせが固定であれば変化しない。従って、ステップS741からS746の処理は、撮影レンズ200とカメラボディ100が接続された後、電源がオンされた初期化処理時に一度実行すればよい。また、共通回復フィルタの生成処理は、図9と同様の処理である。
【０１１１】
次に、画像処理部425は、CPU402から撮影状態の通知を受信すると(S747)、設定された撮影モードをCPU402に問合せる(S748)。そして、撮影モードを判定し(S749)、JPEGモードの場合は、図8に示す処理と同様に、現像処理(S711)、回復フィルタ処理(S712)、出力処理(S713)を実行する。ただし、回復フィルタ処理(S712)には共通回復フィルタを使用する。
【０１１２】
一方、撮影モードがRAWモードの場合、画像処理部425は、OTFデータを撮影レンズ200に要求する(S750)。この要求に応じて、MPU431は、図14の処理と同様に、レンズ設定情報の取得(S731)、OTFデータの読み出し(S732)、OTFデータの送信(S733)を実行する。
【０１１３】
画像処理部425は、図14に示す処理と同様に、OTFデータの受信(S734)、機器特性の取得(S735)、撮像データの取得(S736)、OTFデータ、機器特性、撮像データを保存したファイルの出力(S737)を実行する。
【０１１４】
このように、実施例4では撮影モードに応じて選択的に処理を行う。その結果、JPEGモードが設定された場合は、共通回復フィルタにより回復処理を行えば、回復精度は低下するが、撮影ごとに回復フィルタを作成する処理が不要になり、回復処理に要する演算処理パワーと演算処理時間を低減することができる。一方、RAWモードが設定された場合は、外部で最適な回復処理が可能なように、OTFデータ、機器特性、撮像データを保存したファイルを出力することができる。
【０１１５】
勿論、撮影モードにJPEG+RAWモードが設定された場合は、共通回復フィルタで処理したJPEGデータと、OTFデータ、機器特性、撮像データを保存したファイルを出力すればよい。
【実施例５】
【０１１６】
以下、本発明にかかる実施例5の画像処理を説明する。なお、実施例5において、実施例1〜4と同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１１７】
実施例1中の図6の例では、レンズ特性値メモリ429は、各パラメータの組み合せ（ズーム位置、F値、撮影距離の組み合せ）ごとに310個のOTFデータを保持することとなり、非常に大きな記憶容量を必要とする。
【０１１８】
図17は実施例5におけるレンズ特性値メモリ429が保持するデータ構造の概念を示す図である。
【０１１９】
実施例5におけるレンズ特性値メモリ429は、レンズ設定情報に応じたOTF群が格納されたOTFテーブルのアドレスを示すポインタが記述されたポインタテーブル1701を有する。ポインタテーブル1701はOTFテーブル（不図示）のメモリ中のアドレスを示すOTF群アドレスを各パラメータの組み合わせごとに有する。
【０１２０】
実施例5では、レンズ特性値メモリ429のメモリサイズを削減するため、同一、若しくは、同一とみなせるOTFテーブルを共有することを特徴とする。例えば、遠景を撮影する場合（撮影距離が大きい場合）、撮影距離を変化させても、そのOTFは同一とみなせる場合がある。図17に示すデータ構造例において、「ズーム位置0、F値2.8」の場合、∞から1250mmまでの遠景撮影に対しては、同一のOTFテーブルを指すポインタが格納されている。その一方で、625mm以下の近景撮影に対しては、各パラメータの組み合わせごとに異なるOTFテーブルを指すポインタが格納されている。
【０１２１】
また、「ズーム位置0、F値3.5、撮影距離400mm」に対するOTFテーブルが「ズーム位置1、F値2.8、撮影距離625mm」に対するOTFテーブルと同一であることが示されている。
【０１２２】
上記のような、OTFテーブルの共有化を実現するために、以下のような処理を行う。
(1)全てのパラメータの組み合わせに対応するOTFテーブルを作成する。
(2)レンズ特性値メモリ429のメモリサイズに基づいて、レンズ特性値メモリ429に格納可能なOTFテーブルの数を算出する。
(3)(2)で求めたOTFテーブルの数分の代表的なOTFテーブルを、(1)で作成したOTFテーブルから選択する。
(4)(3)で選択したOTFテーブルをレンズ特性値メモリ429に格納する。
【０１２３】
実施例5では、OTFテーブルの共有化により、レンズ特性値メモリ429のメモリサイズの削減が可能になる。
【０１２４】
その他、OTFテーブルの波長の刻み幅をOTFテーブルごとに変化させることで、レンズ特性値メモリ429のメモリサイズを削減することができる。実施例1では、レンズ特性値メモリ429に保存するOTFデータを400〜700nmにおいて10nm刻みにする例を説明したが、より細かい刻み（例えば1nm）にし、RGBフィルタの分光透過率特性もより細かい刻み（例えば1nm）にしてもよい。その場合、各データ量は10倍になるが、双方が1nm刻みのデータであれば、より正確なOTFデータを得ることができ、回復処理の精度が向上する。例えば、データの変化量が少ないOTFテーブルについては粗い刻み幅を、データの変化量が大きいOTFテーブルについては細かい刻み幅を設定することにより、全体としてレンズ特性値メモリ429のメモリサイズを削減することができる。
【実施例６】
【０１２５】
以下、本発明にかかる実施例6の画像処理を説明する。なお、実施例6において、実施例1〜5と同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１２６】
実施例1中の図10A、図10Bの例では、ナイキスト周波数で挟まれた領域のOTFデータ（MTFデータ）を抜き出すことにより、以後の計算量を削減することができることを説明した。
【０１２７】
しかし、より精度の高い回復フィルタを作成するにはナイキスト周波数以上のOTFデータを用いた方がよい場合がある。例えば、ナイキスト周波数の二倍の周波数（サンプリング周波数）までのOTFデータを取得することにより、ナイキスト周波数成分を超える周波数の折り返し効果を考慮した回復フィルタの設計が可能となる。
【０１２８】
図18は実施例6の回復フィルタを生成する処理(S709)を説明するフローチャートである。
【０１２９】
回復フィルタ生成部430は、ユーザの入力や撮影条件（例えば、高速連写モード等の設定）に基づいて計算モードを設定する(S1801)。計算モードには高精度モードと高速モードがある。そして、設定した計算モードが高精度モードか、高速モードかに応じて処理を分岐する(S1802)。高精度モードを設定した場合は、レンズ特性値メモリ429からサンプリング周波数までのOTFデータを読み込む(S1803)。一方、高速モードを設定した場合は、レンズ特性値メモリ429からナイキスト周波数で挟まれた領域のOTFデータを読み込む(S1804)。そして、ステップS1803又はS1804で読み込んだOTFデータに基づいて回復フィルタを作成する(S1805)。
【０１３０】
以上のような処理により、ユーザの志向（高速に回復させたいか、高精度に回復させたいかという要望）や撮影状況（高速連写モードか否か等）に応じた回復フィルタを生成して回復処理を行うことが可能となる。
【０１３１】
［変形例］
超望遠レンズなど、内蔵された切り替えフィルタを持つ撮影レンズの場合は、切り替えフィルタの種類をレンズ設定情報に含める。そして、撮影レンズ側でそれぞれの切り替えフィルタに応じたOTFデータを、レンズ特性値メモリ429に保持しておく。
【０１３２】
さらに、撮影レンズ自体の分光透過率特性をレンズ特性値に含めてもよい。その場合、回復フィルタを作成する際は、カメラボディが持つRGBフィルタの分光透過率特性と撮影レンズの分光透過率特性を掛け合わせたものを、RGBフィルタ分光透過率特性の代わりに用いる。
【０１３３】
また、撮像デバイス上に赤外カットフィルタや紫外カットフィルタが配置される場合もあるが、これらフィルタの分光透過率特性も、カメラボディが持つRGBフィルタの分光透過率特性に含めることが可能である。さらに、撮像デバイスの分光感度特性を考慮して、カメラボディが持つRGBフィルタの分光透過率特性を保持することも可能である。
【０１３４】
［他の実施例］
本発明の一面は、システムまたは装置のコンピュータ（またはCPUやMPUなどのデバイス）が上記実施例の機能を実行するためにメモリデバイスに記録されたプログラムを読み出して実行することにより実現される。また、システムまたは装置のコンピュータが上記実施例の機能を実行するために、例えばメモリデバイスに記録されたプログラムの方法やステップを読み出して実行することにより実現される。この目的のために、プログラムは、例えばネットワークまたはメモリデバイスにかなう様々な種類の記録媒体（例えばコンピュータが読み取り可能な媒体）を介して、コンピュータに供給される。
【０１３５】
典型的な実施例を参照して本発明を説明したが、発明は、開示した典型的な実施例に制限されないことが理解されるべきである。下記の請求項の範囲は、最も広い解釈に一致すべきであり、そのような変形、並びに、等価な構成および機能のすべてを包含する。
【０１３６】
2008年12月10日に出願された日本国特許出願2008-315031の利益のすべてがこの出願に含まれることを、この言及により主張する。
【図１】
0005162029.tif 000002
【図２】
0005162029.tif 000003
【図３】
0005162029.tif 000004
【図４】
0005162029.tif 000005
【図５】
0005162029.tif 000006
【図６】
0005162029.tif 000007
【図７】
0005162029.tif 000008
【図８】
0005162029.tif 000009
【図９】
0005162029.tif 000010
【図１０Ａ】
0005162029.tif 000011
【図１０Ｂ】
0005162029.tif 000012
【図１１】
0005162029.tif 000013
【図１２】
0005162029.tif 000014
【図１３】
0005162029.tif 000015
【図１４】
0005162029.tif 000016
【図１５】
0005162029.tif 000017
【図１６】
0005162029.tif 000018
【図１７】
0005162029.tif 000019
【図１８】
0005162029.tif 000020