(57)【特許請求の範囲】
【請求項１】
複数種類の光学系の特性データを記憶可能な特性データ記憶部と、
前記特性データ記憶部を制御する記憶制御部と、
原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことにより、回復画像データを取得する復元処理部と、を備え、
前記復元処理部は、前記特性データ記憶部に記憶される前記特性データに基づいて前記復元フィルタを取得し、
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する場合、光学系の種類に応じて前記特性データに割り当てられる復元評価値であって、前記復元処理による画像復元の程度を表す復元評価値に基づき、前記特性データ記憶部に記憶する前記特性データを制御する画像処理装置。
【請求項２】
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する際、前記特性データ記憶部に既に記憶されている前記特性データを前記特性データ記憶部から削除する場合には、前記復元評価値に基づき、前記復元処理による画像復元の程度が小さい順に、前記特性データを前記特性データ記憶部から削除する請求項１に記載の画像処理装置。
【請求項３】
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する際、前記特性データ記憶部に既に記憶されている前記特性データの記憶領域に新たな特性データを記憶する場合には、前記新たな特性データの記憶領域を、前記復元評価値に基づき、前記特性データ記憶部に既に記憶されている前記特性データの記憶領域のうちから、前記復元処理による画像復元の程度が小さい前記特性データの記憶領域の順に決める請求項１又は２に記載の画像処理装置。
【請求項４】
前記特性データ記憶部に記憶される前記特性データは、光学系の種類に応じて定められ、
前記復元評価値は、光学系の種類毎に定められ、
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する際、前記特性データ記憶部に既に記憶されている前記特性データを前記特性データ記憶部から削除する場合には、前記復元評価値に基づき、光学系の種類に応じて前記特性データを前記特性データ記憶部から削除する請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記特性データ記憶部に記憶される前記特性データは、光学系の種類に応じて定められ、
前記復元評価値は、光学系の種類毎に定められ、
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する際、前記特性データ記憶部に既に記憶されている前記特性データの記憶領域に新たな特性データを記憶する場合には、前記新たな特性データの記憶領域を、前記復元評価値に基づき、前記特性データ記憶部に既に記憶されている前記特性データの記憶領域のうちから、前記特性データに対して定められる光学系の種類に応じて決める請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記特性データ記憶部に記憶される前記特性データは、光学系の種類及び撮影条件に応じて定められ、
前記復元評価値は、光学系の種類及び撮影条件に応じて定められ、
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する際、前記特性データ記憶部に既に記憶されている前記特性データを前記特性データ記憶部から削除する場合には、前記復元評価値に基づき、光学系の種類及び撮影条件に応じて前記特性データを前記特性データ記憶部から削除する請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項７】
前記特性データ記憶部に記憶される前記特性データは、光学系の種類及び撮影条件に応じて定められ、
前記復元評価値は、光学系の種類及び撮影条件に応じて定められ、
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する際、前記特性データ記憶部に既に記憶されている前記特性データの記憶領域に新たな特性データを記憶する場合には、前記新たな特性データの記憶領域を、前記復元評価値に基づき、前記特性データ記憶部に既に記憶されている前記特性データの記憶領域のうちから、前記特性データに対して定められる光学系の種類及び撮影条件に応じて決める請求項１〜３及び６のいずれか一項に記載の画像処理装置。
【請求項８】
前記特性データ記憶部に記憶される前記特性データは、光学系の種類及び撮影条件に応じて定められ、
前記復元評価値は、光学系の種類及び撮影条件に応じて定められ、
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する際、前記特性データ記憶部に既に記憶されている前記特性データを前記特性データ記憶部から削除する場合には、光学系の種類毎の前記復元評価値から算出される代表値に基づき、光学系の種類に応じて前記特性データを前記特性データ記憶部から削除する請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項９】
前記特性データ記憶部に記憶される前記特性データは、光学系の種類及び撮影条件に応じて定められ、
前記復元評価値は、光学系の種類及び撮影条件に応じて定められ、
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する際、前記特性データ記憶部に既に記憶されている前記特性データの記憶領域に新たな特性データを記憶する場合には、前記新たな特性データの記憶領域を、光学系の種類毎の前記復元評価値から算出される代表値に基づき、前記特性データ記憶部に既に記憶されている前記特性データの記憶領域のうちから、前記特性データに対して定められる光学系の種類に応じて決める請求項１〜３及び８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記代表値は、光学系の種類毎の前記復元評価値の平均値、最大値又は最小値である請求項８又は９に記載の画像処理装置。
【請求項１１】
前記特性データは、前記光学系の物理特性を表すデータである請求項１〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記復元処理部は、前記復元処理に使用する処理パラメータを前記特性データから算出する請求項１１に記載の画像処理装置。
【請求項１３】
前記特性データは、前記復元処理に使用する処理パラメータである請求項１〜１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記記憶制御部は、
光学系の前記特性データを保持する第１のデータソース及び第２のデータソースから、光学系の前記特性データを取得して、前記特性データ記憶部に記憶可能であり、
前記第１のデータソースから光学系の前記特性データを取得して前記特性データ記憶部に記憶するのに要する見込み時間と、前記第２のデータソースから光学系の前記特性データを取得して前記特性データ記憶部に記憶するのに要する見込み時間とを算出し、前記第１のデータソース及び前記第２のデータソースのうち見込み時間の短い方から光学系の前記特性データを取得して前記特性データ記憶部に記憶する請求項１〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記記憶制御部は、
光学系の前記特性データを保持する第１のデータソース及び第２のデータソースから、光学系の前記特性データを取得して、前記特性データ記憶部に記憶可能であり、
前記光学系の前記特性データを前記第１のデータソースが保持していない場合に、前記第２のデータソースから当該特性データを取得して前記特性データ記憶部に記憶する請求項１〜１３のいずれか一項に記載の画像処理装置。
【請求項１６】
前記記憶制御部は、前記特性データを前記特性データ記憶部に記憶する場合、前記復元処理による画像復元の程度が大きい撮影条件の順に、前記特性データを前記特性データ記憶部に記憶する請求項１〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する請求項１〜１６のいずれか１項に記載の画像処理装置。
【請求項１８】
複数種類の光学系を装着可能な撮像装置であって、
光学系を介して原画像データを撮影取得する撮像素子と、
請求項１〜１７のいずれか１項に記載の画像処理装置と、を備える撮像装置。
【請求項１９】
前記特性データ記憶部に既に記憶されている前記特性データを前記特性データ記憶部から削除する場合は、装着された光学系の特性データが、前記特性データ記憶部に記憶されていない場合である、請求項１８に記載の撮像装置。
【請求項２０】
前記特性データ記憶部に既に記憶されている前記特性データの記憶領域に新たな特性データを記憶する場合は、装着された光学系の特性データが、前記特性データ記憶部に記憶されていない場合である、請求項１８に記載の撮像装置。
【請求項２１】
バッテリーと、
前記バッテリーの蓄電状態を検知するバッテリー検知部と、を更に備え、
前記記憶制御部は、前記バッテリー検知部が検知する前記バッテリーの蓄電状態に基づき、前記特性データ記憶部に記憶する前記特性データのデータ量を制御する請求項１８〜２０のいずれか１項に記載の撮像装置。
【請求項２２】
複数種類の光学系の特性データを記憶可能な特性データ記憶部に、前記光学系の前記特性データを記憶するステップと、
前記特性データ記憶部に記憶される前記特性データに基づいて取得される復元フィルタを用いた復元処理を、原画像データに対して行うことにより、回復画像データを取得するステップと、を含む画像処理方法であって、
前記特性データを前記特性データ記憶部に記憶する前記ステップにおいて、光学系の種類に応じて前記特性データに割り当てられる復元評価値であって、前記復元処理による画像復元の程度を表す復元評価値に基づき、前記特性データ記憶部に記憶する前記特性データを制御する画像処理方法。
【請求項２３】
複数種類の光学系の特性データを記憶可能な特性データ記憶部に、前記光学系の前記特性データを記憶する手順と、
前記特性データ記憶部に記憶される前記特性データに基づいて取得される復元フィルタを用いた復元処理を、原画像データに対して行うことにより、回復画像データを取得する手順と、をコンピュータに実行させるためのプログラムであって、
前記特性データを前記特性データ記憶部に記憶する前記手順において、光学系の種類に応じて前記特性データに割り当てられる復元評価値であって、前記復元処理による画像復元の程度を表す復元評価値に基づき、前記特性データ記憶部に記憶する前記特性データを制御するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点拡がり関数に基づく復元処理に係る画像処理装置、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
撮像光学系を介して撮影される被写体像には、撮像光学系に起因する回折や収差等の影響により点被写体が微小な広がりを持つ、所謂点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ
Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ボケ）を左右するパラメータとして知られている。【０００３】
この点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることで画質を回復することができる。点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いた画像処理によって撮影画像の点拡がりをキャンセルする処理である。【０００４】
この点像復元処理については様々な手法が提案されており、例えば特許文献１は、ＰＳＦに基づく画像回復アルゴリズムの一例を開示する。この画像回復アルゴリズムでは、レンズ側で回復フィルタを作成し、レンズ−カメラ間の送受信データを撮影パラメータに対応する回復フィルタとすることで、通信データ量の削減が図られている。【０００５】
また特許文献２は、撮影画像を自動的に評価可能にすることを目的とする画像撮像装置を開示する。この画像撮像装置では、撮影画像の画質（露出条件、コントラスト、ボケ及びブレ具合）が自動的に評価される。記録媒体の残り容量が予め設定された容量以下である場合、記録媒体から削除する画像の候補が記録済みの撮影画像の評価結果に基づいて決定され、削除候補の画像の中から、ユーザによって指定された画像が削除される。そして、削除画像の評価値の頻度が集計され、累計頻度の多い評価値の画像が優先的に削除候補とされる。【０００６】
また特許文献３は、レンズユニットとカメラユニットとの組合せに対応した画像回復情報を確実に取得することを目的とするカメラユニットを開示する。このカメラユニットでは、カメラに装着されたレンズのレンズ情報をカメラが保持していない場合に、カメラからレンズに対して画像回復情報の送信要求が出力され、カメラは対応情報をレンズから受信する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１０２１４号公報
【特許文献２】特開２０１０−３５１７７号公報
【特許文献３】特開２０１１−１１９８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、レンズといった光学系の点拡がり現象の影響を取り除いて復元回復画像を取得する復元処理においては、適切な復元フィルタを使用することが大切である。復元フィルタ及びそのフィルタ係数は、レンズ、すなわち光学系の種類だけではなく、Ｆ値等の各種の撮影条件によっても変動する。そのため、点像復元処理を光学系及び撮影条件に応じて適切に行うためには、光学系及び撮影条件に応じた復元フィルタが必要になり、必要とされる全ての復元フィルタのデータ量は膨大になる。【０００９】
一方で、カメラ本体は様々な制約下で必ずしも十分な容量のメモリを搭載することができない。したがって、撮影に使用する可能性のある全ての光学系に関する復元フィルタをカメラ本体のメモリに記憶保持するためには、記憶容量が大きくサイズが小さい高価なメモリが必要になる。【００１０】
しかしながら、レンズ交換式のカメラ本体において、装着可能な全てのレンズ、すなわち光学系に関する復元フィルタを撮影条件毎に保持することは、実際上、非常に難しい。レンズ交換システムでは、交換レンズすなわち光学系とカメラ本体すなわちボディとの組合せが将来的な可能性も含めると無数に存在する一方で、カメラ本体のメモリに保存可能なデータ量には制限が存在するからである。【００１１】
また、点像復元処理の恩恵、言い換えると点像復元処理の効果を受け難いレンズが交換レンズの中に含まれる場合があり、さらに個々のレンズに関しても、設定や撮影条件によっては復元処理の恩恵を受け難い場合がある。また、「交換レンズ」自体だけではなく「交換レンズ及びカメラ本体の組み合わせ」に関しても、復元処理の恩恵を受け難い組み合わせや撮影条件設定がある。【００１２】
このように、点像復元処理による復元効果が本来的に小さい条件下の復元フィルタを、点像復元処理による復元効果が大きい条件下の復元フィルタと同等にメモリに保持することは、復元効果の観点からすると、メモリ容量を浪費しているという見方もできる。【００１３】
したがって、カメラ本体メモリの容量が限られた状況下において、装着レンズ（光学系）の復元フィルタをカメラ本体メモリに効率良く記憶保持する技術が望まれている。特に、通信障害や撮影モード等のために、カメラ本体メモリに新たな復元フィルタを記憶させることが困難な状況に遭遇することがある。このような状況に遭遇しても、点拡がり現象による画質劣化が目立つ画像データが画質修正無しで外部に出力されることを可能な限り防ぐことができる技術が望まれている。【００１４】
しかしながら、これらの要望を満たす技術は従来提案されていない。【００１５】
例えば特許文献１においては、複数の回復フィルタを保存する場合に、撮影モードに応じた保存データの更新を行う方法が開示されている。この方法によれば、「見込まれる使用頻度」に基づいて保持する回復フィルタが決められる。例えば絞り優先モードの場合には、同一絞りに関するデータである回復フィルタが保持され、他の絞りに関するデータが削除される。しかしながら、点拡がり現象とも呼ばれる点像ボケは、撮影に用いられる装着レンズ、撮像素子等の光学撮像ハードウェア、又は絞り、ズーム等の撮影設定条件に依存する。そのため、「出力画像データにおける点像ボケの程度」と「見込まれる使用頻度や使用履歴」との間の相関は低い。したがって、特許文献１の方法を用いて使用頻度に基づいてメモリから削除するデータを決めても、復元効果の大きいデータをカメラ本体側のメモリに残しておけるとは限らず、適切なデータ圧縮にはならない。また、特許文献１の方法のように見込まれる使用頻度に基づいてメモリから削除するデータを決めてしまうと、実際の撮影時において必要なデータが削除されており、撮影画像データに対して精度の良い復元処理を行うことができない場合がある。【００１６】
また、特許文献２及び３においても同様であり、点拡がり現象による画質劣化が目立つ画像データが外部に出力されることを可能な限り防ぐのに有効な復元フィルタ等のデータ
を、カメラ本体側における限られた容量のメモリに記憶保持する技術については開示も示唆もされていない。【００１７】
このように従来技術においては、点像復元処理との関連においてカメラ本体側メモリを必ずしも有効に活用しているとは言えない。したがって、「復元効果の高いレンズのデータを優先的にカメラ本体側のメモリに残し、例えば、Ｆ値両端側、又は焦点距離等の高い復元効果が見込まれる復元推奨条件に関するデータをより優先的にメモリに残す手法」や「カメラ本体側のメモリが記憶保持する複数のレンズの特性データのうち、独立性が高く、他のレンズの特性データとの相関性が低い特性データを、優先的にカメラ本体側のメモリに残す手法」の提案が望まれている。【００１８】
本発明は上述の事情に鑑みてなされたものであり、画像復元の程度を考慮し、限られた記憶容量のメモリ、すなわち記憶部に、復元処理に用いられる光学系の特性データを効率良く記憶保持させることができる技術を提供することを目的の一つとする。【００１９】
また本発明は、記憶部に記憶されている処理パラメータ相互間の独立性を考慮し、限られた記憶容量の記憶部に、復元処理に用いられる光学系の特性データを効率良く記憶保持させることができる技術を提供することを目的の一つとする。
【課題を解決するための手段】
【００２０】
本発明の一態様は、複数種類の光学系の特性データを記憶可能な特性データ記憶部と、特性データ記憶部を制御する記憶制御部と、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って、回復画像データを取得する復元処理部と、を備え、復元処理部は、特性データ記憶部に記憶される特性データに基づいて復元フィルタを取得し、記憶制御部は、特性データを特性データ記憶部に記憶する場合、光学系の種類に応じて特性データに割り当てられる復元評価値であって、復元処理による画像復元の程度を表す復元評価値に基づき、特性データ記憶部に記憶する特性データを制御する画像処理装置に関する。【００２１】
本態様によれば、復元処理による画像復元の程度を表す復元評価値に基づいて、特性データ記憶部に記憶する特性データが制御される。したがって、画像復元の程度を表す復元評価値を考慮し、限られた記憶容量の特性データ記憶部に、復元フィルタ等の復元処理の処理パラメータを効率良く記憶保持させることが可能である。【００２２】
ここでいう「復元評価値」は、復元処理の効果、すなわち画像復元の程度を表す指標であり、任意の観点から復元評価値を光学系の種類に応じて定めることが可能である。例えば、復元処理前後の画像の変化の程度を予測して表した値を、復元評価値としうる。【００２３】
望ましくは、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データを特性データ記憶部から削除する場合には、復元評価値に基づき、復元処理による画像復元の程度が小さい順に、特性データを特性データ記憶部から削除する。【００２４】
本態様によれば、復元処理による画像復元の程度が相対的に大きな特性データが、優先的に特性データ記憶部に記憶保持される。【００２５】
望ましくは、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データの記憶領域に新たな特性データを記憶する場合には、新たな特性データの記憶領域を、復元評価値に基づき、特性データ記憶部に既に記憶されている特性データの記憶領域のうちから、復元処理による画像復元の程度が小さい特性データの記憶領域の順に決める。【００２６】
本態様によれば、復元処理による画像復元の程度が相対的に大きな特性データが、優先的に特性データ記憶部に記憶保持される。【００２７】
望ましくは、特性データ記憶部に記憶される特性データは、光学系の種類に応じて定められ、復元評価値は、光学系の種類毎に定められ、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データを特性データ記憶部から削除する場合には、復元評価値に基づき、光学系の種類に応じて特性データを特性データ記憶部から削除する。【００２８】
本態様によれば、「光学系の種類」を単位として、特性データを特性データ記憶部から削除することができる。【００２９】
望ましくは、特性データ記憶部に記憶される特性データは、光学系の種類に応じて定められ、復元評価値は、光学系の種類毎に定められ、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データの記憶領域に新たな特性データを記憶する場合には、新たな特性データの記憶領域を、復元評価値に基づき、特性データ記憶部に既に記憶されている特性データの記憶領域のうちから、特性データに対して定められる光学系の種類に応じて決める。【００３０】
本態様によれば、「光学系の種類」を単位として、特性データを特性データ記憶部に記憶することができる。【００３１】
望ましくは、特性データ記憶部に記憶される特性データは、光学系の種類及び撮影条件に応じて定められ、復元評価値は、光学系の種類及び撮影条件に応じて定められ、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データを特性データ記憶部から削除する場合には、復元評価値に基づき、光学系の種類及び撮影条件に応じて特性データを特性データ記憶部から削除する。【００３２】
本態様によれば、「光学系の種類」及び「撮影条件」の組み合わせを単位として、特性データを特性データ記憶部から削除することができる。【００３３】
ここでいう「撮影条件」とは、原画像データを撮影取得する際の各種条件であり、原画像データの画質、例えば点拡がり現象等の程度、を左右しうるものである。したがって、撮影時の絞り、焦点距離、被写体距離などの条件を「撮影条件」としうる。【００３４】
望ましくは、特性データ記憶部に記憶される特性データは、光学系の種類及び撮影条件に応じて定められ、復元評価値は、光学系の種類及び撮影条件に応じて定められ、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データの記憶領域に新たな特性データを記憶する場合には、新たな特性データの記憶領域を、復元評価値に基づき、特性データ記憶部に既に記憶されている特性データの記憶領域のうちから、特性データに対して定められる光学系の種類及び撮影条件に応じて決める。【００３５】
本態様によれば、「光学系の種類」及び「撮影条件」の組み合わせを単位として、特性データを特性データ記憶部に記憶することができる。【００３６】
望ましくは、特性データ記憶部に記憶される特性データは、光学系の種類及び撮影条件に応じて定められ、復元評価値は、光学系の種類及び撮影条件に応じて定められ、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データを特性データ記憶部から削除する場合には、光学系の種類毎の復元評価値から算出される代表値に基づき、光学系の種類に応じて特性データを特性データ記憶部から削除する。【００３７】
本態様によれば、光学系の種類毎の復元評価値が撮影条件によって大きく変動する場合であっても、例えば光学系の種類毎に撮影条件の各々に対応する復元評価値から算出される代表値に基づき、復元効果の程度が弱い光学系の特性データを的確に削除することが可能である。【００３８】
望ましくは、特性データ記憶部に記憶される特性データは、光学系の種類及び撮影条件に応じて定められ、復元評価値は、光学系の種類及び撮影条件に応じて定められ、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データの記憶領域に新たな特性データを記憶する場合には、新たな特性データの記憶領域を、光学系の種類毎の復元評価値から算出される代表値に基づき、特性データ記憶部に既に記憶されている特性データの記憶領域のうちから、特性データに対して定められる光学系の種類に応じて決める。【００３９】
本態様によれば、光学系の種類毎の復元評価値が撮影条件によって大きく変動する場合であっても、例えば光学系の種類毎に撮影条件の各々に対応する復元評価値から算出される代表値に基づき、復元効果の程度が弱い光学系の特性データが記憶されていた領域に、新たな光学系の特性データを的確に記憶することが可能である。【００４０】
望ましくは、代表値は、光学系の種類毎の復元評価値の平均値、最大値又は最小値である。【００４１】
本態様によれば、光学系の種類毎の復元評価値の平均値、最大値又は最小値に基づいて的確に、特性データ記憶部から特性データを削除することができ、新たな特性データを特性データ記憶部に記憶させることができる。【００４２】
本発明の他の態様は、複数種類の光学系の特性データを記憶可能な特性データ記憶部と、特性データ記憶部を制御する記憶制御部と、原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って、回復画像データを取得する復元処理部と、を備え、復元処理部は、特性データ記憶部に記憶される特性データに基づいて復元フィルタを取得し、記憶制御部は、特性データを特性データ記憶部に記憶する場合、光学系の種類に応じて特性データに割り当てられる独立性評価値であって、特性データ記憶部に記憶されている特性データ相互間の近似度を表す独立性評価値に基づき、特性データ記憶部に記憶する特性データを制御する画像処理装置に関する。【００４３】
本態様によれば、特性データ記憶部に記憶されている特性データ相互間の近似度を表す独立性評価値に基づいて、特性データ記憶部に記憶する特性データが制御される。したがって、特性データ記憶部に記憶されている特性データ相互間の近似度、すなわち非独立性を考慮し、限られた記憶容量の特性データ記憶部に、復元フィルタ等の復元処理の処理パラメータを効率良く記憶保持させることが可能である。【００４４】
なお、ここでいう「独立性評価値」は、特性データ記憶部に記憶される特性データ相互間の独立性の程度、すなわち特性データ相互の非近似度を表す指標であり、任意の観点から復元評価値を光学系の種類毎に定めることが可能である。【００４５】
望ましくは、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データを特性データ記憶部から削除する場合には、独立性評価値に基づき、特性データ記憶部に記憶されている他の特性データとの近似度が高い順に、特性データを特性データ記憶部から削除する。【００４６】
本態様によれば、独立性評価値に基づき、特性データ記憶部に記憶されている他の特性データとの近似度が高い順に、特性データが特性データ記憶部から削除される。したがって、特性データ記憶部に記憶されている他の特性データとの相違度が相対的に大きな特性データを、特性データ記憶部に記憶保持することができる。【００４７】
望ましくは、記憶制御部は、特性データを特性データ記憶部に記憶する際、特性データ記憶部に既に記憶されている特性データの記憶領域に新たな特性データを記憶する場合には、新たな特性データの記憶領域を、独立性評価値に基づき、特性データ記憶部に既に記憶されている特性データの記憶領域のうち、特性データ記憶部に記憶されている他の特性データとの近似度が高い特性データの記憶領域の順に決める。【００４８】
本態様によれば、独立性評価値に基づき、特性データ記憶部に既に記憶されている特性データの記憶領域のうちから、特性データ記憶部に記憶されている他の特性データとの近似度が高い特性データの記憶領域の順に、新たな特性データの記憶領域が決められる。したがって、特性データ記憶部に記憶されている他の特性データとの相違度が相対的に大きな特性データが、優先的に特性データ記憶部に記憶保持される。【００４９】
望ましくは、独立性評価値は、特性データ記憶部に記憶される特性データ相互間の差に基づいて決められる。【００５０】
本態様によれば、特性データ記憶部に記憶される特性データ相互間の差から、簡便に、独立性評価値を算出することができる。【００５１】
望ましくは、特性データは、光学系の物理特性を表すデータである。【００５２】
ここでいう「光学系の物理特性」とは、復元処理や復元フィルタの算出等に影響を及ぼしうる光学系の特性であり、例えば光学系の点拡がり関数（ＰＳＦ）や光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を「光学系の物理特性」としうる。【００５３】
望ましくは、復元処理部は、復元処理に使用する処理パラメータを特性データから算出する。【００５４】
本態様によれば、復元処理部によって、上述の「光学系の物理特性」から復元処理に使用する処理パラメータが算出される。例えば、光学系の点拡がり関数（ＰＳＦ）や光学伝達関数（ＯＴＦ）から復元フィルタ、フィルタ係数等の復元処理に使用する処理パラメータを算出することが可能である。【００５５】
望ましくは、特性データは、復元処理に使用する処理パラメータである。【００５６】
本態様によれば、復元処理に使用する処理パラメータを復元処理部において算出する必要がなく、復元処理全体の処理速度が向上しうる。【００５７】
望ましくは、記憶制御部は、光学系の特性データを保持する第１のデータソース及び第２のデータソースから、光学系の特性データを取得して、特性データ記憶部に記憶可能であり、第１のデータソースから光学系の特性データを取得して特性データ記憶部に記憶するのに要する見込み時間と、第２のデータソースから光学系の特性データを取得して特性データ記憶部に記憶するのに要する見込み時間とを算出し、第１のデータソース及び第２のデータソースのうち見込み時間の短い方から光学系の特性データを取得して特性データ記憶部に記憶する。【００５８】
本態様によれば、第１のデータソース及び第２のデータソースのうち、光学系の特性データを取得して特性データ記憶部に記憶するのに要する見込み時間が短い方から、光学系の特性データが取得されて特性データ記憶部に記憶される。したがって、特性データの取得及び記憶に要する時間が長くなることを効果的に防ぐことができ、ユーザの利便性を向上することができる。【００５９】
望ましくは、記憶制御部は、光学系の特性データを保持する第１のデータソース及び第２のデータソースから、光学系の特性データを取得して、特性データ記憶部に記憶可能であり、光学系の特性データを第１のデータソースが保持していない場合に、第２のデータソースから特性データを取得して特性データ記憶部に記憶する。【００６０】
本態様によれば、第１のデータソース及び第２のデータソースのうち、光学系の特性データを保持するデータソースから、所望の特性データを適切に取得することができる。【００６１】
望ましくは、記憶制御部は、特性データを特性データ記憶部に記憶する場合、復元処理による画像復元の程度が大きい撮影条件の順に、特性データを特性データ記憶部に記憶する。【００６２】
本態様によれば、特性データの記憶処理が途中で中断した場合であっても、画像復元の程度が大きい撮影条件の特性データが中断前に特性データ記憶部に記憶される確率を上げることができる。これにより、特性データの記憶処理が途中で中断した場合でも、画像復元の程度が大きい復元処理を実行することができる確率を高めることができる。【００６３】
望ましくは、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。【００６４】
本態様によれば、いわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ）光学系を介して得られる原画像データに関しても、特性データ記憶部に記憶する特性データを適切に制御することができる。なお、レンズ部における位相を変調させる手法である光学的位相変調手段は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体、例えばレンズの入射面又は出力面に位相変調機能を持たせたりすることも可能である。【００６５】
本発明の他の態様は、複数種類の光学系を装着可能な撮像装置であって、光学系を介して原画像データを撮影取得する撮像素子と、上記のいずれかの画像処理装置と、を備える撮像装置に関する。【００６６】
本態様によれば、撮像装置において、特性データ記憶部に記憶する特性データを制御し、上述の復元処理を行うことができる。【００６７】
特性データ記憶部に既に記憶されている特性データを特性データ記憶部から削除する場合は、装着された光学系の特性データが、特性データ記憶部に記憶されていない場合であってもよい。【００６８】
特性データ記憶部に既に記憶されている特性データの記憶領域に新たな特性データを記憶する場合は、装着された光学系の特性データが、特性データ記憶部に記憶されていない場合であってもよい。【００６９】
このように、装着された光学系の特性データが特性データ記憶部に記憶されていない場合に、特性データ記憶部から特性データを削除する必要が生じ、或いは特性データ記憶部に既に記憶されている特性データの記憶領域に新たな特性データを記憶する必要が生じうる。【００７０】
望ましくは、撮像装置は、バッテリーと、バッテリーの蓄電状態を検知するバッテリー検知部と、を更に備え、記憶制御部は、バッテリー検知部が検知するバッテリーの蓄電状態に基づき、特性データ記憶部に記憶する特性データのデータ量を制御する。【００７１】
本態様によれば、バッテリーの蓄電状態が少ない場合には、特性データ記憶部への新たな特性データの記憶処理を行わずに、撮影処理等の優先度がより高い処理にバッテリーの残電力が使用されるようにすることが可能である。【００７２】
本発明の他の態様は、複数種類の光学系の特性データを記憶可能な特性データ記憶部に、光学系の特性データを記憶するステップと、特性データ記憶部に記憶される特性データに基づいて取得される復元フィルタを用いた復元処理を、原画像データに対して行うことにより、回復画像データを取得するステップと、を含む画像処理方法であって、特性データを特性データ記憶部に記憶するステップにおいて、光学系の種類に応じて特性データに割り当てられる復元評価値であって、復元処理による画像復元の程度を表す復元評価値に基づき、特性データ記憶部に記憶する特性データを制御する画像処理方法に関する。【００７３】
本発明の他の態様は、複数種類の光学系の特性データを記憶可能な特性データ記憶部に、光学系の特性データを記憶するステップと、特性データ記憶部に記憶される特性データに基づいて取得される復元フィルタを用いた復元処理を、原画像データに対して行うことにより、回復画像データを取得するステップと、を含む画像処理方法であって、特性データを特性データ記憶部に記憶するステップにおいて、光学系の種類に応じて特性データに割り当てられる独立性評価値であって、特性データ記憶部に記憶される特性データ相互間の近似度を表す独立性評価値に基づき、特性データ記憶部に記憶する特性データを制御する画像処理方法に関する。【００７４】
本発明の他の態様は、複数種類の光学系の特性データを記憶可能な特性データ記憶部に、光学系の特性データを記憶する手順と、特性データ記憶部に記憶される特性データに基づいて取得される復元フィルタを用いた復元処理を、原画像データに対して行うことにより、回復画像データを取得する手順と、をコンピュータに実行させるためのプログラムであって、特性データを特性データ記憶部に記憶する手順において、光学系の種類に応じて特性データに割り当てられる復元評価値であって、復元処理による画像復元の程度を表す復元評価値に基づき、特性データ記憶部に記憶する特性データを制御するプログラムに関する。【００７５】
本発明の他の態様は、複数種類の光学系の特性データを記憶可能な特性データ記憶部に、光学系の特性データを記憶する手順と、特性データ記憶部に記憶される特性データに基づいて取得される復元フィルタを用いた復元処理を、原画像データに対して行うことにより、回復画像データを取得する手順と、をコンピュータに実行させるためのプログラムであって、特性データを特性データ記憶部に記憶する手順において、光学系の種類に応じて特性データに割り当てられる独立性評価値であって、特性データ記憶部に記憶される特性データ相互間の近似度を表す独立性評価値に基づき、特性データ記憶部に記憶する特性データを制御するプログラムに関する。
【発明の効果】
【００７６】
本発明の一態様によれば、画像復元の程度を表す復元評価値に基づいて特性データ記憶部に記憶する特性データが制御されるため、画像復元の程度を考慮し、限られた記憶容量の特性データ記憶部に、復元処理に直接的又は間接的に使用される特性データを効率良く記憶保持させることができる。【００７７】
また本発明の他の態様によれば、特性データ記憶部に記憶されている特性データ相互間の近似度を表す独立性評価値に基づいて、特性データ記憶部に記憶する特性データが制御される。したがって、特性データ記憶部に記憶されている処理パラメータ相互間の独立性を考慮し、限られた記憶容量の記憶部（メモリ）に、復元処理に直接的又は間接的に使用される特性データを効率良く記憶保持させることができる。
【図面の簡単な説明】
【００７８】
【図１】コンピュータに接続されるデジタルカメラの概略を示すブロック図である。
【図２】カメラ本体コントローラの機能構成例を示すブロック図である。
【図３】画像撮影から点像復元処理までの概略を示す図である。
【図４】点像復元処理の一例の概略を示すブロック図である。
【図５】点像復元処理部（図２参照）の機能構成の一例を示すブロック図である。
【図６】記憶制御部の機能構成の一例を示すブロック図である。
【図７】図７（ａ）はレンズユニットの斜視図、図７（ｂ）はカメラ本体の正面図、図７（ｃ）はレンズユニット及びカメラ本体の装着前状態の側面図、及び図７（ｄ）は装着後状態の側面図である。
【図８】図８（ａ）、図８（ｂ）、図８（ｃ）、図８（ｄ）、図８（ｅ）、及び図８（ｆ）はカメラ本体に装着可能なレンズユニットの例示する図である。
【図９】復元評価値の求め方の一例を示す図である。
【図１０】復元評価値の求め方の他の例を示す図である。
【図１１】特性データ記憶部の記憶データの一例を示す図であり、図１１（ａ）は新たなレンズユニットの特性データのための記憶領域が確保される前の状態を示し、図１１（ｂ）は新たなレンズユニットの特性データのための記憶領域が確保された後の状態を示す。
【図１２】特性データ記憶部の記憶データの他の例を示す図であり、図１２（ａ）は新たなレンズユニットの特性データのための記憶領域が確保される前の状態を示し、図１２（ｂ）は新たなレンズユニットの特性データのための記憶領域が確保された後の状態を示す。
【図１３】第１実施形態における、新たなレンズユニットの特性データの特性データ記憶部に対する記憶の要否判定フローの一例を示す。
【図１４】新たなレンズユニットの特性データをカメラ本体に取り込むための記憶処理フローの一例を示す図である。
【図１５】第２実施形態における、新たなレンズユニットの特性データの特性データ記憶部に対する記憶の要否判定フローの一例を示す。
【図１６】Ｆ値が「Ｆ１６」の場合の「空間周波数−レスポンス」関係の一例を示す。
【図１７】Ｆ値が「Ｆ２」の場合の「空間周波数−レスポンス」関係の一例を示す。
【図１８】特性データ記憶部の記憶データの一例を示す図であり、図１８（ａ）は新たなレンズユニットの特性データのための記憶領域が確保される前の状態を示し、図１８（ｂ）は新たなレンズユニットの特性データのための記憶領域を確保するために削除対象となる特性データを示し、図１８（ｃ）は新たなレンズユニットの特性データのための記憶領域が確保された後の状態を示す。
【図１９】特性データ記憶部の記憶データの他の例を示す図であり、図１９（ａ）は新たなレンズユニットの特性データのための記憶領域が確保される前の状態を示し、図１９（ｂ）は新たなレンズユニットの特性データのための記憶領域を確保するために削除対象となる特性データを示し、図１９（ｃ）は新たなレンズユニットの特性データのための記憶領域が確保された後の状態を示す。
【図２０】第３実施形態における、新たなレンズユニットの特性データの特性データ記憶部に対する記憶の要否判定フローの一例を示す。
【図２１】独立性評価値の求め方の一例を示す図であり、特性データ記憶部が保持する特性データのイメージを示す。
【図２２】第４実施形態における、新たなレンズユニットの特性データの特性データ記憶部に対する記憶の要否判定フローの一例を示す。
【図２３】ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。
【図２４】ＥＤｏＦ光学系の一例を示す図である。
【図２５】図２３に示す復元処理ブロックによる復元処理フローの一例を示す図である。
【図２６】ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、図２６（ａ）は復元処理前のボケた画像を示し、図２６（ｂ）は復元処理後のボケが解消された画像（点像）を示す。
【図２７】本発明の撮像装置の一実施形態であるスマートフォンの外観を示すものである。
【図２８】図２７に示すスマートフォンの構成を示すブロック図である。
【発明を実施するための形態】
【００７９】
添付図面を参照して本発明の実施形態について説明する。以下の説明では、一例として、パーソナルコンピュータ等のコンピュータに接続可能なデジタルカメラ（撮像装置）に本発明を適用する例について説明する。
【００８０】
＜第１実施形態＞
図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。
【００８１】
デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して、レンズユニット１２とカメラ本体１４とは電気的に接続される。
【００８２】
レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）と、後述の点像復元処理で用いる復元フィルタを記憶保持するレンズユニットメモリ２４とを含む。
【００８３】
レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。また、レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、レンズユニットメモリ２４が保持する復元フィルタを読み出して、レンズユニット入出力部２２及びカメラ本体入出力部３０を介してカメラ本体コントローラ２８に送る。
【００８４】
レンズユニットメモリ２４は、光学系（特にレンズ１６）の点拡がり関数に基づいて求められる復元フィルタを保持し、レンズユニットコントローラ２０によって、レンズユニットメモリ２４の復元フィルタがカメラ本体コントローラ２８に送られる。復元フィルタは、周波数空間フィルタであってもよいし実空間フィルタであってもよく（後述の図４参照）、例えばレンズユニットメモリ２４が周波数空間フィルタを保持し、カメラ本体コントローラ２８が周波数空間フィルタから実空間フィルタを算出してもよい。
【００８５】
また、フィルタ係数や処理パラメータ等の復元フィルタの代わりに、復元フィルタの算出をする際に用いられる基礎データを、レンズユニットメモリ２４からカメラ本体コントローラ２８に送ってもよい。すなわち、カメラ本体コントローラ２８は、復元フィルタの算出アルゴリズムを持ち、レンズユニットメモリ２４から供給される基礎データに基づいて復元フィルタを算出してもよい。この基礎データとして、光学系（レンズ１６）自身の物理特性値を用いることができ、例えば光学系のボケ特性を表すレンズ１６の「点拡がり関数（ＰＳＦ）」や「光学伝達関数（ＯＴＦ）」を好適に用いることが可能である。また、ＯＴＦの絶対値成分、すなわち振幅成分を表す「ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）」及び位相のズレを空間周波数の関数として表した「ＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）」のうち少なくともいずれか一方を、ここでいう基礎データとしてもよい。
【００８６】
一方、カメラ本体１４は、撮像素子２６、カメラ本体コントローラ２８及びカメラ本体入出力部３０に加え、バッテリー２７、無線通信部２９及び入出力インターフェース３２を具備する。
【００８７】
撮像素子２６は、集光用マイクロレンズ、ＲＧＢ等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等）を有し、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。このように、撮像素子２６は光学系を介して原画像データを撮影取得し、原画像データはカメラ本体コントローラ２８の画像処理装置に送信される。
【００８８】
バッテリー２７は、デジタルカメラ１０全体の電源であり、カメラ本体コントローラ２８に制御され、デジタルカメラ１０（レンズユニット１２、カメラ本体１４）の各部に電気を供給する。
【００８９】
無線通信部２９は、カメラ本体コントローラ２８に制御され、外部（後述のアクセスポイント７５等）との間で無線送受信（Ｗｉ−Ｆｉ通信等）を行い、各種データの送受信を行う。
【００９０】
カメラ本体コントローラ２８は、カメラ本体１４を統括的に制御し、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有する。
【００９１】
デバイス制御部３４は、例えば、撮像素子２６からの画像信号の出力を制御したり、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信したり、入出力インターフェース３２や無線通信部２９を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信することができる。また、デバイス制御部３４は、図示しない表示部（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ  ＶｉｅｗＦｉｎｄｅｒや背面液晶表示部）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。
【００９２】
また、本例のデバイス制御部３４は、バッテリー２７の蓄電状態を検知するバッテリー検知部３７を有する。バッテリー検知部３７によって検知されたバッテリー２７の蓄電状態の情報（蓄電情報）は、必要に応じ、デバイス制御部３４から画像処理部３５に送信される。
【００９３】
画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、及び・又はガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、及び・又は輪郭補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。加えて、本例の画像処理部３５は、いわゆる点像復元処理を画像信号（原画像データ）に対して適用する点像復元処理部３６を含む。点像復元処理の詳細については後述する。
【００９４】
図１に示すように、カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２に接続されるコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＴＩＦＦ等の任意のフォーマットとしうる。したがってカメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報、すなわち撮影日時、機種、画素数、及び絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。
【００９５】
コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信制御をしたりする。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力し、コンピュータ６０を制御したり、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御したりすることができる。
【００９６】
サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０やアクセスポイント７５等の外部機器類との送受信接続部を構成する。したがって、サーバコントローラ８４は、サーバ入出力部８２及びインターネット７０等のネットワーク回線を介し、例えばコンピュータ６０のコンピュータ入出力部６２やアクセスポイント７５（デジタルカメラ１０の無線通信部２９）と接続可能である。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードしたり、演算処理を行ってその演算結果をコンピュータ６０に送信したりすることが可能である。同様に、サーバコントローラ８４は、デジタルカメラ１０からの制御指示信号に応じ、デジタルカメラ１０のカメラ本体コントローラ２８と協働し、カメラ本体コントローラ２８との間で必要に応じてデータ類の送受信を行い、データ類をカメラ本体コントローラ２８にダウンロードしたり、演算処理を行ってその演算結果をカメラ本体コントローラ２８に送信したりすることが可能である。
【００９７】
なお、各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。
【００９８】
次に、撮像素子２６を介して得られる被写体像の撮像データ（画像データ）の点像復元処理について説明する。
【００９９】
本例では、カメラ本体１４（カメラ本体コントローラ２８）において点像復元処理が実施される例について説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。
【０１００】
点像復元処理は、光学系（レンズ１６、絞り１７等）を用いた撮影により撮像素子２６から取得される原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行って回復画像データを取得する処理である。
【０１０１】
図３は、画像撮影から点像復元処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。
【０１０２】
このボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して復元フィルタＦを用いた点像復元処理Ｐ１０を行うことにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。
【０１０３】
点像復元処理Ｐ１０で用いられる復元フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報、すなわち点拡がり関数から、所定の復元フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報すなわち点拡がり関数は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタＦを算出する際には、これらの撮影条件の一部又は全部が取得される。
【０１０４】
図４は、点像復元処理の一例の概略を示すブロック図である。
【０１０５】
点像復元処理Ｐ１０は、上述のように復元フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上の復元フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）との加重平均演算（デコンボリューション演算）を行うことにより、点像復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。
【０１０６】
なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタの構成タップ数を指定することによって、適宜算出可能である。
【０１０７】
上述のように、原画像データに対して復元フィルタを用いた点像復元処理を行うことにより、原画像データよりもボケの少ない画像（回復画像データ）であって、本来の被写体像により近い画像に復元することができる。この点像復元処理をカメラ本体１４（カメラ本体コントローラ２８）で行う場合、光学系（レンズ１６）の点拡がり関数に関するデータをカメラ本体１４内で保持することが求められる。とりわけレンズ交換可能システムでは、複数種類の光学系のデータを、カメラ本体１４内に記憶保持することが求められる。加えて、点像復元処理に必要なデータは、レンズ、絞り、焦点距離などの撮影条件によっても変わるため、点像復元処理に必要なデータの全てを当初からカメラ本体１４内に記憶することはメモリ容量の制約上、非常に難しい。
【０１０８】
以下の例では、カメラ本体１４側において、新たなレンズユニット１２の特性データ（光学系の特性データ）を記憶するのに十分な記憶可能残容量を確保できない状況下において、すなわち特性データ記憶部４２の記憶可能残容量が無い、又は記憶容量が少ない状況下において、新たなレンズユニット１２の特性データをカメラ本体１４側に記憶する必要がある場合に、復元効果の大きいレンズのデータを優先的に残すケースについて説明する。
【０１０９】
図５は、点像復元処理部３６（図２参照）の機能構成の一例を示すブロック図である。
【０１１０】
本例の点像復元処理部３６は、複数種類の光学系の特性データを記憶可能な特性データ記憶部４２と、特性データ記憶部４２を制御する記憶制御部４０と、原画像データの点像復元処理を行う復元演算処理部４４とを有する。
【０１１１】
特性データ記憶部４２に記憶される特性データは、光学系の物理特性を表すデータ、すなわちレンズユニット１２（レンズ１６）自身の物理特性を表す特性データであってもよいし、点像復元処理に使用する処理パラメータ、すなわち画像処理用パラメータであってもよい。例えば後述の復元演算処理部４４における点像復元処理で使用する復元フィルタ（処理パラメータ）や、復元フィルタの算出の基礎となるデータ（光学系の物理特性を表すデータ：ＰＳＦ、ＯＴＦ等）が、特性データとして、特性データ記憶部４２に記憶されていてもよい。
【０１１２】
復元演算処理部４４は、フィルタ取得部４６及び演算部４８を有し、光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行って回復画像データを取得する。
【０１１３】
フィルタ取得部４６（復元演算処理部４４）には、原画像データ、原画像データを撮影取得した際の撮影条件データ、及び特性データ記憶部４２が保持するデータ情報（記憶情報）が入力される。フィルタ取得部４６は、これらの入力データ（特性データ記憶部４２の記憶情報、原画像データ及び撮影条件データ）に基づいて点像復元処理の実行の有無を判定し、後段へのデータ送信をコントロールする。
【０１１４】
例えば、入力された原画像データ及び撮影条件データに対応する特性データ（復元フィルタ、ＰＳＦ等）が特性データ記憶部４２に記憶されていない場合、フィルタ取得部４６は、後段の演算部４８における演算処理（点像復元処理）をスキップし、原画像データを後段に送る。一方、入力された原画像データ及び撮影条件データに対応する特性データが特性データ記憶部４２に記憶されている場合、フィルタ取得部４６は、特性データ記憶部４２に記憶される特性データに基づいて原画像データの撮影条件データに対応する復元フィルタを取得し、原画像データとともに対応の復元フィルタを演算部４８に送る。
【０１１５】
なお、特性データ記憶部４２が保持する特性データが「復元フィルタ」の場合、フィルタ取得部４６は、撮影条件データに基づいて対応の復元フィルタを特性データ記憶部４２から読み出して、演算部４８に送る。一方、特性データ記憶部４２が保持する特性データが「光学系の物理特性を表すデータ」の場合、フィルタ取得部４６は、特性データ記憶部４２が保持する対応の「光学系の物理特性を表すデータ」から復元フィルタを算出し、この算出によって取得した復元フィルタを演算部４８に送る。
【０１１６】
演算部４８は、フィルタ取得部４６によって取得された復元フィルタを、原画像データに適用することによって点像復元処理を行い、回復画像データを取得及び出力する。
【０１１７】
なお、復元演算処理部４４（フィルタ取得部４６、演算部４８）に対する原画像データ及び撮影条件データの供給方法は特に限定されない。例えば、撮像素子２６からの原画像データが直接的に復元演算処理部４４に入力されてもよいし、他の図示しないメモリに一旦記憶された原画像データ及び撮影条件データが復元演算処理部４４に入力されてもよい。また、撮影条件データが原画像データに付加されたデータ（例えばＥｘｉｆデータ）が復元演算処理部４４に入力されてもよいし、撮影条件データと原画像データとが別個に入力されてもよい。
【０１１８】
記憶制御部４０は、新たな特性データ（復元フィルタ、ＰＳＦ等）を特性データ記憶部４２に記憶する場合、光学系（レンズ１６）の種類に応じて特性データに割り当てられる復元評価値であって、点像復元処理による画像復元の程度を表す復元評価値に基づき、特性データ記憶部４２に記憶する特性データを制御する。
【０１１９】
図６は、記憶制御部４０の機能構成の一例を示すブロック図である。
【０１２０】
記憶制御部４０は、特性データ記憶部４２における特性データの記憶領域（メモリアドレス）をコントロールする記憶領域判定部５０と、外部との通信をコントロールするメモリ通信制御部５２とを有する。これらの記憶領域判定部５０とメモリ通信制御部５２とが協働することによって、カメラ本体１４側のメモリ（特性データ記憶部４２）の記憶可能残容量を超えたデータ量の特性データを特性データ記憶部４２に新たに記憶する必要が生じた場合でも、特性データ記憶部４２の記憶領域を効率的に活用することができる。
【０１２１】
以下、具体例を挙げて、記憶制御部４０（記憶領域判定部５０、メモリ通信制御部５２）の働きについて説明する。
【０１２２】
図７（ａ）はレンズユニット１２の斜視図、図７（ｂ）はカメラ本体１４の正面図、図７（ｃ）はレンズユニット１２及びカメラ本体１４の装着前状態の側面図、及び図７（ｄ）は装着後状態の側面図を示す。
【０１２３】
本例では、図７に示すように、カメラ本体１４のマウント１５にレンズユニット１２が装着される。この装着後に、レンズユニット１２（レンズ１６）の特性データが、点像復元処理部３６の特性データ記憶部４２（図２及び図５参照）に記憶されているか否かが確認され、必要に応じてレンズユニットメモリ２４（図１参照）から特性データ記憶部４２に特性データが送られる。
【０１２４】
すなわち記憶領域判定部５０は、カメラ本体１４に装着されたレンズユニット１２の特性データが特性データ記憶部４２に保持されているか否かを確認し、保持されてない場合には、そのレンズユニット１２の特性データを特性データ記憶部４２に新たに書き込んで記憶する。例えばユーザが複数種類のレンズユニット１２を保有する場合に、カメラ本体１４に装着したことのない新たなレンズユニット１２をカメラ本体１４に装着するケースや装着したレンズユニット１２の特性データを特性データ記憶部４２が過去に記憶していたが現在保持していないケースが、「カメラ本体１４に装着されたレンズユニット１２の特性データを、特性データ記憶部４２に新たに書き込む必要があるケース」として想定しうる。
【０１２５】
このようなケースにおいて、新たに記憶する必要がある特性データのデータ量がカメラ本体１４（特性データ記憶部４２）の記憶可能残容量を超える場合、特性データ記憶部４２が既に保持する特性データのうち点像復元処理効果が相対的に小さい特性データが記録されているメモリスペースに、新たな特性データが記憶される。
【０１２６】
図８（ａ）、図８（ｂ）、図８（ｃ）、図８（ｄ）、図８（ｅ）、及び図８（ｆ）は、カメラ本体１４に装着可能なレンズユニット１２の例を示す。
【０１２７】
特性データ記憶部４２に記憶される特性データは、光学系の種類に応じて定められる。したがって、例えば、４種類分のレンズユニット１２の特性データを記憶可能な記憶容量を特性データ記憶部４２が持ち、レンズユニットＡ〜レンズユニットＤ（図８（ａ）〜（ｄ））の特性データが特性データ記憶部４２に保持されているケースを想定する。
【０１２８】
このケースにおいて、カメラ本体１４に装着可能なレンズユニット１２のうち、レンズユニットＥ（図８（ｅ）参照）及びレンズユニットＦ（図８（ｆ）参照）の特性データは、特性データ記憶部４２に記憶されていない。レンズユニットＦは、以前は特性データ記憶部４２に対応の特性データが記憶されていたが、現時点では特性データ記憶部４２に対応の特性データが記憶されていない。なおレンズユニットＦは、現時点において、レンズユニット１２に装着されていないため、レンズユニットＦの特性データを特性データ記憶部４２に記憶する必要はない。
【０１２９】
一方、レンズユニットＥは、レンズユニット１２に装着されているので、レンズユニットＥの特性データを特性データ記憶部４２に記憶する必要がある。しかしながら、特性データ記憶部４２は４種類分のレンズユニット１２（レンズユニットＡ〜レンズユニットＤ）の特性データを既に保持しているため、新たなレンズユニットＥの特性データに対する記憶可能残容量が十分ではない。したがって、レンズユニットＥの特性データのための記憶領域を特性データ記憶部４２において確保するため、特性データ記憶部４２が保持する特性データの記憶領域のうちから、レンズユニットＥの特性データを記憶する領域を決める必要がある。
【０１３０】
本例では、レンズユニット１２（光学系）の種類毎に定められる復元評価値に基づいて、新たなレンズユニットＥの特性データのための記憶領域が記憶領域判定部５０によって決められる。具体的には、新たなレンズユニットＥの特性データを特性データ記憶部４２に記憶するために、特性データ記憶部４２に既に記憶されている特性データを特性データ記憶部４２から削除する必要がある場合、記憶制御部４０（記憶領域判定部５０；図５参照）は、復元評価値に基づき、光学系の種類に応じて特性データを特性データ記憶部４２から削除する。また、新たなレンズユニットＥの特性データを特性データ記憶部４２に記憶するために、特性データ記憶部４２に既に記憶されている特性データの記憶領域に新たな特性データを記憶する必要がある場合、記憶制御部４０（記憶領域判定部５０）は、新たな特性データの記憶領域を、復元評価値に基づき、特性データ記憶部４２に既に記憶されている特性データの記憶領域のうちから、特性データに対して定められる光学系の種類に応じて決める。
【０１３１】
例えば、本例のように複数種類のレンズユニット１２（光学系）を装着可能なカメラ本体１４（撮像装置）において、実際に装着された光学系の特性データが、特性データ記憶部４２に記憶されていない場合を、「特性データ記憶部４２に既に記憶されている特性データを特性データ記憶部４２から削除する必要がある場合」としたり、「特性データ記憶部４２に既に記憶されている特性データの記憶領域に新たな特性データを記憶する必要がある場合」としうる。
【０１３２】
ここでいう「復元評価値」とは、点像復元処理部３６における点像復元処理の効果の程度を表し、任意の観点から復元評価値を光学系の種類毎に定めることが可能である。例えば、点像復元処理前後の画像の変化、すなわち画質変化の程度を予測値にて表した値を、復元評価値としうる。復元評価値は、予め対応の特性データに割り当てられていてもよいし、点像復元処理部３６（記憶制御部４０、又はフィルタ取得部４６等）によって対応の特性データに割り当てられてもよい。
【０１３３】
図９は、復元評価値の求め方の一例を示す図である。図９において、横軸は「空間周波数」を示し、縦軸は「レスポンス（画像データ）」を示し、点像復元処理前の画像データ、すなわち原画像データが「復元処理ＯＦＦ」によって示され、点像復元処理後の画像データすなわち回復画像データが「復元処理ＯＮ」によって示されている。図９に示す例では、所定の周波数ｆｄにおける点像復元処理前後の画像データに基づいて、「復元評価値」が定められる。具体的には、点像復元処理前の画像データ及び点像復元処理後の画像データに関し、ある周波数ｆｄでのレスポンスの比や差に基づいて「復元評価値」を定めることできる。なお、所定の周波数ｆｄは、視覚特性等に応じて適宜定めうる。
【０１３４】
図１０は、復元評価値の求め方の他の例を示す図である。図１０における表記は図９における表記と同じ意味であるが、図１０に示す例では、所定の幅を持つ周波数帯域における点像復元処理前後の画像データに基づいて、「復元評価値」が定められる。具体的には、点像復元処理前の画像データ及び点像復元処理後の画像データに関し、ある帯域幅を持つ周波数領域全体のレスポンス差分の累積値（図１０の斜線部参照）などに基づいて「復元評価値」を定めることできる。
【０１３５】
なお、「復元評価値」の求め方は図９や図１０に示す例に限定されるものではなく、例えば、点像復元処理前後の画像データにおけるノイズの抑制程度（例えば色収差の抑制度合いなど）に基づいて「復元評価値」を定めてもよい。復元評価値の基礎を構成する指標（基礎データ）が複数種類存在する場合、それぞれの指標を重み付け加算した総合的な値を点像復元処理の効果の度合いを示す復元評価値として利用することが可能である。
【０１３６】
図１１は、特性データ記憶部４２の記憶データの一例を示す図であり、図１１（ａ）は新たなレンズユニットＥの特性データのための記憶領域が確保される前の状態を示し、図１１（ｂ）は新たなレンズユニットＥの特性データのための記憶領域が確保された後の状態を示す。
【０１３７】
図１１に示す例では、レンズユニットＡの復元評価値が「１００」であり、レンズユニットＢの復元評価値が「８０」であり、レンズユニットＣの復元評価値が「６０」であり、レンズユニットＤの復元評価値が「５０」であり、レンズユニットＥの復元評価値が「４０」である。なお、本例では、復元評価値が大きいレンズユニット１２の特性データほど、もたらされる点像復元処理の効果が大きい。
【０１３８】
この場合、レンズユニットＥの復元評価値が最も低く点像復元処理の効果も最も小さいが、レンズユニットＥはカメラ本体１４に装着されているので、レンズユニットＥの特性データは、他のレンズユニットの特性データよりも優先して特性データ記憶部４２に記憶される。したがって、特性データ記憶部４２に記憶されている特性データのうち、いずれか１種類分のレンズユニット１２に関する特性データの記憶領域を、レンズユニットＥの特性データの記憶領域として定める必要がある。本例では、特性データ記憶部４２に記憶されている特性データの記憶領域うち、復元評価値が小さい順に、新たなレンズユニットＥの特性データのための記憶領域として定められる。例えば、図１１に示す例では、特性データ記憶部４２に記憶されている特性データのうち復元評価値が最も小さいレンズユニットＤに関する特性データの記憶領域が、新たなレンズユニットＥの特性データのための記憶領域として活用される。したがって、図１１に示す例において、新たなレンズユニットＥがカメラ本体１４に装着されると、特性データ記憶部４２には、レンズユニットＡ、レンズユニットＢ、レンズユニットＣ及びレンズユニットＥの特性データが記憶保持される（図１１（ｂ）参照）。
【０１３９】
図１２は、特性データ記憶部４２の記憶データの他の例を示す図であり、図１２（ａ）は新たなレンズユニットＥの特性データのための記憶領域が確保される前の状態を示し、図１２（ｂ）は新たなレンズユニットＥの特性データのための記憶領域が確保された後の状態を示す。図１２に示す例ではレンズユニットＥの復元評価値が「９０」となっているが、図１１に示す例と同様に、カメラ本体１４に装着されているレンズユニットＥの特性データは優先的に特性データ記憶部４２に記憶される。そして、特性データ記憶部４２に記憶されている特性データのうち復元評価値が最も小さいレンズユニットＤに関する特性データの記憶領域が、新たなレンズユニットＥの特性データのための記憶領域として活用される。したがって、図１２に示す例においても、新たなレンズユニットＥがカメラ本体１４に装着されると、特性データ記憶部４２には、レンズユニットＡ、レンズユニットＢ、レンズユニットＣ及びレンズユニットＥの特性データが記憶保持される（図１２（ｂ）参照）。
【０１４０】
なお、新たなレンズユニットＥの特性データは、レンズユニットＥがカメラ本体１４に装着されている間に、レンズユニットメモリ２４（図１参照）から読み出されて、レンズユニットコントローラ２０、レンズユニット入出力部２２、カメラ本体入出力部３０を経て記憶制御部４０（カメラ本体コントローラ２８）に供給され、記憶制御部４０の制御下で特性データ記憶部４２に記憶される。新たなレンズユニットＥの特性データは、レンズユニットメモリ２４以外から取得してもよく、カメラ本体コントローラ２８（記憶制御部４０）に有線接続或いは無線接続する任意の機器類から取得可能である。したがって、例えば、無線通信部２９及びアクセスポイント７５（図１参照）を介してサーバ８０（サーバコントローラ８４）から新たなレンズユニットＥの特性データを取得し、特性データ記憶部４２に記憶してもよい。また、入出力インターフェース３２及びコンピュータ入出力部６２（図１参照）を介してコンピュータ６０（コンピュータコントローラ６４）から新たなレンズユニットＥの特性データを取得し、特性データ記憶部４２に記憶してもよい。
【０１４１】
上述のように、カメラ本体１４に現在取り付けられているレンズユニット１２の特性データを、カメラ本体１４側（特性データ記憶部４２）が持っていない場合、そのレンズユニット１２の特性データを特性データ記憶部４２に取り込む必要がある。カメラ本体１４側（特性データ記憶部４２）の空き記憶容量に余裕があれば、空き記憶領域に新たなレンズユニット１２の特性データを取り込むことができる。しかしながら、空き記憶容量に余裕がない場合、すなわち空き記憶容量では新しいレンズユニット１２の特性データを賄えない場合には、特性データ記憶部４２が既に持っている特性データの一部を削除する必要がある。特性データには、点像復元処理で使用された際の点像復元処理の効果の度合いを表す復元評価値が割り当てられている。新しいレンズユニット１２がカメラ本体１４に取り付けられた場合、復元評価値に基づいて、特性データ記憶部４２が既に持っている特性データの中から効果の小さい順に特性データが削除され、新しいレンズユニット１２の特性データが特性データ記憶部４２に取り込まれる。なお、新しくカメラ本体１４に取り付けられたレンズユニット１２は直近の撮影で使用されるため、点像復元処理の効果の大小に関わらず、対応の特性データが特性データ記憶部４２に取り込まれる。
【０１４２】
図１３は、第１実施形態における、新たなレンズユニットＥの特性データの特性データ記憶部４２に対する記憶の要否判定フローの一例を示す。
【０１４３】
まず、カメラ本体１４に装着されているレンズユニット１２（装着レンズ：光学系）の種類の情報が記憶制御部４０によって取得され（図１３のＳ１）、装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されているか否かが記憶制御部４０によって判定される（Ｓ２）。装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されていると判定される場合（Ｓ２のＹ）、特性データ記憶部４２に対応の特性データを記憶する必要がないため、本処理フローは終了する。
【０１４４】
一方、装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されていないと判定される場合（Ｓ２のＮ）、新たなレンズユニットＥの特性データを記憶するのに十分な空き容量（記憶可能残容量）を特性データ記憶部４２が持っているか否かが、記憶制御部４０によって判定される（Ｓ３）。
【０１４５】
特性データ記憶部４２が十分な空き容量を持っていないと判定される場合（Ｓ３のＮ）、記憶制御部４０（記憶領域判定部５０）の制御下で、復元効果の小さい順にレンズユニット１２の特性データが特性データ記憶部４２から削除される（Ｓ４）。すなわち、記憶制御部４０は、新たな特性データを特性データ記憶部４２に記憶する際、特性データ記憶部４２に既に記憶されている特性データを特性データ記憶部４２から削除する必要がある場合には、復元評価値に基づき、点像復元処理による画像復元の程度が小さい順に、特性データを特性データ記憶部４２から削除する。これにより、特性データ記憶部４２には、新たなレンズユニットＥの特性データを記憶するためのスペース（記憶容量）が確保される。なお、特性データ記憶部４２から削除される特性データのデータ量は、新たに特性データ記憶部４２に記憶する特性データのデータ量に対応する。
【０１４６】
特性データ記憶部４２に記憶されていた特性データの一部が削除された後、記憶制御部４０（記憶領域判定部５０）の制御下で、新たなレンズユニットＥの特性データが特性データ記憶部４２の空きスペースに記憶される（Ｓ５）。すなわち、本例の記憶制御部４０は、新たな特性データを特性データ記憶部４２に記憶する際、特性データ記憶部４２に既に記憶されている特性データの記憶領域に新たな特性データを記憶する必要がある場合には、新たな特性データの記憶領域を、復元評価値に基づき、特性データ記憶部４２に既に記憶されている特性データの記憶領域のうちから、点像復元処理による復元効果の程度が小さい特性データの記憶領域の順に決めることとなる。
【０１４７】
一方、特性データ記憶部４２が十分な空き容量を持っていると判定される場合（Ｓ３のＹ）、記憶制御部４０の制御下で、新たなレンズユニットＥの特性データが特性データ記憶部４２の空き容量（空きメモリスペース）に記憶される（Ｓ５）。
【０１４８】
上述のようにして、新たなレンズユニットＥの特性データを特性データ記憶部４２に取り込むか否かを判定した上で、新たなレンズユニットＥの特性データを特性データ記憶部４２に記憶保持させることができる。なお、図１３では、特性データ記憶部４２から特性データを削除し（Ｓ４）、その後に新たな特性データを記憶する（Ｓ５）例が示されているが、特性データを削除することなく、すなわちステップＳ４をスキップし、特性データ記憶部４２の対応の記憶領域に新たな特性データを上書き保存するようにしてもよい。
【０１４９】
本例ではさらに、新たなレンズユニットＥの特性データを特性データ記憶部４２に取り込む際に、被写体像の撮影を優先するモードであるか否かによって、特性データの取り込み方式が変更される。
【０１５０】
図１４は、新たなレンズユニット１２の特性データをカメラ本体１４に取り込むための記憶処理フローの一例を示す図である。
【０１５１】
図１４に示す例では、撮影優先モード時に、全ての特性データが特性データ記憶部４２に取り込まれる前にユーザから撮影が指示された場合、該当する撮影条件の特性データが特性データ記憶部４２に既に取り込まれていれば、点像復元処理をＯＮにした信号処理、すなわち画像処理が行われる。一方、該当する撮影条件の特性データが特性データ記憶部４２に未だ取り込まれていない場合には、点像復元処理をＯＦＦにした点像復元処理を行わない信号処理、すなわち画像処理が行われる。
【０１５２】
具体的には、まず、デジタルカメラ１０における撮影モードがメモリ通信制御部５２（記憶制御部４０；図６参照）によって確認され、撮影（シャッターレリーズ）優先モードか否かがメモリ通信制御部５２によって判定される（図１４のＳ１１）。なお、撮影モードは、撮影モード選択ダイヤル（撮影条件設定操作部）１３（図７参照）等を介し、ユーザが適宜設定可能である。デバイス制御部３４（図２参照）によってユーザによるモード設定を検知し、この検知結果に基づいて、メモリ通信制御部５２は撮影優先モードか否かを判定することができる。
【０１５３】
なお、ここでいう「撮影優先モード」とは、被写体像の撮影を優先するモードであり、「新たなレンズユニットに関する特性データの特性データ記憶部４２への取り込み」よりも「被写体像の撮影」が優先されるモードである。したがって、撮影モードが「撮影優先モード」ではない場合（Ｓ１１のＮ）、記憶制御部４０（記憶領域判定部５０）の制御下で、新たなレンズユニットＥの特性データのための記憶領域が決定され、新たなレンズユニットＥの特性データの全データが特性データ記憶部４２に記憶され（Ｓ１３）、記憶処理は終了する。なお、「撮影優先モード」ではない場合、特性データの特性データ記憶部４２への記憶処理の途中で、ユーザから撮影指示があったとしても、特性データの特性データ記憶部４２への記憶処理は続行される。
【０１５４】
一方、撮影モードが「撮影優先モード」の場合（Ｓ１１のＹ）、ユーザからの撮影指示の有無がメモリ通信制御部５２によって判定され、具体的にはレリーズがユーザによって操作されたか否かが判定される（Ｓ１２）。なお、レリーズは、シャッターボタン（撮影指示操作部）１１等を介してユーザにより操作可能である。デバイス制御部３４（図２参照）によってシャッターボタン１１の操作の有無を検知し、この検知結果に基づいて、メモリ通信制御部５２はユーザによってレリーズが操作されたか否かを判定することができる。
【０１５５】
ユーザによってレリーズ操作が行われていない場合（Ｓ１２のＮ）、記憶制御部４０（記憶領域判定部５０）の制御下で、新たなレンズユニットＥの特性データが特性データ記憶部４２に記憶される（Ｓ１５）。なお、このステップで特性データ記憶部４２に記憶される特性データのデータ量（記憶データ量Ｄ０）は任意であり、予め定められたデータ量であってもよいし、状況に応じた可変データ量であってもよい。例えば、ユーザによる撮影指示から実際の撮影までの時間を考慮して、本ステップの記憶データ量Ｄ０を定めてもよい。また例えば、本ステップの実行中にユーザからのレリーズ操作によって撮影指示があった場合、撮影指示から本ステップの終了までの時間、すなわち撮影待機時間がユーザのストレスとならない範囲で本ステップでの特性データ記憶量が設定され、被写体像の撮影を過度に阻害しないデータ量に本ステップの記憶データ量Ｄ０を決めることが可能である。また、他の処理の進行状態に応じて、本ステップの記憶データ量Ｄ０が決められてもよい。
【０１５６】
ステップＳ１５において特性データを特性データ記憶部４２に記憶し終わると、新たなレンズユニットＥの特性データの全てを特性データ記憶部４２に記憶したか否かが、記憶制御部４０（記憶領域判定部５０）によって判定される（Ｓ１９）。新たなレンズユニットＥの特性データの全てを特性データ記憶部４２に記憶し終わった場合（Ｓ１９のＹ）、
本処理フローは終了する。一方、新たなレンズユニットＥの特性データの全てを特性データ記憶部４２に記憶し終わってない場合（Ｓ１９のＮ）、上述のステップＳ１２の処理に戻り、レリーズ操作の有無が判定される。
【０１５７】
一方、ユーザによってレリーズ操作が行われた場合（Ｓ１２のＹ）、レリーズ操作に応じて被写体像の撮影が行われ、原画像データが取得される（Ｓ１４）。そして、取得された原画像データの撮影条件に対応する特性データが特性データ記憶部４２に記憶されているか否かが、フィルタ取得部４６（図５参照）によって判定される（Ｓ１６）。ここでいう撮影条件とは、具体的には、絞り、焦点距離、被写体距離などの条件が撮影条件として想定され、これらの条件の各々に基づいて、対応する特性データが特性データ記憶部４２に記憶されているか否かが判定される。
【０１５８】
対応の特性データが特性データ記憶部４２に記憶されていると判定される場合（Ｓ１６のＹ）、フィルタ取得部４６から演算部４８に原画像データ及び復元フィルタが送られ、演算部４８において原画像データに対する点像復元処理が行われる（Ｓ１８）。一方、対応の特性データが特性データ記憶部４２に記憶されていないと判定される場合（Ｓ１６のＮ）、演算部４８はスキップされて点像復元処理は行われず、演算部４８の後段へフィルタ取得部４６から原画像データが送られる（Ｓ１７）。回復画像データ及び原画像データが点像復元処理部３６の後段に送られた後、上述のステップＳ１２に戻り、新たなレンズユニットＥに関する特性データの特性データ記憶部４２への記憶処理が進められる。
【０１５９】
なお上述の例では、対応の特性データが特性データ記憶部４２に記憶されていないと判定される場合（Ｓ１６のＮ）には点像復元処理が行われない（Ｓ１７）が、この場合に、特性データ記憶部４２に既に記憶されている特性データに基づいて演算部４８で点像復元処理が行われてもよい。すなわち、対応の特性データが特性データ記憶部４２に記憶されていないと判定される場合（Ｓ１６のＮ）、フィルタ取得部４６は、例えば、特性データ記憶部４２に記憶されている特性データの中から、代用可能な復元フィルタに関する特性データを選定し、その選定した特性データから代用可能な復元フィルタを取得し、その復元フィルタ及び原画像データを演算部４８に送って、原画像データの点像復元処理が行われてもよい。
【０１６０】
なお、代用可能な復元フィルタの決定手法は特に限定されるものではなく、任意の手法を用いることが可能である。例えば、フィルタ取得部４６は、特性データ記憶部４２が保有する特性データのうち、原画像データの撮影条件データから導き出されるレンズユニット１２の特性と最も近い特性を持つレンズユニット１２の特性データから上記の「代用可能な復元フィルタ」を決定してもよい。このような特性として例えば点拡がり関数（ＰＳＦ、ＯＴＦ等）が挙げられ、フィルタ取得部４６は、原画像データの撮影条件データから導き出される点拡がり関数（ＰＳＦ、ＯＴＦ等）と最も近似する点拡がり関数に対応する復元フィルタを「代用可能な復元フィルタ」として決定してもよい。また、レンズユニット１２（レンズ１６）の種類や撮影条件に基づいて、原画像データの撮影条件データから導き出されるレンズユニット１２の特性と最も近い特性を示す特性データに基づいて、「代用可能な復元フィルタ」を取得してもよい。また、上記の最も近い特性を示す特性データに基づいた、「代用可能な復元フィルタ」を予め定めておいてもよい。すなわち、原画像データの撮影条件データによらず、予め定められた「代用可能な復元フィルタ」若しくは「代用可能な特性データから導き出される復元フィルタ」を用いた原画像データの点像復元処理を、上記のステップＳ１６のＮで示されるケースにおいて実行してもよい。
【０１６１】
以上説明したように、本実施形態によれば、点像復元処理の効果が比較的大きいレンズユニット１２の特性データをカメラ本体１４側（特性データ記憶部４２）に優先的に残すことができる。すなわち、点像復元処理の効果が比較的小さいレンズユニット１２の特性データがカメラ本体１４側（特性データ記憶部４２）から優先的に削除され、カメラ本体１４に取り付けられたレンズユニット１２の特性データは、点像復元処理の効果が比較的小さなレンズユニット１２の特性データが記憶されていたメモリスペースに書き込まれる。これにより、画質劣化シーン、すなわち点像復元処理を行わないことによる画質劣化が目立つシーンにおける、劣化画像データの出力率を低減することができ、システム全体として時間や電力の消費量を低減することができ、ユーザ側における撮影待ちの時間や頻度を軽減することが可能となる。
【０１６２】
新しいレンズユニット１２に関する特性データの取り込み作業は、撮影前や画像データ記録前など様々なタイミングでの実施が考えられるが、いずれのタイミングで取り込み作業を実施するにせよ、ユーザのシャッターチャンスの妨げにならないことが求められる。従って、シャッターチャンスの妨害を防ぐ観点からは、特性データの取り込み処理を他の処理よりも優先して行うモード（例えば、特性データの記憶処理中はシャッターレリーズを保留して撮影を待機するモード）よりも、撮影優先モード（例えば、ユーザによってレリーズ操作等による撮影指示が行われた場合に、特性データの取り込み処理を中断したり、点像復元処理をスキップして画像データを出力したりするモード）の方が、使用頻度が多くなる傾向がある。
【０１６３】
仮に、カメラ本体１４側（特性データ記憶部４２）における特性データの記憶領域、すなわちデータ削除領域を「使用頻度」に応じて決めた場合、画質劣化が比較的大きい画像データの出力確率が高くなってしまう。すなわち、データ削除領域である特性データの記憶領域を「使用頻度」に応じて決める場合、点像復元処理効果とは無関係に特性データ記憶部４２に保持される特性データが決められるため、必ずしも点像復元処理効果が大きい特性データが特性データ記憶部４２に保持されるわけではない。したがって、撮影優先モードにおいてユーザからの撮影指示が行われた際に、点像復元処理効果が大きい特性データが特性データ記憶部４２に保持されているとは限らず、画質劣化が大きい画像データを出力せざるを得ない状況が多く生じることが想定される。
【０１６４】
しかしながら、本実施形態によれば、過去にカメラ本体１４側（特性データ記憶部４２）に記憶したことのある高い点像復元処理効果を期待できるレンズユニット１２の特性データは、カメラ本体１４側（特性データ記憶部４２）に残っている可能性が高い。そのため、撮影優先モードにおいても、点像復元処理が行われずに画質劣化の程度が大きい画像（原画像データ）が出力されてしまう頻度を低減することができる。また特性データの取り込み処理を優先するモードにおいても、「比較的高い点像復元処理効果を期待できるレンズユニット１２についての特性データをカメラ本体１４側（特性データ記憶部４２）に取り込んでいる間ユーザを待機させること」の頻度を低減することができる。
【０１６５】
一方、点像復元処理効果が比較的小さいレンズユニット１２の特性データについては、点像復元処理効果が比較的大きいレンズユニット１２の特性データと比較すると、カメラ本体１４側（特性データ記憶部４２）へのデータ取り込み作業頻度が高くなる可能性はある。ただし、仮に、点像復元処理効果が比較的小さなレンズユニット１２の特性データの取り込みが中断され、対応の特性データを特性データ記憶部４２が持たず、点像復元処理が行われない画像（原画像データ）が出力されることになっても、画質劣化は軽微で済む。このように、点像復元処理効果が大きいレンズユニット１２の特性データをカメラ本体１４側（特性データ記憶部４２）に優先的に残すことで、システムの最適化を図ることができる。
【０１６６】
＜第２実施形態＞
本実施形態において、上述の第１実施形態と同じ構成要素については同一の符号を付し、詳細な説明は省略する。
【０１６７】
第１実施形態では「レンズユニット１２」毎に定められる復元評価値によってレンズユニット１２の特性データの記憶領域を決める例を示したが、本実施形態では、「レンズユニット１２の種類及び撮影条件」に基づいて定められる復元評価値によって、特性データの記憶領域が定められる。したがって、本実施形態では、点像復元処理効果が大きい撮影条件の特性データが、特性データ記憶部４２（図５参照）に優先的に残される。
【０１６８】
図１５は、第２実施形態における、新たなレンズユニット１２の特性データの特性データ記憶部４２に対する記憶の要否判定フローの一例を示す。
【０１６９】
本例においても、上述の第１実施形態（図１３のＳ１〜Ｓ３）と同様に、カメラ本体１４に装着されているレンズユニット１２の種類が記憶制御部４０によって取得され（図１５のＳ２１）、装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されているか否かが記憶制御部４０によって判定される（Ｓ２２）。そして、装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されていないと判定される場合（Ｓ２のＮ）、新たなレンズユニットの特性データを記憶するのに十分な空き容量（記憶可能残容量）を特性データ記憶部４２が持っているか否かが、記憶制御部４０によって判定される（Ｓ２３）。
【０１７０】
特性データ記憶部４２の空き容量が十分ではない場合（Ｓ２３のＮ）、本実施形態では、記憶制御部４０（記憶領域判定部５０）の制御下で、レンズユニット１２の種類及び撮影条件によって定められる復元評価値に基づき、点像復元処理効果が相対的に小さい撮影条件の特性データが特性データ記憶部４２から削除される（Ｓ２４）。
【０１７１】
なお、本実施形態における「復元評価値」も、上述の第１実施形態と同様に、点像復元処理部３６（図２及び図５参照）における点像復元処理の効果の程度を表し、任意の観点から復元評価値を光学系の種類毎に定めることが可能である。
【０１７２】
図１６及び図１７は復元評価値の求め方の一例を示す図であり、図１６は、Ｆ値が「Ｆ１６」の場合の「空間周波数−レスポンス」関係の一例を示し、図１７は、Ｆ値が「Ｆ２」の場合の「空間周波数−レスポンス」関係の一例を示す。なお、図１６及び図１７における表記は、図９における表記と同じ意味である。
【０１７３】
本例では、所定の周波数ｆｄにおける点像復元処理前後の画像データに基づいてＦ値毎に「復元評価値」が定められ、ある周波数ｆｄでのレスポンスの比や差に基づいてＦ値毎の「復元評価値」を定めることできる。例えば図１６及び図１７に示す例によれば、Ｆ１６（図１６）の場合の方がＦ２（図１７）の場合よりも、点像復元処理前後の画像データの差や比が大きい。したがって、「Ｆ１６の場合の方がＦ２の場合よりも点像復元処理効果が大きい」ことを示す復元評価値が、撮影条件（Ｆ値）毎に割り当てられる。
【０１７４】
なお本例では、「レンズユニット１２の種類及びＦ値」に基づいて復元評価値が定められるが、Ｆ値以外の撮影条件データ（例えば絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等）のうちの１つ又は複数の条件に基づいて、復元評価値が定められてもよい。また、点像復元処理前後の画像データにおけるノイズの抑制程度（例えば色収差の抑制度合いなど）に基づいて「復元評価値」を定めてもよいし、複数の指標（基礎データ）を重み付け加算することで得られる総合的な値を「復元評価値」として利用することも可能である。
【０１７５】
そして、図１５のステップＳ２４の後に、記憶制御部４０（記憶領域判定部５０）の制御下で、「点像復元処理効果が相対的に小さい撮影条件の特性データ」が記憶されていた特性データ記憶部４２の記憶領域に、新たなレンズユニット１２の特性データが書き込まれる（Ｓ２５）。
【０１７６】
なお本例の記憶制御部４０は、特性データを特性データ記憶部４２に記憶する場合、復元評価値に基づいて、点像復元処理による画像復元の程度が大きい撮影条件の順に、特性データを特性データ記憶部４２に記憶する。すなわち、復元評価値に基づいて、新たなレンズユニット１２に関する特性データのうち、点像復元処理効果が相対的に大きい撮影条件の特性データから順に、特性データ記憶部４２に書き込まれる。したがって、例えば図１６及び図１７に示す例によれば、Ｆ１６の特性データの方が、Ｆ２の特性データよりも先に、特性データ記憶部４２に書き込まれる。
【０１７７】
このように、点像復元処理効果の大きい撮影条件の特性データから順に、レンズユニット１２（レンズユニットメモリ２４）からカメラ本体１４（カメラ本体コントローラ２８）へ、特性データが送られる。これにより、たとえ新たなレンズユニット１２に関する特性データの特性データ記憶部４２への書き込み（通信）が途中で中断しても、点像復元処理効果が相対的に大きい撮影条件の特性データが中断前に特性データ記憶部４２に書き込まれている確率は高くなる。したがって、結果的に、「点像復元処理によって相対的に大きな画質向上が見込まれる撮影条件」によって撮影取得された原画像データに対する点像復元処理の実施可能確率を上げることができる。
【０１７８】
このように本例では、特性データ記憶部４２に記憶される特性データは、レンズユニット１２（光学系）の種類及び撮影条件に応じて定められる。また復元評価値も、レンズユニット１２（光学系）の種類及び撮影条件に応じて定められる。そして、記憶制御部４０は、特性データを特性データ記憶部４２に記憶する際、特性データ記憶部４２に既に記憶されている特性データを特性データ記憶部４２から削除する必要がある場合には、復元評価値に基づき、光学系の種類及び撮影条件に応じて特性データを特性データ記憶部４２から削除する。また、記憶制御部４０は、特性データを特性データ記憶部４２に記憶する際、特性データ記憶部４２に既に記憶されている特性データの記憶領域に新たな特性データを記憶する必要がある場合には、新たな特性データの記憶領域を、復元評価値に基づき、特性データ記憶部４２に既に記憶されている特性データの記憶領域のうちから、特性データに対して定められる光学系の種類及び撮影条件に応じて決める。
【０１７９】
図１８は、特性データ記憶部４２の記憶データの一例を示す図であり、図１８（ａ）は新たなレンズユニットの特性データのための記憶領域が確保される前の状態を示し、図１８（ｂ）は新たなレンズユニットの特性データのための記憶領域の確保のために削除対象となる特性データを示し、図１８（ｃ）は新たなレンズユニットの特性データのための記憶領域が確保された後の状態を示す。
【０１８０】
図１８に示す例では、レンズユニットＡ（図１８の「レンズＡ」参照）及びレンズユニットＢ（図１８の「レンズＢ」）の特性データが特性データ記憶部４２に記憶されており、Ｆ値（Ｆ１６、Ｆ８、Ｆ４、Ｆ２）毎に復元評価値が割り当てられている。このような状況の下、新たにレンズユニットＣ（図１８の「レンズＣ」参照）がカメラ本体１４に装着され、レンズユニットＣの特性データを特性データ記憶部４２に記憶する必要がある場合を想定する。この場合、特性データ記憶部４２における「レンズユニットＣの特性データの記憶領域」は、復元評価値に基づいて決められる。具体的には、レンズユニットＣの特性データのデータ量に相当する「復元評価値が相対的に小さい（点像復元処理効果が相対的に小さい）特性データ」が特性データ記憶部４２から削除され、その削除された記憶領域にレンズユニットＣの特性データが書き込まれる。図１８の例では、「レンズユニットＡ、Ｆ４」、「レンズユニットＡ、Ｆ２」、「レンズユニットＢ、Ｆ４」及び「レンズユニットＢ、Ｆ２」の特性データが削除対象となる（図１８（ｂ）参照）。
【０１８１】
なお、新たなレンズユニットＣの特性データのための記憶領域の決め方は特に限定されない。例えば、図１８（ｂ）に示すように、復元評価値に基づいて特性データをソートし、ソート後に、新たなレンズユニットＣの特性データのデータ量に相当する記憶領域を求めてもよい。このようにレンズユニット１２（光学系）の種類にかかわらず、撮影条件毎の点像復元処理効果の大きさに基づいて、特性データ記憶部４２が記憶する特性データをソートすることで、レンズユニットＣの特性データの記憶領域を簡便に決めることができる。
【０１８２】
このようにして定められた特性データ記憶部４２の記憶領域に新たなレンズユニットＣの特性データを書き込むことで、点像復元処理効果の高い「レンズユニット及び撮影条件（Ｆ値）」の特性データを特性データ記憶部４２に残しつつ、新たなレンズユニットＣの特性データを特性データ記憶部４２に記憶することができる（図１８（ｃ）参照）。このようにして、点像復元処理効果の大きい「レンズユニット及び撮影条件」の特性データが、特性データ記憶部４２に優先的に残される。なお、特性データ記憶部４２に新たなレンズユニット１２の特性データを取り込む際、復元評価値に基づき、点像復元処理効果の大きい撮影条件の特性データから順に取り込まれる。したがって、図１８に示す例において、レンズユニットＣの特性データは、「Ｆ１６の特性データ」、「Ｆ８の特性データ」、「Ｆ４の特性データ」及び「Ｆ２の特性データ」の順に、特性データ記憶部４２に書き込まれる。
【０１８３】
上述のように、図１８に示す例では、新たなレンズユニット１２の特性データのための記憶領域を決める際、「レンズユニットの種類」と「撮影条件データ（Ｆ値）」とを同等に扱っている。新たなレンズユニット１２の特性データの記憶領域を決める手法は、この図１８の例に限定されるものではなく、「レンズユニットの種類」と「撮影条件データ（Ｆ値）」との間で優劣をつけて新たなレンズユニット１２の特性データの記憶領域を決めてもよい。
【０１８４】
図１９は、特性データ記憶部４２の記憶データの他の例を示す図であり、図１９（ａ）は新たなレンズユニットの特性データのための記憶領域が確保される前の状態を示し、図１９（ｂ）は新たなレンズユニットの特性データのための記憶領域の確保のために削除対象となる特性データを示し、図１９（ｃ）は新たなレンズユニットの特性データのための記憶領域が確保された後の状態を示す。
【０１８５】
図１９に示す例では、記憶制御部４０は、特性データを特性データ記憶部４２に記憶する際、特性データ記憶部４２に既に記憶されている特性データを特性データ記憶部４２から削除する必要がある場合には、レンズユニット１２（光学系）の種類毎の復元評価値から算出される代表値に基づき、光学系の種類に応じて特性データを特性データ記憶部から削除する。また、記憶制御部４０は、特性データを特性データ記憶部４２に記憶する際、特性データ記憶部４２に既に記憶されている特性データの記憶領域に新たな特性データを記憶する必要がある場合には、新たな特性データの記憶領域を、レンズユニット１２（光学系）の種類毎の復元評価値から算出される代表値に基づき、特性データ記憶部４２に既に記憶されている特性データの記憶領域のうちから、特性データに対して定められるレンズユニット１２（光学系）の種類に応じて決める。
【０１８６】
具体的には、「レンズユニット１２単位」で特性データ記憶部４２に記憶される特性データのソートを行い、その後、「撮影条件（Ｆ値）単位」で特性データ記憶部４２に記憶される特性データのソートを行う。「レンズユニット１２単位」のソートは、各レンズユニット１２に関する１つ又は複数の撮影条件に応じて定められた復元評価値の代表値をキーにして行われる。この「代表値」は、レンズユニット１２（光学系）の種類毎の点像復元処理効果の評価値であり、例えば、レンズユニット１２（光学系）の種類毎の復元評価値の平均値、最大値、最小値等を「代表値」として使用することができる。なお、上述の特性データのソートや代表値の算出は、記憶制御部４０（記憶領域判定部５０）において適宜行われる。
【０１８７】
上述のように、レンズユニット１２の種類毎の復元評価値の代表値は、新たなレンズユニットＣの特性データの記憶領域を決める際に、特性データ記憶部４２が記憶する特性データに関して求められる。図１９（ｂ）に示す例では、レンズユニットＡ及びレンズユニットＢの復元評価値の平均値及び最大値が求められ、レンズユニット１２単位で特性データがソートされ、更にレンズユニットＡ及びレンズユニットＢの各々に関して、撮影条件（Ｆ値）単位で特性データのソートが行われている。そして、新たなレンズユニットＣの特性データのデータ量に相当する「復元評価値が相対的に小さい、すなわち点像復元処理効果が相対的に小さい特性データ」（図１９に示す例では「レンズユニットＢ、Ｆ８」、「レンズユニットＢ、Ｆ４」及び「レンズユニットＢ、Ｆ２」の特性データ）が決定される。決定されたこれらの特性データは特性データ記憶部４２から削除され、特性データが削除された記憶領域にレンズユニットＣの特性データが書き込まれる。
【０１８８】
以上説明したように、本実施形態によれば、点像復元処理の効果が大きい撮影条件の特性データが特性データ記憶部４２（カメラ本体１４）に優先的に残されるため、画質劣化シーンの出力率、時間・電力の消費、ユーザの撮影待ち、等の不具合を軽減することができる。
【０１８９】
＜第３実施形態＞
本実施形態において、上述の実施形態と同じ構成要素については同一の符号を付し、詳細な説明は省略する。
【０１９０】
本実施形態においても、上述の第１実施形態及び第２実施形態と同様に、カメラ本体１４に新たに装着されたレンズユニット１２の特性データをカメラ本体１４（特性データ記憶部４２）が持っていない場合には、新たなレンズユニット１２の特性データを特性データ記憶部４２に取りこむ必要がある。また、カメラ本体１４（特性データ記憶部４２）の空きメモリ容量に余裕があれば、新たなレンズユニット１２の特性データを空き記憶領域に書き込むことができるが、空きメモリ容量に余裕がない（新たなレンズユニット１２の特性データのデータ量に相当する空きメモリ容量を確保できない）場合には、特性データ記憶部４２が既に持っている特性データの記憶領域に新たなレンズユニット１２の特性データを書き込む必要ある。この場合、本実施形態では、特性データ記憶部４２が保持する特性データのうち、独立性が大きい特性データを優先的に特性データ記憶部４２に残し、独立性が小さい特性データを優先的に特性データ記憶部４２から削除する。なお、カメラ本体１４に装着されているレンズユニット１２の特性データは、直近の撮影画像（原画像データ）の点像復元処理に使用されるため、独立性の大小に関わらず、カメラ本体１４（特性データ記憶部４２）に記憶される。
【０１９１】
すなわち、第１実施形態及び第２実施形態では「点像復元処理効果（復元評価値）」に基づいてレンズユニット１２の特性データの記憶領域を決める例を示したが、本実施形態では、特性データ記憶部４２が記憶保持する特性データ間の「独立性（独立性評価値）」に基づいて、レンズユニット１２の特性データの記憶領域が決められる。具体的には、記憶制御部４０（図５参照）は、特性データを特性データ記憶部４２に記憶する場合、レンズユニット１２（光学系）の種類に応じて特性データに割り当てられる独立性評価値であって、特性データ記憶部４２に記憶されている特性データ相互間の近似度を表す独立性評価値に基づき、特性データ記憶部４２に記憶する特性データを制御する。
【０１９２】
図２０は、第３実施形態における、新たなレンズユニット１２の特性データの特性データ記憶部４２に対する記憶の要否判定フローの一例を示す。
【０１９３】
本例においても、上述の第１実施形態（図１３のＳ１〜Ｓ３）と同様に、カメラ本体１４に装着されているレンズユニット１２の種類が記憶制御部４０によって取得され（図２０のＳ３１）、装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されているか否かが記憶制御部４０によって判定される（Ｓ３２）。そして、装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されていないと判定される場合（Ｓ３２のＮ）、新たなレンズユニットの特性データを記憶するのに十分な空き容量である記憶可能残容量を特性データ記憶部４２が持っているか否かが、記憶制御部４０によって判定される（Ｓ３３）。
【０１９４】
特性データ記憶部４２の空き容量が十分ではない場合（Ｓ３３のＮ）、本実施形態では、記憶制御部４０（記憶領域判定部５０）の制御下で、レンズユニット１２の種類に応じて定められる独立性評価値に基づき、独立性が相対的に小さいレンズユニット１２（光学系）の特性データが特性データ記憶部４２から削除される（Ｓ３４）。
【０１９５】
なお、本実施形態における「独立性評価値」は、特性データ記憶部４２が保持する特性データ相互間の独立性を表す。
【０１９６】
図２１は、独立性評価値の求め方の一例を示す図であり、特性データ記憶部４２が保持する特性データのイメージを示す。図２１に示す例では、レンズユニットＡ（図２１の「レンズＡ」参照）、レンズユニットＢ（図２１の「レンズＢ」参照）及びレンズユニットＣ（図２１の「レンズＣ」参照）の特性データが特性データ記憶部４２に記憶されている状態で、新たにレンズユニットＤ（図２１の「レンズＤ」参照）がレンズユニット１２に装着され、レンズユニットＤの特性データを特性データ記憶部４２に記憶する必要がある場合が想定されている。なお、図２１における表記は図９等における表記と同じ意味である。
【０１９７】
この場合、特性データ記憶部４２に記憶されているレンズユニットＡ、レンズユニットＢ及びレンズユニットＣの相互間の独立性が、各レンズユニット１２に割り当てられる独立性評価値に基づいて、記憶制御部４０によりチェックされる。具体的には、特性データ記憶部４２に記憶される特性データ相互間の差（レスポンス差）に基づいて、各レンズユニット１２の独立性評価値を決めることが可能である。
【０１９８】
例えば、レンズユニットＡの代表的なレスポンス（画像データ）を「Ｒａ」で表し、レンズユニットＢの代表的なレスポンスを「Ｒｂ」で表し、レンズユニットＣの代表的なレスポンス（画像データ）を「Ｒｃ」で表した場合、レンズユニットＡの独立性評価値Ｄａを「Ｄａ＝（Ｒｂ−Ｒａ）２＋（Ｒｃ−Ｒａ）２」によって求めることが可能である。同様に、レンズユニットＢの独立性評価値Ｄｂ及びレンズユニットＣの独立性評価値Ｄｃを「Ｄｂ＝（Ｒａ−Ｒｂ）２＋（Ｒｃ−Ｒｂ）２」及び「Ｄｃ＝（Ｒｃ−Ｒａ）２＋（Ｒｃ−Ｒｂ）２」によって求めることができる。このようにして求められる独立性評価値Ｄａ、Ｄｂ、Ｄｃは、値が大きいほど、特性データ記憶部４２が保持する他の特性データからの乖離が大きいことを示す。したがって、これらの独立性評価値Ｄａ、Ｄｂ、Ｄｃが小さい順に、レンズユニット１２の特性データの独立性が小さい。例えば、「Ｄｂ＜Ｄａ」及び「Ｄｂ＜Ｄｃ」が成立する場合、レンズユニットＢの特性データの独立性が最も小さいため、レンズユニットＤの特性データを記憶するために、レンズユニットＢの特性データは特性データ記憶部４２から削除される。
【０１９９】
なお、独立性評価値は上記以外の手法によって求められてもよく、特性データ記憶部４
２に記憶される特性データ相互間の独立性（非近似度）を表すことが可能な任意の観点から独立性評価値を定めることが可能である。例えば、独立性評価値の基礎データは特に限定されない。したがって、所定の周波数ｆｄにおける点像復元処理前後の画像データに基づいて「独立性評価値」が定められ、ある周波数ｆｄでのレスポンスの比や差に基づいて「独立性評価値」を定めることできる。また、所定の幅を持つ周波数帯域における点像復元処理前後の画像データに基づいて「独立性評価値」が定められてもよい。具体的には、点像復元処理前の画像データ及び点像復元処理後の画像データに関し、ある帯域幅を持つ周波数領域全体のレスポンス差分の累積値などに基づいて「独立性評価値」を定めることできる。また、点像復元処理前後の画像データにおけるノイズの抑制程度（例えば色収差の抑制度合いなど）に基づいて「独立性評価値」を定めてもよいし、複数の指標（基礎データ）を重み付け加算することで得られる総合的な値を「独立性評価値」として利用することも可能である。
【０２００】
そして、図２０のステップＳ３４の後に、記憶制御部４０（記憶領域判定部５０）の制御下で、「独立性が相対的に小さいレンズユニット１２の特性データ」が記憶されていた特性データ記憶部４２の記憶領域に、新たなレンズユニット１２の特性データが書き込まれる（Ｓ３５）。
【０２０１】
このように本例では、特性データ記憶部４２に記憶される特性データは、特性データ記憶部４２に記憶される特性データ相互間の独立性に応じて定められる。そして、記憶制御部４０は、特性データを特性データ記憶部４２に記憶する際、特性データ記憶部４２に既に記憶されている特性データを特性データ記憶部４２から削除する必要がある場合には、独立性評価値に基づき、特性データ記憶部４２に記憶されている他の特性データとの近似度が高い順に、特性データを特性データ記憶部４２から削除する。また、記憶制御部４０は、特性データを特性データ記憶部４２に記憶する際、特性データ記憶部４２に既に記憶されている特性データの記憶領域に新たな特性データを記憶する必要がある場合には、新たな特性データの記憶領域を、独立性評価値に基づき、特性データ記憶部４２に既に記憶されている特性データの記憶領域のうち、特性データ記憶部４２に記憶されている他の特性データとの近似度が高い特性データの記憶領域の順に決める。
【０２０２】
なお本例では、原画像データの点像復元処理時に対応の特性データが特性データ記憶部４２に記憶されていないと判定される場合、特性データ記憶部４２に記憶されている特性データに基づいて点像復元処理が行われる。すなわち、フィルタ取得部４６（図５参照）は、処理対象の原画像データに対応する特性データが特性データ記憶部４２に記憶されていないと判定する場合、特性データ記憶部４２が保持する特性データに基づいて代用可能な復元フィルタを決定し、その決定した復元フィルタ及び原画像データを演算部４８に送る。これにより、演算部４８において原画像データの点像復元処理が行われる。
【０２０３】
なお、代用可能な復元フィルタの決定手法は特に限定されるものではなく、任意の手法を用いることが可能である。例えば、フィルタ取得部４６は、特性データ記憶部４２が保有する特性データのうち、原画像データの撮影条件データから導き出されるレンズユニット１２の特性と最も近い特性を持つレンズユニット１２の特性データから上記の「代用可能な復元フィルタ」を決定してもよい。このような特性として例えば点拡がり関数（ＰＳＦ、ＯＴＦ等）が挙げられ、フィルタ取得部４６は、原画像データの撮影条件データから導き出される点拡がり関数（ＰＳＦ、ＯＴＦ等）と最も近似する点拡がり関数に対応する復元フィルタを「代用可能な復元フィルタ」として決定してもよい。また、レンズユニット１２（レンズ１６）の種類や撮影条件に基づいて、原画像データの撮影条件データから導き出されるレンズユニット１２の特性と最も近い特性を示す特性データに基づいて、「代用可能な復元フィルタ」を取得してもよい。また、上記の最も近い特性を示す特性データに基づいて、「代用可能な復元フィルタ」を予め定めておいてもよい。すなわち、原画像データの撮影条件データによらず、予め定められた「代用可能な復元フィルタ」若しくは「代用可能な特性データから導き出される復元フィルタ」を用いた原画像データの点像復元処理を実行してもよい。
【０２０４】
以上説明したように本実施形態によれば、点像復元処理に関するデータ、すなわち特性データの独立性が大きいレンズユニット１２の特性データをカメラ本体１４（特性データ記憶部４２）に優先的に残し、独立性が小さいレンズユニット１２の特性データをカメラ本体１４（特性データ記憶部４２）から優先的に削除することで、画質劣化シーンの出力率を軽減することが可能となる。なお、上述の実施形態ではレンズユニット１２毎に割り当てられる独立性評価値について説明したが、上述の第２実施形態と同様に、レンズユニット１２及び撮影条件に応じて独立性評価値の割り当てを行って、特性データ記憶部４２からの特性データの削除や追記（記憶）の処理が行われてもよい。
【０２０５】
＜第４実施形態＞
本実施形態において、上述の実施形態と同じ構成要素については同一の符号を付し、詳細な説明は省略する。
【０２０６】
本実施形態では、複数のデータソースからレンズユニット１２（光学系）の特性データを取得可能な状況において、特性データの取得完了までの見込み時間がより短いデータソースを選択し、その選択したデータソースから特性データを取得する。
【０２０７】
例えば図１に示す例において、レンズユニット１２（レンズユニットメモリ２４）からレンズユニット１２の特性データを取得するケースと、サーバ８０（サーバコントローラ８４）からレンズユニット１２の特性データを取得するケースとを想定することができる。すなわち、記憶制御部４０は、レンズユニット１２（光学系）の特性データを保持する複数のデータソース（レンズユニットメモリ２４（第１のデータソース）及びサーバコントローラ８４（第２のデータソース））から、レンズユニット１２の特性データを取得して、特性データ記憶部４２に記憶することが可能である。
【０２０８】
そして、カメラ本体コントローラ２８（記憶制御部４０）とサーバ８０（サーバコントローラ８４）との間の通信（無線通信部２９及びアクセスポイント７５を介した無線通信）が可能な状況であれば、両データソースからの特性データの取得に要する見込み時間が短いデータソースから特性データが取得される。すなわち、記憶制御部４０は、レンズユニット１２の特性データをレンズユニットメモリ２４から取得して特性データ記憶部４２に記憶するのに要する見込み時間と、サーバコントローラ８４からレンズユニット１２の特性データを取得して特性データ記憶部４２に記憶するのに要する見込み時間とを算出する。そして、記憶制御部４０は、レンズユニットメモリ２４及び特性データ記憶部４２のうち見込み時間の短い方からレンズユニット１２の特性データを取得して特性データ記憶部４２に記憶する。
【０２０９】
したがって、カメラ本体コントローラ２８（記憶制御部４０）とサーバ８０（サーバコントローラ８４）との間で無線通信可能な場合、サーバコントローラ８４からの特性データの取得に要する見込み時間が、レンズユニットメモリ２４からの特性データの取得に要する見込み時間よりも短いケースでは、記憶制御部４０はサーバコントローラ８４から新たなレンズユニット１２の特性データを取得する。
【０２１０】
図２２は、第４実施形態における、新たなレンズユニット１２の特性データの特性データ記憶部４２に対する記憶の要否判定フローの一例を示す。
【０２１１】
本例においても、上述の第１実施形態（図１３のＳ１〜Ｓ３）と同様に、カメラ本体１４に装着されているレンズユニット１２の種類が記憶制御部４０によって取得され（図２
２のＳ４１）、装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されているか否かが記憶制御部４０によって判定される（Ｓ４２）。そして、装着されているレンズユニット１２に対応する特性データが特性データ記憶部４２に記憶保持されていないと判定される場合（Ｓ４２のＮ）、新たなレンズユニット１２の特性データを記憶するのに十分な空き容量である記憶可能残容量を特性データ記憶部４２が持っているか否かが、記憶制御部４０によって判定される（Ｓ４３）。
【０２１２】
特性データ記憶部４２の空き容量が十分ではない場合（Ｓ４３のＮ）、新たなレンズユニット１２の特性データの記憶領域を確保するために、記憶制御部４０（記憶領域判定部５０）の制御下で、所定データ量、すなわち少なくとも新たなレンズユニット１２の特性データのデータ量の特性データが特性データ記憶部４２から削除される（Ｓ４４）。なお、本ステップＳ４４における特性データの削除手法は特に限定されず、例えば上述の第１実施形態（図１３のステップＳ４参照）、第２実施形態（図１５のステップＳ２４参照）又は第３実施形態（図２０のステップＳ３４参照）と同様にして、所定データ量の特性データを特性データ記憶部４２から削除することが可能である。
【０２１３】
十分な空き容量を特性データ記憶部４２が持つと判定される場合（Ｓ４３のＹ）や、所定データ量の特性データが特性データ記憶部４２から削除された場合（Ｓ４４）に、記憶制御部４０（メモリ通信制御部５２）によって、サーバ８０（サーバコントローラ８４）との無線通信可能か否かが検出される（Ｓ４５）。
【０２１４】
記憶制御部４０とサーバ８０との間で無線通信可能であると判定される場合（Ｓ４５のＹ）、記憶制御部４０（メモリ通信制御部５２）によって、レンズユニット１２（レンズユニットメモリ２４）からカメラ本体１４（記憶制御部４０）への特性データの送信に要する時間（データ送信完了時間Ｔ１）を見積もる（Ｓ４６）。また、記憶制御部４０（メモリ通信制御部５２）によって、サーバ８０（サーバコントローラ８４）からカメラ本体１４（記憶制御部４０）への特性データの送信に要する時間（データ送信完了時間Ｔ２）を見積もる（Ｓ４７）。
【０２１５】
そして、記憶制御部４０（メモリ通信制御部５２）は、両見込み時間Ｔ１、Ｔ２の大小関係を判定する。例えば、レンズユニット１２（レンズユニットメモリ２４）からのデータ送信完了時間Ｔ１の方がサーバ８０（サーバコントローラ８４）からのデータ送信完了時間Ｔ２よりも長いと判定される場合（Ｔ１＞Ｔ２；Ｓ４８のＹ）、記憶制御部４０は、サーバ８０（サーバコントローラ８４）から新たなレンズユニット１２の特性データを取得し、特性データ記憶部４２に記憶する（Ｓ４９）。
【０２１６】
一方、記憶制御部４０とサーバ８０との間で無線通信が不可能であると判定される場合（Ｓ４５のＮ）や、レンズユニット１２（レンズユニットメモリ２４）からのデータ送信完了時間Ｔ１がサーバ８０（サーバコントローラ８４）からのデータ送信完了時間Ｔ２以下であると判定される場合（Ｔ１≦Ｔ２；Ｓ４８のＮ）、記憶制御部４０は、レンズユニットメモリ２４から新たなレンズユニット１２の特性データを取得し、特性データ記憶部４２に記憶する（Ｓ５０）。
【０２１７】
以上説明したように本実施形態によれば、レンズユニット１２の特性データの取得完了時間が短いデータソースから所望の特性データを取得することができ、新たなレンズユニット１２の特性データの取得に要する時間や電力の消費を低減して、ユーザの利便性を向上することができる。なお、上述の例では、レンズユニット１２の特性データのデータソースが、カメラ本体１４（カメラ本体コントローラ２８）と通信可能なレンズユニット１２（レンズユニットメモリ２４）及びサーバ８０（サーバコントローラ８４）の場合について説明したが、これらに限定されるものではない。例えば、カメラ本体１４（カメラ本体コントローラ２８）と有線接続される任意のデータソース（レンズユニットメモリ２４、コンピュータコントローラ６４等）及び／又は無線接続される任意のデータソース（サーバコントローラ８４等）によって、上述の「複数のデータソース」を構成してもよい。
【０２１８】
＜他の変形例＞
上述のデジタルカメラ１０を撮影処理システムは例示に過ぎず、他の構成に対しても本発明を適用することが可能である。
【０２１９】
例えば、バッテリー残量に応じて、新たなレンズユニット１２の特性データの取り込み処理を制御してもよい。記憶制御部４０は、バッテリー検知部３７（図２参照）が検知するバッテリー２７の蓄電状態に基づき、特性データ記憶部４２に記憶する復元フィルタ又は特性データのデータ量を制御し、バッテリー残量に応じて取り込むデータ量を変えることができる。したがって、例えばバッテリー２７の蓄電残量が十分ではない場合（蓄電残量が所定の閾値以下の場合）には、新たなレンズユニット１２に関する特性データの特性データ記憶部４２への取り込み記憶処理を中止するようにしてもよい。すなわち、「新たなレンズユニット１２の特性データの取り込み及び記憶」よりも「撮影処理」を優先すべき状況において、バッテリー２７の蓄電残量が十分ではない場合に「新たなレンズユニット１２の特性データの取り込み及び記憶」を行うと、より優先度が高い「撮影処理」が不十分になる可能性がある。したがって、バッテリー２７の蓄電残量が十分ではない場合には、「新たなレンズユニット１２の特性データの取り込み及び記憶」の処理を控えることで、バッテリー２７の限られたより電力を、より優先度の高い処理に対して効率良く使用することができる。
【０２２０】
なお、「新たなレンズユニット１２の特性データの取り込み及び記憶」の処理を行ったとしても、バッテリー２７の蓄電残量を必要以上に低減させない場合には、「新たなレンズユニット１２の特性データの取り込み及び記憶」の処理を行うことができる。このような場合として、例えばバッテリー２７の蓄電残量が十分なケース、外部電源（コンセント等）にカメラ本体１４（バッテリー２７）が接続されているケース、等が想定される。これらのバッテリー２７の蓄電状態（蓄電残量、外部電源接続の有無、等）は、バッテリー検知部３７（図２参照）によって検出され、この検出結果が点像復元処理部３６（記憶制御部４０）に送られ、記憶制御部４０（メモリ通信制御部５２）によって「新たなレンズユニット１２の特性データの取り込み及び記憶」の処理の可否が判定されてもよい。
【０２２１】
また、上述の第４実施形態（図２２参照）において、点像復元処理部３６（記憶制御部４０）は、原画像データの撮影取得時に用いられたレンズユニット１２（光学系）の特性データを第１のデータソース（例えばレンズユニットメモリ２４）が保持していない場合に、この特性データを記憶保持する第２のデータソース（例えばサーバコントローラ８４）から特性データを取得して特性データ記憶部に記憶してもよい。したがって、複数のデータソースの全てが所望のレンズユニット１２の特性データを保持する場合には、特性データの取得完了時間（見込み時間）が最も短いデータソースからこの特性データの取得されるようにすることができる。一方、「所望のレンズユニット１２の特性データを保持しないデータソース」が複数のデータソースに含まれる場合には、「所望のレンズユニット１２の特性データを保持しないデータソース」以外のデータソースのうち、特性データの取得完了時間が最も短いデータソースからこの特性データの取得されるようにしてもよい。これにより、例えばレンズユニット１２側（レンズユニットメモリ２４）に原画像データの撮影条件であるユーザが選んだ撮影条件に対応する特性データがない場合であっても、サーバ８０（サーバコントローラ８４）から対応の特性データをダウンロードして特性データ記憶部４２に記憶することで、適切な点像復元処理を原画像データに施すことが可能である。
【０２２２】
また、上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。したがって、例えば、上述の各装置及び処理部（カメラ本体コントローラ２８、デバイス制御部３４（バッテリー検知部３７）、又は画像処理部３５（点像復元処理部３６）等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。
【０２２３】
＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、及びレンズ種類、など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界、すなわち拡大された焦点深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する撮影レンズ等の光学系によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことにより、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度、すなわち拡大された焦点深度の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。
【０２２４】
以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データを表すＲＧＢデータから得られる、輝度信号を表すＹデータに対して復元処理を行う例について説明する。以下の例では復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。
【０２２５】
図２３は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例におけるデジタルカメラ等の撮像モジュール１０１は、ＥＤｏＦ光学系のレンズユニット１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部）１２０とを含む。
【０２２６】
図２４は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度すなわち拡大された焦点深度が得られるようにＥＤｏＦ光学系１１０を構成する撮影レンズ１１０ＡをＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。
【０２２７】
なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０を構成する撮影レンズ１１０ＡのＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。
【０２２８】
すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（例えば、屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（例えば波面変調ハイブリッドレンズ、又はレンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子である光学フィルタ１１１（位相板）によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。
【０２２９】
図２４に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。
【０２３０】
ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図２３に示す撮像素子１１２に結像され、ここで電気信号に変換される。
【０２３１】
撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、又はハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号、すなわち画像信号として順次出力される。
【０２３２】
ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。
【０２３３】
復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。
【０２３４】
黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号からこの平均を減算することで、黒レベル調整が行われる。
【０２３５】
ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。
【０２３６】
ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。
【０２３７】
デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。
【０２３８】
ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。
【０２３９】
Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。
【０２４０】
次に、復元処理ブロック１２０による復元処理について説明する。図２５は、図２３に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。
【０２４１】
黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（Ｓ６１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。
【０２４２】
黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（Ｓ６２及びＳ６３）。
【０２４３】
ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（Ｓ６４）。
【０２４４】
Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（Ｓ６５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。
【０２４５】
図２６（ａ）に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図２６（ｂ）に示すように小さな点像（高解像度の画像）に復元される。
【０２４６】
上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。
【０２４７】
以上説明したようなＥＤｏＦシステムの復元処理に対しても、上述の実施形態に係る点像復元処理を適用することが可能である。したがって、Ｙ信号復元処理部１２７における復元処理で使用される復元フィルタを、上述の各実施形態と同様にして、カメラ本体側のメモリに記憶することが可能である。
【０２４８】
なお、上述の各実施形態では、点像復元処理部３６が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、レンズユニット１２、コンピュータ６０、或いはサーバ８０等の他の装置に点像復元処理部３６が設けられてもよい。
【０２４９】
例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる点像復元処理部によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が点像復元処理部を備える場合、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の点像復元処理部においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データ（回復画像データ）が送信元に送信・提供されるようにしてもよい。
【０２５０】
また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
【０２５１】
＜スマートフォンの構成＞
図２７は、本発明の撮像装置の一実施形態であるスマートフォン２０１の外観を示すものである。図２７に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０２５２】
図２８は、図２７に示すスマートフォン２０１の構成を示すブロック図である。図２８に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０２５３】
無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０２５４】
表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。
【０２５５】
表示パネル２２１は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、又はＯＥＬＤ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。
【０２５６】
図２７に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０２５７】
なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、又は静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０２５８】
通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２７に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。
【０２５９】
操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２７に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０２６０】
記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、又はＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
【０２６１】
外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）（登録商標）、又はジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０２６２】
スマートフォン２０１に連結される外部機器としては、例えば、有線又は無線ヘッドセット、有線又は無線外部充電器、有線又は無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ  ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線又は無線接続されるスマートフォン、有線又は無線接続されるパーソナルコンピュータ、有線又は無線接続されるＰＤＡ、有線又は無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。
【０２６３】
ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０である例えば、無線ＬＡＮから位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０２６４】
モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。
【０２６５】
電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０２６６】
主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０２６７】
アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
【０２６８】
また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。
【０２６９】
更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０２７０】
表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０２７１】
また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０２７２】
更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０２７３】
また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０２７４】
カメラ部２４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部２５０に記録することができる。また、入出力部２６０や無線通信部２１０を通じて出力することができる。図２７に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、あるいは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２４１を同時に使用して撮影することもできる。
【０２７５】
また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０２７６】
その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報、主制御部等により、音声テキスト変換を行ってテキスト情報となっている音声情報、又はモーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録することができる。また、入出力部２６０や無線通信部２１０を通じて出力することもできる。
【０２７７】
上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。
【０２７８】
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０２７９】
１０…デジタルカメラ、１１…シャッターボタン、１２…レンズユニット、１４…カメラ本体、１５…マウント、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２４…レンズユニットメモリ、２６…撮像素子、２７…バッテリー、２８…カメラ本体コントローラ、２９…無線通信部、３０…カメラ本体入出力部、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３６…点像復元処理部、３７…バッテリー検知部、４０…記憶制御部、４２…特性データ記憶部、４４…復元演算処理部、４６…フィルタ取得部、４８…演算部、５０…記憶領域判定部、５２…メモリ通信制御部、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、７５…アクセスポイント、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、１２０…復元処理ブロック、１２２…黒レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…ＲＧＢ／ＹＣｒＣｂ変換部、１２７…Ｙ信号復元処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部
【図１】
0005851655.tif 000002
【図２】
0005851655.tif 000003
【図３】
0005851655.tif 000004
【図４】
0005851655.tif 000005
【図５】
0005851655.tif 000006
【図６】
0005851655.tif 000007
【図７】
0005851655.tif 000008
【図８】
0005851655.tif 000009
【図９】
0005851655.tif 000010
【図１０】
0005851655.tif 000011
【図１１】
0005851655.tif 000012
【図１２】
0005851655.tif 000013
【図１３】
0005851655.tif 000014
【図１４】
0005851655.tif 000015
【図１５】
0005851655.tif 000016
【図１６】
0005851655.tif 000017
【図１７】
0005851655.tif 000018
【図１８】
0005851655.tif 000019
【図１９】
0005851655.tif 000020
【図２０】
0005851655.tif 000021
【図２１】
0005851655.tif 000022
【図２２】
0005851655.tif 000023
【図２３】
0005851655.tif 000024
【図２４】
0005851655.tif 000025
【図２５】
0005851655.tif 000026
【図２６】
0005851655.tif 000027
【図２７】
0005851655.tif 000028
【図２８】
0005851655.tif 000029