(57)【特許請求の範囲】
【請求項１】
光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、
前記光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得部と、
前記復元フィルタを生成する復元フィルタ生成部と、を備え、
前記復元フィルタ生成部は、前記情報取得部によって取得された前記ばらつき情報に基づいて、前記色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置。
【請求項２】
前記ばらつき情報は、前記色に依存するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散である、請求項１に記載の復元フィルタ生成装置。
【請求項３】
前記情報取得部は、色別の光学伝達関数を取得し、前記色別の光学伝達関数に基づいて前記色に依存するばらつきを算出する、請求項１又は２に記載の復元フィルタ生成装置。
【請求項４】
前記情報取得部は、前記色に依存するばらつきが正規分布に従うとして前記光学伝達関数の平均及び分散を算出し、
前記復元フィルタ生成部は、前記光学伝達関数の平均及び分散に基づいて前記復元フィルタを生成する、請求項３に記載の復元フィルタ生成装置。
【請求項５】
前記復元フィルタ生成部は、前記平均及び前記分散の項が分母に設けられた数式に基づいて前記復元フィルタを生成する、請求項４に記載の復元フィルタ生成装置。
【請求項６】
前記復元フィルタ生成部は、前記平均及び前記分散を空間周波数毎に算出し、当該空間周波数毎の前記平均及び前記分散に基づいて前記復元フィルタを生成する、請求項４又は５に記載の復元フィルタ生成装置。
【請求項７】
前記復元フィルタ生成部は、前記色に依存するばらつきが大きい空間周波数ほど前記復元強度を弱くする復元フィルタを生成する、請求項１から６のうちいずれか１項に記載の復元フィルタ生成装置。
【請求項８】
前記情報取得部は、前記撮像装置で得られる前記輝度系画像データにおける色の確率分布と、色別の前記光学伝達関数とを取得し、取得された前記輝度系画像データにおける色の確率分布と前記色別の光学伝達関数とに基づいて、前記色に依存するばらつきが正規分布に従うとして前記ばらつき情報を算出する、請求項１から７のうちいずれか１項に記載の復元フィルタ生成装置。
【請求項９】
前記ばらつき情報は、前記光学伝達関数の少なくとも前記光学系の製造に起因するばらつきを含み、
前記復元フィルタ生成部は、前記光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、前記復元フィルタの復元強度を弱くする復元フィルタを生成する、請求項１から８のうちいずれか１項に記載の復元フィルタ生成装置。
【請求項１０】
前記ばらつき情報は、前記光学伝達関数の撮影条件に依存するばらつきを含み、
前記復元フィルタ生成部は、前記撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも前記復元フィルタの復元強度を弱くする、請求項１から９のうちいずれか１項に記載の復元フィルタ生成装置。
【請求項１１】
前記復元フィルタ生成部は、少なくとも位相復元を伴う復元処理を行う前記復元フィルタを生成する、請求項１から１０のうちいずれか１項に記載の復元フィルタ生成装置。
【請求項１２】
前記復元フィルタ生成部は、位相復元を伴わない復元処理を行う前記復元フィルタを生成する、請求項１から１０のうちいずれか１項に記載の復元フィルタ生成装置。
【請求項１３】
前記復元フィルタ生成部は、前記復元フィルタとしてＷｉｅｎｅｒフィルタを生成する、請求項１から１２のうちいずれか１項に記載の復元フィルタ生成装置。
【請求項１４】
前記光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する、請求項１から１０のうちいずれか１項に記載の復元フィルタ生成装置。
【請求項１５】
光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、
前記光学系の光学伝達関数の、前記光学系の製造に起因するばらつきを示すばらつき情報を取得する情報取得部と、
前記復元フィルタを生成する復元フィルタ生成部と、を備え、
前記ばらつき情報は前記光学系の製造に起因するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散であり、
前記復元フィルタ生成部は、前記情報取得部によって取得された前記ばらつき情報に基づいて、前記光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置。
【請求項１６】
光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、
前記光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報を取得する情報取得部と、
前記復元フィルタを生成する復元フィルタ生成部と、を備え、
前記ばらつき情報は前記撮影条件に依存するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散であり、
前記復元フィルタ生成部は、前記情報取得部によって取得された前記ばらつき情報に基づいて、前記撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置。
【請求項１７】
光学系を有する撮像装置で得られる色別の画像データに基づいて生成された輝度に関する画像データである輝度系画像データを取得する画像データ取得部と、
請求項１から１４のうちいずれか１項に記載の復元フィルタ生成装置により生成された前記復元フィルタを、格納する復元フィルタ格納部と、
前記画像データ取得部で取得された前記輝度系画像データに対して、前記復元フィルタ格納部に格納されている前記復元フィルタを用いて復元処理を施す復元処理部と、
を備える画像処理装置。
【請求項１８】
光学系を有する撮像装置で得られる画像データを取得する画像データ取得部と、
請求項１５又は１６に記載の復元フィルタ生成装置により生成された前記復元フィルタを、格納する復元フィルタ格納部と、
前記画像データ取得部で取得された前記画像データに対して、前記復元フィルタ格納部に格納されている前記復元フィルタを用いて復元処理を施す復元処理部と、
を備える画像処理装置。
【請求項１９】
請求項１から１４のうちいずれか１項に記載の復元フィルタ生成装置を含む、請求項１７に記載の画像処理装置。
【請求項２０】
請求項１５又は１６に記載の復元フィルタ生成装置を含む、請求項１８に記載の画像処理装置。
【請求項２１】
光学系と、複数色の色毎の画像データを出力する撮像素子と、
請求項１９又は２０に記載の画像処理装置と、
を備える撮像装置。
【請求項２２】
光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
前記光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、
前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法。
【請求項２３】
光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
前記光学系の光学伝達関数の、前記光学系の製造に起因するばらつきを示すばらつき情報を取得する情報取得ステップと、
前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
前記ばらつき情報は前記光学系の製造に起因するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散であり、
前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記光学伝達関数の前記光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法。
【請求項２４】
光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、
前記光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、
前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
前記情報取得ステップで取得される前記ばらつき情報は、前記撮影条件に依存するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散であり、
前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法。
【請求項２５】
光学系を有する撮像装置により得られた色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データを取得する画像データ取得ステップと、
請求項２２に記載の復元フィルタ生成方法により生成された前記復元フィルタを用いて、前記画像データ取得ステップで取得された前記輝度系画像データに対して復元処理を施す復元処理ステップと、
を有する画像処理方法。
【請求項２６】
光学系を有する撮像装置により得られた画像データを取得する画像データ取得ステップと、
請求項２３又は２４に記載の復元フィルタ生成方法により生成された前記復元フィルタを用いて、前記画像データ取得ステップで取得された前記画像データに対して復元処理を施す復元処理ステップと、
を有する画像処理方法。
【請求項２７】
光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、
前記光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、
前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラム。
【請求項２８】
光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、
前記光学系の光学伝達関数の、前記光学系の製造に起因するばらつきを示すばらつき情報として、前記光学系の製造に起因するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散を取得する情報取得ステップと、
前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
前記復元フィルタ生成ステップでは、前記取得されたばらつき情報に基づいて、前記光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラム。
【請求項２９】
光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、
前記光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報として、前記撮影条件に依存するばらつきが正規分布に従うとして算出された前記光学伝達関数の分散を取得する情報取得ステップと、
前記復元フィルタを生成する復元フィルタ生成ステップと、を備え、
前記復元フィルタ生成ステップでは、前記情報取得ステップで取得されたばらつき情報に基づいて、前記撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、前記分散の項が分母に設けられた数式に基づいて前記復元強度を算出することにより、前記撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラム。
【請求項３０】
請求項２７から２９のいずれか１項に記載のプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数色の色毎の画像データに基づいて生成された輝度系画像データに対する復元処理を行うための復元フィルタを生成する復元フィルタ生成装置及び方法、この復元フィルタを用いて復元処理を行う画像処理装置及び方法、この画像処理装置を備える撮像装置、復元フィルタを生成するためのプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、光学系（撮影レンズ等）の種々の収差に由来する画像劣化が生じる場合がある。この収差による画像劣化は、点像分布関数（ＰＳＦ：Point Spread Function）等により表現可能である。従って、ＰＳＦ等の光学系の劣化特性に基づき復元フィルタを生成し、この復元フィルタを用いて画像データに対して点像復元処理（復元処理）を施すことにより、画像劣化を低減させることができる。【０００３】
特許文献１（特に段落［００４３］−［００４８］を参照）は、撮像デバイスから入力した画像データから輝度成分Ｙを分離し、その輝度成分Ｙ（＝Ｗｒ×Ｒ＋Ｗｇ×Ｇ＋Ｗｂ×Ｂ）におけるＲ，Ｇ，Ｂの係数（Ｗｒ，Ｗｇ，Ｗｂ）を用いて、Ｒ，Ｇ，Ｂ各色の点像分布関数（ＰＳＦｒ,ＰＳＦｇ,ＰＳＦｂ）を合成することで、輝度成分の点像分布関数ＰＳＦｙ（＝Ｗｒ×ＰＳＦｒ＋Ｗｇ×ＰＳＦｇ＋Ｗｂ×ＰＳＦｂ）を取得し、この輝度成分の点像分布関数ＰＳＦｙに基づいて輝度成分Ｙに対する補正係数を算出する発明を、開示している。【０００４】
特許文献２は、復元フィルタの調整パラメータとして振幅特性が選択された場合には、ユーザが調整バーで調整した量に応じて、復元フィルタのゲイン（振幅特性）を変更し、調整パラメータとして位相特性が選択された場合には、ユーザが調整バーで調整した量に応じて、復元フィルタの位相角（位相特性）を変更する発明を、開示している。【０００５】
特許文献３は、点像分布関数の色成分間の差異（色収差）を相対的な平行移動によって低減し、その点像分布関数に基づいて復元フィルタを生成する発明を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１４０４４２号公報
【特許文献２】特開２０１１−１９３２７７号公報
【特許文献３】特開２０１２−１２９９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の発明は、補正対象の画像データの輝度成分のみを補正するので、Ｒ，Ｇ，Ｂの位相ずれ量を全ての色で平均的に戻すことは可能であるが、特定の波長の色において、位相ずれの戻し過ぎ（過補正）が発生してしまう問題がある。特に、輝度系画像データに対して位相補正を行う場合には、複数色（Ｒ，Ｇ，Ｂ）の各色の画像データ（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）に対して個別に位相補正を行う場合とは異なり、位相の過補正が生じ易い。位相が過補正になると、アーティファクトが生じ、却って画質が劣化することもある。【０００８】
特許文献２に記載の発明は、ユーザ入力により復元フィルタの振幅特性（変調特性）と位相特性とを個別に調整可能であるが、Ｒ,Ｇ,Ｂ各色ごとの画像データに対して復元処理を行うものであり、輝度成分のみを補正する場合に生じる特定の色における過補正の問題については触れられておらず、そのまま輝度成分のみの補正に適用すると過補正が発生してしまう。【０００９】
特許文献３に記載の発明は、色収差補正後の画像データに対する復元フィルタを生成することが可能であるが、同じくＲ，Ｇ，Ｂ各色ごとの画像データに対して復元処理を行うものであり、輝度成分のみを補正する場合に生じる特定の色における過補正の問題については触れられていない。【００１０】
本発明の目的は、輝度系画像データに対して復元処理を行う場合に、光学伝達関数のばらつきに応じて過補正を低減することができる復元ファイル生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得部と、復元フィルタを生成する復元フィルタ生成部と、を備え、復元フィルタ生成部は、情報取得部によって取得されたばらつき情報に基づいて、色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置を提供する。【００１２】
ここで、「光学伝達関数」として、例えば、ＰＳＦ（Point Spread Function：「点像分布関数」あるいは「点拡がり関数」ともいう）、ＰＳＦをフーリエ変換して得られるＯＴＦ（Optical Transfer Function）、ＰＴＦ（Phase Transfer Function：「位相伝達関数」ともいう）、ＭＴＦ（Modulation Transfer Function：「変調伝達関数」あるいは「振幅伝達関数」ともいう）が、挙げられる。また、「光学伝達関数」は、直接的に、「振幅」及び「位相」のうち少なくとも一方を示す情報に限定されない。「光学伝達関数」に対して特定の演算処理を行うことで、「振幅」及び「位相」の少なくとも一方を算出してもよい。即ち、「光学伝達関数」は、間接的に、「振幅」及び「位相」のうち少なくとも一方を示す情報を含む。【００１３】
また、「光学系の光学伝達関数の色によるばらつき」とは、光学系における各色の光学伝達関数間のばらつきである。【００１４】
本発明によれば、復元フィルタを生成する復元フィルタ生成部を備え、復元フィルタ生成部は、取得されたばらつき情報に基づいて、色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成するので、輝度系画像データに対して復元処理を行うための復元フィルタを生成する場合に、光学伝達関数の色によるばらつきによる過補正を低減したタフネス性の高い復元フィルタを生成することができる。【００１５】
本発明の一実施形態において、光学伝達関数の色によるばらつきを示す情報（光学伝達関数のばらつき情報）は、光学伝達関数の色に依存するばらつきが正規分布に従うとして算出された光学伝達関数の分散である。これにより、輝度系画像データ上の特定の色のみに対し偏った復元強度を有する復元フィルタを生成することが防止される。【００１６】
本発明の一実施形態において、情報取得部は、色別の光学伝達関数を取得し、色別の光学伝達関数に基づいて光学伝達関数の色に依存するばらつきを算出する。これにより、光学伝達関数の色によるばらつきを示す情報を特別に用意しておかなくても、色別の光学伝達関数のみを用意しておけば、輝度系画像データを形成するあらゆる色による光学伝達関数ばらつきに対して偏りのない的確な復元強度を有する復元フィルタを生成可能になる。【００１７】
本発明の一実施形態において、情報取得部は、光学伝達関数の色に依存するばらつきが正規分布に従うとして光学伝達関数の平均及び分散を算出し、復元フィルタ生成部は、光学伝達関数の平均及び分散に基づいて、復元フィルタを生成する。これにより、輝度系画像データ上の特定の色のみに対し偏った復元強度を有する復元フィルタを生成することが防止される。【００１８】
本発明の一実施形態において、復元フィルタ生成部は、平均及び分散の項が分母に設けられた数式に基づいて、復元フィルタを生成する。また、本発明の一実施形態において、復元フィルタ生成部は、平均及び分散を空間周波数毎に算出し、空間周波数毎の平均及び分散に基づいて、復元フィルタを生成する。これにより、輝度系画像データを形成するあらゆる色における光学伝達関数のばらつきの中心である「平均」と、輝度系画像データを形成するあらゆる色における光学伝達関数ばらつきを示す「分散」とに基づいて、光学伝達関数の色によるばらつき（分散）が大きいほど復元強度を弱くする復元フィルタが生成されることになる。【００１９】
本発明の一実施形態において、復元フィルタ生成部は、光学伝達関数の色に依存するばらつきが大きい空間周波数ほど復元強度を弱くする。これにより、光学伝達関数のばらつきが大きい空間周波数ほど復元強度が理想フィルタと比較して弱くなるので、光学伝達関数のばらつきが小さい空間周波数では理想フィルタに近い復元強度で復元しつつ、光学伝達関数のばらつきが大きい空間周波数では過補正を抑えることができる。【００２０】
本発明の一実施形態において、情報取得部は、撮像装置で得られる輝度系画像データにおける色の確率分布と、色別の光学伝達関数とを取得し、取得された輝度系画像データにおける色の確率分布と色別の光学伝達関数とに基づいて、光学伝達関数の色に依存するばらつきが正規分布に従うとして当該光学伝達関数の色によるばらつきを示す情報（ばらつき情報）を算出する。これにより、輝度系画像データにおける色の確率分布と色別の光学伝達関数とを用意しておけば、輝度系画像データを形成するあらゆる色による光学伝達関数ばらつきに対して偏りのない的確な復元強度を有する復元フィルタを、生成することが可能になる。【００２１】
本発明の一実施形態において、ばらつき情報は、光学系の光学伝達関数の、少なくとも光学系の製造に起因するばらつきを含み、復元フィルタ生成部は、光学系の製造によるばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、復元フィルタの復元強度を弱くする復元フィルタを生成する。これにより、光学伝達関数の製造によるばらつきにも応じて、過補正を低減することができる。【００２２】
本発明の一実施形態において、ばらつき情報は、光学伝達関数の撮影条件に依存するばらつきを含み、復元フィルタ生成部は、撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、復元フィルタの復元強度を弱くする。これにより、光学伝達関数の撮影条件によるばらつきにも応じて、過補正を低減することができる。【００２３】
本発明の一実施形態において、復元フィルタ生成部は、少なくとも位相復元を伴う復元処理を行う復元フィルタを生成する。これにより、特に位相復元を伴う復元処理において色によるばらつきに対してタフネス性の高い復元フィルタを生成可能になる。【００２４】
本発明の一実施形態において、復元フィルタ生成部は、位相復元を伴わない復元処理を行う復元フィルタを生成する。これにより、位相復元を伴わない復元処理において色によるばらつきに対してタフネス性の高い復元フィルタを生成可能になる。【００２５】
本発明の一実施形態において、復元フィルタ生成部は、復元フィルタとしてＷｉｅｎｅｒフィルタを生成する。【００２６】
本発明の一実施形態において、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。【００２７】
また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、光学系の光学伝達関数の、光学系の製造に起因するばらつきを示すばらつき情報を取得する情報取得部と、復元フィルタを生成する復元フィルタ生成部と、を備え、ばらつき情報は製造に起因するばらつきが正規分布に従うとして算出された光学伝達関数の分散であり、復元フィルタ生成部は、取得されたばらつき情報に基づいて、光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置を提供する。これにより、光学伝達関数の、光学系の製造に起因するばらつきに対して過補正を低減したタフネス性の高い復元フィルタを生成することができる。また、光学系の特定の個体のみに偏った復元強度を有する復元フィルタを生成することがなく、光学系のあらゆる個体に対して偏りのない的確な復元強度を有する復元フィルタを生成することが可能になる。【００２８】
また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成装置であって、光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報を取得する情報取得部と、復元フィルタを生成する復元フィルタ生成部と、を備え、ばらつき情報は撮影条件に依存するばらつきが正規分布に従うとして算出された光学伝達関数の分散であり、復元フィルタ生成部は、取得されたばらつき情報に基づいて、撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成装置を提供する。光学伝達関数の撮影条件に依存するばらつきに対して過補正を低減したタフネス性の高い復元フィルタを生成することができる。また、特定の撮影条件のみに偏った復元強度を有する復元フィルタを生成することがなく、光学伝達関数の撮影条件に依存するばらつきに対して偏りなく的確な復元強度を有する復元フィルタを、生成することが可能になる。【００２９】
また、本発明は、光学系を有する撮像装置で得られる色別の画像データに基づいて生成された輝度に関する画像データである輝度系画像データを取得する画像データ取得部と、復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納部と、画像データ取得部で取得された輝度系画像データに対して、復元フィルタ格納部に格納されている復元フィルタを用いて復元処理を施す復元処理部と、を備える画像処理装置を提供する。【００３０】
また、本発明は、光学系を有する撮像装置で得られる画像データを取得する画像データ取得部と、復元フィルタ生成装置により生成された復元フィルタを格納する復元フィルタ格納部と、画像データ取得部で取得された画像データに対して、復元フィルタ格納部に格納されている復元フィルタを用いて復元処理を施す復元処理部と、を備える画像処理装置を提供する。【００３１】
また、本発明は、復元フィルタ生成装置を含む画像処理装置を提供する。【００３２】
また、本発明は、光学系と、複数色の色毎の画像データを出力する撮像素子と、画像処理装置と、を備える撮像装置を提供する。【００３３】
また、本発明は、光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法を提供する。【００３４】
また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、光学系の光学伝達関数の、光学系の製造に起因するばらつきを示すばらつき情報を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、ばらつき情報は光学系の製造に起因するばらつきが正規分布に従うとして算出された光学伝達関数の分散であり、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、光学伝達関数の光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法を提供する。【００３５】
また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する復元フィルタ生成方法であって、光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、情報取得ステップで取得されるばらつき情報は、撮影条件に依存するばらつきが正規分布に従うとして算出された光学伝達関数の分散であり、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、復元フィルタ生成方法を提供する。【００３６】
また、本発明は、光学系を有する撮像装置により得られた色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データを取得する画像データ取得ステップと、復元フィルタ生成方法により生成された復元フィルタを用いて、画像データ取得ステップで取得された輝度系画像データに対して復元処理を施す復元処理ステップと、を有する画像処理方法を提供する。【００３７】
また、本発明は、光学系を有する撮像装置により得られた画像データを取得する画像データ取得ステップと、復元フィルタ生成方法により生成された復元フィルタを用いて、画像データ取得ステップで取得された画像データに対して復元処理を施す復元処理ステップと、を有する画像処理方法を提供する。【００３８】
また、本発明は、光学系を有する撮像装置で得られる色別の画像データに基づいて生成された、輝度に関する画像データである輝度系画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、光学系の光学伝達関数の色に依存するばらつきを示すばらつき情報を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、色に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、色に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラムを提供する。【００３９】
また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、光学系の光学伝達関数の、光学系の製造に起因するばらつきを示すばらつき情報として、光学系の製造に起因するばらつきが正規分布に従うとして算出された光学伝達関数の分散を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、光学系の製造に起因するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、光学系の製造に起因するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラムを提供する。【００４０】
また、本発明は、光学系を有する撮像装置で得られる画像データに対して復元処理を行うための復元フィルタを生成する処理をコンピュータに実行させるプログラムであって、光学系の光学伝達関数の撮影条件に依存するばらつきを示すばらつき情報として、撮影条件に依存するばらつきが正規分布に従うとして算出された光学伝達関数の分散を取得する情報取得ステップと、復元フィルタを生成する復元フィルタ生成ステップと、を備え、復元フィルタ生成ステップでは、取得されたばらつき情報に基づいて、撮影条件に依存するばらつきに応じて復元強度を弱くする復元フィルタであって、分散の項が分母に設けられた数式に基づいて復元強度を算出することにより、撮影条件に依存するばらつきが無いと仮定して決められた理想フィルタの復元強度よりも復元強度を弱くする復元フィルタを生成する、プログラムを提供する。【００４１】
また本発明は、上記態様のいずれか一に係るプログラムが記録された、コンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００４２】
本発明によれば、光学伝達関数のばらつきに応じて過補正を低減することができる。
【図面の簡単な説明】
【００４３】
【図１】図１は、本発明を適用した復元フィルタ生成装置と画像処理装置の一例であるデジタルカメラとを含むシステム構成例を示すブロック図である。
【図２】図２は、点像復元処理の原理を説明するための説明図である。
【図３】図３は、振幅補正と位相補正の違いを説明するための説明図である。
【図４】図４は、色に依存して光学伝達関数にばらつきが生じることを説明するための説明図である。
【図５】図５は、色に依存したＯＴＦばらつきと製造によるＯＴＦばらつきとを同様な確率論を用いて扱うことを説明するための説明図である。
【図６】図６は、復元フィルタ生成処理の一例の概略を示すフローチャートである。
【図７】図７は、点像復元処理の一例の概略を示すブロック図である。
【図８】図８は、位相補正実施有無の切替処理の概略を示すフローチャートである。
【図９】図９は、復元フィルタ生成処理を説明するための復元処理モデルを示す図である。
【図１０】図１０は、第1実施形態における復元フィルタ生成処理例の流れを示すフローチャートである。
【図１１】図１１は、光学伝達関数の正規分布における空間周波数ωに対する平均μ、平均μ＋標準偏差σ、平均μ−標準偏差σの例を示す。
【図１２】図１２は、デジタルカメラのハードウェア構成例を示すブロック図である。
【図１３】図１３は、図１２の画像処理回路の構成例と示すブロック図である。
【図１４】図１４は、復元フィルタ生成装置のハードウェア構成例を示すブロック図である。
【図１５】図１５は、復元フィルタ生成装置及び画像処理装置を包むデジタルカメラのブロック図である。
【図１６】図１６は、復元フィルタ生成装置及び画像処理装置を包むコンピュータ装置のブロック図である。
【図１７】図１７は、ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。
【図１８】図１８は、ＥＤｏＦ光学系の一例を示す図である。
【図１９】図１９は、ＥＤｏＦ光学系を備えるデジタルカメラの復元処理部における復元処理の一例を示すフローチャートである。
【図２０】図２０は、スマートフォンの外観図である。
【図２１】図２１は、図２０に示すスマートフォンの構成を示すブロック図である。
【発明を実施するための形態】
【００４４】
添付図面を参照して本発明の実施形態について説明する。
【００４５】
＜システム構成例＞
図１は、本発明を適用した復元フィルタ生成装置と画像処理装置の一例であるデジタルカメラとを含むシステム構成例を示すブロック図である。
【００４６】
デジタルカメラ１０（撮像装置）は、光学系１４及び撮像素子１６を有する撮像部１８と、撮像部１８により得られる複数色（本例ではＲ，Ｇ，Ｂ）の色別の画像データに基づいて、輝度に関する画像データである輝度系画像データを生成する輝度系画像データ生成部２２と、輝度系画像データ（又は色別の画像データ）に対して復元処理を行うための復元フィルタＦを格納する復元フィルタ格納部２４と、復元フィルタ格納部２４に格納されている復元フィルタＦを用いて輝度系画像データ（又は色別の画像データ）に対して点像復元処理を施す復元処理部２６と、を含んで構成される。
【００４７】
復元フィルタ生成装置８０は、デジタルカメラ１０の光学系１４における点像分布に対応する光学伝達関数と、光学伝達関数のばらつきを示すばらつき情報（以下では「ＯＴＦばらつき」ともいう）とを取得する情報取得部８２と、情報取得部８２によって取得された情報に基づいて復元フィルタＦを生成する復元フィルタ生成部８４と、復元フィルタＦに輝度系画像データ（又は色別の画像データ）の位相補正を行わせるか否かを切り替える切替部８６と、含んで構成される。
【００４８】
情報取得部８２によって取得される「光学伝達関数」としては、例えば、ＰＳＦ（Point Spread Function：以下では「点像分布関数」あるいは「点拡がり関数」ともいう）、ＰＳＦをフーリエ変換して得られる所謂ＯＴＦ（Optical Transfer Function：以下では「複素ＯＴＦ」あるいは「複素光学伝達関数」ともいう）が挙げられる。複素ＯＴＦは、ＭＴＦ（Modulation Transfer Function：以下では「変調伝達関数」あるいは「振幅伝達関数」ともいう）、及びＰＴＦ（Phase Transfer Function：以下では「位相伝達関数」ともいう）によって構成されている。ＭＴＦのみ又はＰＴＦのみを「光学伝達関数」として取得する場合も含まれる。また、「光学伝達関数」が変調成分（以下では「振幅成分」ともいう）及び位相成分のうち少なくとも一方を含み、光学伝達関数からＭＴＦ及びＰＴＦのうち少なくとも一方を算出する場合でよい。即ち、「光学伝達関数」は、間接的に、ＭＴＦ及びＰＴＦのうち少なくとも一方を示す情報を含む。
【００４９】
情報取得部８２によって取得される光学伝達関数のばらつき情報（「ＯＴＦばらつき」ともいう）としては、例えば、輝度系画像データ（又は色別の画像データ）に表れる色（ある表色系の色空間上の色）によるＯＴＦばらつき、光学系１４の製造による個体ばらつき、及び、デジタルカメラ１０（撮像装置）での撮影時の撮影条件によるＯＴＦばらつき、が挙げられる。ここで、「光学系の光学伝達関数の色によるばらつき」とは、光学系における各色の光学伝達関数間のばらつきである。
【００５０】
本例の情報取得部８２は、色別の光学伝達関数を取得し、その色別の光学伝達関数に基づいて、光学伝達関数の色によるばらつきを算出するようにしてもよい。
【００５１】
復元フィルタ生成部８４は、情報取得部８２によって取得された情報（光学伝達関数及びばらつき情報）に基づいて、光学伝達関数のばらつきに応じて復元強度を弱くする復元フィルタを生成する。具体的には、復元フィルタ生成部８４は、空間周波数毎に、光学伝達関数のばらつきが無いと仮定して決められた理想フィルタの復元強度よりも、生成する復元フィルタの復元強度を弱くする。
【００５２】
＜復元処理＞
図２は、点像復元処理の原理を説明するための説明図である。図２では、理解を容易にするため、被写体像として点像を撮像した場合を示している。被写体像は、レンズ１１及び絞り１２を含む光学系１４を介して、撮像素子１６の撮像面に結像され、その撮像素子１６により撮像される。その撮像素子１６からは、光学系１４の収差に起因して被写体像が劣化した画像データである劣化画像データが出力される。そこで、光学系１４における劣化の特性を、撮影条件（例えば、絞り値、焦点距離、被写体距離、レンズ種類、など）に応じた光学伝達関数として、予め求めておく。また、図１の復元フィルタ生成部８４によって、光学伝達関数及びばらつき情報に基づいて、点像復元処理用の復元フィルタＦを生成する。図１の復元処理部２６によって、復元フィルタＦを用い、劣化画像データの劣化をキャンセルする点像復元処理（復元処理）を行う。そうすると、劣化がキャンセルされた復元画像データを得ることができる。
【００５３】
図３に示すように、点像復元処理は、「位相補正」（「位相復元」ともいう）と、「振幅補正」（「振幅復元」ともいう）とに、大別することができる。「位相補正」は、光学系において劣化した位相特性（ＰＴＦ）を復元する画像処理である。位相補正により、非対称な点広がり形状を点対称な点広がり形状に補正することができる。「振幅補正」は、光学系において劣化した振幅特性（ＭＴＦ）を復元する画像処理である。振幅補正により、点広がり形状を点（デルタ関数）に補正することができる。ただし、ボケが酷かったりＳＮ比が悪かったりすると、完全には点形状に戻らないことがある。
【００５４】
また、光学系の収差は、波長によって異なるため、理想的には色（例えばＲ，Ｇ，Ｂ）毎に異なる復元フィルタを用いて点像復元処理を行うことが、好ましい。しかしながら、複数色（例えばＲ，Ｇ，Ｂ）の色毎の画像データに対して、それぞれ点像復元処理を行うと演算処理の負荷が大きい。そのため、図１の復元処理部２６によって、視覚的な効果が大きい輝度系画像データに対して点像復元処理を行う場合がある。その場合、図１の復元フィルタ生成部８４は、輝度系画像データ用の復元フィルタＦを生成する。
【００５５】
＜光学伝達関数ばらつきに応じた復元処理＞
図４は、色に依存して光学伝達関数にばらつきが生じることを説明するための説明図である。尚、図中、「白色点」のＰＳＦ形状は、白色点を撮像した際にＲ，Ｇ，Ｂ画像データを合成した合成画像における点広がりの形状を示している。また、図中の「Ｒ」，「Ｇ」，「Ｂ」のＰＳＦ形状は、それぞれＲ，Ｇ，Ｂ画像データにおける点広がりの形状を示している。尚、図示の都合上、「白色点」のＰＳＦ形状では白いほど光の強度が大きく、「Ｒ」，「Ｇ」，「Ｂ」のＰＳＦ形状では黒いほど光の強度が大きい。図４に示すように、Ｒ（赤）のＰＳＦ形状と、Ｇ（緑）のＰＳＦ形状と、Ｂ（青）のＰＳＦ形状とで、ばらつきが生じる。このようなＰＳＦ形状のばらつきは、ＭＴＦ（変調伝達関数）及びＰＴＦ（位相伝達関数）からなる複素ＯＴＦのばらつきに対応している。
【００５６】
輝度系画像データに対して点像復元処理を実行する場合には、Ｒ，Ｇ，Ｂの色別の画像データ（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）に対してそれぞれ個別の点像復元処理を実行する場合とは異なり、全色にわたり同一の補正しか実行できない。そのため、色によっては、過補正により却って画質が劣化するという、弊害の問題が生じる。
【００５７】
本発明では、色に依存して「ＰＳＦ形状が確率的にばらついている」と捉える。つまり、色による光学伝達関数のばらつきを、確率分布として扱う。
【００５８】
図５は、色に依存したＯＴＦばらつきと、製造によるＯＴＦばらつきとを、同様な確率論を用いて扱うことを説明するための説明図である。
【００５９】
図５において、「レンズ＃１」及び「レンズ＃２」は、同一の設計仕様で製造された異なる個体の光学系１４を表している。「レンズ＃１」と「レンズ＃２」とでは、Ｒ（赤）のＰＳＦ形状と、Ｇ（緑）のＰＳＦ形状と、Ｂ（青）のＰＳＦ形状が、異なっている。このように、ＰＳＦ形状は、色によってばらつきが生じるだけでなく、光学系１４の製造に依存してばらつき（個体ばらつき）が生じる。
【００６０】
ＰＳＦ形状のばらつきを「確率分布」として定義すれば、色によるＰＳＦ形状のばらつきと製造によるＰＳＦ形状のばらつきとを、同様な確率論を用いて扱うことができる。具体的には、輝度系画像データにおける複素ＯＴＦをｈｙとし、空間周波数を（ωｘ，ωｙ）としたとき、色による複素ＯＴＦのばらつき及び製造による複素ＯＴＦのばらつきを、確率分布Ｐｙ（ｈｙ｜ωｘ，ωｙ）と定義する。つまり、色によるＯＴＦばらつき及び製造によるＯＴＦばらつきを、正規分布における確率分布Ｐｙの分散として求める。
【００６１】
図６は、復元フィルタ生成部８４による復元フィルタ生成処理の一例の概略を示すフローチャートである。
【００６２】
ステップＳ１において、情報取得部８２により、光学系１４における光学伝達関数を、複数色（例えばＲ，Ｇ，Ｂの３色）の色別に取得する。
【００６３】
ステップＳ２において、情報取得部８２により、ステップＳ１によって取得された色別の光学伝達関数に基づいて、正規分布における光学伝達関数の平均及び分散を、空間周波数（ωｘ，ωｙ）毎に算出する。即ち、ある表色系の色空間において光学伝達関数のばらつきが正規分布に従うものして、復元強度を算出するためのパラメータとして、正規分布における光学伝達関数の平均μ（ωｘ，ωｙ）及び分散σ２（ωｘ，ωｙ）を算出する。ここで、分散σ２（ωｘ，ωｙ）が情報取得部８２により取得（算出）される「ばらつき情報」であり、平均μ（ωｘ，ωｙ）は光学伝達関数のばらつきの中心を示す光学伝達関数の代表といえる。
【００６４】
ステップＳ３において、復元フィルタ生成部８４により、ステップＳ２によって算出された平均μ（ωｘ，ωｙ）及び分散σ２（ωｘ，ωｙ）に基づいて、復元フィルタの復元強度を算出する。
【００６５】
ステップＳ４において、復元フィルタ生成部８４により、ステップＳ３によって算出された復元強度を有する復元フィルタを生成する。
【００６６】
尚、本発明は、位相補正機能及び振幅補正機能の両方を有する復元フィルタを生成する場合に限定されず、位相補正機能及び振幅補正機能の少なくとも一方を有する復元フィルタを生成するようにしてもよい。
【００６７】
図７は、点像復元処理の一例の概略を示すブロック図である。
【００６８】
点像復元処理は、復元フィルタＦを用いて劣化画像データから復元画像データを作成する処理である。点像復元処理は、例えばＮ×Ｍ（Ｎ、Ｍは２以上の整数）のタップによって構成される実空間上の復元フィルタを用いて行われる。これにより、各タップに割り当てられるフィルタ係数と対応の画像データ（劣化画像データの処理対象画素データ及び隣接画素データ）とを畳み込み演算することで、点像復元処理後の画素データ（復元画像データ）を算出することができる。この復元フィルタＦを用いた畳み込み演算を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。
【００６９】
なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間（「空間周波数領域」ともいう）上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタのタップ数を指定することによって、適宜算出可能である。
【００７０】
＜復元フィルタ生成の切替処理＞
図８は、図１の復元フィルタ生成装置８０の切替部８６による位相補正実施有無の切替処理の概略を示すフローチャートである。
【００７１】
図８において、切替部８６は、復元フィルタＦに、輝度系画像データに対する点像復元処理にて位相補正（位相復元）を行わせるか否かを判定する（ステップＳ１１）。
【００７２】
復元フィルタＦに位相補正を行わせる場合（ステップＳ１１でＹｅｓの場合）、復元フィルタ生成部８４は、輝度系画像データに対する点像復元処理にて位相補正を行う機能を有する復元フィルタであって、輝度系画像データの位相の過補正を低減した復元フィルタを生成する（ステップＳ１２）。
【００７３】
復元フィルタＦに位相補正を行わせない場合（ステップＳ１１でＮｏの場合）、復元フィルタ生成部８４は、複数色（Ｒ，Ｇ，Ｂ）の色毎の伝達関数情報（ＰＳＦ又はＭＴＦ）を複数色間で混合し、当該複数色間で混合された伝達関数情報（ＰＳＦ又はＭＴＦ）に基づき、輝度系画像データに対し位相成分を変化させずかつ振幅成分のみを変化させる点像復元処理を行う復元フィルタを生成する。つまり、復元フィルタ生成部８４は、輝度系画像データに対する点像復元処理にて位相補正を行わず振幅補正のみを行う機能を有する復元フィルタを生成する。
【００７４】
尚、輝度系画像データに対する振幅補正では、複数色（Ｒ，Ｇ，Ｂ）の色毎に振幅補正するわけではないため、複数色（Ｒ，Ｇ，Ｂ）のうちのいずれか一又は複数の色で、補正不足（ＭＴＦが１．０を下回る）や過補正（ＭＴＦが１．０を上回る）が発生する可能性がある。しかし、復元フィルタ生成部８４により、複数色（Ｒ，Ｇ，Ｂ）間で伝達関数情報（ＰＳＦ又はＭＴＦ）を混合し、その混合した伝達関数情報（ＰＳＦ又はＭＴＦ）に基づいて、変調伝達関数ＭＴＦを平均的に「１」に近づける振幅補正を行う復元フィルタを生成することにより、補正不足及び過補正を抑えた良好な復元フィルタを生成することが可能になる。
【００７５】
次に、情報取得部８２によって取得される光学伝達関数がＭＴＦ及びＰＴＦからなる複素ＯＴＦであり、また、情報取得部８２によって取得される光学伝達関数のばらつき情報が複素ＯＴＦのばらつきを示すものとして、復元フィルタ生成処理を実施形態に分けて具体的に説明する。尚、以下の実施形態では、「光学伝達関数のばらつき情報」を、簡略に「ＯＴＦばらつき」と称する。
【００７６】
＜第１実施形態＞
第１実施形態では、輝度系画像データに対する点像復元処理用の復元フィルタの生成処理において、色によるＯＴＦばらつきに応じた復元強度を有する復元フィルタを生成することにより、タフネス性の高い復元フィルタを生成する。
【００７７】
図９は、第１実施形態における復元フィルタ生成処理を説明するための復元処理モデルを示す。ただし、図９に示した復元処理モデルはあくまでも例であり、他の復元処理モデルに適用してもよい。
【００７８】
図９において、変換Ｍに入力される色別の画像データの入力画素値（Ｒ´，Ｇ´，Ｂ´）と、変換Ｍから出力される輝度系画像データの出力画素値（Ｙ´，Ｃｂ，Ｃｒ）との対応関係は、次式で表現される。
【００７９】
【数１】
0005844940.tif 000002
【００８０】
ここで、変換Ｍは、ＲＧＢ色空間から輝度系空間（ＹＣｂＣｒ色空間）への写像である。この変換Ｍは、「どのように加工された信号に対して復元フィルタをかけるのか」という、画像処理装置における信号処理システムの定義にのみ依存する。一般に、ＲＧＢ空間から輝度系空間への変換は、ガンマ補正を含むため、非線形の変換が必要とされるが、輝度系復元処理の実装形態によってはリニア変換となる場合もある。
【００８１】
図１０は、第1実施形態における復元フィルタ生成処理例の流れを示すフローチャートである。
【００８２】
まず、情報取得部８２により、Ｙ´，Ｃｂ，Ｃｒの確率分布ＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）を取得する（ステップＳ２１）。
【００８３】
ここで、Ｙ´は、図９の復元フィルタＦに入力される輝度信号の値（入力画素値）である。
【００８４】
ＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）は、デジタルカメラ１０で得られる輝度系画像データにおける色の確率分布である。言い換えると、ＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）は、ある表色系の色空間上の入力色ばらつきである。このＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）は、例えば光学系１４の設計時に事前に求められる。平均的な色を白色と仮定する場合には、Ｃｂ＝０，Ｃｒ＝０とする。
【００８５】
次に、情報取得部８２により、ＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）から、赤（Ｒ），緑（Ｇ），青（Ｂ）の色別の複素ＯＴＦ（ＯＴＦＲ，ＯＴＦＧ，ＯＴＦＢ）を取得する（ステップＳ２２）。
【００８６】
次に、情報取得部８２により、赤（Ｒ），緑（Ｇ），青（Ｂ）の色別の複素ＯＴＦの同時分布ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）を算出する（ステップＳ２３）。
【００８７】
ここで、同時分布ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）は、Ｒ、Ｇ、Ｂの色別の複素ＯＴＦの確率変数がｈＲ，ｈＧ及びｈＢという値になる確率を、空間周波数（ωｘ，ωｙ）毎に示す。同時分布ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）は、次式のように計算される。
【００８８】
【数２】
0005844940.tif 000003
【００８９】
上式において、δ（）はクロネッカーのデルタ関数である。ＯＴＦＲ（ωｘ，ωｙ），ＯＴＦＧ（ωｘ，ωｙ），およびＯＴＦＢ（ωｘ，ωｙ）は、一意に決まる設計値としての複素ＯＴＦである。これに対してｈＲ，ｈＧ，ｈＢは、入力色ばらつきが存在した場合における複素ＯＴＦの確率変数である。また、ＩＲ，ＩＧ，ＩＢは、次式のように定義されている。
【００９０】
【数３】
0005844940.tif 000004
【００９１】
数２は、ｈＲ／ＩＲ＝ＯＴＦＲ（ωｘ，ωｙ）、ｈＧ／ＩＧ＝ＯＴＦＧ（ωｘ，ωｙ）、及びｈＢ／ＩＢ＝ＯＴＦＢ（ωｘ，ωｙ）を満たす場合のみＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）をＹ´，Ｃｂ，Ｃｒについて積分し、その積分の結果を同時分布ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）とすることを示す。つまり、数２は、数３を考慮すると、複素ＯＴＦの確率変数がｈＲ，ｈＧ及びｈＢである場合に、ｈＲ／ＩＲ＝ＯＴＦＲ（ωｘ，ωｙ）、ｈＧ／ＩＧ＝ＯＴＦＧ（ωｘ，ωｙ）、及びｈＢ／ＩＢ＝ＯＴＦＢ（ωｘ，ωｙ）を満たす色の組み合わせ｛ＩＲ，ＩＧ，ＩＢ｝の全てについて、これらの組み合わせの起こる可能性（確率）を全ての組み合わせで加算したもの（積分値）により、同時分布ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）が表されることを、意味する。
【００９２】
以上によって、赤（Ｒ），緑（Ｇ），青（Ｂ）の色別の複素ＯＴＦの同時分布ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）を得ることができる。
【００９３】
次に、情報取得部８２により、特定の表色系での複素ＯＴＦの母集団における複素ＯＴＦの平均μ及び分散σ２を、空間周波数（ωｘ，ωｙ）毎に、算出する（ステップＳ２４）。ここで、母集団は、設計時に予め決められた色ばらつきの範囲内にある複素ＯＴＦの集合である。
【００９４】
本例では、母集団におけるＯＴＦばらつきが複素正規分布(Circular symmetric complex normal distribution)に従うものとし、その正規分布に従った同時分布Ｐｙは、平均μ（ωｘ，ωｙ）及び分散σ２（ωｘ，ωｙ）をパラメータとして、次式で表される。
【００９５】
【数４】
0005844940.tif 000005
【００９６】
上式におけるパラメータである平均μ（ωｘ，ωｙ）及び分散σ２（ωｘ，ωｙ）は、情報取得部８２により、次式のように最尤推定によって算出される。
【００９７】
【数５】
0005844940.tif 000006
【００９８】
以上のステップＳ２１〜Ｓ２２により、輝度系画像データにおける色の確率分布ＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）と、色別の光学伝達関数ＯＴＦＲ（ωｘ，ωｙ），ＯＴＦＧ（ωｘ，ωｙ），およびＯＴＦＢ（ωｘ，ωｙ）とに基づいて、光学伝達関数の色によるばらつきが正規分布に従うとして平均μ（ωｘ，ωｙ）及び分散σ２（ωｘ，ωｙ）が算出される。
【００９９】
次に、復元フィルタ生成部８４により、平均μ（ωｘ，ωｙ）及び分散σ２（ωｘ，ωｙ）に基づいて、復元フィルタの復元強度を算出する（ステップＳ２５）。
【０１００】
ここで、復元強度を算出するための数式は、次のようにして得られる。まず、特定の表色系での母集団におけるＯＴＦばらつきを反映した輝度ＯＴＦ（輝度信号のＯＴＦ）は、次式のように表される。
【０１０１】
【数６】
0005844940.tif 000007
【０１０２】
上式で、△μ（ωｘ，ωｙ）は平均０、分散σ２（ωｘ，ωｙ）の複素正規分布に従う確率変数を表す。
【０１０３】
点像復元処理においてデコンボリューションに用いられるＷｉｅｎｅｒフィルタにおける誤差基準は、元画像（光学系による劣化前画像）と復元画像との二乗誤差を、入力画像（劣化画像）及びノイズについて平均（又は積分）をとったものとして定義されている。このような公知のＷｉｅｎｅｒフィルタの誤差基準において光学伝達関数は固定値として定義されているため、公知の導出式をそのまま使用したのでは、色によるＯＴＦばらつきや輝度系補正に起因する過補正に対して、色タフネス性が発揮されないことになる。
【０１０４】
そこで、色によるＯＴＦばらつきや輝度系補正に起因する過補正を考慮し、公知のＷｉｅｎｅｒフィルタの導出式をそのままを利用するのではなくて、色によるＯＴＦばらつきも適用したＷｉｅｎｅｒフィルタ導出用の誤差基準を導入する。復元フィルタの周波数特性をｆ（ωｘ，ωｙ）としたとき、信号、ノイズ、ＯＴＦばらつきに対しての平均をとった誤差基準Ｊ［ｆ］は、次式のように表される。
【０１０５】
【数７】
0005844940.tif 000008
【０１０６】
ここで、ＳＹ（ωｘ，ωｙ）、ＮＹ（ωｘ，ωｙ）はそれぞれ、輝度Ｙの信号電力、ノイズ電力である。求めるべきＷｉｅｎｅｒフィルタの周波数特性ｆは、上式のＪを最小化するものである。上式を展開してΔμについて積分を実行すると、次式のようになる。
【０１０７】
【数８】
0005844940.tif 000009
【０１０８】
なお、「＊」は複素共役を示す。この式（数８）をｆ＊（ωｘ，ωｙ）で偏微分して０とおくと、求めるべきＷｉｅｎｅｒフィルタの複素周波数特性ｆ（ωｘ，ωｙ）は、次式のようになる。
【０１０９】
【数９】
0005844940.tif 000010
【０１１０】
ここで、複素周波数特性ｆ（ωｘ，ωｙ）は、復元フィルタの復元強度を示しているといえる。
【０１１１】
上式に示すように、分散σ２（ωｘ，ωｙ）によって示されるばらつきが大きな空間周波数では、復元強度を弱くする（上式の右辺の分母を大きくする）ことにより、色によるばらつきに対してタフネスな特性を有する復元フィルタを生成できる。本例の復元フィルタ生成部８４は、色によるＯＴＦばらつきが大きい空間周波数ほど、復元強度を弱くする。
【０１１２】
次に、復元フィルタ生成部８４により、ステップＳ２５で算出された復元強度を有する復元フィルタを生成する(ステップＳ２６)。
【０１１３】
ステップＳ２１〜Ｓ２５までの手順によって求められた複素周波数特性ｆ（ωｘ，ωｙ）に対して、与えられたタップ数内で、現実の復元フィルタの複素周波数特性を近似させるように、復元フィルタのフィルタ係数を算出する。
【０１１４】
図１１は、理解を容易にするため複素ＯＴＦの実部（ＭＴＦ）のみについて、正規分布における平均μ（ω）、μ（ω）＋σ（ω）、μ（ω）−σ（ω）を示す。もしも、ＯＴＦばらつきを考慮しないで、平均μ（ω）に基づいて復元フィルタの復元強度を算出した場合には、σが大きな空間周波数において過補正になる可能性がある。そこで、本発明では、σが大きな空間周波数において、μ（ω）＋σ（ω）となるように（あるいはμ（ω）＋σ（ω）に近づけるように）、復元フィルタの復元強度を算出する。
【０１１５】
以上説明したように、本実施形態によれば、輝度系画像データの点像復元処理において、入力色によって光学伝達関数が想定しているものと異なることに因り生じるアーティファクトを、的確に抑えることができる。
【０１１６】
尚、位相補正を実施しない場合には、求めた復元フィルタの周波数特性のうち位相特性を捨てて振幅特性のみに近似して、復元フィルタのフィルタ係数を算出することにより、復元フィルタ生成を行う。
【０１１７】
＜第２実施形態＞
復元フィルタ生成処理で考慮すべきＯＴＦばらつきの要因としては、第1実施形態において考慮した色のほかに、光学系１４の製造ばらつきや、撮像装置における撮影時の撮影条件のばらつき（例えば被写体距離の測定誤差）が挙げられる。以下では、例として、光学系１４の製造によるＯＴＦばらつきを考慮した、タフネス性の高い復元フィルタ生成処理例を説明する。また、製造によるＯＴＦばらつきや、撮影条件によるＯＴＦばらつきは、輝度系画像データに限らず、色別の画像データでも、生じる現象である。そこで、以下では、Ｒ，Ｇ，Ｂの色別の画像データに対する点像復元用の復元フィルタを生成する場合を例として、説明する。
【０１１８】
光学系１４の製造によるＯＴＦばらつきに応じた復元強度を算出するため、製造によるＯＴＦばらつきに対応した確率分布を用いる。
【０１１９】
まず、情報取得部８２により、製造による光学系１４のＯＴＦばらつきの分布を示す同時分布ＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）を取得する。
【０１２０】
ＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）は、光学系１４の製造におけるばらつき発生のメカニズム解析や量産サンプル測定によって得られる固有の情報である。空間周波数ωｘ、ωｙにおけるＲ,Ｇ,Ｂそれぞれの複素ＯＴＦをｈＲ，ｈＧ，ｈＢとすると、ＯＴＦばらつきは同時分布ＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ、ωｙ）に従う。尚、本例では、ＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）が予め構築（算出）されているものとする。
【０１２１】
ＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）を構築する際の注意点として、次のような問題点が挙げられる。複素ＯＴＦによってＰＳＦ形状の平行移動も表現することができるが、もしも、平行移動ばらつき(ＰＳＦ結像位置ばらつき)を含めてＯＴＦばらつきとしてモデル化し、そのＯＴＦばらつきにおけるＯＴＦの平均を採用した場合に、現実の平均的収差が適切に表現されずＭＴＦが過度に劣化してしまう問題が起こり得る。その問題点に対する対策として、基準色（例えば緑）のＰＳＦの重心位置を中心として予め位置合わせしておいたＰＳＦサンプル（又はＯＴＦサンプル）に基づいて、ＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）を構築する方法がある。この方法において、基準色のＰＳＦの位置は規格化されているが、色間の相対的なＰＳＦ重心座標のばらつき情報は保持され、個体バラツキが復元フィルタの復元強度に反映される。
【０１２２】
次に、情報取得部８２により、正規分布におけるＯＴＦの平均μ及び分散σ２を空間周波数（ωｘ，ωｙ）毎に算出する。
【０１２３】
本例では、復元フィルタＦに入力されるＲ，Ｇ，Ｂ画像データ（色別の画像データ）の空間周波数ωｘ，ωｙ毎のＯＴＦばらつきを、次式のように複素正規分布(Circular symmetric complex normal distribution)としてモデル化する。本例では、Ｒ，Ｇ，Ｂの色別に補正できる信号処理系であるため、ＯＴＦばらつきも色ごとに求める。色を示すインデックスＫをＫ∈｛Ｒ，Ｇ，Ｂ｝とすると、色別のＯＴＦばらつきを示す同時分布ＰＫは、次式のように表現される。
【０１２４】
【数１０】
0005844940.tif 000011
【０１２５】
ここで、上式におけるパラメータである平均μＫ（ωｘ，ωｙ）と分散σＫ２（ωｘ，ωｙ）は、次式のように最尤推定によって求められる。
【０１２６】
【数１１】
0005844940.tif 000012
【０１２７】
以上によって得られた色別のＯＴＦばらつき情報を利用して、第１実形態と同様に復元フィルタの周波数特性を求め、その周波数特性に対応する復元強度を有する復元フィルタを生成する。
【０１２８】
本実施形態によれば、ＲＧＢ系画像データ又は輝度系画像データの点像復元処理において、光学系の製造ばらつき（又は撮影条件ばらつき）に起因して光学伝達関数が想定しているものと異なることに因り生じるアーティファクトを、的確に抑えることができる。また、光学系１４別の個体差情報は必要とされず、ＯＴＦばらつきの確率論的な統計情報のみから復元フィルタを生成することができる。
【０１２９】
＜第３実施形態＞
第３実施形態では、輝度系画像データに対する点像復元処理用の復元フィルタの生成処理において、色によるＯＴＦばらつきだけでなく、光学系の製造によるＯＴＦばらつきにも応じて、タフネス性の高い復元フィルタを生成する。尚、本実施形態では、光学系の製造ばらつきを例に挙げるが、被写体距離等の撮影条件のばらつきに関しても、本実施形態と同様に論じることができる。即ち、撮影条件のばらつきに応じた復元強度を有する復元フィルタを生成すればよい。
【０１３０】
以下では、第１実施形態と異なる事項を説明し、第１実施形態又は第２実施形態と同様の事項については、詳細な説明を省略する。
【０１３１】
まず、情報取得部８２により、第１実施形態で定義したＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）と、及び第２実施形態で定義したＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ、ωｙ）とを、取得する（ステップＳ４１）。ＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）は輝度系画像データにおける色のばらつきを示す確率分布である。また、ＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ、ωｙ）は製造による光学系１４のＯＴＦばらつきを示す同時分布である。
【０１３２】
次に、情報取得部８２により、次式に示すように、ＰＣＯＬＯＲ（Ｙ´，Ｃｂ，Ｃｒ）及びＰＯＴＦ（ｈＲ，ｈＧ，ｈＢ｜ωｘ、ωｙ）の両者を混合する演算を行うことにより、Ｒ，Ｇ，Ｂの色毎のＯＴＦばらつき関数ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ、ωｙ）を算出（取得）する（ステップＳ４２）。このＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ、ωｙ）は、Ｒ，Ｇ，Ｂの色毎のＯＴＦばらつきを示す同時分布である。
【０１３３】
【数１２】
0005844940.tif 000013
【０１３４】
上式において、ＩＲ，ＩＧ，ＩＢは、次式のように定義されている。
【０１３５】
【数１３】
0005844940.tif 000014
【０１３６】
以上説明したように、Ｒ，Ｇ，Ｂの色毎のＯＴＦばらつき関数ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ、ωｙ）を取得した後、第１実施形態と同様に、ＯＴＦばらつきが正規分布するものとして分散σ２（又は標準偏差σ）を算出し、次に、その分散σ２（又は標準偏差σ）をパラメータとして復元フィルタＦの周波数特性を算出し、次に、算出された復元フィルタＦの周波数特性を有する復元フィルタＦを生成する。
【０１３７】
本実施形態によれば、輝度系画像データの点像復元処理において、入力色によって光学伝達関数が想定しているものと異なることに因り生じるアーティファクトを、的確に抑えることができると共に、光学系の製造ばらつきに起因して光学伝達関数（ＰＳＦ形状）が想定しているものと異なることに因り生じるアーティファクトを、的確に抑えることができる。また、光学系１４毎の個体差情報は必要とされず、ＯＴＦのばらつき量の確率論的な統計情報のみから復元フィルタを生成することができる。
【０１３８】
＜デジタルカメラの構成例＞
図１２は、デジタルカメラ１０のハードウェア構成例を示すブロック図である。
【０１３９】
図１２において、ＣＰＵ３３は、操作部９に入力された指示に基づき、メモリ３４から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。
【０１４０】
図１の復元フィルタ格納部２４に相当するメモリ３４は、上述の各種プログラムの他に、復元フィルタＦが格納される。また、メモリ３４は、ＣＰＵ３３が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。
【０１４１】
光学系１４の背後には、単板式のカラーの撮像素子１６が配置されている。撮像素子１６の撮像面には、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素が形成されている。各画素はマイクロレンズ、カラーフィルタ（本例ではＲ（赤）Ｇ（緑）Ｂ（青）のカラーフィルタ）及びフォトダイオードを含んで構成される。撮像素子１６は、光学系１４とともに本発明における撮像装置（撮像手段）を構成するものであり、光学系１４により撮像面に結像された被写体像を電気的な出力信号に変換して出力する。なお、撮像素子１６として、ＣＣＤ（Charge Coupled Device）カラー撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カラー撮像素子などの各種類の撮像素子が用いられる。撮像素子ドライバ４５は、ＣＰＵ３３の制御の下で撮像素子１６の駆動を制御する。
【０１４２】
信号調整回路４８は、撮像素子１６から出力される出力信号に各種の信号調整処理を施して、撮像素子１６のカラーフィルタ配列に伴うＲＧＢのモザイク画像データＲ１，Ｇ１，Ｂ１を生成する。なお、信号調整回路４８は、撮像素子１６がＣＣＤ型の場合には例えばＣＤＳ／ＡＧＣ回路やＡ／Ｄ変換回路などで構成され、ＣＭＯＳ型の場合には例えばアンプなどで構成される。
【０１４３】
画像処理回路４９は、本発明の画像処理装置を構成するものである。この画像処理回路４９は、信号調整回路４８から入力される複数色Ｒ，Ｇ，Ｂの各色のモザイク画像データに対して黒レベル調整処理、ホワイトバランス補正処理、ガンマ補正処理、デモザイク処理、ＹＣ変換処理、点像復元処理等を施して、輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒを生成する。輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは、メモリ３４のＶＲＡＭ領域（ＶＲＡＭを別途設けても可）に一時的に格納される。
【０１４４】
ＶＲＡＭ領域は、連続した２フィールド画像分を格納するライブビュー画像用のメモリエリアを有している。ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒは逐次に表示部８へ出力される。これにより、表示部８にライブビュー画像が表示される。
【０１４５】
圧縮伸長処理回路５１は、撮影モード中に操作部９のシャッタボタンが押下されたときに、ＶＲＡＭ領域に格納された輝度系画像データＹ及び色差系画像データＣｂ，Ｃｒに対して圧縮処理を施す。また、圧縮伸長処理回路５１は、メディアＩ／Ｆ５２を介してメモリカード３０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ５２は、メモリカード３０に対する圧縮画像データの記録及び読み出しなどを行う。
【０１４６】
図１３に示すように、画像処理回路４９は、主として入力部４９ａ、デモザイク処理部４９ｂ、変換部４９ｃ（図１の輝度系画像データ生成部２２に相当）、復元処理部４９ｄ（図１の２６）を有している。なお、画像処理回路４９は、ホワイトバランス補正処理やガンマ補正処理などを行う補正処理部も有しているが、説明の煩雑化を防止するためにこれらの補正処理部についての図示や説明は省略する。
【０１４７】
入力部４９ａは、信号調整回路４８から入力されたＲＧＢの各色のモザイク画像データＲ１，Ｇ１，Ｂ１をデモザイク処理部４９ｂへ出力する。すなわち、入力部４９ａは、撮像素子１６の撮像により得られた各色の画像データが入力される入力Ｉ／Ｆとして機能する。
【０１４８】
デモザイク処理部４９ｂは、各色のモザイク画像データＲ１，Ｇ１，Ｂ１に基づき、画素毎にＲＧＢの全ての色情報を算出（同時式に変換）するデモザイク処理（同時化処理ともいう）を行って、ＲＧＢの３面の色データで構成されるＲＧＢ画像データＲ２，Ｇ２，Ｂ２を生成する。デモザイク処理部４９ｂは、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２を変換部４９ｃへ出力する。
【０１４９】
変換部４９ｃ（輝度系画像データ生成部２２）は、ＲＧＢ画像データＲ２，Ｇ２，Ｂ２にＹＣ変換処理を施して、輝度系画像データＹと、色差系画像データＣｂ，Ｃｒとを生成する。輝度系画像データＹは、例えば、式［Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ］に従って生成される。この式ではＧ色の寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。従って、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。
【０１５０】
ここで、本実施形態では輝度系画像データＹとして「Ｙ、Ｃｂ、Ｃｒ」で表される色空間の輝度信号の値を例に挙げて説明しているが、画像の輝度に寄与するデータであれば特に限定されるものではなく、撮像した画像の輝度に関する情報を有する種々のデータを意味する。例えば、輝度信号を得るための寄与率が最も高いデータや、輝度に最も寄与する色のカラーフィルタに対応するデータなどが挙げられる。
【０１５１】
復元処理部４９ｄ（図１の２６）は、メモリ３４に格納されている復元フィルタＦを読み出して、この復元フィルタＦを用いて輝度系画像データＹに対して復元処理を行う。この復元処理は、演算処理の負荷を減らすために視覚的な効果が大きくなる輝度系画像データＹに対してのみ行う。点像復元処理を行うことにより、光学系１４の収差に起因した画像の劣化（ボケ等）が修正される。
【０１５２】
光学系１４を透過した点像（光学像）は図２に「劣化画像データ」として示すように大きな点像（ボケた画像）として撮像素子１６の撮像面に結像されるが、点像復元処理により、図２に「復元画像データ」として示すように小さな点像（高解像度の画像）に復元される。
【０１５３】
＜復元フィルタ生成装置の構成例＞
図１４は、復元フィルタ生成装置８０として用いられるコンピュータ装置１８０のハードウェア構成例を示すブロック図である。
【０１５４】
図１４において、ＣＰＵ１８１は、コンピュータ装置１８０の各部を制御する。記憶部１８２は、復元フィルタ生成処理プログラム、光学伝達関数及び光学伝達関数のばらつき情報を記憶する。この記憶部１８２としては、ＲＯＭやＥＥＰＲＯＭの他、ハードディスクドライブやコンパクト・ディスク、ＤＶＤ等の各種光磁気記録媒体、ＳＳＤ（Solid State Drive）等の半導体メモリ等、各種の非一時的記録媒体を用いることができる。通信部１８３は、サーバ装置（図示を省略）とネットワークを介して通信し、ネットワークを介してサーバ装置から光学伝達関数及び光学伝達関数のばらつき情報を取得する。操作部１８４は、操作者からの指示入力を受け付ける。表示部１８５は各種情報を表示する。
【０１５５】
図１４のコンピュータ装置１８０では、通信部１８３によって図１の情報取得部８２が構成される。ＣＰＵ１８１によって図１の情報取得部８２を構成してもよい。この場合、ＣＰＵ１８１によって光学伝達関数から光学伝達関数のばらつき情報を算出する。また、ＣＰＵ１８１（又は操作部１８４）によって図１の切替部８６が構成される。また、ＣＰＵ１８１によって図１の復元フィルタ生成部８４が構成される。
【０１５６】
＜システムのバリエーション＞
前述の実施形態では、図１に示すように復元フィルタ生成装置８０と、画像処理装置としてのデジタルカメラ１０とが個別に構成される場合を例に説明したが、本発明はこのような場合に限定されない。
【０１５７】
図１５に示すように、デジタルカメラ１０が復元フィルタ生成装置及び画像処理装置を包含している場合であってもよい。図１５のデジタルカメラ１０は、図１の復元フィルタ生成装置８０を構成した情報取得部８２、復元フィルタ生成部８４及び切替部８６を含む。
【０１５８】
また、図１６に示すように、コンピュータ装置１８０（例えば図１４のハードウェア構成）が復元フィルタ生成装置及び画像処理装置を包含している場合であってもよい。図１６のコンピュータ装置１８０は、図１のデジタルカメラ１０を構成した復元フィルタ格納部２４及び復元処理部２６と、輝度系画像データを取得する輝度系画像データ取得部９２とを含む。輝度系画像データ取得部９２は、例えば図１４の通信部１８３によって構成される。
【０１５９】
尚、システム構成は、図１、図１５及び図１６に記載した場合には限定されず、他の構成としてもよい。サーバ装置等の他の装置に復元フィルタ生成部８４や復元処理部２６が設けられてもよい。例えば、サーバ装置が復元処理部２６を備える場合には、例えば、デジタルカメラ１０やコンピュータ装置１８０からサーバ装置に画像データが送信され、サーバ装置の復元処理部２６においてこの画像データに対して復元処理が行われ、復元処理後の画像データ（復元画像データ）が、復元処理前の画像データの送信元に、送信・提供されるようにしてもよい。
【０１６０】
また、本発明を適用可能な態様はデジタルカメラ、コンピュータ装置及びサーバ装置には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。本発明を適用可能なスマートフォンの一例については後述する。
【０１６１】
＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理（復元処理）は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて、光学系の収差に因る画像の劣化を補正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（レンズ、絞り、等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の伝達関数情報（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるよう設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。
【０１６２】
以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度系画像データに対して復元処理を行う例について説明する。
【０１６３】
図１７は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系１１０（光学系）と、撮像素子１１２と、ＡＤ変換部１１４と、画像処理部１２０（復元処理ブロック）を含む。
【０１６４】
図１８は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（図１の光学系１４）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。
【０１６５】
なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよく、各種の光波面変調素子が採用されてもよい。
【０１６６】
すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。
【０１６７】
本例のＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。
【０１６８】
ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１７に示す撮像素子１１２の撮像面に結像され、ここで電気信号に変換される。
【０１６９】
撮像素子１１２は、上記各実施形態の撮像素子（図１、図１２及び図１５の１６）と基本的には同じ構成である。撮像素子１１２は、ＥＤｏＦ光学系１１０により撮像面に結像された被写体光をその入射光量に応じた信号に変換して、アナログのＲＧＢ画像信号を出力する。
【０１７０】
ＡＤ変換部１１４は、撮像素子１１２から出力されるアナログのＲＧＢ画像信号をデジタルのＲ，Ｇ，Ｂの各色のモザイク画像データに変化する。各色のモザイク画像データは、画像処理部１２０に入力される。
【０１７１】
画像処理部１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７（復元処理部）とを含む。
【０１７２】
黒レベル調整部１２２は、ＡＤ変換部１１４から出力された各色のモザイク画像データに黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。
【０１７３】
ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたモザイク画像データに含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。
【０１７４】
ガンマ処理部１２４は、ホワイトバランス調整された各色のモザイク画像データが好ましいガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。
【０１７５】
デモザイク処理部１２５は、ガンマ補正後の各色のモザイク画像データにデモザイク処理を施して、Ｒ，Ｇ，Ｂの３面の色データで構成されるＲＧＢ画像データを出力する。
【０１７６】
ＲＧＢ／ＹＣｒＣｂ変換部１２６は、上記各実施形態の輝度系画像データ生成部（図１及び図１５の２２）と基本的に同じものであり、デモザイク処理部１２５から出力されたＲ，Ｇ，Ｂの３面の色データにＹＣ変換処理を施して、輝度系画像データＹと色差系画像データＣｒ、Ｃｂとを生成及び出力する。
【０１７７】
Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度系画像データＹに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（例えばＭ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリに記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。
【０１７８】
次に、図１９に示すフローチャートを用いて画像処理部１２０（復元処理ブロック）による復元処理について説明する。
【０１７９】
黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４から各色のモザイク画像データが入力され、他の入力には黒レベルデータが入力される。黒レベル調整部１２２は、各色のモザイク画像データから黒レベルデータを減算し、この減算処理後の各色のモザイク画像データをホワイトバランスゲイン部１２３に出力する（ステップＳ５１）。これにより、各色のモザイク画像データには黒レベル成分が含まれなくなる。
【０１８０】
黒レベル調整後の各色のモザイク画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ５２およびＳ５３）。
【０１８１】
ガンマ補正された各色のモザイク画像データは、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度系画像データＹと色差系画像データＣｒ、Ｃｂに変換される（ステップＳ５４）。
【０１８２】
Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ５５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。
【０１８３】
ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、小さな点像（高解像度の画像）に復元される。
【０１８４】
上述のようにデモザイク処理後の輝度系画像データに復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ，Ｇ，Ｂの画素に対応するＲ，Ｇ，Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差系画像データＣｒ，Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差系画像データＣｒ，Ｃｂは輝度系画像データＹよりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化および高速化を両立できる。
【０１８５】
以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。この場合に、上記各実施形態の復元フィルタ生成装置は、ＥＤｏＦ光学系の伝達関数情報に基づき、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるよう設定されたフィルタ係数を有する復元フィルタを生成する。
【０１８６】
＜スマートフォンの構成＞
上記各実施形態では本発明の画像処理装置及び撮像装置としてデジタルカメラ、コンピュータ装置を例に挙げて説明を行ったが、例えば、撮影機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、タブレット端末、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０１８７】
図２０は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図２０に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１８８】
図２１は、図２０に示すスマートフォン２０１の構成を示すブロック図である。図２１に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０１８９】
無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１９０】
表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。
【０１９１】
表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。斯かるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。
【０１９２】
図２０に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１９３】
なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１９４】
通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２０に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。
【０１９５】
操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１９６】
記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの格納媒体（コンピュータ読み取り可能な非一時的記録媒体）を用いて実現される。
【０１９７】
外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１９８】
スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ  ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２６０は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータが外部機器に伝送されるようにすることができる。
【０１９９】
ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０２００】
モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。斯かる検出結果は、主制御部２００に出力されるものである。
【０２０１】
電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０２０２】
主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０２０３】
アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
【０２０４】
また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。
【０２０５】
更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０２０６】
表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０２０７】
また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０２０８】
更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０２０９】
また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０２１０】
カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図２０に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、あるいは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合には、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２４１を同時に使用して撮影することもできる。
【０２１１】
また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０２１２】
その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。
【０２１３】
上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。
【０２１４】
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【０２１５】
なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０２１６】
１０…デジタルカメラ、１４…光学系、１６…撮像素子、１８…撮像部、２２…輝度系画像データ生成部、２４…復元フィルタ格納部、２６…復元処理部、８０…復元フィルタ生成装置、８２…情報取得部、８４…復元フィルタ生成部、８６…切替部
【図１】
0005844940.tif 000015
【図６】
0005844940.tif 000016
【図７】
0005844940.tif 000017
【図８】
0005844940.tif 000018
【図９】
0005844940.tif 000019
【図１０】
0005844940.tif 000020
【図１１】
0005844940.tif 000021
【図１２】
0005844940.tif 000022
【図１３】
0005844940.tif 000023
【図１４】
0005844940.tif 000024
【図１５】
0005844940.tif 000025
【図１６】
0005844940.tif 000026
【図１７】
0005844940.tif 000027
【図１８】
0005844940.tif 000028
【図１９】
0005844940.tif 000029
【図２０】
0005844940.tif 000030
【図２１】
0005844940.tif 000031
【図２】
0005844940.tif 000032
【図３】
0005844940.tif 000033
【図４】
0005844940.tif 000034
【図５】
0005844940.tif 000035