(57)【特許請求の範囲】
【請求項１】
撮影画像が入力され、点像復元情報に基づいて、前記撮影画像に点像復元処理を行い、復元画像を生成する点像復元処理部と、
前記点像復元情報に基づく前記点像復元処理による復元強度が閾値以上になる、前記復元画像における特定領域に関する領域情報を出力する領域情報出力部と、
前記復元画像及び前記領域情報が入力され、前記領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する表示制御部と、
前記表示制御部による表示制御に基づいて、少なくとも前記特定領域の強調表示をする表示部と、
を備える画像処理装置。
【請求項２】
前記領域情報出力部は、前記点像復元情報に基づく変調伝達関数の増加率が閾値以上となる前記復元画像における領域を前記特定領域として選択する請求項１に記載の画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、前記領域情報出力部に代えてフィルタ領域情報出力部を備え、
前記フィルタ領域情報出力部は、前記点像復元処理の復元フィルタに関する情報が入力され、前記復元フィルタに関する情報に基づいて、前記復元画像における前記特定領域に関するフィルタ領域情報を出力し、
前記表示制御部は、前記領域情報に代えて前記フィルタ領域情報が入力され、前記フィルタ領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、前記領域情報出力部に代えて分析領域情報生成部を備え、
前記分析領域情報生成部は、前記撮影画像が入力され、前記撮影画像において偽信号が生じる可能性がある領域を分析することにより特定し、前記領域を前記特定領域とする分析領域情報を生成し、
前記表示制御部は、前記領域情報に代えて前記分析領域情報が入力され、前記分析領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、前記領域情報出力部に代えて撮影条件領域情報出力部を備え、
前記撮影条件領域情報出力部は、前記撮影画像の撮影条件に関する情報が入力され、前記撮影条件に関する情報に基づいて、前記撮影画像における前記特定領域に関する撮影条件領域情報を出力し、
前記表示制御部は、前記領域情報に代えて前記撮影条件領域情報が入力され、前記撮影条件領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する画像処理装置。
【請求項６】
前記撮影条件領域情報出力部は、Ｆ値、撮影距離、焦点距離、ズームポジション、及びレンズ種類のうち少なくともいずれか一つに基づいて前記撮影画像における前記特定領域に関する前記撮影条件領域情報を出力する請求項５に記載の画像処理装置。
【請求項７】
前記表示制御部は、複数の表示形態により、前記復元画像における前記特定領域を強調表示するよう表示制御を行い、前記複数の表示形態に関しての表示順序は、前記特定領域に関する情報に基づいて決定される請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記表示制御部は、前記特定領域が無い場合には、前記復元画像の中央領域を強調表示するよう表示制御し、
前記表示部は、前記表示制御部による表示制御に基づいて、前記復元画像の前記中央領域を強調表示する請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記表示制御部は、前記復元画像における前記特定領域と、前記復元画像を表示するよう表示制御し、
前記表示部は、前記表示制御部による表示制御に基づいて、前記復元画像における前記特定領域と、前記復元画像を表示する請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記表示制御部は、前記撮影画像と前記復元画像、又は、前記復元画像における前記特定領域と前記撮影画像における前記特定領域に対応する領域を比較表示するよう表示制御し、
前記表示部は、前記表示制御部による表示制御に基づいて、前記撮影画像と前記復元画像、又は、前記復元画像における前記特定領域と前記撮影画像における前記特定領域に対応する領域を比較表示し、
前記点像復元処理部は、前記比較表示された画像のうち選択された画像、又は前記比較表示された領域のうちの選択された領域に基づいて、前記撮影画像に対して前記点像復元処理を行う請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記表示制御部は、前記特定領域が含まれる像高に対応する箇所に関して強調表示をするよう表示制御をする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
請求項１から１１のいずれか１項に記載する画像処理装置を有する撮像装置。
【請求項１３】
前記撮像装置は、レンズ交換式である請求項１２に記載の撮像装置。
【請求項１４】
前記撮像装置は、位相を変調して被写界深度を拡大させるレンズを有する請求項１２に記載の撮像装置。
【請求項１５】
点像復元情報に基づいて撮影画像に点像復元処理が行われた復元画像と、前記点像復元情報に基づく前記点像復元処理による復元強度が閾値以上になる、前記復元画像における特定領域に関する領域情報とが入力される入力部と、
前記復元画像及び前記領域情報が入力され、前記領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する表示制御部と、
前記表示制御部による表示制御に基づいて、少なくとも前記特定領域の強調表示をする表示部と、
を備える画像処理装置。
【請求項１６】
点像復元情報に基づいて、撮影画像に点像復元処理を行い、復元画像を生成する点像復元処理ステップと、
前記点像復元情報に基づく前記点像復元処理による復元強度が閾値以上になる、前記復元画像における特定領域に関する領域情報を出力する領域情報出力ステップと、
前記領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する表示制御ステップと、
前記表示制御ステップによる表示制御に基づいて、少なくとも前記特定領域の強調表示をする表示ステップと、
を含む画像処理方法。
【請求項１７】
請求項１６に記載の画像処理方法において、前記領域情報出力ステップに代えてフィルタ領域情報出力ステップを含み、
前記フィルタ領域情報出力ステップは、前記点像復元処理の復元フィルタに関する情報に基づいて、前記復元画像における前記特定領域に関するフィルタ領域情報を出力し、
前記表示制御ステップは、前記フィルタ領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する画像処理方法。
【請求項１８】
請求項１６に記載の画像処理方法において、前記領域情報出力ステップに代えて分析領域情報生成ステップを含み、
前記分析領域情報生成ステップは、撮影画像において偽信号が生じる可能性がある領域を分析することにより特定し、前記領域を前記特定領域とする分析領域情報を生成し、
前記表示制御ステップは、前記分析領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する画像処理方法。
【請求項１９】
請求項１６に記載の画像処理方法において、前記領域情報出力ステップに代えて撮影条件領域情報出力ステップを含み、
前記撮影条件領域情報出力ステップは、前記撮影画像の撮影条件に関する情報に基づいて、前記撮影画像における前記特定領域に関する撮影条件領域情報を出力し、
前記表示制御ステップは、前記撮影条件領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する画像処理方法。
【請求項２０】
点像復元情報に基づいて撮影画像に点像復元処理が行われた復元画像と、前記点像復元情報に基づく前記点像復元処理による復元強度が閾値以上になる、前記復元画像における特定領域に関する領域情報とを取得する取得ステップと、
前記復元画像及び前記領域情報が入力され、前記領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する表示制御ステップと、
前記表示制御ステップによる表示制御に基づいて、少なくとも前記特定領域の強調表示をする表示ステップと、
を含む画像処理方法。
【請求項２１】
点像復元情報に基づいて、撮影画像に点像復元処理を行い、復元画像を生成する点像復元処理ステップと、
前記点像復元情報に基づく前記点像復元処理による復元強度が閾値以上になる、前記復元画像における特定領域に関する領域情報を出力する領域情報出力ステップと、
前記領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する表示制御ステップと、
前記表示制御ステップによる表示制御に基づいて、少なくとも前記特定領域の強調表示をする表示ステップと、
をコンピューターに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムにおいて、前記領域情報出力ステップに代えてフィルタ領域情報出力ステップを含み、
前記フィルタ領域情報出力ステップは、前記点像復元処理の復元フィルタに関する情報に基づいて、前記復元画像における前記特定領域に関するフィルタ領域情報を出力し、
前記表示制御ステップは、前記フィルタ領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御するプログラム。
【請求項２３】
請求項２１に記載のプログラムにおいて、前記領域情報出力ステップに代えて分析領域情報生成ステップを含み、
前記分析領域情報生成ステップは、撮影画像において偽信号が生じる可能性がある領域を分析することにより特定し、前記領域を前記特定領域とする分析領域情報を生成し、
前記表示制御ステップは、前記分析領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御するプログラム。
【請求項２４】
請求項２１に記載のプログラムにおいて、前記領域情報出力ステップに代えて撮影条件領域情報出力ステップを含み、
前記撮影条件領域情報出力ステップは、前記撮影画像の撮影条件に関する情報に基づいて、前記撮影画像における前記特定領域に関する撮影条件領域情報を出力し、
前記表示制御ステップは、前記撮影条件領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御するプログラム。
【請求項２５】
点像復元情報に基づいて撮影画像に点像復元処理が行われた復元画像と、前記点像復元情報に基づく前記点像復元処理による復元強度が閾値以上になる、前記復元画像における特定領域に関する領域情報とを取得する取得ステップと、
前記復元画像及び前記領域情報が入力され、前記領域情報に基づいて、前記復元画像における前記特定領域を強調表示するよう表示制御する表示制御ステップと、
前記表示制御ステップによる表示制御に基づいて、少なくとも前記特定領域の強調表示をする表示ステップと、
をコンピューターに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する技術であり、特に点像分布関数（ＰＳＦ：Ｐｏｉｎｔ
Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）に基づいて行われる補正が施された画像の表示に関する技術である。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により、被写体を撮影して得られた撮影画像には、光学系（撮影レンズ等）に関する種々の収差に由来する画像劣化や回折ボケが起こる場合がある。【０００３】
この収差に由来する画像劣化や回折ボケ（周辺ボケ、倍率色収差等）を防ぐために、被写体像の画像データに画像処理を行って、画像劣化や回折ボケを取り除く（修正する）技術が考えられてきた。【０００４】
収差による画像劣化は、点像分布関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）により表現することができ、画質劣化した撮影画像に対し点像分布関数に基づく点像復元処理を行うことで画質を回復することができる。すなわち、点像復元処理は、点像分布関数の復元フィルタ（逆フィルタ）を撮影画像データにかけることによって、画像劣化をキャンセルする処理である。【０００５】
一方、撮影された撮影画像に対して補正を行う場合に、その補正の効果を確認するための様々な技術が考えられてきた。【０００６】
例えば、特許文献１には、画ぶれ補正された後の画像と補正される前の画像とを比較表示する技術が開示されている。【０００７】
又、特許文献２には、回復処理する前のブレ画像と回復処理した回復画像、点像関数（本願の点像分布関数に対応するものと考えられる）に関する情報とブレ軌跡データとがそれぞれ対応づけて表示される技術が開示されている。【０００８】
又、特許文献３には、補正対象画像（補正前の画像）と補正後の画像を表示させて、対象画像の復元度を評価してぼけ具合を判定し、その判定をさらに補正に使用する技術が開示されている。【０００９】
特許文献４には、回復処理（本願の点像復元処理に対応するものと考えられる）の前後の画像における差が最大となる領域を表示して、回復処理の効果を確認する技術が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−２１３０４４号公報
【特許文献２】特開２００４−２０５８０２号公報
【特許文献３】特開２００９−７７２０２号公報
【特許文献４】特開２０１１−１９３２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１から３に記載された技術では、撮影画像に対して行われた点像復元処理の効果を適切に確認することができない場合がある。すなわち、点像復元処理の効果を確認する場合、単に点像復元処理を行う前の撮影画像と点像復元処理を行った後の撮影画像を並べて表示するだけでは、効果の確認がユーザーにとって視覚的に困難な場合がある。又、特許文献４に記載された技術では、点像復元処理が行われる前の撮影画像にノイズ等（飽和画素等）があった場合に、点像復元処理の効果（点像復元処理により画像が向上したか、又はノイズ等の影響で劣化したか）を適切に確認することができない場合がある。【００１２】
本発明はこのような事情に鑑みてなされたもので、点像復元処理における効果の確認を容易に行うことができ、又点像復元処理が行われる前の撮影画像にノイズ等（飽和画素等）があった場合であっても、点像復元処理の効果を適切に確認することができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の一の態様に係る画像処理装置は、撮影画像が入力され、点像復元情報に基づいて、撮影画像に点像復元処理を行い、復元画像を生成する点像復元処理部と、点像復元情報に基づく点像復元処理による復元強度が閾値以上になる、復元画像における特定領域に関する領域情報を出力する領域情報出力部と、復元画像及び領域情報が入力され、領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する表示制御部と、表示制御部による表示制御に基づいて、少なくとも特定領域の強調表示をする表示部と、を備える。【００１４】
これにより、点像復元処理における効果の確認を、特定領域を強調表示することにより容易に行うことができる。又、点像復元処理が行われる前の撮影画像にノイズ等（飽和画素等）があった場合であっても、特定領域を復元強度により特定しているので、点像復元処理の効果（点像復元処理により画像が向上したか、又はノイズ等の影響で劣化したか）を適切に確認することができる。【００１５】
画像処理装置において、好ましくは、領域情報出力部は、点像復元情報に基づく変調伝達関数の増加率が閾値以上となる復元画像における領域を特定領域として選択する。【００１６】
これにより、特定領域の選択をより的確に行うことができ、且つ的確に選択された特定領域を強調表示することができるので、点像復元処理の効果を適切に確認することができる。【００１７】
画像処理装置は、好ましくは、領域情報出力部に代えてフィルタ領域情報出力部を備え、フィルタ領域情報出力部は、点像復元処理の復元フィルタに関する情報が入力され、復元フィルタに関する情報に基づいて、復元画像における特定領域に関するフィルタ領域情報を出力し、表示制御部は、領域情報に代えてフィルタ領域情報が入力され、フィルタ領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００１８】
これにより、フィルタ領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００１９】
画像処理装置は、好ましくは、領域情報出力部に代えて分析領域情報生成部を備え、分析領域情報生成部は、撮影画像が入力され、撮影画像において偽信号が生じる可能性がある領域を分析することにより特定し、領域を特定領域とする分析領域情報を生成し、表示制御部は、領域情報に代えて分析領域情報が入力され、分析領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００２０】
これにより、分析領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００２１】
画像処理装置は、好ましくは、領域情報出力部に代えて撮影条件領域情報出力部を備え、撮影条件領域情報出力部は、撮影画像の撮影条件に関する情報が入力され、撮影条件に関する情報に基づいて、撮影画像における特定領域に関する撮影条件領域情報を出力し、表示制御部は、領域情報に代えて撮影条件領域情報が入力され、撮影条件領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００２２】
これにより、撮影条件領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００２３】
画像処理装置において、好ましくは、撮影条件領域情報出力部は、Ｆ値、撮影距離、焦点距離、ズームポジション、及びレンズ種類のうち少なくともいずれか一つに基づいて撮影画像における特定領域に関する撮影条件領域情報を出力する。【００２４】
これにより、Ｆ値、撮影距離、焦点距離、ズームポジション、及びレンズ種類に基づいた撮影条件領域情報に基づいて特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００２５】
画像処理装置において、好ましくは、表示制御部は、複数の表示形態により、復元画像における特定領域を強調表示するよう表示制御を行い、複数の表示形態に関しての表示順序は、特定領域に関する情報に基づいて決定される。【００２６】
これにより、強調表示された複数の特定領域を、点像復元処理の効果が大きい順に確認することができ、点像復元処理の効果を適切に確認することができる。【００２７】
画像処理装置において、好ましくは、表示制御部は、特定領域がない場合には、復元画像の中央領域を強調表示するよう表示制御し、表示部は、表示制御部による表示制御に基づいて、復元画像の中央領域を強調表示する。【００２８】
これにより、主要被写体に関する点像復元処理の効果の確認をすることができる。【００２９】
画像処理装置において、好ましくは、表示制御部は、復元画像における特定領域と、復元画像を表示するよう表示制御し、表示部は、表示制御部による表示制御に基づいて、復元画像における特定領域と、復元画像を表示する。【００３０】
これにより、点像復元処理の効果が大きい特定領域及び復元画像全体に関して点像復元処理の効果を確認することができる。【００３１】
画像処理装置において、好ましくは、表示制御部は、撮影画像と復元画像、又は、復元画像における特定領域と撮影画像における特定領域に対応する領域を比較表示するよう表示制御し、表示部は、表示制御部による表示制御に基づいて、撮影画像と復元画像、又は、復元画像における特定領域と撮影画像における特定領域に対応する領域を比較表示し、点像復元処理部は、比較表示された画像うちの選択された画像、又は比較表示された領域のうちの選択された領域に基づいて、撮影画像に対して点像復元処理を行う。【００３２】
これにより、選択された画像、又は選択された領域に基づいて点像復元処理が実行されるため、ユーザーの好みに合わせた点像復元処理を行うことができる。【００３３】
画像処理装置において、好ましくは、表示制御部は、特定領域が含まれる像高に対応する箇所に関して強調表示をするよう表示制御をする。【００３４】
これにより、特定領域が含まれる像高において強調表示がされるので、点像復元処理の効果を適切に確認することができる。【００３５】
上記目的を達成するために、本発明の他の態様に係る撮像装置は、上述の画像処理装置を有する。撮像装置において、好ましくは、レンズ交換式である。又、撮像装置において、好ましくは、位相を変調して被写界深度を拡大させるレンズを有する。【００３６】
上記目的を達成するために、本発明の他の態様に係る画像処理装置は、点像復元情報に基づいて撮影画像に点像復元処理が行われた復元画像と、点像復元情報に基づく点像復元処理による復元強度が閾値以上になる、復元画像における特定領域に関する領域情報とが入力される入力部と、復元画像及び領域情報が入力され、領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する表示制御部と、表示制御部による表示制御に基づいて、少なくとも特定領域の強調表示をする表示部と、を備える。【００３７】
これにより、他の装置により点像復元処理が行われた復元画像においても、強調表示を行うことができ、点像復元処理の効果を適切に確認することができる。【００３８】
上記目的を達成するために、本発明の他の態様に係る画像処理方法は、点像復元情報に基づいて、撮影画像に点像復元処理を行い、復元画像を生成する点像復元処理ステップと、点像復元情報に基づく点像復元処理による復元強度が閾値以上になる、復元画像における特定領域に関する領域情報を出力する領域情報出力ステップと、領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する表示制御ステップと、表示制御ステップによる表示制御に基づいて、少なくとも特定領域の強調表示をする表示ステップと、を含む。【００３９】
これにより、点像復元処理における効果の確認を、特定領域を強調表示することにより容易に行うことができ、又点像復元処理が行われる前の撮影画像にノイズ等（飽和画素等）があった場合であっても、特定領域を復元強度により特定しているので、点像復元処理の効果を適切に確認することができる。【００４０】
画像処理方法は、好ましくは、領域情報出力ステップに代えてフィルタ領域情報出力ステップを含み、フィルタ領域情報出力ステップは、点像復元処理の復元フィルタに関する情報に基づいて、復元画像における特定領域に関するフィルタ領域情報を出力し、表示制御ステップは、フィルタ領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００４１】
これにより、フィルタ領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００４２】
画像処理方法は、好ましくは、領域情報出力ステップに代えて分析領域情報生成ステップを含み、分析領域情報生成ステップは、撮影画像において偽信号が生じる可能性がある領域を分析することにより特定し、領域を特定領域とする分析領域情報を生成し、表示制御ステップは、分析領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００４３】
これにより、分析領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００４４】
画像処理方法は、好ましくは、領域情報出力ステップに代えて撮影条件領域情報出力ステップを含み、撮影条件領域情報出力ステップは、撮影画像の撮影条件に関する情報に基づいて、撮影画像における特定領域に関する撮影条件領域情報を出力し、表示制御ステップは、撮影条件領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００４５】
これにより、撮影条件領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００４６】
上記目的を達成するために、本発明の他の態様に係る画像処理方法は、点像復元情報に基づいて撮影画像に点像復元処理が行われた復元画像と、点像復元情報に基づく点像復元処理による復元強度が閾値以上になる、復元画像における特定領域に関する領域情報とを取得する取得ステップと、復元画像及び領域情報が入力され、領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する表示制御ステップと、表示制御ステップによる表示制御に基づいて、少なくとも特定領域の強調表示をする表示ステップと、を含む。【００４７】
これにより、他の装置により点像復元処理がされた復元画像においても、強調表示を行うことができ、点像復元処理の効果を適切に確認することができる。【００４８】
上記目的を達成するために、本発明の他の態様に係るプログラムは、点像復元情報に基づいて、撮影画像に点像復元処理を行い、復元画像を生成する点像復元処理ステップと、点像復元情報に基づく点像復元処理による復元強度が閾値以上になる、復元画像における特定領域に関する領域情報を出力する領域情報出力ステップと、領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する表示制御ステップと、表示制御ステップによる表示制御に基づいて、少なくとも特定領域の強調表示をする表示ステップと、をコンピューターに実行させる。【００４９】
これにより、点像復元処理における効果の確認を、特定領域を強調表示することにより容易に行うことができ、又点像復元処理が行われる前の撮影画像にノイズ等（飽和画素等）があった場合であっても、特定領域を復元強度により特定しているので、点像復元処理の効果を適切に確認することができる。【００５０】
プログラムは、好ましくは、領域情報出力ステップに代えてフィルタ領域情報出力ステップを含み、フィルタ領域情報出力ステップは、点像復元処理の復元フィルタに関する情報に基づいて、復元画像における特定領域に関するフィルタ領域情報を出力し、表示制御ステップは、フィルタ領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００５１】
これにより、フィルタ領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００５２】
プログラムは、好ましくは、領域情報出力ステップに代えて分析領域情報生成ステップを含み、分析領域情報生成ステップは、撮影画像において偽信号が生じる可能性がある領域を分析することにより特定し、領域を特定領域とする分析領域情報を生成し、表示制御ステップは、分析領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００５３】
これにより、分析領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００５４】
プログラムは、好ましくは、領域情報出力ステップに代えて撮影条件領域情報出力ステップを含み、撮影条件領域情報出力ステップは、撮影画像の撮影条件に関する情報に基づいて、撮影画像における特定領域に関する撮影条件領域情報を出力し、表示制御ステップは、撮影条件領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。【００５５】
これにより、撮影条件領域情報に基づいた特定領域を強調表示することができ、点像復元処理の効果を適切に確認することができる。【００５６】
上記目的を達成するために、本発明の他の態様に係るプログラムは、点像復元情報に基づいて撮影画像に点像復元処理が行われた復元画像と、点像復元情報に基づく点像復元処理による復元強度が閾値以上になる、復元画像における特定領域に関する領域情報とを取得する取得ステップと、復元画像及び領域情報が入力され、領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する表示制御ステップと、表示制御ステップによる表示制御に基づいて、少なくとも特定領域の強調表示をする表示ステップと、をコンピューターに実行させる。【００５７】
これにより、他の装置により点像復元処理がされた復元画像においても、強調表示を行うことができ、点像復元処理の効果を適切に確認することができる。
【発明の効果】
【００５８】
本発明によれば、特定領域の強調表示をすることにより、点像復元処理における効果の確認を容易に行うことができ、又点像復元処理が行われる前の撮影画像にノイズ等（飽和画素等）があった場合であっても、点像復元処理の効果（点像復元処理により画像が向上したか、又はノイズ等の影響で劣化したか）を適切に確認することができる。
【図面の簡単な説明】
【００５９】
【図１】画像処理装置を含む撮像装置の要部を示すブロック図である。
【図２】点像復元処理を説明する図である。
【図３】点像復元処理を説明する図である。
【図４】点像復元処理の効果を説明する図である。
【図５】図５Ａ及び５Ｂは、強調表示を説明する図である。
【図６】図６Ａ及び６Ｂは、強調表示を説明する図である。
【図７】強調表示を説明する図である。
【図８】強調表示を説明する図である。
【図９】強調表示を説明する図である。
【図１０】画像処理装置の動作を説明する図である。
【図１１】画像処理装置の変形例を含む撮像装置の要部を示すブロック図である。
【図１２】画像処理装置の変形例を説明する図である。
【図１３】画像処理装置の変形例の動作を説明する図である。
【図１４】画像処理装置の変形例を含む撮像装置の要部を示すブロック図である。
【図１５】画像処理装置の変形例の動作を説明する図である。
【図１６】画像処理装置の変形例を含む撮像装置の要部を示すブロック図である。
【図１７】図１７Ａ〜１７Ｃは、画像処理装置の変形例を説明する図である。
【図１８】画像処理装置の変形例の動作を説明する図である。
【図１９】画像処理装置の変形例を含む撮像装置の要部を示すブロック図である。
【図２０】画像処理装置の変形例の動作を説明する図である。
【図２１】ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。
【図２２】ＥＤｏＦ光学系の一例を示す図である。
【図２３】図２１に示す復元処理ブロックにおける復元処理の一例を示すフローチャートである。
【図２４】点像復元処理により復元される点像の様子を示す図である。
【図２５】撮像装置の他の態様を示す図である。
【図２６】図２５に示す撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００６０】
添付図面を参照して本発明の実施形態について説明する。尚、以下の説明は、本発明に関する例の説明であり、本発明を限定するものではない。
【００６１】
図１では、本発明の画像処理装置１が撮像装置５内に含まれた場合について示し、撮像装置の要部に関してのブロック図を示している。図１に示された撮像装置５は、主に光学系１０、撮像素子１５、データ制御部２０、画像処理部２５、内部メモリ３５、記録部３０、及び本発明の画像処理装置１を備える。又、画像処理装置１は、主に点像復元処理部４０、領域情報出力部４５、表示制御部５０、表示部５５を備える。
【００６２】
撮像装置５は、撮像した撮影画像をデータ制御部内に設置される内部メモリ３５、又は記録部３０に記録することが可能であり、装置全体の動作は、中央処理装置（ＣＰＵ）（図示せず）によって統括制御される。
【００６３】
図１における光学系１０とは、主にレンズ部とシャッターを意味する。レンズ部は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部及びシャッターを通過した光束は、撮像素子１５の受光面に結像される。又、光学系１０のレンズ部はレンズ交換式であってもよいし、非交換式であってもよい。又、光学系１０のレンズ部は、位相を変調して被写界深度を拡大させてもよい。
【００６４】
撮像素子１５は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（又は電荷）に変換される。
【００６５】
撮像素子１５に使用されるカラーフィルタは、様々な配列（カラーフィルタ配列）を採用することができ、特に限定されるものではない。例えば、撮像素子１５は、ベイヤ配列を採用することができる。
【００６６】
撮像素子１５に蓄積された信号電荷は、信号電荷に応じた電圧信号として読み出される。撮像素子１５から読み出された電圧信号は、Ａ／Ｄ変換器に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ（赤色）、Ｇ（緑色）、Ｂ（青色）信号に変換され、一旦、データ制御部内の内部メモリ３５に保存される。
【００６７】
内部メモリ３５は、揮発性メモリであるＳＤＲＡＭや、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ等を含み、ＳＤＲＡＭは、ＣＰＵによるプログラムの実行時におけるワークエリアとして、又、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子１５の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。
【００６８】
画像処理部２５は、内部メモリ３５に一旦格納されたデジタルの画像信号に対して、ホワイトバランス補正、ガンマ補正処理、デモザイク処理（同時化処理とも言われる）、ＲＧＢ／ＹＣ変換、輪郭補正、色収差補正、点像復元処理等の信号処理を行う。尚、本発明においてはこれらの信号処理の順序については特に制限されるものではない。画像処理部２５により、画像処理されて画像信号（画像データ）は、再びデータ制御部２０へ戻され、内部メモリ３５に記憶される。
【００６９】
画像処理部２５で処理された画像信号（画像データ）は、表示制御部５０において画像表示用のデータにエンコーディングされ、ドライバを介して撮像装置５が備える表示部５５に出力される。これにより、被写体像が連続的に表示部５５の表示画面上に表示される。
【００７０】
撮像装置５に備えられているシャッターボタンの第１段階の押下（半押し）があると、ＣＰＵは第１段階の押下（半押し）に応じて出力される予備撮影指示信号を受信し、ＡＦ動作及びＡＥ動作を開始させ、光学系内にあるレンズ部のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
【００７１】
ＣＰＵは、シャッターボタンの半押しにより出力される予備撮影指示信号を受信し、Ａ／Ｄ変換器から出力される画像データに基づいて被写体の明るさを算出し、露出条件を決定する。尚、露出条件を決定するのは、シャッターボタンの半押し時に限られるものではない。
【００７２】
ＡＥ動作及びＡＦ動作が終了し、シャッターボタンの第２段階の押下（全押し）があると、上記決定した露出条件により絞り、シャッター及び撮像素子１５での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子１５から読み出され、Ａ／Ｄ変換器によりＡ／Ｄ変換されたＲＧＢのモザイク画像（カラーフィルタ配列に対応する画像）の画像データは、内部メモリ３５に一時的に記憶される。
【００７３】
内部メモリ３５に一時的に記憶された画像データは、画像処理部２５により適宜読み出され、ここで、ホワイトバランス補正、ガンマ補正、デモザイク処理（同時化処理）、ＲＧＢ／ＹＣ変換、輪郭補正、色補正等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式）にしたがって圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆファイル）形式で内部メモリ３５や記録部３０に備えられる外部メモリに記録される。
【００７４】
図１に記載された画像処理装置１は、点像復元処理部４０が備えられている。点像復元処理部４０では、撮影画像が入力され、点像復元情報に基づいて撮影画像に点像復元処理が行われ、復元画像が生成される。
【００７５】
又、領域情報出力部４５では、点像復元情報に基づく点像復元処理による復元強度が閾値以上になる、復元画像における特定領域に関する領域情報を出力する。尚、点像復元処理部４０及び領域情報出力部４５の詳しい説明は後述する。又、図１では、点像復元処理部４０は撮像装置５における画像処理部２５とは別に設けられているが、これに限定されるものではない。例えば、画像処理部２５内に点像復元処理部４０が設けられていてもよい。すなわち、画像処理装置１内に画像処理部２５が備えられ、画像処理部内に点像復元処理部４０が設けられてもよい。
【００７６】
表示制御部５０は、ドライバを介して、データ制御部２０から送られてくる復元画像及び／又は撮影画像を、表示部５５に表示する。さらに、領域情報が入力され、領域情報に基づいて、復元画像における特定領域を強調表示するよう表示制御する。
【００７７】
表示部５５は、表示制御部５０から送られてくる復元画像を表示する。さらに、表示部５５は、表示制御部５０による表示制御に基づいて、少なくとも特定領域の強調表示をする。尚、表示部５５の具体例として、図１で示したように撮像装置５が表示部５５を備える場合は、撮像装置５の背面に設けられる液晶画面等が考えられる。又、画像処理装置１が、コンピューター内に設置されている場合は、コンピューターのモニター等が表示部５５の具体例としてあげられる。
【００７８】
次に、図２及び図３に沿って、点像復元処理部４０（図１参照）で行われる点像復元処理に関して説明を行う。点像復元処理部４０では、点像復元情報に基づいて、撮影画像に点像復元処理を行い、復元画像が生成される。尚、ここで、点像復元情報とは、点像復元処理の処理内容を決定するものであれば特定限定されるものではない。例えば、点像復元処理の処理内容を決定づける様々なパラメータが点像復元情報とされる。例えば、フィルタ係数、フィルタのタップ数を点像復元情報とすることもできる。
【００７９】
図２は、画像の撮影から点像復元処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系１０（レンズ、絞り等）を介して撮像素子１５（イメージセンサ）により受光され、撮像素子１５から原画像データＤｏ（撮影画像）が出力される。この原画像データＤｏは、光学系１０の特性に由来する点拡がり現象によって、本来の被写体像がぼけた状態の画像データとなる。
【００８０】
このぼけ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、点像復元処理部４０において、原画像データＤｏに対して復元フィルタＦを用いた点像復元処理Ｐ１０を行うことで、本来の被写体像（点像）により近い像（復元画像）を表す回復画像データＤｒが得られる。
【００８１】
点像復元処理部４０における、点像復元処理Ｐ１０で用いられる復元フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系１０の点像情報（点拡がり関数）から、所定の復元フィルタ算出アルゴリズムＰ２０によって得られる。光学系１０の点像情報（点拡がり関数）は、レンズの種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタＦを算出する際には、これらの撮影条件が取得される。
【００８２】
図３により、点像復元処理部４０（図１参照）にて行われる点像復元処理に関して概略を説明する。図３は、点像復元処理の一例の概略を示すブロック図である。点像復元処理Ｐ１０とは、復元フィルタＦを用いたフィルタリング処理によって、点像復元処理前画像データＤ１０（撮影画像）から点像復元処理後画像データＤ１１（復元画像）を作成する処理である。すなわち、Ｎ×Ｍのタップによって構成される復元フィルタＦを処理対象の画像データに適用し、各タップに割り当てられるフィルタ係数と対応の画素データ（点像復元処理前画像データＤ１０の処理対象画素データ及び隣接画素データ）とを加重平均演算することで、点像復元処理後の画素データ（点像復元処理後画像データＤ１１）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。
【００８３】
次に、領域情報出力部４５では、復元画像における特定領域に関する情報が出力される。すなわち、点像復元処理部４０から点像復元情報を取得して、点像復元処理による復元強度が閾値以上になる、復元画像における特定領域に関する領域情報を出力する。ここで、復元強度が閾値以上とは、点像復元処理が撮影画像に対して強く作用することを意味する。言い換えると、復元強度が閾値以上とは、撮影画像が点像復元処理により、復元（補正）される度合いがある一定以上のことを意味する。
【００８４】
領域情報出力部４５では、点像復元処理の内容に関して予め設定された情報に基づいて、復元強度が閾値以上になる復元画像における特定領域に関する情報を出力することにより、点像復元処理の効果を適切に確認することが可能となる。
【００８５】
図４では、撮影画像が点像復元処理により復元されることを変調伝達関数（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）（ＭＴＦ）を使用して説明している。尚、図４の（ａ）は撮影画像（点像復元処理前の画像）のＭＴＦを示し、図４の（ｂ）は復元画像（点像復元処理後の画像）のＭＴＦを示している。さらに、図４の（Ｉ）及び（ＩＩ）は、点像復元情報に基づく変調伝達関数の増加に関して示している。
【００８６】
点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦといい、位相成分をＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）という。ＭＴＦ及びＰＴＦはそれぞれ、収差による画像劣化の振幅成分及び位相成分の周波数特性である。
【００８７】
点像復元処理は、ＭＴＦ及び/又はＰＴＦが理想応答に近づくように補正するため、点像復元処理前の不鮮鋭であるＰＳＦを持つ画像であっても、点像復元処理後の復元画像は鮮鋭になる。
【００８８】
図４に示されているように、点像復元情報に基づく周波数ｆ（１）における変調伝達関数（ＭＴＦの値）の増加率が閾値以上となる復元画像における領域を特定領域として選択する。すなわち、図４の（ａ）に示された撮影画像（点像復元処理前の画像）のＭＴＦは、点像復元処理が行われることにより、図４の（ｂ）に示された曲線となる。そして、周波数がｆ（１）であるところでは、（ａ）で示されたＭＴＦは、点像復元処理により（ｂ）で示されたＭＴＦに持ち上げられる（図４中の（Ｉ）参照）。図４中の（Ｉ）で示された増加率は、図４で示されたグラフ全体から考慮すると、大きい増加率といえる。一方、周波数がｆ（２）であるところでは、（ａ）で示されたＭＴＦは、点像復元処理により（ｂ）で示されたＭＴＦに持ち上げられる（図４中の（ＩＩ）参照）。図４中の（ＩＩ）で示された増加率は、図４で示されたグラフ全体から考慮すると、小さい増加率である。尚、周波数ｆ（１）及びｆ（２）は、特定の周波数に限られるものではない。例えば、ｆ（１）として、ナイキスト周波数の半分の周波数（０．２５Ｆｓ）を採用することができ、ｆ（２）として、０．４Ｆｓを採用することが考えられる。又、図４（Ｉ）示された増加率は点像復元処理によるＭＴＦの増加率が大きいと表現したが、具体的には、ＭＴＦの最大値の２５％以上、好ましくは３５％以上の値の増加率を有している場合が考えられる。又、図４（ＩＩ）示された増加率は点像復元処理によるＭＴＦの増加率が小さいと表現したが、具体的には、ＭＴＦの最大値の１５％以下、好ましくは１０％以下の値の増加率を有している場合が考えられる。尚、本例では点像復元処理前後におけるＭＴＦの違いの大きさを復元強度という。又、復元強度は、復元フィルタにより決定される。尚、ここでＦｓとはサンプリング周波数のことを意味する。
【００８９】
領域情報出力部４５では、上述した点像復元処理の復元強度が閾値以上になる領域を特定領域として特定し、領域情報として出力する。出力された領域情報は、復元画像と共に、表示制御部５０に入力される。そして、特定領域は、領域情報に基づいて強調表示される。強調表示の表示形態は、特に限定されるものではなく、点像復元処理の効果（点像復元処理により画像が向上したか、又はノイズ等の影響で劣化したか）をユーザーにおいて確認し易くするという観点から、様々な形態を採用することができる。以下に具体的な強調表示の形態に関して説明をする。
【００９０】
［強調表示の形態］
図５から図９には、表示制御部５０にて行われる特定領域１１０を強調表示する表示制御、及び表示部５５が行う特定領域１１０の強調表示の具体的な例が説明されている。尚、強調表示は、ユーザーが点像復元処理の効果を適切に確認することができればよく、特に限定されるものではない。
【００９１】
図５（Ａ）には、強調表示１が示されている。図５（Ａ）の強調表示１においては、表示部５５に、点像復元処理が行われた復元画像において特定領域１１０が枠１０５で示されている。強調表示１の形態を採用することにより、点像復元処理の効果が大きい領域（復元強度が大きい領域）が枠１０５により強調されているので、点像復元処理の効果をより容易に確認することができる。図５（Ｂ）には、強調表示２が示されている。図５（Ｂ）の強調表示２においては、特定領域１１０が表示部５５に拡大表示されている。強調表示２の形態を採用することにより、特定領域１１０に関して、より詳細に点像復元処理の効果を確認することができる。
【００９２】
図６（Ａ）では、強調表示３が示されている。図６（Ａ）で示された強調表示３では、点像復元処理が行われる前の撮影画像１１５において、特定領域１１０に対応する領域１２０が枠１０５により示されており、又、点像復元処理が行われた後の復元画像１００において、特定領域１１０が枠１０５により示されている。又、図６（Ａ）で示される強調表示３では、撮影画像１１５及び回復画像１００の全体が表示され、比較ができるように並べて表示されている。強調表示３の形態を採用することにより、画像全体における特定領域１１０の点像復元処理の効果を確認することが、より容易に行うことができ、点像復元処理の効果が大きい領域（復元強度が大きい領域）が枠１０５により強調されているので、点像復元処理の効果をより容易に確認することができる。
【００９３】
図６（Ｂ）では、強調表示４が示されている。図６（Ｂ）では、点像復元処理が行われる前の撮影画像の特定領域１１０に対応する領域１２０が拡大され、及び点像復元処理が行われた後の復元画像１００の特定領域１１０が拡大されて示されている。これにより、特定領域１１０における点像復元処理の効果を、より詳細に比較することができる。
【００９４】
尚、図６に示されるように表示制御部５０は、撮影画像と復元画像、又は、復元画像における特定領域１１０と撮影画像における特定領域１１０に対応する領域を表示部５５に比較表示させている。この場合に、点像復元処理部４０は、比較表示された画像うちの選択された画像、又は比較表示された領域のうちの選択された領域に基づいて、撮影画像に対して点像復元処理を行ってもよい。すなわち、選択された画像、又は選択された領域に対して実行された点像復元処理に近い復元強度の点像復元処理を撮影画像に対して行うようにしてもよい。例えば、点像復元処理前の撮影画像が選択された場合は、点像復元強度の弱い復元フィルタを選択して、撮影画像に点像復元処理を行い再度比較表示する。さらに、比較表示された画像のうちの選択された画像又は選択された領域に基づいて、撮影画像に対して点像復元処理を行ってもよい。これにより、ユーザーは簡易に好みの復元強度の復元画像を取得することが可能となる。
【００９５】
図７では、強調表示５が示されている。強調表示５では、回復画像１００における拡大された特定領域１１０と、回復画像１００の全体が、比較可能なように配置されている。強調表示５の形態を採用することにより、点像復元処理の効果が大きい箇所に関しては、より詳細に確認することが可能であり、さらに、画像全体における点像復元処理の効果を確認することができる。
【００９６】
図８では、強調表示６が示されている。強調表示６では、特定領域１１０が復元画像内にて複数ある場合に、その複数の特定領域１１０を切り出して、表示部５５に配列して強調表示をしている。強調表示６の形態を採用することにより、復元画像に複数の特定領域１１０が存在する場合であっても、点像復元処理の効果をより詳細に確認することができる。
【００９７】
図９では、強調表示７が示されている。強調表示７では、ブラケッティング撮影モード等により複数の撮影条件で撮影された場合に、各々の撮影条件における特定領域１１０に枠１０５を表示し、各々の撮影条件における復元画像が配列されている。強調表示７の形態を採用することにより、異なる設定（撮影条件等）で撮影された撮影画像への点像復元処理の効果を有効に確認することができる。
【００９８】
以上、図５から図９において、強調表示の形態に関して説明をしてきたが、これに限定されるものではない。又、特定領域１１０が一つの復元画像内に複数ある場合、表示制御部５０は複数の表示形態により、復元画像における特定領域１１０を強調表示するよう表示制御を行うことがきる。例えば、表示制御部５０は、図５（Ｂ）に示された強調表示２を複数の特定領域１１０に関して、１枚ずつ切り換えながら表示部５５に表示させてもよい。その場合、表示順序は特定領域に関する情報に基づいて決定される。又、表示制御部５０は、特定領域に関する情報に基づいて、表示順序として点像復元処理の効果が大きい順に表示部５５に表示させても良い。このことにより、強調表示された複数の特定領域を、点像復元処理の効果が大きい順に確認することができる。
【００９９】
又、一つの特定領域１１０に関して、複数の強調表示を行ってもよい。例えば、一つの特定領域１１０に関して強調表示１により表示させて、その後、強調表示２により強調表示させてもよい。このように複数の強調表示の形態により、特定領域１１０を表示させることにより、点像復元処理の効果の確認が多面的に行うことができる。
【０１００】
さらに、特定領域１１０が含まれる像高に対応する箇所に関して強調表示をするよう表示制御をしてもよい。これにより、点像復元処理の効果が大きい領域を効率的に確認することができる。
【０１０１】
図１０には、画像処理装置１の動作フローが示されている。先ず、点像復元処理部４０により、点像復元情報に基づいて撮影画像に点像復元処理を行い、復元画像が生成される（ステップＳ１０）（点像復元処理ステップ）。その後、領域情報出力部４５により、点像復元情報に基づいて行われる点像復元処理による復元強度が閾値以上になる、復元画像における特定領域１１０に関する領域情報を出力する（ステップＳ２０）（領域情報出力ステップ）。
【０１０２】
その後、表示制御部５０により、領域情報に基づいて、復元画像における特定領域１１０が強調表示されるように表示制御が行われる（ステップＳ３０）（表示制御ステップ）。その後、表示部５５において、表示制御に基づいて、少なくとも特定領域１１０の強調表示をする（ステップＳ４０）（表示ステップ）。
【０１０３】
上述の態様を採用することにより、点像復元処理における効果の確認を、特定領域１１０を強調表示することにより容易に行うことができ、又点像復元処理が行われる前の撮影画像にノイズ等（飽和画素等）があった場合であっても、特定領域１１０を復元強度により特定しているので、点像復元処理の効果を適切に確認することができる。
【０１０４】
［画像処理装置の変形例１］
図１１は、画像処理装置１の変形例１の要部を示すブロック図である。図１に示された画像処理装置１と図１１に示された画像処理装置１を比較すると、図１１に示された画像処理装置１では、図１に示された画像処理装置１が有する領域情報出力部４５に代えてフィルタ領域情報出力部４６を有する。以下に、図１１に示された画像処理装置１に関して詳述する。尚、図１と同様の要部は、同様の符号付し説明は省略する。
【０１０５】
フィルタ領域情報出力部４６は、点像復元処理の復元フィルタに関する情報が入力され、復元フィルタに関する情報に基づいて、復元画像における特定領域１１０に関するフィルタ領域情報を出力する。ここで、点像復元処理の復元フィルタに関する情報とは、点像復元処理の復元強度を決める一つの要因である復元フィルタの設計値のことを意味する。
【０１０６】
又、フィルタ領域情報出力部４６は、図１２で説明するような復元フィルタに関する情報を点像復元処理部４０から取得してもよい。図１２では、点像復元処理部４０が、点像復元情報としてフィルタ群Ａ、Ｂ、及びＣを有することを示している。点像復元処理部４０は、保有しているフィルタ群Ａ、Ｂ、及びＣの中から、一つを選択して、選択されたフィルタ群を使用して点像復元処理を行う。例えば、フィルタ群Ａが選択された場合に、点像復元処理は、撮影画像の（１,ａ）、（１,ｃ）、（３,ａ）、及び（３,ｃ）の領域に、復元強度が強くなるように（効果が大きくなるように）、すなわち前述のように復元強度がある閾値より大きくなるように、点像復元処理を実行する。言い換えると、フィルタ群Ａ及びフィルタ群Ａを構成するフィルタは、撮影画像の（１,ａ）、（１,ｃ）、（３,ａ）、及び（３,ｃ）の領域に、復元強度が強い点像復元処理を行うように設計されている。
【０１０７】
同様に、フィルタ群Ｂが選択された場合には、撮影画像の（２,ａ）及び（２,ｃ）の領域に、復元強度が強くなるように（効果が大きくなるように）、すなわち前述のように復元強度がある閾値より大きくなるように、点像復元処理を実行し、フィルタ群Ｃが選択された場合には、撮影画像の（３,ａ）及び（１,ｃ）の領域に、復元強度が強くなるように（効果が大きくなるように）、すなわち前述のように復元強度がある閾値より大きくなるように、点像復元処理を実行される。よって、図１２で説明するような場合は、点像復元処理部４０が使用するフィルタ群に関する情報が、復元フィルタに関する情報となる。
【０１０８】
点像復元処理部４０は、フィルタ領域情報出力部４６に復元フィルタに関する情報を送る。図１２で示すように、例えば、点像復元処理部４０が、フィルタ群Ａを使用した場合は、点像復元処理部４０はフィルタ群Ａに関する情報を、フィルタ領域情報出力部４６に送信する。
【０１０９】
フィルタ領域情報出力部４６は、フィルタ群Ａに関する情報を、復元フィルタに関する情報として受け取り、復元フィルタに関する情報に基づいて、復元画像において復元強度が閾値以上になる特定領域１１０に関するフィルタ領域情報を出力する。図１２で示される場合には、フィルタ領域情報出力部４６は、フィルタ群Ａの情報に基づいて、フィルタ領域情報を出力する。この場合、フィルタ領域情報は、復元画像の（１,ａ）、（１,ｃ）、（３,ａ）、及び（３,ｃ）の領域を特定領域１１０とし特定する情報である。そして、フィルタ領域情報は、表示制御部５０に送信される。尚、図１２での説明では、フィルタ群Ａ、Ｂ、及びＣを例示的に示したが、これらは説明のための例示であり、これに限定されるものではない。
【０１１０】
このように、点像復元処理の内容に関して予め設定された情報に基づいて、特定領域１１０に関する情報を出力することにより、点像復元処理の効果を適切に確認することが可能となる。
【０１１１】
図１３は、図１１で示される画像処理装置１の変形例１における動作を示すフロー図である。図１３に示された動作フロー図と図１０に示された動作フロー図を比較すると、図
１３に示された動作フロー図では、領域情報出力を行う（ステップＳ２０）ことに代えてフィルタ領域情報出力する（ステップＳ２２）ことを含む点で異なる。尚、図１０と同様のステップは、同じ符号を付し説明を省略する。
【０１１２】
図１３に示された画像処理装置１の変形例１では、先ず、点像復元処理部４０により点像復元処理が行われて復元画像が生成される。その後、フィルタ領域情報出力部４６により、点像復元処理の復元フィルタに関する情報に基づいて、復元画像における特定領域１１０に関するフィルタ領域情報が出力される（ステップＳ２２）（フィルタ領域情報出力ステップ）。その後、表示制御部５０により、フィルタ領域情報に基づいて、復元画像における特定領域１１０が強調表示されるように表示制御が行われる（ステップＳ３０）（表示制御ステップ）。その後、表示部５５において、表示制御に基づいて、少なくとも特定領域１１０の強調表示をする（ステップＳ４０）（表示ステップ）。
【０１１３】
上述の態様を採用することにより、フィルタ領域情報に基づいた特定領域１１０を強調表示することができ、点像復元処理の効果を適切に確認することができる。
【０１１４】
［画像処理装置の変形例２］
図１４は、画像処理装置１の変形例２の要部を示すブロック図である。図１に示された画像処理装置１と図１４に示された画像処理装置１を比較すると、図１４に示された画像処理装置１では、図１に示された画像処理装置１が有する領域情報出力部４５に代えて分析領域情報生成部４７を有する。以下に、図１４に示された画像処理装置１の変形例２に関して詳述する。尚、図１と同様の要部は、同様の符号付し説明は省略する。
【０１１５】
分析領域情報生成部４７は、データ制御部２０が保有する撮影画像を取得し、撮影画像において偽信号が生じる可能性がある領域を分析することにより特定し、その領域を特定領域１１０とし、分析領域情報を生成する。すなわち、分析領域情報生成部４７は、データ制御部２０が保有する点像復元処理が行われる前の撮影画像を取得して、撮影画像を分析することにより、点像復元処理が行われた場合に偽信号が発生する領域を特定（推定）する。ここで偽信号が生じる可能性がある領域とは、例えば、飽和画素が存在する領域を偽信号が生じる可能性がある領域として特定する。これは、撮影画像において飽和画素が存在する領域に対して、点像復元処理を行うとリンギング等の偽信号が発生するからである。又、例えば、画像処理部２５で行われるデモザイク処理（同時化処理）の際に、色収差等の影響によりエッジ判別に関して、誤った判断がされそうな領域を偽信号が生じる可能性がある領域として特定する。すなわち、撮影画像内のエッジ部において色収差の影響により色ずれが生じる場合があるが、そのような色ずれが生じたエッジ部においてデモザイク処理を行うことで本来直線的であるエッジ部が凹凸状となる偽信号が生じる場合がある。このような領域を偽信号が生じる可能性がある領域として特定する。又、例えば、設計された復元フィルタの想定された状態にない領域に関しても、点像復元処理が行われた場合に偽信号生じる可能性がある領域として特定する。
【０１１６】
分析領域情報生成部４７により生成された分析領域情報は、表示制御部５０に送られる。そして、表示制御部５０は、分析領域情報に基づいて、復元画像における特定領域１１０を強調表示するよう表示制御する。
【０１１７】
このように、点像復元処理を行う前の撮影画像の特性を分析して予め設定された情報に基づいて、特定領域１１０に関する情報を出力することにより、点像復元処理の効果を適切に確認することが可能となる。
【０１１８】
図１５は、図１４で示される画像処理装置１の変形例２における動作を示すフロー図である。図１５に示された動作フロー図と図１０に示された動作フロー図を比較すると、図
１５に示された動作フロー図では、領域情報出力を行う（ステップＳ２０）ことに代えて分析領域情報出力する（ステップＳ２４）ことを含む点で異なる。尚、図１０と同様のステップは、同じ符号を付し説明を省略する。
【０１１９】
点像復元処理部４０により点像復元処理が行われて、復元画像が生成される。その後、分析領域情報生成部４７により、点像復元処理の復元フィルタに関する情報に基づいて、復元画像における特定領域１１０に関する分析領域情報が生成される（ステップＳ２４）（分析領域情報生成ステップ）。その後、表示制御部５０により、分析領域情報に基づいて、復元画像における特定領域１１０が強調表示されるように表示制御が行われる（ステップＳ３０）（表示制御ステップ）。その後、表示部５５において、表示制御に基づいて、少なくとも特定領域１１０の強調表示をする（ステップＳ４０）（表示ステップ）。
【０１２０】
上述の態様を採用することにより、分析領域情報に基づいた特定領域１１０を強調表示することができ、点像復元処理の効果を適切に確認することができる。
【０１２１】
［画像処理装置の変形例３］
図１６は、画像処理装置１の変形例３の要部を示すブロック図である。図１に示された画像処理装置１と図１６に示された画像処理装置１を比較すると、図１６に示された画像処理装置１では、図１に示された画像処理装置１が有する領域情報出力部４５に代えて撮影条件領域情報出力部４８を有する。以下に、図１６に示された画像処理装置１の変形例３に関して詳述する。尚、図１と同様の要部は、同様の符号付し説明は省略する。
【０１２２】
撮影条件領域情報出力部４８は、光学系１０から撮影画像の撮影条件に関する情報が入力され、撮影条件に関する情報に基づいて、撮影画像における特定領域１１０に関する撮影条件領域情報を出力する。ここで、撮影条件に関する情報とは、例えば、Ｆ値、撮影距離、焦点距離、ズームポジション、及びレンズ種類のうち少なくともいずれか一つである。又、図１６に示された例では、撮影条件に関する情報は、光学系１０から取得するように記載されているが、特にこれに限定されるものではない。撮影条件領域情報出力部４８が撮影条件を取得することができれば、どこからでも取得することができる。
【０１２３】
撮影条件を取得した撮影条件領域情報出力部４８では、取得した撮影条件により、特定領域１１０に関する撮影条件領域情報が出力される。ここで、撮影条件領域情報とは、撮影条件により、復元強度が強い点像復元処理が行われる領域が特定されれば特に限定されるものではない。
【０１２４】
図１７では、撮影条件領域情報出力部４８が、撮影画像の撮影条件に関する情報を取得し、撮影画像における特定領域１１０に関する撮影条件領域情報を出力することの具体例を説明する図である。尚、図１７における（ａ）で示される実線は、復元画像の周辺領域における点像復元処理による復元強度を示している。尚、復元強度は、例えば図４で示したようにＭＴＦの増加率で表すことができる。又、図１７における（ｂ）で示される点線は、復元画像の中央領域における点像復元処理による復元強度を示している。又、図１７における（Ｉ）（ＩＩ）は、復元画像における周辺領域と中央領域の復元強度の差分を表している。
【０１２５】
図１７の（Ａ）では、撮影条件に関する情報としてＦ値を取得した場合を示している。図１７の（Ａ）に記載されているように、Ｆ値を２．０に設定して撮影画像を取得したという情報を得た場合、復元画像の中央領域における復元強度と周辺における復元強度の差は（Ｉ）となる。又、図１７の（Ａ）に記載されているように、Ｆ値が１６に設定して撮影画像を取得した場合、復元画像の中央領域における復元強度と周辺における復元強度の差は（ＩＩ）となる。さらに、Ｆ値の中央値付近である５．６に設定して撮影画像を取得した場合、復元画像の中央領域における復元強度と周辺における復元強度の差はほぼなくなる。
【０１２６】
撮影条件領域情報出力部４８は、撮影条件に関する情報として、Ｆ値が２．０を取得した場合に、復元画像の中央領域における復元強度と周辺における復元強度の差が（Ｉ）であるので、周辺領域に関して強調表示を行う。これは、復元画像の周辺における復元強度が、中央における復元強度よりも一定値以上大きいので、復元強度が大きい周辺領域を強調表示することによって、点像復元処理の効果を有効に確認できるからである。
【０１２７】
一方、撮影条件領域情報出力部４８は、撮影条件に関する情報として、Ｆ値が１６を取得した場合に、復元画像の中央領域における復元強度と周辺における復元強度の差が（ＩＩ）であるので、中央領域に関して強調表示を行う。これは、復元画像の周辺における復元強度と、中央における復元強度との差が一定の値未満なので、主要被写体が写っている確率の高い、中央領域を強調表示する。
【０１２８】
又、撮影条件領域情報出力部４８は、撮影条件に関する情報として、Ｆ値が５．６を取得した場合に、復元画像の中央領域における復元強度と周辺における復元強度の差は、ほぼなくなるので、中央領域に関して強調表示を行う。これは、復元画像の周辺における復元強度と、中央における復元強度との差が一定の値未満なので、主要被写体が写っている確率の高い、中央領域を強調表示する。
【０１２９】
すなわち、図１７（Ａ）で示された具体例では、復元画像の中央領域における復元強度と周辺における復元強度の差がある一定値以上である場合（Ｆ値が２．０の場合）は、効果が大きい点像復元処理の効果を的確に確認するために、復元強度が大きい周辺領域を強調表示する。一方、復元画像の中央領域における復元強度と周辺における復元強度の差がある一定値未満である場合（Ｆ値が１６の場合）は、主要被写体における点像復元処理の効果の確認をするために、主要被写体が写っている確率が高い中央領域を表示する。
【０１３０】
図１７（Ｂ）では、撮影条件領域情報出力部４８が、撮影条件に関する情報として焦点距離を取得した場合に関して説明をしている。図１７（Ｂ）で示された具体例では、復元画像の中央領域における復元強度と周辺における復元強度の差がある一定値以上である場合（焦点距離がワイド端で復元強度の差が（Ｉ）の場合）は、効果が大きい点像復元処理の効果を的確に確認するために、復元強度が大きい周辺領域を強調表示する。一方、復元画像の中央領域における復元強度と周辺における復元強度の差がある一定値未満である場合（焦点距離がテレ端で復元強度の差が（ＩＩ）場合）は、主要被写体における点像復元処理の効果を確認するために、主要被写体が写っている確率が高い中央領域を表示する。又、復元画像の中央領域における復元強度と周辺における復元強度の差がほぼない場合（焦点距離が中央である場合）も、主要被写体における点像復元処理の効果を確認するために、主要被写体が写っている確率が高い中央領域を表示する。尚、ここで、ワイド端とはズームレンズにおいて一番広角側に焦点距離があることをいい、テレ端とはズームレンズにおいて一番望遠側に焦点距離があることをいう。
【０１３１】
図１７（Ｃ）では、撮影条件領域情報出力部４８が、撮影条件に関する情報として使用レンズの種類を取得した場合に関して説明をしている。図１７（Ｃ）で示された具体例では、復元画像の中央領域における復元強度と周辺における復元強度の差がある一定値以上である場合（レンズＡを使用して復元強度の差が（Ｉ）の場合）は、効果が大きい点像復元処理の効果を的確に確認するために、復元強度が大きい周辺領域を強調表示する。一方、復元画像の中央領域における復元強度と周辺における復元強度の差がある一定値未満である場合（レンズＣを使用して復元強度の差が（ＩＩ）の場合）は、主要被写体における点像復元処理の効果の確認をするために、主要被写体が写っている確率が高い中央領域を表示する。又、復元画像の中央領域における復元強度と周辺における復元強度の差がほぼない場合（レンズＢを使用した場合）も、主要被写体における点像復元処理の効果の確認をするために、主要被写体が写っている確率が高い中央領域を表示する。
【０１３２】
以上、画像処理装置１の変形例３の具体例として、撮影条件に関する情報として、Ｆ値、焦点距離、又はレンズ種類を取得した場合に関して説明をしてきたが、これに限定されるものではい。例えば、ズームポジションや撮影距離等も撮影条件に関する情報となり得る。
【０１３３】
このように、点像復元処理の内容に関して予め設定された情報に基づいて、特定領域１１０に関する情報を出力することにより、点像復元処理の効果を適切に確認することが可能となる。
【０１３４】
図１８には、図１６で示される画像処理装置１の変形例３における動作を示すフロー図である。図１８に示された動作フロー図と図１０に示された動作フロー図を比較すると、図１８に示された動作フロー図では、領域情報出力を行う（ステップＳ２０）ことに代えて撮影条件領域情報出力する（ステップＳ２６）ことを含む点で異なる。尚、図１０と同様のステップは、同じ符号を付し説明を省略する。
【０１３５】
点像復元処理部４０により点像復元処理が行われて、復元画像が生成される。その後、分析領域情報生成部４７により、撮影画像の撮影条件に関する情報に基づいて、撮影画像における特定領域１１０に関する撮影条件領域情報を出力される（ステップＳ２６）（撮影条件領域情報出力ステップ）。その後、表示制御部５０により、撮影条件領域情報に基づいて、復元画像における特定領域１１０が強調表示されるように表示制御が行われる（ステップＳ３０）（表示制御ステップ）。その後、表示部５５において、表示制御に基づいて、少なくとも特定領域１１０の強調表示をする（ステップＳ４０）（表示ステップ）。
【０１３６】
上述の態様を採用することにより、撮影条件に関する情報に基づいて、復元強度が閾値以上になる特定領域に関する撮影条件領域情報を出力し、これに基づいて特定領域１１０を強調表示することができ、点像復元処理の効果を適切に確認することができる。
【０１３７】
［画像処理装置の変形例４］
図１９は、画像処理装置１の変形例４の要部を示すブロック図である。図１９に画像処理装置１の変形例４は、主に、入力部５１、表示制御部５０、及び表示部５５を備えている。尚、図１と同様の要部は、同じ符号付し説明は省略する。
【０１３８】
入力部５１には、点像復元情報に基づいて撮影画像に点像復元処理が行われた復元画像と、点像復元情報に基づく点像復元処理による復元強度が閾値以上になる、復元画像における特定領域１１０に関する領域情報とが入力される。具体的には、入力部５１に入力される復元画像には、領域情報が付加されている形態が考えられる。例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）のタグに記録して、復元画像と合わせて入力部５１に入力されることが考えられる。尚、領域情報の付加は、点像復元処理が行われた他の装置（パソコンやデジタルカメラ）において、復元画像に付加されることが考えられる。
【０１３９】
回復画像１００に付加する情報として、領域情報が付加されるとして説明を行ったが、特にこれに限定されるものではなく、回復画像１００に対して点像復元情報が付加されてもよい。その場合は、画像処理装置１の変形例４は、さらに、領域情報出力部４５を有することになる。
【０１４０】
表示制御部５０は、入力部５１に入力された領域情報に基づいて復元画像を強調表示するように表示制御を行う。尚、画像処理装置１の変形例４は、例えば撮像装置（デジタルカメラ）のビューワーソフトに含まれていることが考えられる。
【０１４１】
図２０には、図１９で示される画像処理装置１の変形例４における動作を示すフロー図である。図２０に示された動作フロー図と図１０に示された動作フロー図を比較すると、図２０に示された動作フロー図では、図１０の撮影画像に点像復元処理を行う（ステップＳ１０）こと及び領域情報を出力する（ステップＳ２０）ことがない点で異なる。又、図２０に示された動作フロー図では、復元画像と領域画像を取得する（ステップＳ１２）（取得ステップ）を有する点で異なる。尚、図１０と同様のステップは、同じ符号を付し説明を省略する。
【０１４２】
入力部５１により、復元画像及び領域情報が取得される（ステップＳ１２）（取得ステップ）。その後、表示制御部５０により、領域情報に基づいて、復元画像における特定領域１１０が強調表示されるように表示制御が行われる（ステップＳ３０）（表示制御ステップ）。その後、表示部５５において、表示制御に基づいて、少なくとも特定領域１１０の強調表示をする（ステップＳ４０）（表示ステップ）。
【０１４３】
上述の態様を採用することにより、他の装置により点像復元処理がされた復元画像においても、強調表示を行うことができ、点像復元処理の効果を適切に確認することができる。
【０１４４】
ここまで説明の都合上、画像処理装置１は領域情報出力部４５に代えてフィルタ領域情報出力部４６を有するという表現や、画像処理装置１は領域情報出力部４５に代えて分析領域情報生成部４７を有するという表現や、画像処理装置１は領域情報出力部４５に代えて撮影条件領域情報出力部４８を有するという表現を使用してきた。しかし、画像処理装置１は、領域情報出力部４５、フィルタ領域情報出力部４６、分析領域情報生成部４７、及び撮影条件領域情報出力部４８のうちで任意の組み合わせを有することも可能である。
【０１４５】
＜ＥＤｏＦシステムへの適用例＞
上述の説明における点像復元処理のパラメータを使用して行う点像復元処理は、特定の撮影条件（例えば、絞り値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像処理は上述の実施形態における点像復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系を有する撮像装置によって撮影取得された画像データに対する点像復元処理に対しても、本発明に係る点像復元処理及び表示制御を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して点像復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた点像復元処理が行われる。
【０１４６】
以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。尚、以下に示す例においても、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（輝度信号Ｙ）に対して点像復元処理を行う。
【０１４７】
図２１は、ＥＤｏＦ光学系を備える撮像モジュール３０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）３０１は、ＥＤｏＦ光学系（レンズユニット）３１０と、撮像素子３１２と、ＡＤ変換部３１４と、点像復元処理ブロック（画像処理部）３２０とを含む。
【０１４８】
図２２は、ＥＤｏＦ光学系３１０の一例を示す図である。本例のＥＤｏＦ光学系３１０は、単焦点の固定された撮影レンズ３１０Ａと、瞳位置に配置される光学フィルタ３１１とを有する。光学フィルタ３１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系３１０（撮影レンズ３１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ３１０Ａ及び光学フィルタ３１１は、位相を変調して被写界深度を拡大させる撮影レンズ部を構成する。
【０１４９】
尚、ＥＤｏＦ光学系３１０は必要に応じて他の構成要素を含み、例えば光学フィルタ３１１の近傍には絞り（図示省略）が配設されている。又、光学フィルタ３１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。又、光学フィルタ３１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系３１０（撮影レンズ３１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ３１１を設ける代わりに、本例の光学フィルタ３１１と同等の機能を有するようにレンズ設計された撮影レンズ３１０ＡによってＥＤｏＦ光学系３１０のＥＤｏＦ化を実現してもよい。
【０１５０】
すなわち、撮像素子３１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系３１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系３１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ３１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ３１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。
【０１５１】
図２２に示すＥＤｏＦ光学系３１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。
【０１５２】
ＥＤｏＦ化されたＥＤｏＦ光学系３１０を通過後の光学像は、図２１に示す撮像素子３１２に結像され、ここで電気信号に変換される。
【０１５３】
撮像素子３１２は、所定のパターン配列（ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系３１０を介して撮像素子３１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。
【０１５４】
ＡＤ変換部３１４は、撮像素子３１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部３１４によりデジタルの画像信号に変換されたデジタル画像信号は、点像復元処理ブロック３２０に加えられる。
【０１５５】
点像復元処理ブロック３２０は、例えば、黒レベル調整部３２２と、ホワイトバランスゲイン部３２３と、ガンマ処理部３２４と、デモザイク処理部３２５と、ＲＧＢ／ＹＣｒＣｂ変換部３２６と、輝度信号Ｙ点像復元処理部３２７とを含む。
【０１５６】
黒レベル調整部３２２は、ＡＤ変換部３１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。
【０１５７】
ホワイトバランスゲイン部３２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。
【０１５８】
ガンマ処理部３２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。
【０１５９】
デモザイク処理部３２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部３２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子３１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。
【０１６０】
ＲＧＢ／ＹＣｒＣｂ変換部３２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。
【０１６１】
輝度信号Ｙ点像復元処理部３２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部３２６からの輝度信号Ｙに点像復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ３１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。尚、復元フィルタは、光学フィルタ３１１に対応するものが図示しないメモリ（例えば輝度信号Ｙ点像復元処理部３２７が付随的に設けられるメモリ）に記憶される。又、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。
【０１６２】
次に、点像復元処理ブロック３２０による点像復元処理について説明する。図２３は、図２１に示す点像復元処理ブロック３２０における点像復元処理の一例を示すフローチャートである。
【０１６３】
黒レベル調整部３２２の一方の入力には、ＡＤ変換部３１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部３２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部３２３に出力する（ステップＳ１００）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。
【０１６４】
黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部３２３、ガンマ処理部３２４による処理が施される（ステップＳ２００及びＳ３００）。
【０１６５】
ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部３２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部３２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（ステップＳ４００）。
【０１６６】
輝度信号Ｙ点像復元処理部３２７は、輝度信号Ｙに、ＥＤｏＦ光学系３１０の光学フィルタ３１１の位相変調分のデコンボリューション処理をかける点像復元処理を行う（ステップＳ５００）。すなわち、輝度信号Ｙ点像復元処理部３２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。輝度信号Ｙ点像復元処理部３２７は、この所定単位の画素群毎のデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く点像復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに点像復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。
【０１６７】
上述したように、ＥＤｏＦシステムへの応用例でも同様に、図２４（Ａ）に示すように、ＥＤｏＦ光学系３１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子３１２に結像されるが、輝度信号Ｙ点像復元処理部３２７でのデコンボリューション処理により、図２４（Ｂ）に示すように小さな点像（高解像度の画像）に復元される。
【０１６８】
上述のようにデモザイク処理後の輝度信号に点像復元処理をかけることで、点像復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、点像復元処理を高速化することができる。又、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、点像復元処理の精度が向上する。尚、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、点像復元処理で解像度を上げなくても画質的には許容される。又、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、点像復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。尚、表示制御に関しては、本発明の各実施形態で説明した表示制御を適用することができる。
【０１６９】
以上説明したようなＥＤｏＦシステムの点像復元処理に対しても、本発明の各実施形態に係る点像復元処理及び表示制御を適用することが可能である。
【０１７０】
［撮像装置における他の実施形態］
以上、本発明の画像処理装置１が含まれる撮像装置５の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
【０１７１】
本発明の撮影装置５の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０１７２】
図２５は、本発明の撮影装置の一実施形態であるスマートフォン４０１の外観を示すものである。図２５に示すスマートフォン４０１は、平板状の筐体４０２を有し、筐体４０２の一方の面に表示部５５としての表示パネル４２１と、入力部としての操作パネル４２２とが一体となった表示入力部４２０を備えている。又、係る筐体４０２は、スピーカ４３１と、マイクロホン４３２、操作部４４０と、カメラ部４４１とを備えている。尚、筐体４０２の構成はこれに限定されず、例えば、表示部５５と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１７３】
図２６は、図２５に示すスマートフォン４０１の構成を示すブロック図である。図２６に示すように、スマートフォンの主たる構成要素として、無線通信部４１０と、表示入力部４２０と、通話部４３０と、操作部４４０と、カメラ部４４１と、記憶部４５０と、外部入出力部４６０と、ＧＰＳ(Global Positioning System)受信部４７０と、モーションセンサ部４８０と、電源部４９０と、主制御部５００とを備える。又、スマートフォン４０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０１７４】
無線通信部４１０は、主制御部５００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１７５】
表示入力部４２０は、主制御部５００の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザーに情報を伝達するとともに、表示した情報に対するユーザー操作を検出する、いわゆるタッチパネルであって、表示パネル４２１と、操作パネル４２２とを備える。
【０１７６】
表示パネル４２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル４２２は、表示パネル４２１の表示面上に表示される画像を視認可能に載置され、ユーザーの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザーの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５００に出力する。次いで、主制御部５００は、受信した検出信号に基づいて、表示パネル４２１上の操作位置（座標）を検出する。
【０１７７】
図２５に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン４０１の表示パネル４２１と操作パネル４２２とは一体となって表示入力部４２０を構成しているが、操作パネル４２２が表示パネル４２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル４２２は、表示パネル４２１外の領域についても、ユーザー操作を検出する機能を備えてもよい。換言すると、操作パネル４２２は、表示パネル４２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル４２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１７８】
尚、表示領域の大きさと表示パネル４２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。又、操作パネル４２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体４０２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル４２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１７９】
通話部４３０は、スピーカ４３１やマイクロホン４３２を備え、マイクロホン４３２を通じて入力されたユーザーの音声を主制御部５００にて処理可能な音声データに変換して主制御部５００に出力したり、無線通信部４１０あるいは外部入出力部４６０により受信された音声データを復号してスピーカ４３１から出力するものである。又、図２５に示すように、例えば、スピーカ４３１を表示入力部４２０が設けられた面と同じ面に搭載し、マイクロホン４３２を筐体４０２の側面に搭載することができる。
【０１８０】
操作部４４０は、キースイッチなどを用いたハードウェアキーであって、ユーザーからの指示を受け付けるものである。例えば、図２５に示すように、操作部４４０は、スマートフォン４０１の筐体４０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１８１】
記憶部４５０は、主制御部５００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。又、記憶部４５０は、スマートフォン内蔵の内部記憶部４５１と着脱自在な外部メモリスロットを有する外部記憶部４５２により構成される。尚、記憶部４５０を構成するそれぞれの内部記憶部４５１と外部記憶部４５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read
Only Memory）などの格納媒体を用いて実現される。
【０１８２】
外部入出力部４６０は、スマートフォン４０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency
Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１８３】
スマートフォン４０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピューター、有／無線接続されるPDA、有／無線接続されるパーソナルコンピューター、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン４０１の内部の各構成要素に伝達することや、スマートフォン４０１の内部のデータが外部機器に伝送されるようにすることができる。
【０１８４】
ＧＰＳ受信部４７０は、主制御部５００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン４０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部４７０は、無線通信部４１０や外部入出力部４６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０１８５】
モーションセンサ部４８０は、例えば、３軸の加速度センサなどを備え、主制御部５００の指示にしたがって、スマートフォン４０１の物理的な動きを検出する。スマートフォン４０１の物理的な動きを検出することにより、スマートフォン４０１の動く方向や加速度が検出される。係る検出結果は、主制御部５００に出力されるものである。
【０１８６】
電源部４９０は、主制御部５００の指示にしたがって、スマートフォン４０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１８７】
主制御部５００は、マイクロプロセッサを備え、記憶部４５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン４０１の各部を統括して制御するものである。又、主制御部５００は、無線通信部４１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１８８】
アプリケーション処理機能は、記憶部４５０が記憶するアプリケーションソフトウェアにしたがって主制御部５００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部４６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【０１８９】
又、主制御部５００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部４２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部４２０に表示する機能のことをいう。
【０１９０】
さらに、主制御部５００は、表示パネル４２１に対する表示制御と、操作部４４０、操作パネル４２２を通じたユーザー操作を検出する操作検出制御を実行する。
【０１９１】
表示制御の実行により、主制御部５００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル４２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１９２】
又、操作検出制御の実行により、主制御部５００は、操作部４４０を通じたユーザー操作を検出したり、操作パネル４２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１９３】
さらに、操作検出制御の実行により主制御部５００は、操作パネル４２２に対する操作位置が、表示パネル４２１に重なる重畳部分（表示領域）か、それ以外の表示パネル４２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル４２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０１９４】
又、主制御部５００は、操作パネル４２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１９５】
カメラ部４４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。又、カメラ部４４１は、主制御部５００の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部
４５０に記録したり、入出力部４６０や無線通信部４１０を通じて出力することができる。図２５に示すにスマートフォン４０１において、カメラ部４４１は表示入力部４２０と同じ面に搭載されているが、カメラ部４４１の搭載位置はこれに限らず、表示入力部４２０の背面に搭載されてもよいし、あるいは、複数のカメラ部４４１が搭載されてもよい。尚、複数のカメラ部４４１が搭載されている場合には、撮影に供するカメラ部４４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部４４１を同時に使用して撮影することもできる。
【０１９６】
又、カメラ部４４１はスマートフォン４０１の各種機能に利用することができる。例えば、表示パネル４２１にカメラ部４４１で取得した画像を表示することや、操作パネル４２２の操作入力の一つとして、カメラ部４４１の画像を利用することができる。又、ＧＰＳ受信部４７０が位置を検出する際に、カメラ部４４１からの画像を参照して位置を検出することもできる。さらには、カメラ部４４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン４０１のカメラ部４４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部４４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１９７】
その他、静止画又は動画の画像データにＧＰＳ受信部４７０により取得した位置情報、マイクロホン４３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部４８０により取得した姿勢情報等などを付加して記憶部４５０に記録したり、入出力部４６０や無線通信部４１０を通じて出力することもできる。
【０１９８】
本発明の目的は、上述した実施形態で示したフローの手順を実現するプログラムコード（プログラム）を記憶した記憶媒体から、システムあるいは装置のコンピューター（又はＣＰＵやＭＰＵ）が、そのプログラムコードを読出し実行することによっても達成される。
【０１９９】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶／記録したコンピューター読み取り可能な記憶媒体も本発明の一つを構成することになる。
【０２００】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０２０１】
又、前述した実施形態の機能は、コンピューターが、読み出したプログラムを実行することによって実現される。又、このプログラムの実行とは、そのプログラムの指示に基づき、コンピューター上で稼動しているＯＳなどが、実際の処理の一部又は全部を行う場合も含まれる。
【０２０２】
さらに、前述した実施形態の機能は、コンピューターに挿入された機能拡張ボードやコンピューターに接続された機能拡張ユニットによっても実現することもできる。この場合、先ず、記憶媒体から読み出されたプログラムが、コンピューターに挿入された機能拡張ボードやコンピューターに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。
【０２０３】
又、前述した実施形態のフローの各ステップは、ソフトウェア（コンピュータ）を用いて実現するものに限るものではなく、ハードウェア（電子回路）を用いて実現してもよい。
【符号の説明】
【０２０４】
１…画像処理装置、１０…光学系、１５…撮像素子、２０…データ制御部、２５…画像処理部、３０…記録部、３５…内部メモリ、４０…点像復元処理部、４５…領域情報出力部、４６…フィルタ領域情報出力部、４７…分析領域情報生成部、４８…撮影条件領域情報出力部、５０…表示制御部、５１…入力部、５５…表示部、１００…回復画像、１０５…枠、１１０…特定領域、３０１…撮像モジュール、３１０…ＥＤｏＦ光学系、３１０Ａ…撮影レンズ、４０１…スマートフォン、４２１…表示パネル、４２２…操作パネル、５００…主制御部
【図１】
0005870231.tif 000002
【図２】
0005870231.tif 000003
【図３】
0005870231.tif 000004
【図４】
0005870231.tif 000005
【図５】
0005870231.tif 000006
【図６】
0005870231.tif 000007
【図７】
0005870231.tif 000008
【図８】
0005870231.tif 000009
【図９】
0005870231.tif 000010
【図１０】
0005870231.tif 000011
【図１１】
0005870231.tif 000012
【図１２】
0005870231.tif 000013
【図１３】
0005870231.tif 000014
【図１４】
0005870231.tif 000015
【図１５】
0005870231.tif 000016
【図１６】
0005870231.tif 000017
【図１７】
0005870231.tif 000018
【図１８】
0005870231.tif 000019
【図１９】
0005870231.tif 000020
【図２０】
0005870231.tif 000021
【図２１】
0005870231.tif 000022
【図２２】
0005870231.tif 000023
【図２３】
0005870231.tif 000024
【図２４】
0005870231.tif 000025
【図２５】
0005870231.tif 000026
【図２６】
0005870231.tif 000027