(57)【要約】本発明は、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供する。本発明の一態様に係る画像処理装置（３５）は、光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、光学系を用いて近赤外光波長帯域に感度をもって撮像された近赤外光画像を示す第２の画像データとが入力される画像入力部（１）と、第１の画像データに対し、位相補正及び振幅復元を行う第１の復元処理部（３）と、第２の画像データに対し、位相補正を伴わない振幅復元を行う第２の復元処理を行う第２の復元処理部（５）と、を備える。
2016171089.tif 000002
【特許請求の範囲】
【請求項１】
光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、前記光学系を用いて近赤外光波長帯域に感度をもって撮像された近赤外光画像を示す第２の画像データとが入力される画像入力部と、
入力された前記第１の画像データに対し、前記光学系の可視光に対する点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、
入力された前記第２の画像データに対し、前記光学系の近赤外光に対する点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、
を備える画像処理装置。
【請求項２】
赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、前記赤外線カットフィルタが撮像光路から退避された前記光学系を用いて撮像された第２の画像データとが入力される画像入力部と、
入力された前記第１の画像データに対し、前記光学系の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、
入力された前記第２の画像データに対し、前記光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、
を備える画像処理装置。
【請求項３】
前記第１の画像データは、輝度データを得るために最も寄与する第１の色及び前記第１の色以外の２色以上の第２の色からなる複数色の画像データであり、
前記第１の復元処理部は、前記複数色の画像データに対し、前記複数色の色毎に対応する前記第１の復元フィルタを用いた前記第１の復元処理を行う請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１の画像データに対して非線形な階調補正を行う階調補正処理部をさらに備え、
前記階調補正処理部は、前記位相補正が行われた前記第１の画像データに対して前記非線形な階調補正を行い、
前記第１の復元処理部は、前記非線形な階調補正が行われた前記第１の画像データに対して、前記振幅復元を行う請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の画像データに対して非線形な階調補正を行う階調補正処理部をさらに備え、
前記階調補正処理部は、前記振幅復元が行われた前記第１の画像データに対して前記非線形な階調補正を行い、
前記第１の復元処理部は、前記非線形な階調補正が行われた前記第１の画像データに対して、前記位相補正を行う請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の復元処理部及び前記第２の復元処理部の復元処理演算に使用する共通の復元処理演算部と、前記第１の画像データ及び前記第２の画像データに対して非線形な階調補正を行う共通の階調補正演算部と、前記第１の画像データ及び前記第２の画像データに対して輪郭強調処理を行う共通の輪郭強調処理部とのうち少なくとも１つをさらに備える請求項１から３のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の復元フィルタ及び前記第２の復元フィルタを記憶する記憶部をさらに備える請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第１の復元フィルタ及び前記第２の復元フィルタを生成するフィルタ生成部をさらに備える請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
光学系と、
前記光学系の撮像光路に赤外線カットフィルタを挿入又は退避させるカットフィルタ動作機構と、
前記赤外線カットフィルタが撮像光路に挿入された前記光学系を用いて撮像された第１の画像データと、前記赤外線カットフィルタが撮像光路から退避された前記光学系を用いて撮像された第２の画像データとを取得する画像取得部と、
取得した前記第１の画像データに対し、前記光学系の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、
取得した前記第２の画像データに対し、前記光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、
を備える撮像装置。
【請求項１０】
前記画像取得部は、前記第１の画像データを取得する場合を基準にして像面位置が設定されている請求項９に記載の撮像装置。
【請求項１１】
赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、前記赤外線カットフィルタが撮像光路から退避された前記光学系を用いて撮像された第２の画像データとが入力される画像入力ステップと、
入力された前記第１の画像データに対し、前記光学系の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理ステップと、
入力された前記第２の画像データに対し、前記光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理ステップと、
を含む画像処理方法。
【請求項１２】
赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、前記赤外線カットフィルタが撮像光路から退避された前記光学系を用いて撮像された第２の画像データが入力される画像入力ステップと、
入力された前記第１の画像データに対し、前記光学系の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う前記第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理ステップと、
入力された前記第２の画像データに対し、前記光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う前記第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理ステップと、
をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関し、特に可視光像の画像及び近赤外光像の画像に対して点拡がり関数に基づく画像処理を行う画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
光学系を介して撮像される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮像画像の解像度劣化（ボケ）を左右する特性として知られている。【０００３】
点拡がり現象のために画質劣化した撮像画像は、ＰＳＦに基づく点像復元処理を受けることで画質を回復することが可能である。この点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いた画像処理によって撮像画像の点拡がりをキャンセル又は低減する処理である。【０００４】
点像復元の処理は、振幅復元処理と、位相補正処理とに大別することができる。振幅復元処理は、光学系によって劣化した変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）特性を等化（ｅｑｕａｌｉｚｅ）するもの、すなわち回復するものであり、位相補正処理は、光学系によって劣化した位相伝達関数（ＰＴＦ：Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）特性を等化するもの、すなわち回復するものである。【０００５】
直感的には、位相補正処理は非点対称なＰＳＦ形状をなるべく点対称な形状に戻すように、周波数依存で像を移動させるものである。【０００６】
振幅復元処理と位相補正処理は、信号処理としては同時に適用することができるが、フィルタ係数の設計方法を変えることによって、どちらか片方のみの補正とすることも可能である。【０００７】
例えば特許文献１には、振幅復元処理と位相補正処理とを行う点像復元処理及び位相補正を伴わない振幅復元処理を行う点像復元処理を行う技術が開示されている。【０００８】
また例えば特許文献２には、可視光や近赤外光を照射して得た画像に対して、可視光と近赤外光とでは演算係数を変えて点像復元処理（コンボリューション演算）を行う技術が開示されている。【０００９】
一方で、定点に設置され昼夜を問わず撮像が行われるカメラとして監視カメラなどがある。監視カメラのような形態のカメラでは、昼間における撮像条件及び夜間における撮像条件で適切な画像を取得することが要求される。例えば、監視カメラが昼間に被写体の可視光像を撮像し、夜間に被写体の近赤外光像を撮像する場合、監視カメラは昼間の撮像条件及び夜間の撮像条件に応じて適切な画像処理を行うことが要求される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第２０１４／１４８０７４号公報
【特許文献２】特開２００８−１１３７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ボケが発生している画像の画像データに対して、点像復元処理における振幅復元処理と位相補正処理との両方を実行することにより、ボケはよく補正される。例えば、被写体の可視光像を撮像した画像に対しては、点像復元処理における振幅復元処理と位相補正処理との両方を実行することにより、ボケがきれいに補正される。【００１２】
一方で、光量が乏しい環境下で取得された画像や、画像におけるノイズの割合が高い画像などに対して、振幅復元処理と位相補正処理との両方を実行する強い点像復元処理を行ってしまうと、点像復元処理に失敗して不自然な画像となる場合がある。ここで、被写体の近赤外光像を撮像した画像は、被写体の可視光像を撮像した画像に比べて光量が足りず、ノイズの割合が多い不鮮明な画像となる場合が多い。よって例えば、近赤外光像を撮像した画像の画像データに対して、振幅復元及び位相補正の両方を行う強い点像復元処理を行ってしまうと、点像復元処理が正常に行われず却って不自然な画像となるおそれがある。【００１３】
したがって、取得した（又は入力された）画像の種類（可視光像の画像又は近赤外光像の画像）により点像復元処理の内容を切り替える必要がある。【００１４】
しかしながら、特許文献１に記載された技術では、取得した画像における被写体像の種類（可視光像又は近赤外光像）によって、振幅復元処理と位相補正処理とを行う点像復元処理、及び位相補正を伴わない振幅復元処理の切り替えは行われていない。【００１５】
また、特許文献２に記載された技術では、可視光画像及び近赤外光画像に対して演算係数を変えて点像復元処理を実行しているだけであり、可視光画像及び近赤外光画像の各々に対して行う点像復元処理の内容（振幅復元又は位相補正）を切り替えていない。【００１６】
本発明はこのような事情に鑑みてなされたもので、その目的は、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することである。
【課題を解決するための手段】
【００１７】
本発明の一の態様である画像処理装置は、光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、光学系を用いて近赤外光波長帯域に感度をもって撮像された近赤外光画像を示す第２の画像データとが入力される画像入力部と、入力された第１の画像データに対し、光学系の可視光に対する点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、入力された第２の画像データに対し、光学系の近赤外光に対する点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、を備える。【００１８】
本態様によれば、可視光画像である第１の画像データに対しては位相補正及び振幅補正を行う第１の復元処理が行われ、近赤外光画像である第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われる。これにより、本態様は、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる。すなわち、本態様は、可視光画像である第１の画像データに発生したボケをよく補正することができ且つ近赤外光画像である第２の画像データに対する点像復元処理を精度よく行うことができる。【００１９】
本発明の他の態様である画像処理装置は、赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、赤外線カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データとが入力される画像入力部と、入力された第１の画像データに対し、光学系の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、入力された第２の画像データに対し、光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、を備える。【００２０】
本態様によれば、赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データに対しては位相補正及び振幅補正を行う第１の復元処理が行われ、赤外線カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われる。これにより、本態様は、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる。すなわち、本態様は、可視光画像の第１の画像データに発生したボケをよく補正することができ且つ近赤外光画像の第２の画像データに対する点像復元処理を精度よく行うことができる。【００２１】
好ましくは、第１の画像データは、輝度データを得るために最も寄与する第１の色及び第１の色以外の２色以上の第２の色からなる複数色の画像データであり、第１の復元処理部は、複数色の画像データに対し、複数色の色毎に対応する第１の復元フィルタを用いた第１の復元処理を行う。【００２２】
本態様によれば、第１の画像データを構成する輝度データを得るために最も寄与する第１の色及び第１の色以外の２色以上の第２の色からなる複数色に対して、各色毎に対応する第１の復元フィルタを用いた第１の復元処理が行われる。これにより、本態様は、可視光画像において発生する倍率色収差を効果的に抑制することができる。また、本態様は、近赤外光という単色の光の像であるため倍率色収差の発生が理論上ない近赤外光画像に対する位相補正を省くことにより、画像処理計算負荷を軽減することができる。【００２３】
好ましくは、画像処理装置は、第１の画像データに対して非線形な階調補正を行う階調補正処理部をさらに備え、階調補正処理部は、位相補正が行われた第１の画像データに対して非線形な階調補正を行い、第１の復元処理部は、非線形な階調補正が行われた第１の画像データに対して、振幅復元を行う。【００２４】
本態様によれば、位相補正が行われた第１の画像データに対して非線形な階調補正が行われ、非線形な階調補正が行われた第１の画像データに対して振幅復元が行われる。これにより、本態様は、階調補正前（画像の周波数特性の変化前）に位相補正を行うので位相補正を効果的に行うことができ、階調補正後に振幅復元を行うので振幅復元により僅かに発生するオーバーシュート／アンダーシュートが階調補正により増幅（強調）されることがなく、アーティファクトが強く発生するのを防止することができる。【００２５】
好ましくは、画像処理装置は、第１の画像データに対して非線形な階調補正を行う階調補正処理部をさらに備え、階調補正処理部は、振幅復元が行われた第１の画像データに対して非線形な階調補正を行い、第１の復元処理部は、非線形な階調補正が行われた第１の画像データに対して、位相補正を行う。【００２６】
本態様では、振幅復元及び位相補正のうち、振幅復元は階調補正前に行い、位相補正は階調補正後に行うようにしている。これにより、本態様は、位相補正処理においては、位相補正フィルタが空間的に大きく広がることに起因して、飽和画素付近においてアーティファクト（リンギング等）を発生させる現象が生じ易くなるが、階調補正後に位相補正を行うことで、階調補正により上記アーティファクトが増幅される（アーティファクトが強く発生する）のを防止することができる。同様に、本態様は、位相補正により色グラデーションが変化してしまう現象が生じることがあるが、この現象を緩和することができる。正確には、色グラデーションが変化してしまう現象は、階調補正後に位相補正を実施しても発生するが、階調補正前に実施する場合と比較して少なくすることができる。また本態様では、階調補正後の画像データは、一般にビット数が階調補正前に比べて少なくなるため、タップ数の比較的大きな位相補正フィルタによる位相補正を実装する場合の計算負荷を低減することができる。【００２７】
好ましくは、画像処理装置は、第１の復元処理部及び第２の復元処理部の復元処理演算に使用する共通の復元処理演算部と、第１の画像データ及び第２の画像データに対して非線形な階調補正を行う共通の階調補正演算部と、第１の画像データ及び第２の画像データに対して輪郭強調処理を行う共通の輪郭強調処理部とのうち少なくとも１つをさらに備える。【００２８】
本態様によれば、第１の画像データに対する画像処理と第２の画像データに対する画像処理とにおいて、復元処理演算、階調補正演算、及び輪郭強調補正のうち少なくとも一つが共通化される。これにより、本態様は、画像処理回路の一部が共通化されるので画像処理回路の設計の単純化を図ることができる。【００２９】
好ましくは、画像処理装置は、第１の復元フィルタ及び第２の復元フィルタを記憶する記憶部をさらに備える。【００３０】
本態様によれば、第１の復元フィルタ及び第２の復元フィルタが記憶部に記憶され、第１の復元処理部及び第２の復元処理部により記憶部に記憶された復元フィルタが使用されるので、復元フィルタを生成するための計算負荷を軽減することができる。【００３１】
好ましくは、画像処理装置は、第１の復元フィルタ及び第２の復元フィルタを生成するフィルタ生成部をさらに備える。【００３２】
本態様によれば、第１の復元フィルタ及び第２の復元フィルタがフィルタ生成部により生成され、第１の復元処理部及び第２の復元処理部により生成部で生成された復元フィルタが使用されるので、復元フィルタを記憶するための記憶容量を軽減することができる。【００３３】
本発明の他の態様である撮像装置は、光学系と、光学系の撮像光路に赤外線カットフィルタを挿入又は退避させるカットフィルタ動作機構と、赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、赤外線カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データとを取得する画像取得部と、取得した第１の画像データに対し、光学系の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理部と、取得した第２の画像データに対し、光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理部と、を備える。【００３４】
本態様によれば、赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データに対しては位相補正及び振幅補正を行う第１の復元処理が行われ、赤外線カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われる。これにより、本態様は、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる。すなわち、本態様は、可視光画像の第１の画像データに発生したボケをよく補正することができ且つ近赤外光画像の第２の画像データに対する点像復元処理を精度よく行うことができる。【００３５】
好ましくは、画像取得部は、第１の画像データを取得する場合を基準にして像面位置が設定されている。【００３６】
本態様によれば、画像取得部の像面の位置が第１の画像データを取得する場合を基準にして設定される。すなわち、本態様では、被写体を可視光により撮像する場合を基準にして画像取得部の像面の位置が設定されている。これにより、本態様では、赤外線カットフィルタが撮像光路から退避して撮像された場合に、近赤外光の被写体像は、可視光と近赤外光との波長の違いにより撮像光路にダミーフィルタとして素通しガラス等の光路調整具を挿入しなくともボケが抑制される。さらに、本態様では、可視光像を撮像する場合を基準にして画像取得部（撮像素子）の像面位置が設定されているので、近赤外光像の結像面は設定された画像取得部（撮像素子）の像面位置とズレるので、ＰＳＦの位相がなくなるため位相補正を行う必要性が乏しくなる。【００３７】
本発明の他の態様である画像処理方法は、赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、赤外線カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データとが入力される画像入力ステップと、入力された第１の画像データに対し、光学系の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理ステップと、入力された第２の画像データに対し、光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理ステップと、を含む。【００３８】
本発明の他の態様であるプログラムは、赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、赤外線カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データとが入力される画像入力ステップと、入力された第１の画像データに対し、光学系の点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う第１の復元処理ステップと、入力された第２の画像データに対し、光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う第２の復元処理ステップと、をコンピュータに実行させる。このプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体（a non-transitory computer-readable tangible medium）も本発明の態様に含まれる。
【発明の効果】
【００３９】
本発明によれば、可視光画像である第１の画像データに対しては位相補正及び振幅補正を行う第１の復元処理が行われ、近赤外光画像である第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われるので、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる。
【図面の簡単な説明】
【００４０】
【図１】デジタルカメラの機能構成例を示すブロック図である。
【図２】図１で示したデジタルカメラにより夜間に撮像が行われている場合を説明する図である。
【図３】カメラ本体コントローラの機能構成例を示すブロック図である。
【図４】第１の復元処理の概略を示す図である。
【図５】第２の復元処理の概略を示す図である。
【図６】画像処理部の機能構成例を示すブロック図である。
【図７】第１の復元処理部の機能構成例を示すブロック図である。
【図８】第２の復元処理部の機能構成例を示すブロック図である。
【図９】画像処理装置の動作を示すフロー図である。
【図１０】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。
【図１１】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。
【図１２】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。
【図１３】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。
【図１４】第２の実施形態における第１の復元処理の概略を示す図である。
【図１５】第２の実施形態における画像処理部の機能構成例をブロック図である。
【図１６】階調補正処理部により階調補正される入出力特性（ガンマ特性）の一例を示すグラフである。
【図１７】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図１８】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図１９】位相補正処理部の機能構成例を示すブロック図である。
【図２０】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図２１】振幅復元処理部の機能構成例を示すブロック図である。
【図２２】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図２３】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図２４】振幅復元処理部の機能構成例を示すブロック図である。
【図２５】第３の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図２６】ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。
【図２７】ＥＤｏＦ光学系の一例を示す図である。
【図２８】ＥＤｏＦ光学系を介して取得された画像の復元例を示す図である。
【発明を実施するための形態】
【００４１】
添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ：パーソナルコンピュータ）に接続可能な監視カメラとして使用されるデジタルカメラ（撮像装置）について説明する。
【００４２】
図１は、コンピュータに接続されるデジタルカメラ１０の機能構成例を示すブロック図である。デジタルカメラ１０は動画及び静止画を撮像することが可能であり、以下の説明での画像又は画像データは動画における１フレームの画像又は静止画を意味する。なお、図１ではデジタルカメラ１０により昼間に撮像が行われている場合を示している。
【００４３】
デジタルカメラ１０は、レンズユニット１２と、撮像素子（画像取得部）２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とは電気的に接続される。
【００４４】
レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズ１６のフォーカス位置を調整する手動操作部、及びカメラ本体コントローラ２８から加えられる制御信号により絞り１７を駆動する絞り駆動部を含む。
【００４５】
また、レンズユニット１２は近赤外光発光部１５を備える。近赤外光発光部１５は、デジタルカメラ１０により近赤外光像の画像が取得される場合に、近赤外光を補助光として発光する。すなわち、デジタルカメラ１０が夜間での撮像を行う場合に、デジタルカメラ１０は、近赤外光発光部１５から近赤外光が補助光として発光されるので、より鮮明な近赤外光画像の取得ができる。
【００４６】
なお、近赤外光画像とは、撮像される被写体の近赤外光像を有する画像のことであり、第２の画像データにより示される。近赤外光画像は、近赤外光波長帯域に感度をもって撮像されて取得されたり、ＩＲカットフィルタ２５が撮像光路から退避された光学系を用いて撮像されて取得されたりする。ここで、近赤外光の波長は特に限定されるものではないが例えば０．７μｍから２．５μｍの範囲にある。また、可視光画像とは、撮像される被写体の可視光画像を有する画像のことであり、第１の画像データにより示される。可視光画像は、可視光波長帯域に感度をもって撮像されて取得されたり、ＩＲカットフィルタ２５が撮像光路に挿入された光学系を用いて撮像されて取得されたりする。
【００４７】
ＩＲ（Ｉｎｆｒａｒｅｄ）カットフィルタ（赤外線カットフィルタ）２５はカットフィルタ動作機構２４に設置されている。デジタルカメラ１０を用いて昼間に撮像が行われる場合には、ＩＲカットフィルタ２５は図１に示すように撮像光路に挿入される。ＩＲカットフィルタ２５が撮像光路に挿入されることにより、ＩＲカットフィルタ２５が赤外光を遮断し、赤外光は撮像素子２６に達しなくなる。なお、ＩＲカットフィルタ２５としては様々なものを使用することが可能であり、例えば近赤外光を遮断することができる近赤外光カットフィルタが使用される。
【００４８】
カメラ本体１４の撮像素子（画像取得部）２６は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のカラーイメージセンサにより構成されている。なお撮像素子２６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型のイメージセンサでもよい。
【００４９】
撮像素子２６は、マトリクス状に配置された複数の画素を有し、各画素は、マイクロレンズと、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のカラーフィルタと、光電変換部（フォトダイオード等）とを含んで構成される。ＲＧＢのカラーフィルタは、所定のパターンのフィルタ配列（ベイヤー配列、Ｘ−Ｔｒａｎｓ（登録商標）配列等）を有している。
【００５０】
本例の撮像素子２６は、光学系を用いた被写体像の撮像により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部３５に送信される。
【００５１】
カメラ本体コントローラ２８は、図３に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４は、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。
【００５２】
一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。特に本例の画像処理部３５は、光学系の点拡がり関数に基づく点像復元処理を第１の画像データに対して行う第１の復元処理部３（図６）及び光学系の点拡がり関数に基づく点像復元処理を第２の画像データに対して行う第２の復元処理部５（図６）を含む。画像処理部３５の詳細は後述する。
【００５３】
カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）等の任意のフォーマットとしうる。従って、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）のように、ヘッダ情報（撮像情報（撮像日時、機種、画素数、絞り値、ＩＲカットフィルタ２５の有り無し等））、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。
【００５４】
コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、デジタルカメラ１０から送信される画像を表示する。またディスプレイ６６には、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。
【００５５】
サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。
【００５６】
各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、及びサーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。
【００５７】
図２は、図１で示したデジタルカメラ１０により夜間に撮像が行われている場合を示すブロック図である。なお、図１で説明を行った箇所は同じ符号を付して説明は省略する。
【００５８】
図２で示すように、夜間にデジタルカメラ１０により撮像される場合には、ＩＲカットフィルタ２５はカットフィルタ動作機構２４により、撮像光路から退避される。このように、ＩＲカットフィルタ２５が光学系の撮像光路から退避すると、撮像素子２６にはＩＲカットフィルタ２５でカットされていた近赤外光が入射することになる。これにより、図２に示す場合では、被写体の赤外光像を有する赤外光画像を取得することが可能となる。また、夜間の撮像であるので、近赤外光発光部１５は近赤外光を補助光として発光する。
【００５９】
次に、撮像素子２６を介して得られる被写体の可視光像の撮像データ（第１の画像データ）及び被写体の近赤外光像の撮像データ（第２の画像データ）への点像復元処理について説明する。
【００６０】
以下の例では、カメラ本体１４（カメラ本体コントローラ２８）において点像復元処理が実施される例について説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４、及びサーバコントローラ８４等）において実施することも可能である。
【００６１】
本例の点像復元処理は、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理及び位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を含む。
【００６２】
（第１の実施形態）
先ず、第１の復元処理に関して説明をする。
【００６３】
図４は、原画像データＤｏとして第１の画像データが取得された場合の第１の復元処理の概略を示す図である。
【００６４】
図４に示すように点像を被写体として撮像を行う場合、被写体の可視光像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から第１の画像データが出力される。この第１の画像データは、光学系の特性に由来する点拡がり現象によって振幅成分と位相成分とが劣化し、本来の被写体像（点像）は、非点対称なボケ画像となる。ここで、可視光は様々な波長帯域の光（様々な色の光）から構成されているので、倍率色収差が発生し、第１の画像データのＰＴＦ特性は劣化している（位相がずれている）。
【００６５】
そして点像復元処理は、光学系の収差等による劣化（点拡がり関数（ＰＳＦ）又は光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ））の特性を求めておき、撮像された画像（劣化している画像）を、ＰＳＦ又はＯＴＦに基づいて生成した復元（回復）フィルタを使用して復元処理することにより解像度の高い画像に復元する処理である。
【００６６】
ＰＳＦとＯＴＦとはフーリエ変換の関係にあり、ＰＳＦは実関数、ＯＴＦは複素関数である。これらと等価な情報を持つものとして、変調伝達関数又は振幅伝達関数（ＭＴＦ）と位相伝達関数（ＰＴＦ）があり、それぞれＯＴＦの振幅成分と位相成分を示す。ＭＴＦとＰＴＦとを合わせてＯＴＦやＰＳＦと等価な情報量を持つ。
【００６７】
一般に、ＰＳＦによるボケ画像の復元には、コンボリューション型のウィナー（Ｗｉｅｎｅｒ）フィルタを利用することができる。ＰＳＦ（ｘ，ｙ）をフーリエ変換したＯＴＦと信号対雑音比（ＳＮＲ）（ｓｉｇｎａｌ−ｎｏｉｓｅ  ｒａｔｉｏ）の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ωｘ，ωｙ）を算出することができる。
【００６８】
【数１】
2016171089.tif 000003
【００６９】
ここでＨ（ωｘ，ωｙ）はＯＴＦを表し、Ｈ＊（ωｘ，ωｙ）はその複素共役を表す。また、ＳＮＲ（ωｘ，ωｙ）はＳＮ（ｓｉｇｎａｌ−ｎｏｉｓｅ）比を表す。
【００７０】
復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。
【００７１】
図４に示すように、ボケ画像の原画像データＤｏ（第１の画像データ）から本来の被写体像（点像）を復元するため、原画像データＤｏに対して、振幅復元及び位相補正のためのフィルタ（第１の復元フィルタＦ０）を用いた振幅復元及び位相補正処理（第１の復元処理）Ｐ１０を行うことで、非点対称なボケ像が振幅復元されボケ像が小さくなり、非点対称の像が周波数依存で移動し点対称の像に回復される。これにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。
【００７２】
振幅復元及び位相補正処理（第１の復元処理）Ｐ１０で用いられる第１の復元フィルタＦ０は、原画像データＤｏの取得時の撮像条件に応じた光学系の点像情報（ＰＳＦ、ＯＴＦ）から、所定の振幅復元及び位相補正フィルタ算出アルゴリズムＰ２０によって得られる。
【００７３】
光学系の点像情報は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮像条件によって変動しうる。また、光学系の点像情報は可視光と近赤外光とでも変動しうる。したがって、第１の復元フィルタＦ０を算出する際には、これらの撮像条件が取得される。
【００７４】
第１の復元フィルタＦ０は、それぞれ例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上のフィルタであり、処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（画像データの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、点像復元処理後の画素データを算出することができる。第１の復元フィルタＦ０を用いた加重平均処理を、対象画素を順番に変えながら、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。
【００７５】
なお、図４に示した例では、第１の復元処理において振幅復元と位相補正とを合せて行うことを説明したがこれに限定されるものではない。すなわち、第１の復元処理において振幅復元を行うことができるフィルタを算出し且つ位相補正を行うことができるフィルタを算出して、振幅復元処理と位相補正処理とを別々の処理として実行されてもよい。
【００７６】
次に、第２の復元処理に関して説明をする。
【００７７】
図５は、原画像データＤｏとして第２の画像データが取得された場合の第２の復元処理の概略を示す図である。
【００７８】
図５に示すように点像を被写体として撮像を行う場合、被写体の近赤外光像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から第２の画像データが出力される。例えばこの第２の画像データは、光学系の特性に由来する点拡がり現象によって振幅成分が劣化し、本来の被写体像（点像）はボケ画像となる。ここで、例えば近赤外光は、単色の光によって構成されているので倍率色収差の発生はなく、位相がズレずに対称なボケ画像となる場合がある。したがって、対称なボケ画像である第２の画像データに対しては位相補正を行う必要がなく、第２の画像データに対して振幅復元処理のみを行うことにより画像処理の計算負荷を軽減することができる。
【００７９】
第２の復元処理部５において、例えばＯＴＦの振幅成分を示すＭＴＦを使用し、フィルタの周波数特性を算出し、算出したフィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択することで、周波数特性の劣化を回復させる振幅復元フィルタＦ１を算出する（Ｐ２１）。なおこの場合振幅復元フィルタＦ１が第２の復元フィルタとなる。
【００８０】
図５に示すように、ボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して、振幅復元フィルタＦ１を用いた振幅復元処理Ｐ１１を行うことで、非点対称なボケ像が振幅復元され、ボケ像が小さくなる。また、位相補正を伴わない振幅復元を行う点像復元処理を第２の画像データに対して行うことで、点像復元処理の精度を向上させることができる。
【００８１】
次に、画像処理装置（画像処理部）３５に関して説明する。
【００８２】
図６は、画像処理部３５の機能構成例を示すブロック図である。
【００８３】
画像処理部３５は、画像入力部１、第１の復元処理部３、及び第２の復元処理部５を備える。
【００８４】
画像入力部１には、第１の画像データ及び第２の画像データが入力される。画像入力部１への入力の方法は特に限定されない。例えば、画像入力部１には、第１の画像データと第２の画像データとが同時に入力されてもよいし、第１の画像データと第２の画像データとが別々のタイミングで入力されてもよい。画像入力部１は、第１の画像データが入力された場合には、入力された第１の画像データを第１の復元処理部３に送る。また、画像入力部１は、第２の画像データが入力された場合には、入力された第２の画像データを第２の復元処理部５に送る。ここで例えばカメラ本体コントローラ２８は、デバイス制御部３４よりＩＲカットフィルタ２５が撮像光路に挿入されているか又は退避されているかの情報を取得し、画像処理部３５の画像入力部１にＩＲカットフィルタ２５が撮像光路に挿入されているか又は退避されているかの情報を送る。そして、画像入力部１は、ＩＲカットフィルタ２５が撮像光路に挿入されているか又は退避されているかの情報により、入力された画像データが第１の画像データであるか又は第２の画像データであるかを判断する。なお、画像入力部１が行うこの判断は、特に限定されるものではない。例えば、画像データに第１の画像データであるか第２の画像データであるかの情報を付しておき、画像入力部１はその情報を基に画像データを判断してもよい。
【００８５】
第１の復元処理部３は、画像入力部１から第１の画像データを取得する。そして、第１の復元処理部３は、光学系の可視光に対する点拡がり関数に基づく第１の復元フィルタであって、位相補正及び振幅復元を行う第１の復元フィルタを用いた第１の復元処理を行う。すなわち、第１の復元処理部３は、光学系の可視光に対する点拡がり関数に基づいて生成された第１の復元フィルタを使用して、第１の画像データに対して第１の復元処理を行う。第１の復元処理が行われた画像は、位相のズレが補正され且つ振幅が復元され、ボケがよく修正される効果的な点像復元処理が実行される。また、第１の画像データのＲＧＢデータの各データに対して位相補正が行われることにより、効果的に倍率色収差が抑制される。
【００８６】
第２の復元処理部５は、画像入力部１から第２の画像データを取得する。そして、第２の復元処理部５は、光学系の点拡がり関数に基づく第２の復元フィルタであって、位相補正を伴わない振幅復元を行う第２の復元フィルタを用いた第２の復元処理を行う。第２の画像データに対して、位相補正を伴わない振幅復元のみが行われるので、第２の画像データに対する点像復元処理の精度が良くなる。ここで点像復元処理の精度が良いとは、点像復元処理を失敗して却って画像が不自然になる確率が低いことをいう。また、第２の復元処理部５は、効果のあまり期待できない位相補正を行わないので点像復元処理の計算負荷が軽減され且つ鮮明な画像を得ることができる。また、可視光像を撮像する場合を基準にして撮像素子２６の像面位置が設定されている場合に、近赤外光像の結像面は設定された撮像素子２６の像面位置とズレるので、ＰＳＦの位相がなくなるため位相補正を行う必要性は乏しくなる。
【００８７】
上述したように、画像処理部（画像処理装置）３５が第１の復元処理部３及び第２の復元処理部５を備えることにより、画像処理部３５がコンピュータに設けられる場合には、各撮像装置に点像復元処理を行う機能を備えなくても良くなる。
【００８８】
図７は、第１の復元処理部３の機能構成例を示すブロック図である。
【００８９】
第１の復元処理部３は、第１の復元演算処理部４４ａ、フィルタ選択部４４ｂ、光学系データ取得部４４ｃ、及び記憶部４４ｄから構成されている。
【００９０】
光学系データ取得部４４ｃは、光学系（レンズ１６、絞り１７等）の点拡がり関数を示す光学系データを取得する。この光学系データは、フィルタ選択部４４ｂにおける第１の復元フィルタの選択基準となるデータであり、処理対象の第１の画像データの撮像取得時に使用された光学系の点拡がり関数を直接的又は間接的に示す情報であればよい。従って、例えば光学系の点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ（ＭＴＦ、ＰＴＦ））自体を光学系データとしてもよいし、光学系の点拡がり関数に関する伝達関数を間接的に示す光学系の種類（例えば、撮像時に使用したレンズユニット１２（レンズ１６）の型番等）等を光学系データとしてもよい。また、画像を撮像した際のＦ値（絞り値）及びズーム値、及び像高等の情報を光学系データとしてもよい。
【００９１】
記憶部４４ｄは、複数種類の光学系の光点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ、又は、ＰＴＦ及びＭＴＦ）に基づいて生成された、ＲＧＢ毎の第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）が記憶されている。ＲＧＢ毎に第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）が記憶されているのは、光学系の収差がＲＧＢの各色の波長によって異なるためである（ＰＳＦ形状が異なるためである）。また、記憶部４４ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）を記憶することが好ましい。これらの条件によりＰＳＦ形状が異なるからである。ここで、Ｇとは緑色を示し輝度データを得るために最も寄与する第１の色であり、Ｒとは赤色を示し第１の色以外の２色以上の第２の色の一つであり、Ｂとは青色を示し第１の色以外の２色以上の第２の色の一つである。
【００９２】
フィルタ選択部４４ｂは、光学系データ取得部４４ｃが取得した光学系データに基づき、記憶部４４ｄに記憶されている第１の復元フィルタのうち、第１の画像データの撮像取得に用いられた光学系の光学系データに対応する第１の復元フィルタを選択する。フィルタ選択部４４ｂによって選択された、ＲＧＢ毎の第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）は、第１の復元演算処理部４４ａに送られる。
【００９３】
尚、フィルタ選択部４４ｂは、記憶部４４ｄが記憶する第１の復元フィルタの種類情報（第１の復元フィルタ記憶情報）を把握しているが、フィルタ選択部４４ｂによる第１の復元フィルタ記憶情報の把握手法は特に限定されない。例えば、フィルタ選択部４４ｂは、第１の復元フィルタ記憶情報を記憶する記憶部（図示省略）を有していてもよく、記憶部４４ｄに記憶される第１の復元フィルタの種類情報が変更される場合、フィルタ選択部４４ｂの記憶部に記憶される第１の復元フィルタ記憶情報も変更されるようにしてもよい。また、フィルタ選択部４４ｂは、記憶部４４ｄに接続されて直接的に「記憶部４４ｄが記憶する第１の復元フィルタの情報」を把握するようにしてもよいし、第１の復元フィルタ記憶情報を把握する他の処理部（メモリ等）から第１の復元フィルタ記憶情報を把握するようにしてもよい。
【００９４】
また、フィルタ選択部４４ｂは、第１の画像データの撮像取得に用いられた光学系のＰＳＦに対応する第１の復元フィルタを選択すればよく、その選択手法は特に限定されない。例えば、光学系データ取得部４４ｃからの光学系データがＰＳＦを直接的に示す場合、フィルタ選択部４４ｂは、その光学系データが示すＰＳＦに対応する第１の復元フィルタを選択する。また光学系データ取得部４４ｃからの光学系データがＰＳＦを間接的に示す場合、フィルタ選択部４４ｂは、「ＰＳＦを間接的に光学系データ」から、処理対象の第１の画像データの撮像取得に用いられた光学系のＰＳＦに対応する第１の復元フィルタを選択する。
【００９５】
第１の復元演算処理部４４ａには、デモザイク処理された第１の画像データ（ＲＧＢデータ）が入力されており、第１の復元演算処理部４４ａは、ＲＧＢデータに対して、フィルタ選択部４４ｂにより選択された第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）を用いた第１の復元処理を行い、第１の復元処理後の画像データを算出する。即ち、第１の復元演算処理部４４ａは、第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）と、これに対応するＲＧＢ毎の画素データ（処理対象画素データ及び隣接画素データ）とのデコンボリューション演算を行い、第１の復元処理したＲＧＢデータを算出する。
【００９６】
上記構成の第１の復元処理部３は、ＲＧＢの色チャンネル毎の位相伝達関数（ＰＴＦ）を反映させた位相補正処理を行うことができ、ボケをよく修正する効果的な点像復元処理を実行する。また、第１の復元処理部３は、ＲＧＢの色チャンネル毎の位相伝達関数（ＰＴＦ）を反映させた位相補正処理を行うので、倍率色収差等の各種色収差を補正することができる。
【００９７】
図８は、第２の復元処理部５の機能構成例を示すブロック図である。
【００９８】
第２の復元処理部５は、第２の復元演算処理部４６ａ、フィルタ選択部４６ｂ、光学系データ取得部４６ｃ、及び記憶部４６ｄから構成されている。
【００９９】
フィルタ選択部４６ｂ及び光学系データ取得部４６ｃは、それぞれ図７に示したフィルタ選択部４４ｂ及び光学系データ取得部４４ｃに対応するものであるため、その詳細な説明は省略する。
【０１００】
記憶部４６ｄは、複数種類の光学系のＰＳＦ、ＯＴＦ、又はＭＴＦに基づいて生成された第２の復元フィルタが記憶されている。また、記憶部４６ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する第２の復元フィルタを記憶することが好ましい。これらの条件によりＰＳＦ形状が異なるからである。
【０１０１】
フィルタ選択部４６ｂは、光学系データ取得部４６ｃが取得した光学系データに基づき、記憶部４６ｄに記憶されている第２の復元フィルタのうち、原画像データの撮像取得に用いられた光学系の光学系データに対応する第２の復元フィルタを選択する。フィルタ選択部４６ｂによって選択された、第２の復元フィルタは、第２の復元演算処理部４６ａに送られる。
【０１０２】
第２の復元演算処理部４６ａは、第２の画像データに対して、フィルタ選択部４６ｂにより選択された第２の復元フィルタを用いた第２の復元処理を行う。
【０１０３】
尚、第１の復元フィルタを記憶する記憶部４４ｄ（図７）、及び第２の復元フィルタを記憶する記憶部４６ｄ（図８）は、別々に設けられたものでもよいし、物理的には同一のもので、記憶領域のみが異なるものでもよい。
【０１０４】
また、本例では、記憶部４４ｄ、４６ｄに、それぞれ第１の復元フィルタ、第２の復元フィルタを記憶させておき、点像復元処理に使用する第１の復元フィルタ、第２の復元フィルタを適宜読み出すようにしたが、これに限定されない。すなわち、本例では、光学系の伝達関数（ＰＳＦ，ＯＴＦ，ＰＴＦ，ＭＴＦ）を記憶部に記憶させて、点像復元処理時に記憶部から点像復元処理に使用する伝達関数を読み出し、第１の復元フィルタ及び第２の復元フィルタを逐次生成するようなフィルタ生成部を設置させてもよい。なお、上述の説明では第１の復元処理部３（図７）と第２の復元処理部５（図８）とを別々の処理部として説明を行ったがこれに限定されるものではない。例えば、第１の復元処理部３と第２の復元処理部５との機能を併せ持つ一つの復元処理部により、第１の復元処理及び第２の復元処理が実現されてもよい。
【０１０５】
図９は、画像処理部（画像処理装置）３５の動作を示すフロー図である。
【０１０６】
先ず、画像処理部３５に、画像入力部１に第１の画像データ及び第２の画像データが入力される（ステップＳ１０）。その後、第１の復元処理部３により第１の画像データに対して第１の復元処理が行われる（ステップＳ１１）。また、第２の復元処理部５により第２の画像データに対して第２の復元処理が行われる（ステップＳ１２）。
【０１０７】
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的有形記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【０１０８】
次に、デジタルカメラ１０の撮像素子２６の設置に関しての設定に関して説明する。
【０１０９】
図１０から図１３は、撮像素子２６の像面と結像面との位置関係及び焦点に関して説明をする図である。図１０（Ａ）、図１１（Ａ）、図１２（Ａ）、及び図１３（Ａ）には主に、レンズユニット１２、撮像素子２６、ＩＲカットフィルタ２５、カットフィルタ動作機構２４、及び被写体１９が記載されている。また、レンズユニット１２の側面には、フォーカスリング１３、フォーカス調節レバ１１、ズームリング２３、ズーム調節レバ２１が備えられている。図１０（Ａ）、図１１（Ａ）、図１２（Ａ）、及び図１３（Ａ）に記載されている撮像素子２６の像面は、可視光像を撮像する場合を基準に設定されている。また、図１０（Ｂ）、図１１（Ｂ）、図１２（Ｂ）、及び図１３（Ｂ）には、図１０（Ａ）から図１３（Ａ）の各々の撮像条件で撮像された被写体像の画像が示されている。
【０１１０】
図１０には、蛍光灯３１が点灯されており、ＩＲカットフィルタ２５が撮像光路に挿入された場合が示されている。この場合撮像素子２６により、被写体１９の可視光像が取得される。撮像素子２６の像面位置は、可視光像を取得する場合を基準にして設定されているために、被写体１９の可視光像の結像面５１と撮像素子２６との像面の位置は一致し（図１０（Ａ）を参照）、被写体１９に焦点が合った画像が取得される（図１０（Ｂ）を参照）。
【０１１１】
図１１には、蛍光灯３１が点灯されており、ＩＲカットフィルタ２５が撮像光路から退避している場合が示されている。この場合撮像素子２６により、被写体１９の可視光像を有する画像が取得される。撮像素子２６の像面位置は、可視光像を取得する場合を基準にして設定されているが、ＩＲカットフィルタ２５が撮像光路から退避して可視光像の光路長が変わるので、被写体１９の可視光像の結像面５１と撮像素子２６との像面の位置は一致しない（図１１（Ａ）を参照）。したがって、被写体１９に焦点が合ってないボケた画像が取得される（図１１（Ｂ）を参照）。なおこの場合には、ＩＲカットフィルタ２５が撮像光路から退避し光路長を調節するようなダミーフィルタ（素通しガラス）等が挿入されていない。また、図１１（Ａ）中では点線によりＩＲカットフィルタ２５が撮像光路に挿入された場合の可視光像の結像面が表されている。なお、ＩＲカットフィルタ２５が撮像光路から退避した際に、ダミーフィルタが代わりに撮像光路へ挿入されるようにしてもよい。これにより、ＩＲカットフィルタ２５が退避した場合であってもより焦点の合った画像を得ることが可能となる。
【０１１２】
図１２には、蛍光灯３１が消灯され近赤外光を発するＩＲ（Ｉｎｆｒａｒｅｄ）投光機３３が点灯されており、ＩＲカットフィルタ２５が撮像光路から退避している場合が示されている。この場合撮像素子２６により、被写体１９の近赤外光像を有する画像が取得される。被写体１９の近赤外光像の結像面５３は、可視光像の結像面５１と比べて撮像素子２６側になる。したがって、図１１に示した場合よりも焦点のズレが小さくなり、ボケが抑制された画像を取得することができる（図１２（Ｂ）を参照）。なお、図１２（Ａ）中では点線により可視光像の結像面が表されている。
【０１１３】
図１３には、蛍光灯３１が点灯されておりＩＲ投光機３３が点灯されており、ＩＲカットフィルタ２５が撮像光路から退避している場合が示されている。この場合撮像素子２６により、被写体１９の可視光像及び近赤外光像を有する画像が取得される。この場合、被写体１９の近赤外光像の結像面５３及び被写体１９の可視光像の結像面５１が存在し、図１１で説明したように可視光像の結像面５１の位置が撮像素子２６の像面位置との違いが大きいので、可視光像のボケが目立つ画像が取得されている（図１３（Ｂ）を参照）。
【０１１４】
上述したように、撮像素子２６の像面位置が被写体１９の可視光像（第１の画像データ）を取得する場合を基準にして設定されていることにより、ＩＲカットフィルタ２５が撮像光路から退避した場合であっても、ボケが抑制された被写体１９の近赤外光像を取得することができる。
【０１１５】
（第２の実施形態）
次に、第２の実施形態に関して説明する。
【０１１６】
図１４は、第２の実施形態における原画像データＤｏとして第１の画像データが取得された場合の第１の復元処理の概略を示す図である。なお、図４で既に説明を行った箇所は同じ符号を付して説明を省略する。
【０１１７】
図１４では、図４で説明を行った第１の復元処理が振幅復元処理Ｐ１２及び位相補正処理Ｐ１４として別々に行われている。また、振幅復元処理が行われた第１の画像データに対して非線形な階調補正処理Ｐ１３が行われている。
【０１１８】
第１の復元処理部３において位相補正と振幅復元とを個別に行う場合では、前述した［数１］式のＯＴＦの代わりに、ＯＴＦの振幅成分を示すＭＴＦを使用し、フィルタの周波数特性を算出し、算出したフィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択することで、周波数特性の劣化を回復させる振幅復元フィルタＦ３を算出する。同様に、上記［数１］式のＯＴＦの代わりに、ＯＴＦの位相成分を示すＰＴＦを使用し、フィルタの周波数特性を算出し、算出したフィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択することで、位相特性の劣化を回復させる位相補正フィルタＦ２を算出する。なお、この場合振幅復元フィルタＦ３及び位相補正フィルタＦ２が第１の復元フィルタとなる。
【０１１９】
ボケ画像の原画像データＤｏ（第１の画像データ）から本来の被写体像（点像）を復元するため、原画像データＤｏに対して、振幅復元フィルタＦ３を用いた振幅復元処理Ｐ１２を行うことで、非点対称なボケ像が振幅復元され、ボケ像が小さくなる。
【０１２０】
続いて、振幅復元処理後の第１の画像データに対して、非線形な階調補正処理Ｐ１３（対数化処理によるガンマ補正処理）が行われる。階調（ガンマ）補正処理は、ディスプレイ装置により画像が自然に再現されるように画像データを非線形に補正する処理である。
【０１２１】
そして、階調補正処理が行われた第１の画像データに対して、位相補正フィルタＦ２を用いた位相補正処理Ｐ１４が行われる。この位相補正処理Ｐ１４により非点対称の像は、周波数依存で移動し、点対称の像に回復する。これにより、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。
【０１２２】
振幅復元処理Ｐ１２で用いられる振幅復元フィルタＦ３は、原画像データＤｏ取得時の撮像条件に応じた光学系の点像情報（ＰＳＦ、ＯＴＦ、又はＭＴＦ）から、所定の振幅復元フィルタ算出アルゴリズムＰ２２によって得られ、位相補正処理Ｐ１４で用いられる位相補正フィルタＦ２は、原画像データＤｏ取得時の撮像条件に応じた光学系の点像情報（ＰＳＦ、ＯＴＦ、又はＰＴＦ）から、所定の位相補正フィルタ算出アルゴリズムＰ２３によって得られる。
【０１２３】
Ｎ×Ｍのタップによって構成される実空間上の振幅復元フィルタＦ３、又は位相補正フィルタＦ２は、周波数空間上の回復フィルタの周波数振幅特性、又は回復フィルタの位相特性を逆フーリエ変換することによって導出可能である。従って、実空間上の振幅復元フィルタＦ３、又は位相補正フィルタＦ２は、基礎となる周波数空間上の振幅復元フィルタ、又は位相補正フィルタを特定し、実空間上の振幅復元フィルタＦ３、又は位相補正フィルタＦ２の構成タップ数を指定することによって、適宜算出可能である。尚、位相補正フィルタＦ２のＮ×Ｍのタップ数は、位相補正を良く行うために、振幅復元フィルタＦ３のタップ数よりも大きくすることが好ましい。
【０１２４】
このように、本形態では、振幅復元処理Ｐ１２が行われた第１の画像データに対して非線形な階調補正処理Ｐ１３が行われ、非線形な階調補正処理Ｐ１３が行われた第１の画像データに対して位相補正処理Ｐ１４が行われる。これにより、本形態は、位相補正処理においては、位相補正フィルタが空間的に大きく広がることに起因して、飽和画素付近においてアーティファクト（リンギング等）を発生させる現象が生じ易くなるが、階調補正後に位相補正を行うことで、階調補正により上記アーティファクトが増幅される（アーティファクトが強く発生する）のを防止することができる。同様に、本形態は、位相補正により色グラデーションが変化してしまう現象が生じることがあるが、この現象を緩和することができる。正確には、色グラデーションが変化してしまう現象は、階調補正後に位相補正を実施しても発生するが、階調補正前に実施する場合と比較して少なくすることができる。また本形態は、階調補正後の画像データは、一般にビット数が階調補正前に比べて少なくなるため、タップ数の比較的大きな位相補正フィルタによる位相補正を実装する場合の計算負荷を低減することができる。
【０１２５】
また、本形態では、振幅復元処理Ｐ１２と位相補正処理Ｐ１４との順序を変更してもよい。すなわち、位相補正処理Ｐ１４が行われた第１の画像データに対して非線形な階調補正処理Ｐ１３が行われ、非線形な階調補正処理Ｐ１３が行われた第１の画像データに対して振幅復元処理Ｐ１２が行われてもよい。これにより、本形態は、階調補正前（画像の周波数特性の変化前）に位相補正を行うので位相補正を効果的に行うことができ、階調補正後に振幅復元を行うので振幅復元により僅かに発生するオーバーシュート／アンダーシュートが階調補正により増幅（強調）されることがなく、アーティファクトが強く発生するのを防止することができる。
【０１２６】
図１５は、第２の実施形態における画像処理部３５の機能構成例をブロック図である。第２の実施形態の画像処理部３５は、画像入力部１、第１の復元処理部３、第２の復元処理部５、及び階調補正処理部７を備えている。なお、図７で説明を行った箇所は同じ番号を付し説明は省略する。
【０１２７】
第１の復元処理部３は、位相補正部８及び振幅復元部９を備えている。位相補正部８は、第１の画像データに対して位相補正を行い、振幅復元部９は、第１の画像データに対して振幅補正を行う。
【０１２８】
階調補正処理部７は、画像データに対して、非線形な階調補正を行う部分であり、例えば、入力されるＲＧＢデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線な処理を行う。
【０１２９】
図１６は、階調補正処理部７により階調補正される入出力特性（ガンマ特性）の一例を示すグラフである。本例では、階調補正処理部７は、１２ビット（０〜４０９５）のＲＧＢデータに対し、ガンマ特性に対応するガンマ補正を行い、８ビット（０〜２５５）のＲＧＢの色データ（１バイトのデータ）を生成する。階調補正処理部７は、例えば、ＲＧＢ毎のルックアップテーブル（ＬＵＴ）（Ｌｏｏｋ  ｕｐ  ｔａｂｌｅ）により構成することができ、ＲＧＢデータの色毎にそれぞれ対応するガンマ補正を行うことが好ましい。尚、階調補正処理部７は、入力データに対して、トーンカーブに沿った非線形な階調補正を行うものを含む。
【０１３０】
＜具体例１＞
図１７は、第２の実施形態における画像処理部３５の具体的な処理の例（具体例１）を示すブロック図である。
【０１３１】
本例の画像処理部３５は、オフセット補正処理部４１、ホワイトバランス（ＷＢ）を調整するＷＢ補正処理部４２、デモザイク処理部４３、振幅復元処理部４４、ガンマ補正処理部を含む階調補正処理部４５、位相補正処理部４６、及び輝度データ生成部の一形態に相当する輝度及び色差変換処理部４７を備えている。尚、振幅復元処理部４４では図１４で説明を行った振幅復元処理Ｐ１２が行われ、位相補正処理部４６では図１４で説明を行った位相補正処理Ｐ１４が行われる。
【０１３２】
図１７において、オフセット補正処理部４１には、撮像素子２６から取得される画像処理前のモザイクデータ（ＲＡＷデータ；赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク状の色データ（ＲＧＢデータ））を、点順次で入力される。尚、モザイクデータは、例えば、ＲＧＢ毎に１２ビット（０〜４０９５）のビット長を有するデータ（１画素当たり２バイトのデータ）である。
【０１３３】
オフセット補正処理部４１は、入力されたモザイクデータに含まれる暗電流成分を補正する処理部であり、撮像素子２６上の遮光画素から得られるオプティカルブラック（ＯＢ）（ｏｐｔｉｃａｌ  ｂｌａｃｋ）の信号値を、モザイクデータから減算することによりモザイクデータのオフセット補正を行う。
【０１３４】
オフセット補正されたモザイクデータ（ＲＧＢデータ）は、ＷＢ補正処理部４２に加えられる。ＷＢ補正処理部４２は、ＲＧＢの色毎に設定されたＷＢゲインを、それぞれＲＧＢデータに乗算し、ＲＧＢデータのホワイトバランス補正を行う。ＷＢゲインは、例えば、ＲＧＢデータに基づいて光源種が自動的に判定され、あるいは手動による光源種が選択されるとし、判定又は選択された光源種に適したＷＢゲインが設定されるが、ＷＢゲインの設定方法は、これに限らず、他の公知の方法により設定することができる。
【０１３５】
デモザイク処理部４３は、単板式の撮像素子２６のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出するデモザイク処理（「同時化処理」ともいう）を行う部分であり、例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する。即ち、デモザイク処理部４３は、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。
【０１３６】
デモザイク処理されたＲＧＢデータは、振幅復元処理部４４に加えられ、ここで、ＲＧＢデータの振幅復元処理が行われる。
【０１３７】
振幅復元処理部４４により振幅復元処理されたＲＧＢデータは、階調補正処理部４５に加えられる。
【０１３８】
階調補正処理部４５は、振幅復元処理されＲＧＢデータに対して、非線形な階調補正を行う部分であり、例えば、入力されたＲＧＢデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線形な処理を行う。
【０１３９】
階調補正処理部４５により階調補正された（Ｒ）（Ｇ）（Ｂ）データは、位相補正処理部４６に加えられ、ここで、（Ｒ）（Ｇ）（Ｂ）データの位相補正処理が行われる。なお、階調補正後のＲＧＢデータを（Ｒ）（Ｇ）（Ｂ）データと表記する。
【０１４０】
位相補正処理部４６により位相補正処理された（Ｒ）（Ｇ）（Ｂ）データは、輝度及び色差変換処理部４７に加えられる。輝度及び色差変換処理部４７は、（Ｒ）（Ｇ）（Ｂ）データを輝度成分を示す輝度データ（Ｙ）、色差データ（Ｃｒ）、（Ｃｂ）に変換する処理部であり、次式により算出することができる。
【０１４１】
［数２］
（Ｙ）＝０.２９９（Ｒ）＋０.５８７（Ｇ）＋０.１１４（Ｂ）
（Ｃｂ）＝−０.１６８７３６（Ｒ）−０.３３１２６４（Ｇ）＋０.５（Ｂ）
（Ｃｒ）＝−０.５（Ｒ）−０.４１８６８８（Ｇ）−０.０８１３１２（Ｂ）
尚、（Ｒ）（Ｇ）（Ｂ）データは、階調補正及び位相補正処理後の８ビットのデータであり、これらの（Ｒ）（Ｇ）（Ｂ）データから変換される輝度データ（Ｙ）、色差データ（Ｃｒ）、（Ｃｂ）も８ビットのデータである。また、（Ｒ）（Ｇ）（Ｂ）データから輝度データ（Ｙ）、色差データ（Ｃｒ）、（Ｃｂ）への変換式は、上記［数２］式に限定されない。
【０１４２】
このようにして変換された８ビットの輝度データ（Ｙ）、色差データ（Ｃｒ）、（Ｃｂ）は、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの圧縮処理が実行されたのち、ヘッダ情報、圧縮された主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成される。
【０１４３】
＜具体例２＞
図１８は、第２の実施形態における画像処理部３５の具体的な処理の例（具体例２）を示すブロック図である。尚、図１８では、図１７に示した画像処理部３５の具体例と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１４４】
具体例２は、主として位相補正処理部４６−２が、具体例１の位相補正処理部４６と相違する。
【０１４５】
即ち、具体例１の位相補正処理部４６は階調補正処理部４５の後段に設けられ階調補正後の（Ｒ）（Ｇ）（Ｂ）データに位相補正処理を行っているのに対し、具体例２の位相補正処理部４６−２は、輝度及び色差変換処理部４７の後段に設けられ、輝度及び色差変換処理部４７により変換された輝度データ（Ｙ）（階調補正後）に対し、位相補正処理を行う。
【０１４６】
図１９は、具体例２の位相補正処理部４６−２の機能構成例を示すブロック図である。
【０１４７】
図１９に示す位相補正処理部４６−２は、位相補正演算処理部４６−２ａ、フィルタ選択部４６−２ｂ、光学系データ取得部４６−２ｃ、及び記憶部４６−２ｄから構成されている。
【０１４８】
フィルタ選択部４６−２ｂ、及び光学系データ取得部４６−２ｃは、それぞれ図７に示したフィルタ選択部４４ｂ、及び光学系データ取得部４４ｃに対応するものであるため、その詳細な説明は省略する。
【０１４９】
記憶部４６−２ｄは、複数種類の光学系のＰＳＦ、ＯＴＦ、又はＰＴＦに基づいて生成された、第１の画像データにより算出される輝度データに対応する位相補正フィルタＦＹ２が記憶されている。
【０１５０】
ここで、輝度データに対応する位相補正フィルタＦＹ２ は、例えば、ＲＧＢの色チャンネル毎の位相伝達関数（ＰＴＦＲ、ＰＴＦＧ、ＰＴＦＢ）を混合し、輝度データに対応する位相伝達関数（ＰＴＦＹ）を算出し、算出したＰＴＦＹに基づいて生成することができる。尚、ＰＴＦＹを算出する際に、ＰＴＦＲ、ＰＴＦＧ、ＰＴＦＢを重み付け線形和として算出することが好ましい。また、重み付け係数としては、［数２］式に示した（Ｒ）（Ｇ）（Ｂ）データから輝度データ（Ｙ）を生成する際の係数と同じ係数を使用することができるが、これに限定されるものではない。
【０１５１】
また、輝度データに対応する位相補正フィルタＦＹ２の他の例としては、［数２］式に示したように輝度データ（Ｙ）の生成に最も寄与する、（Ｇ）データに対応する位相補正フィルタＦＧ２を、そのまま位相補正フィルタＦＹ２として使用してもよい。尚、記憶部４６−２ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する位相補正フィルタＦＹ２をそれぞれ記憶することが好ましい。
【０１５２】
フィルタ選択部４６−２ｂは、光学系データ取得部４６−２ｃが取得した光学系データに基づき、記憶部４６−２ｄに記憶されている位相補正フィルタのうち、原画像データ（第１の画像データ）の撮影取得に用いられた光学系の光学系データに対応する位相補正フィルタを選択する。フィルタ選択部４６−２ｂによって選択された、輝度データに対応する位相補正フィルタＦＹ２は、位相補正演算処理部４６−２ａに送られる。
【０１５３】
位相補正演算処理部４６−２ａには、階調補正（ガンマ補正）後の輝度データ（Ｙ）が入力されており、位相補正演算処理部４６−２ａは、輝度データ（Ｙ）に対して、フィルタ選択部４６−２ｂにより選択された位相補正フィルタＦＹ２を用いた位相補正処理を行う。即ち、位相補正演算処理部４６−２ａは、位相補正フィルタＦＹ２と、これに対応する輝度データ（Ｙ）（処理対象画素及び隣接画素の輝度データ（Ｙ））とのデコンボリューション演算を行い、位相補正処理後の輝度データ（Ｙ）を算出する。
【０１５４】
上記構成の位相補正処理部４６−２は、輝度データ（Ｙ）に対し、輝度データ（Ｙ）の位相伝達関数（ＰＴＦ）を反映させた位相補正処理を行うことができる。
【０１５５】
また、具体例１（図１７）の位相補正処理部４６によるＲＧＢデータに対する位相補正処理では３チャンネル（３ｃｈ）分の処理系が必要とされるが、輝度データ（Ｙ）に対する位相補正処理では１チャンネル（１ｃｈ）分の処理系で済むため、輝度データに対する位相補正処理の方が、回路規模、計算負荷を低減することができ、また記憶部４６−２ｄに記憶させる位相補正フィルタの数を減少させることできる。
【０１５６】
更に、ＲＧＢデータに対する位相補正処理は、想定通り（光学系の点拡がり関数情報通り）にＲＧＢデータが取得されれば、効果的なＲＧＢデータの位相補正処理が可能であり、輝度データに対する位相補正処理と比較して色収差などを効果的に軽減することができるが、実際の入力信号の挙動が想定通りではない場合、ＲＧＢデータに対する位相補正処理では、不要な色付きを生じる箇所が増えて不自然な色合いが目立つなどの副作用が起きることがある。
【０１５７】
これに対し、具体例２（図１８）の位相補正処理部４６−２は、輝度データのみを位相補正処理するため、上記のような副作用が起こりにくいという効果（色付き程度、滲み程度等における色系タフネス性）がある。
【０１５８】
尚、位相補正処理部４６−２による位相補正処理は、階調補正（ガンマ補正）後の輝度データ（Ｙ）対して行われるため、発生したアーティファクトを階調補正により強調するのを防ぐことができる点、及び位相補正処理によって色グラデーションが変化してしまう現象も緩和することができる点では、具体例１の位相補正処理部４６と同様である。
【０１５９】
＜具体例３＞
図２０は、第２の実施形態における画像処理部３５の具体的な処理の例（具体例３）を示すブロック図である。尚、図２０において、図１７に示した画像処理部３５の具体例と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１６０】
具体例３は、主として振幅復元処理部４４−２が、具体例１及び具体例２の振幅復元処理部４４と相違する。
【０１６１】
即ち、具体例１及び具体例２の振幅復元処理部４４は、デモザイク処理部４３の後段に設けられ、Ｒ、Ｇ、Ｂのデモザイクデータに対し、振幅復元処理を行っているのに対し、具体例３の振幅復元処理部４４−２は、輝度及び色差変換処理部４７の後段に設けられ、輝度及び色差変換処理部４７により変換された輝度データＹ（階調補正前）に対し、振幅復元処理を行う点で相違する。
【０１６２】
図２１は、具体例３の振幅復元処理部４４の機能構成例を示すブロック図である。
【０１６３】
図２１に示す振幅復元処理部４４−２は、振幅復元演算処理部４４−２ａ、フィルタ選択部４４−２ｂ、光学系データ取得部４４−２ｃ、及び記憶部４４−２ｄから構成されている。
【０１６４】
フィルタ選択部４４−２ｂ、及び光学系データ取得部４４−２ｃは、それぞれ図７に示したフィルタ選択部４４ｂ、及び光学系データ取得部４４ｃに対応するものであるため、その詳細な説明は省略する。
【０１６５】
記憶部４４−２ｄは、複数種類の光学系のＰＳＦ、ＯＴＦ、又はＭＴＦに基づいて生成された、輝度成分を示す画像データ（以下、「輝度データＹ」という）に対応する振幅復元フィルタＦＹ１が記憶されている。
【０１６６】
ここで、輝度データＹに対応する振幅復元フィルタＦＹ１は、例えば、ＲＧＢの色チャンネル毎の変調伝達関数（ＭＴＦＲ、ＭＴＦＧ、ＭＴＦＢ）を混合し、輝度データＹに対応する変調伝達関数（ＭＴＦＹ）を算出し、算出したＭＴＦＹに基づいて生成することができる。尚、ＭＴＦＹを算出する際に、ＭＴＦＲ、ＭＴＦＧ、ＭＴＦＢを重み付け線形和として算出することが好ましい。また、重み付け係数としては、［数２］式に示した（Ｒ）（Ｇ）（Ｂ）データから輝度データ（Ｙ）を生成する際の係数と同じ係数を使用することができるが、これに限定されるものではない。
【０１６７】
また、輝度データＹに対応する振幅復元フィルタＦＹ１の他の例としては、［数２］式に示したように輝度データの生成に最も寄与する、Ｇの色データに対応する振幅復元フィルタＦＧ１を、そのまま振幅復元フィルタＦＹ１として使用してもよい。尚、記憶部４４−２ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する振幅復元フィルタＦＹ１をそれぞれ記憶することが好ましい。
【０１６８】
フィルタ選択部４４−２ｂは、光学系データ取得部４４−２ｃが取得した光学系データに基づき、記憶部４４−２ｄに記憶されている振幅復元フィルタのうち、原画像データの撮影取得に用いられた光学系の光学系データに対応する振幅復元フィルタを選択する。フィルタ選択部４４−２ｂによって選択された、輝度データＹに対応する振幅復元フィルタＦＹ１は、振幅復元演算処理部４４−２ａに送られる。
【０１６９】
振幅復元演算処理部４４−２ａには、輝度及び色差変換処理部４７から階調補正（ガンマ補正）前の輝度データＹが入力されており、振幅復元演算処理部４４−２ａは、輝度データＹに対して、フィルタ選択部４４−２ｂにより選択された振幅復元フィルタＦＹ１を用いた振幅復元処理を行う。即ち、振幅復元演算処理部４４−２ａは、振幅復元フィルタＦＹ１と、これに対応する輝度データＹ（処理対象画素及び隣接画素の輝度データＹ）とのデコンボリューション演算を行い、振幅復元処理した輝度データＹを算出する。
【０１７０】
上記構成の振幅復元処理部４４−２は、輝度データＹに対し、輝度データＹの変調伝達関数（ＭＴＦ）を反映させた振幅復元処理を行うことができる。
【０１７１】
また、具体例１（図１７）及び具体例２（図１８）の振幅復元処理部４４によるＲＧＢデータに対する振幅復元処理では３チャンネル（３ｃｈ）分の処理系が必要とされるが、輝度データＹに対する振幅復元処理では１チャンネル（１ｃｈ）分の処理系で済むため、輝度データに対する振幅復元処理の方が、回路規模、計算負荷を低減することができ、また記憶部４４−２ｄに記憶させる振幅復元フィルタの数を減少させることできる。
【０１７２】
更に、ＲＧＢデータに対する振幅復元処理は、想定通り（光学系の点拡がり関数情報通り）にＲＧＢデータが取得されれば、効果的なＲＧＢデータの点像復元処理が可能であり、輝度データに対する振幅復元処理と比較して色収差などを効果的に軽減することができるが、実際の入力信号の挙動が想定通りではない場合、ＲＧＢデータに対する振幅復元処理では、不要な色付きを生じる箇所が増えて不自然な色合いが目立つなどの副作用が起きることがある。
【０１７３】
これに対し、具体例３の振幅復元処理部４４−２は、輝度データのみを振幅復元処理するため、上記のような副作用が起こりにくいという効果（色付き程度、滲み程度等における色系タフネス性）がある。
【０１７４】
一方、位相補正処理部４６−２による位相補正処理は、具体例２と同様に階調補正（ガンマ補正）後の輝度データ（Ｙ）に対して行われるため、具体例２と同様の効果がある。
【０１７５】
また、具体例３の画像処理部３５は、階調補正前の輝度データＹに対して振幅復元処理を行い、階調補正後の輝度データ（Ｙ）に対して位相補正処理を行うため、具体例１から具体例３の中で最も回路規模、計算負荷を低減することができる。
【０１７６】
尚、図２０に示す具体例３において、輝度及び色差変換処理部４７は、階調補正前の各色データ（ＲＧＢ）を、輝度データＹ、色差データＣｒ及びＣｂに変換しており、階調補正後の（Ｒ）（Ｇ）（Ｂ）データを、輝度データ（Ｙ）、色差データ（Ｃｒ）及び（Ｃｂ）に変換する具体例１及び具体例２のものと相違するが、処理内容は同様である。
【０１７７】
また、具体例１（図１７）及び具体例２（図１８）の階調補正処理部４５は、ＲＧＢデータをそれぞれ階調補正（ガンマ補正）するのに対し、具体例３の階調補正処理部４５−２は、振幅復元処理部４４−２により振幅復元処理された輝度データＹ、及び輝度及び色差変換処理部４７により変換された色差データＣｒ及びＣｂに対して、非線形な階調補正（ガンマ補正）を行う点で、具体例１及び具体例２の階調補正処理部４５と相違する。尚、階調補正処理部４５−２に入力される輝度データＹ、色差データＣｒ及びＣｂは、それぞれ１２ビットのデータ（２バイト分のデータ）であるが、階調補正後の輝度データ（Ｙ）、色差データ（Ｃｒ）及び（Ｃｂ）は、それぞれ８ビットのデータ（１バイトのデータ）に変換される。
【０１７８】
＜具体例４＞
図２２は、第２の実施形態における画像処理部３５の具体的な処理の例（具体例４）を示すブロック図である。尚、図２２において、図１７に示した画像処理部３５の具体例と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１７９】
本例の画像処理部３５は、オフセット補正処理部４１、ホワイトバランス（ＷＢ）を調整するＷＢ補正処理部４２、デモザイク処理部４３、位相補正処理部４６、ガンマ補正処理部を含む階調補正処理部４５、振幅復元処理部４４、及び輝度データ生成部の一形態に相当する輝度及び色差変換処理部４７を備えている。
【０１８０】
デモザイク処理部４３でデモザイク処理されたＲＧＢデータは、位相補正処理部４６に加えられ、ここで、ＲＧＢデータの位相補正処理が行われる。
【０１８１】
＜具体例５＞
図２３は、第２の実施形態における画像処理部３５の具体的な処理の例（具体例５）を示すブロック図である。なお、図２３において、図１７に示した画像処理部３５の具体例と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１８２】
具体例５は、主として振幅復元処理部４４−２が、具体例４の振幅復元処理部４４と相違する。
【０１８３】
即ち、具体例４の振幅復元処理部４４は階調補正処理部４５の後段に設けられ、階調補正後の（Ｒ）（Ｇ）（Ｂ）データに振幅復元処理を行っているのに対し、具体例５の振幅復元処理部４４−２は、輝度及び色差変換処理部４７の後段に設けられ、輝度及び色差変換処理部４７により変換された輝度データ（Ｙ）（階調補正後）に対し、振幅復元処理を行う点で相違する。
【０１８４】
図２４は、具体例５の振幅復元処理部４４−２の機能構成例を示すブロック図である。
【０１８５】
図２４に示す振幅復元処理部４４−２は、振幅復元演算処理部４４−２ａ、フィルタ選択部４６−２ｂ、光学系データ取得部４６−２ｃ、及び記憶部４６−２ｄから構成されている。
【０１８６】
フィルタ選択部４６−２ｂ及び光学系データ取得部４６−２ｃは、それぞれ図７に示したフィルタ選択部４４ｂ、及び光学系データ取得部４４ｃに対応するものであるため、その詳細な説明は省略する。
【０１８７】
記憶部４６−２ｄは、複数種類の光学系のＰＳＦ、ＯＴＦ、又はＭＴＦに基づいて生成された、輝度データに対応する振幅復元フィルタＦＹ３が記憶されている。
【０１８８】
ここで、輝度データに対応する振幅復元フィルタＦＹ３ は、例えば、ＲＧＢの色チャンネル毎の周波数伝達関数（ＭＴＦＲ、ＭＴＦＧ、ＭＴＦＢ）を混合し、輝度データに対応する変調伝達関数（ＭＴＦＹ）を算出し、算出したＭＴＦＹに基づいて生成することができる。尚、ＭＴＦＹを算出する際に、ＭＴＦＲ、ＭＴＦＧ、ＭＴＦＢを重み付け線形和として算出することが好ましい。また、重み付け係数としては、［数２］式に示した（Ｒ）（Ｇ）（Ｂ）データから輝度データ（Ｙ）を生成する際の係数と同じ係数を使用することができるが、これに限定されるものではない。
【０１８９】
また、輝度データに対応する振幅復元フィルタＦＹ３の他の例としては、［数２］式に示したように輝度データ（Ｙ）の生成に最も寄与する、（Ｇ）データに対応する振幅復元フィルタＦＧ３を、そのまま振幅復元フィルタＦＹ３として使用してもよい。尚、記憶部４６−２ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する振幅復元フィルタＦＹ３をそれぞれ記憶することが好ましい。
【０１９０】
フィルタ選択部４６−２ｂは、光学系データ取得部４６−２ｃが取得した光学系データに基づき、記憶部４６−２ｄに記憶されている振幅復元フィルタのうち、原画像データの撮影取得に用いられた光学系の光学系データに対応する振幅復元フィルタを選択する。フィルタ選択部４６−２ｂによって選択された、輝度データに対応する振幅復元フィルタＦＹ３は、振幅復元演算処理部４４−２ａに送られる。
【０１９１】
振幅復元演算処理部４４−２ａには、階調補正（ガンマ補正）後の輝度データ（Ｙ）が入力されており、振幅復元演算処理部４４−２ａは、輝度データ（Ｙ）に対して、フィルタ選択部４６−２ｂにより選択された振幅復元フィルタＦＹ３を用いた振幅復元処理を行う。即ち、振幅復元演算処理部４４−２ａは、振幅復元フィルタＦＹ３と、これに対応する輝度データ（Ｙ）（処理対象画素及び隣接画素の輝度データ（Ｙ））とのデコンボリューション演算を行い、振幅復元処理後の輝度データ（Ｙ）を算出する。
【０１９２】
上記構成の振幅復元処理部４４−２は、輝度データ（Ｙ）に対し、輝度データ（Ｙ）の変調伝達関数（ＭＴＦ）を反映させた振幅復元処理を行うことができる。
【０１９３】
また、具体例４（図２２）の振幅復元処理部４４によるＲＧＢデータに対する振幅復元処理では３チャンネル（３ｃｈ）分の処理系が必要とされるが、輝度データ（Ｙ）に対する振幅復元処理では１チャンネル（１ｃｈ）分の処理系で済むため、輝度データに対する振幅復元処理の方が、回路規模、計算負荷を低減することができ、また記憶部４６−２ｄに記憶させる振幅復元フィルタの数を減少させることできる。
【０１９４】
更に、ＲＧＢデータに対する振幅復元処理は、想定通り（光学系の点拡がり関数情報通り）にＲＧＢ各色の色データが取得されれば、効果的なＲＧＢデータの振幅復元処理が可能であるが、実際の入力信号の挙動が想定通りではない場合、ＲＧＢデータに対する振幅復元処理では、不要な色付きを生じる箇所が増えて不自然な色合いが目立つなどの副作用が起きることがある。
【０１９５】
これに対し、具体例４の振幅復元処理部４４−２は、輝度データのみを振幅復元処理するため、上記のような副作用が起こりにくいという効果（色付き程度、滲み程度等における色系タフネス性）がある。
【０１９６】
尚、振幅復元処理部４４−２による周波数復元処理は、階調補正（ガンマ補正）後の輝度データ（Ｙ）対して行われるため、発生したアーティファクトを階調補正により強調するのを防ぐことができる点では、具体例４の振幅復元処理部４４と同様である。
【０１９７】
（第３の実施形態）
次に、第３の実施形態に関して説明する。
【０１９８】
図２５は、第３の実施形態における画像処理部３５の具体的な処理の例を示すブロック図である。第３の実施形態における画像処理部３５は、可視光像の画像（第１の画像データ）と近赤外光の画像（第２の画像データ）とを共通の画像処理回路により処理が行われている。なお、可視光撮像モードとは、ＩＲカットフィルタ２５が光学系の撮像光路に挿入され、近赤外光発光部１５から近赤外光が発光されずに昼間に撮像を行うモードである。また、近赤外光撮像モードとは、ＩＲカットフィルタ２５が光学系の撮像光路から退避され、近赤外光発光部１５から近赤外光が発光し夜間に撮像を行うモードである。可視光撮像モードで撮像した場合にはＲＧＢデータ（第１の画像データ）が取得され、近赤外光撮像モードで撮像した場合にはＩＲデータ（第２の画像データ）が取得される。
【０１９９】
本例の画像処理部３５は、オフセット補正処理部４１、ホワイトバランス（ＷＢ）を調整するＷＢ補正処理部４２、デモザイク処理部４３、復元処理演算部７１、復元フィルタ記憶部７２、階調補正演算部７３、非線形補正テーブル記憶部７４、輝度及び色差変換処理部４７、及び輪郭強調処理部５５を備える。
【０２００】
オフセット補正処理部４１には、可視光撮像モード及び近赤外光撮像モードで撮像した場合に撮像素子２６から取得される画像処理前のモザイクデータ（ＲＡＷデータ）が点順次で入力される。
【０２０１】
オフセット補正処理部４１は、入力されたモザイクデータに含まれる暗電流成分を補正する処理部であり、撮像素子２６上の遮光画素から得られるオプティカルブラック（ＯＢ）の信号値を、モザイクデータから減算することによりモザイクデータのオフセット補正を行う。
【０２０２】
オフセット補正されたモザイクデータは、ＷＢ補正処理部４２に加えられる。可視光撮像モードで撮像された画像データ（ＲＧＢデータ）が入力された場合には、ＷＢ補正処理部４２は、ＲＧＢの色毎に設定されたＷＢゲインを、それぞれＲＧＢデータに乗算し、ＲＧＢデータのホワイトバランス補正を行う。ＷＢゲインは、例えば、ＲＧＢデータに基づいて光源種が自動的に判定され、あるいは手動による光源種が選択されるとし、判定又は選択された光源種に適したＷＢゲインが設定されるが、ＷＢゲインの設定方法は、これに限らず、他の公知の方法により設定することができる。一方、近赤外光撮像モードで撮像された画像データ（ＩＲデータ）が入力された場合には、ＷＢ補正は必要がないので、ＩＲデータが入力された場合には、ＷＢ補正処理部４２は処理を行わずにそのまま画像データを出力する。なお、ＷＢ補正処理部４２は、ＩＲデータが入力された場合に、Ｒフィルタを有する画素からの出力値、Ｇフィルタを有する画素からの出力値及びＢフィルタを有する画素からの出力値を調整する処理を行ってもよい。
【０２０３】
デモザイク処理部４３は、可視光撮像モードで撮像された画像データ（ＲＧＢデータ）が入力された場合には、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する。即ち、デモザイク処理部４３は、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。また、デモザイク処理部４３は、近赤外光撮像モードで撮像された画像データ（ＩＲデータ）が入力された場合には、デモザイク処理は必要ないので、デモザイク処理部４３は処理を行わずにそのまま画像データを出力する。なお、ＩＲデータに対するデモザイク処理は、Ｒフィルタを有する画素からの出力感度、Ｇフィルタを有する画素からの出力感度及びＢフィルタを有する画素からの出力感度がほぼ等しいために、必要がないと考えられる。
【０２０４】
デモザイク処理部４３から出力されたＲＧＢデータ又はＩＲデータは、復元処理演算部７１に入力され、ここで第１の復元処理及び第２の復元処理が行われる。
【０２０５】
復元処理演算部７１は、第１の復元処理を行う機能と第２の復元処理を行う機能とを有する。復元処理演算部７１は、入力された画像データに応じて、復元フィルタ記憶部７２に記憶されている復元フィルタを選択し、選択した復元フィルタを使用して復元処理の演算を行う。具体的には、復元処理演算部７１は、可視光撮像モードで撮像された画像データ（ＲＧＢデータ）が入力された場合には、第１の復元フィルタを復元フィルタ記憶部７２から選択し第１の復元処理の演算を行う。また、復元処理演算部７１は、近赤外光撮像モードで撮像された画像データ（ＩＲデータ）が入力された場合には、第２の復元フィルタを復元フィルタ記憶部７２から選択し第２の復元処理の演算を行う。このように、復元処理演算部７１は、復元フィルタ記憶部７２に記憶されている復元フィルタの選択を変えることによって、第１の復元処理及び第２の復元処理を行うことができる。
【０２０６】
復元処理演算部７１により復元処理されたＲＧＢデータ及びＩＲデータは、階調補正演算部７３に加えられる。
【０２０７】
階調補正演算部７３は、ＲＧＢデータ及びＩＲデータに対して、非線形な階調補正を行う部分である。例えば階調補正演算部７３は、入力されるＲＧＢデータ及びＩＲデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線な処理を行う。なお、階調補正演算部７３は、画像データに応じて非線形な階調補正を行うテーブルデータを非線形補正テーブル記憶部７４から取得する。ここで、非線形補正テーブル記憶部７４には、Ｒ、Ｇ、及びＢデータに対する非線形な階調補正を行うテーブルデータ、及びＩＲデータに対する非線形な階調補正を行うテーブルデータが記憶されている。
【０２０８】
階調補正演算部７３により階調補正された（Ｒ）（Ｇ）（Ｂ）データ及び階調補正されたＩＲデータは、輝度及び色差変換処理部４７に加えられる。
【０２０９】
輝度及び色差変換処理部４７は、可視光撮像モードで撮像された画像データが入力された場合には、（Ｒ）（Ｇ）（Ｂ）データを輝度成分を示す輝度データ（Ｙ）と、色差データ（Ｃｒ）及び（Ｃｂ）とに変換する処理部であり、上述した［数２］で示した式により算出する。また、輝度及び色差変換処理部４７は、近赤外光撮像モードで撮像された画像データが入力された場合には、階調補正されたＩＲデータを輝度データ（Ｙ）と、色差データ（Ｃｒ）及び（Ｃｂ）とに変換する必要はないので、輝度及び色差変換処理部４７は処理を行わずにそのまま階調補正されたＩＲデータを出力する。
【０２１０】
輝度及び色差変換処理部４７から出力された画像データは、輪郭強調処理部５５に入力される。
【０２１１】
輪郭強調処理部５５は、入力される（Ｙ）（Ｃｂ）（Ｃｒ）データ及び階調補正されたＩＲデータに対して輪郭強調処理を行う。輪郭強調処理部５５は、（Ｙ）（Ｃｂ）（Ｃｒ）データが入力された場合には（Ｙ）データに対して輪郭強調の処理を行い、階調補正されたＩＲデータが入力された場合にはＩＲデータに対して輪郭強調の処理を行う。
【０２１２】
本実施形態によれば、可視光撮像モードで撮像された画像データと近赤外光撮像モードで撮像された画像データとが共通の画像処理回路により処理が行われているので、回路設計の負荷を軽減し小型化を図ることができる。
【０２１３】
＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理（振幅復元処理及び位相補正処理）は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類等）に応じて点拡がり（点像ボケ）を、振幅復元処理及び位相補正処理することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像処理は、上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づく振幅復元フィルタ、位相補正フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する振幅復元フィルタ、位相補正フィルタを用いた復元処理が行われる。
【０２１４】
図２６は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等に搭載されるカメラヘッド）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ（ａｎａｌｏｇ  ｄｉｇｉｔａｌ）変換部１１４と、を含む。
【０２１５】
図２７は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。
【０２１６】
尚、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組合せたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。
【０２１７】
即ち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。
【０２１８】
図２６及び図２７に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話機や携帯情報端末に好適に搭載可能である。
【０２１９】
ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図２６に示す撮像素子１１２に結像され、ここで電気信号に変換される。
【０２２０】
撮像素子１１２としては、図１に示した撮像素子２６と同様のものが適用できる。
【０２２１】
アナログデジタル変換部（ＡＤ変換部）１１４は、撮像素子１１２から画素毎に出力されるアナログのＲＧＢ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、モザイクデータ（ＲＡＷ画像データ）として出力される。
【０２２２】
撮像モジュール１０１から出力されるモザイクデータに対し、前述した実施形態で示した画像処理部（画像処理装置）３５を適用することにより、広範囲でピントが合った状態の高解像度の回復画像データを生成することができる。
【０２２３】
即ち、図２８の符号１３１１に示すように、ＥＤｏＦ光学系１１０を通過後の点像（光学像）は、大きな点像（ボケ画像）として撮像素子１１２に結像されるが、画像処理部（画像処理装置）３５による点像復元処理（振幅復元処理及び位相補正処理）により、図２８の符号１３１２に示すように小さな点像（高解像度の画像）に復元される。
【０２２４】
尚、上述の各実施形態では、画像処理部（画像処理装置）３５が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に画像処理部（画像処理装置）３５が設けられてもよい。
【０２２５】
例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる画像処理部（画像処理装置）３５によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が画像処理部（画像処理装置）３５を備える場合、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の画像処理部（画像処理装置）３５においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データ（回復画像データ）が送信元に送信及び提供されるようにしてもよい。
【０２２６】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０２２７】
１…画像入力部、３…第１の復元処理部、５…第２の復元処理部、７…階調補正処理部、８…位相補正部、９…振幅復元部、１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１５…近赤外光発光部、１６…レンズ、１７…絞り、１８…光学系操作部、１９…被写体、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２４…カットフィルタ動作機構、２５…ＩＲカットフィルタ、２６…撮像素子、２８…カメラ本体コントローラ、３０…カメラ本体入出力部、３１…蛍光灯、３２…入出力インターフェース、３３…ＩＲ投光機、３４…デバイス制御部、３５…画像処理部、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部
【図１】
2016171089.tif 000004
【図２】
2016171089.tif 000005
【図３】
2016171089.tif 000006
【図４】
2016171089.tif 000007
【図５】
2016171089.tif 000008
【図６】
2016171089.tif 000009
【図７】
2016171089.tif 000010
【図８】
2016171089.tif 000011
【図９】
2016171089.tif 000012
【図１０】
2016171089.tif 000013
【図１１】
2016171089.tif 000014
【図１２】
2016171089.tif 000015
【図１３】
2016171089.tif 000016
【図１４】
2016171089.tif 000017
【図１５】
2016171089.tif 000018
【図１６】
2016171089.tif 000019
【図１７】
2016171089.tif 000020
【図１８】
2016171089.tif 000021
【図１９】
2016171089.tif 000022
【図２０】
2016171089.tif 000023
【図２１】
2016171089.tif 000024
【図２２】
2016171089.tif 000025
【図２３】
2016171089.tif 000026
【図２４】
2016171089.tif 000027
【図２５】
2016171089.tif 000028
【図２６】
2016171089.tif 000029
【図２７】
2016171089.tif 000030
【図２８】
2016171089.tif 000031
【手続補正書】
【提出日】平成29年10月12日(2017.10.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】  本態様によれば、可視光画像である第１の画像データに対しては位相補正及び振幅復元を行う第１の復元処理が行われ、近赤外光画像である第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われる。これにより、本態様は、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる。すなわち、本態様は、可視光画像である第１の画像データに発生したボケをよく補正することができ且つ近赤外光画像である第２の画像データに対する点像復元処理を精度よく行うことができる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】  本態様によれば、赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データに対しては位相補正及び振幅復元を行う第１の復元処理が行われ、赤外線カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われる。これにより、本態様は、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる。すなわち、本態様は、可視光画像の第１の画像データに発生したボケをよく補正することができ且つ近赤外光画像の第２の画像データに対する点像復元処理を精度よく行うことができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】  本態様では、振幅復元及び位相補正のうち、振幅復元は階調補正前に行い、位相補正は階調補正後に行うようにしている。これにより、本態様は、位相補正処理においては、位相補正フィルタが空間的に大きく広がることに起因して、飽和画素付近においてアーティファクト（リンギング等）を発生させる現象が生じ易くなるが、階調補正後に位相補正を行うことで、階調補正により上記アーティファクトが増幅される（アーティファクトが強く発生する）のを防止することができる。同様に、本態様は、位相補正により色グラデーションが変化してしまう現象が生じることがあるが、この現象を緩和することができる。正確には、色グラデーションが変化してしまう現象は、階調補正後に位相補正を実施しても発生するが、階調補正前に実施する場合と比較して少なくすることができる。また本態様では、階調補正後の画像データは、一般にビット数が階調補正前に比べて少なくなるため、タップ数の比較的大きな位相補正フィルタによる位相補正を実施する場合の計算負荷を低減することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】  本態様によれば、赤外線カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データに対しては位相補正及び振幅復元を行う第１の復元処理が行われ、赤外線カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われる。これにより、本態様は、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる。すなわち、本態様は、可視光画像の第１の画像データに発生したボケをよく補正することができ且つ近赤外光画像の第２の画像データに対する点像復元処理を精度よく行うことができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】  本発明によれば、可視光画像である第１の画像データに対しては位相補正及び振幅復元を行う第１の復元処理が行われ、近赤外光画像である第２の画像データに対しては位相補正を伴わない振幅復元を行う第２の復元処理が行われるので、可視光画像及び近赤外光画像に対して効果的に点像復元処理を実行し且つ点像復元処理の精度を向上させることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
【図１】デジタルカメラの機能構成例を示すブロック図である。
【図２】図１で示したデジタルカメラにより夜間に撮像が行われている場合を説明する図である。
【図３】カメラ本体コントローラの機能構成例を示すブロック図である。
【図４】第１の復元処理の概略を示す図である。
【図５】第２の復元処理の概略を示す図である。
【図６】画像処理部の機能構成例を示すブロック図である。
【図７】第１の復元処理部の機能構成例を示すブロック図である。
【図８】第２の復元処理部の機能構成例を示すブロック図である。
【図９】画像処理装置の動作を示すフロー図である。
【図１０】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。
【図１１】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。
【図１２】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。
【図１３】撮像素子の像面と結像面との位置関係及び焦点に関して説明をする図である。
【図１４】第２の実施形態における第１の復元処理の概略を示す図である。
【図１５】第２の実施形態における画像処理部の機能構成例を示すブロック図である。
【図１６】階調補正処理部により階調補正される入出力特性（ガンマ特性）の一例を示すグラフである。
【図１７】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図１８】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図１９】位相補正処理部の機能構成例を示すブロック図である。
【図２０】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図２１】振幅復元処理部の機能構成例を示すブロック図である。
【図２２】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図２３】第２の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図２４】振幅復元処理部の機能構成例を示すブロック図である。
【図２５】第３の実施形態における画像処理部の具体的な処理の例を示すブロック図である。
【図２６】ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。
【図２７】ＥＤｏＦ光学系の一例を示す図である。
【図２８】ＥＤｏＦ光学系を介して取得された画像の復元例を示す図である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】  コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、デジタルカメラ１０から送信される画像を表示する。またディスプレイ６６には、コンピュータコントローラ６４における処理内容等が必要に応じて表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】  記憶部４４ｄは、複数種類の光学系の点拡がり関数に関する伝達関数（ＰＳＦ、ＯＴＦ、又は、ＰＴＦ及びＭＴＦ）に基づいて生成された、ＲＧＢ毎の第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）が記憶されている。ＲＧＢ毎に第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）が記憶されているのは、光学系の収差がＲＧＢの各色の波長によって異なるためである（ＰＳＦ形状が異なるためである）。また、記憶部４４ｄは、絞り値（Ｆ値）、焦点距離、像高等に対応する第１の復元フィルタ（Ｆ０Ｒ１，Ｆ０Ｇ１，Ｆ０Ｂ１）を記憶することが好ましい。これらの条件によりＰＳＦ形状が異なるからである。ここで、Ｇとは緑色を示し輝度データを得るために最も寄与する第１の色であり、Ｒとは赤色を示し第１の色以外の２色以上の第２の色の一つであり、Ｂとは青色を示し第１の色以外の２色以上の第２の色の一つである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】  また、フィルタ選択部４４ｂは、第１の画像データの撮像取得に用いられた光学系のＰＳＦに対応する第１の復元フィルタを選択すればよく、その選択手法は特に限定されない。例えば、光学系データ取得部４４ｃからの光学系データがＰＳＦを直接的に示す場合、フィルタ選択部４４ｂは、その光学系データが示すＰＳＦに対応する第１の復元フィルタを選択する。また光学系データ取得部４４ｃからの光学系データがＰＳＦを間接的に示す場合、フィルタ選択部４４ｂは、「ＰＳＦを間接的に示す光学系データ」から、処理対象の第１の画像データの撮像取得に用いられた光学系のＰＳＦに対応する第１の復元フィルタを選択する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】  このように、本形態では、振幅復元処理Ｐ１２が行われた第１の画像データに対して非線形な階調補正処理Ｐ１３が行われ、非線形な階調補正処理Ｐ１３が行われた第１の画像データに対して位相補正処理Ｐ１４が行われる。これにより、本形態は、位相補正処理においては、位相補正フィルタが空間的に大きく広がることに起因して、飽和画素付近においてアーティファクト（リンギング等）を発生させる現象が生じ易くなるが、階調補正後に位相補正を行うことで、階調補正により上記アーティファクトが増幅される（アーティファクトが強く発生する）のを防止することができる。同様に、本形態は、位相補正により色グラデーションが変化してしまう現象が生じることがあるが、この現象を緩和することができる。正確には、色グラデーションが変化してしまう現象は、階調補正後に位相補正を実施しても発生するが、階調補正前に実施する場合と比較して少なくすることができる。また本形態は、階調補正後の画像データは、一般にビット数が階調補正前に比べて少なくなるため、タップ数の比較的大きな位相補正フィルタによる位相補正を実施する場合の計算負荷を低減することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】  図１５は、第２の実施形態における画像処理部３５の機能構成例を示すブロック図である。第２の実施形態の画像処理部３５は、画像入力部１、第１の復元処理部３、第２の復元処理部５、及び階調補正処理部７を備えている。なお、図７で説明を行った箇所は同じ番号を付し説明は省略する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】  第１の復元処理部３は、位相補正部８及び振幅復元部９を備えている。位相補正部８は、第１の画像データに対して位相補正を行い、振幅復元部９は、第１の画像データに対して振幅復元を行う。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１２８
【補正方法】変更
【補正の内容】
【０１２８】  階調補正処理部７は、画像データに対して、非線形な階調補正を行う部分であり、例えば、入力されるＲＧＢデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線形な処理を行う。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】  図１７において、オフセット補正処理部４１には、撮像素子２６から取得される画像処理前のモザイクデータ（ＲＡＷデータ：赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク状の色データ（ＲＧＢデータ））を、点順次で入力される。尚、モザイクデータは、例えば、ＲＧＢ毎に１２ビット（０〜４０９５）のビット長を有するデータ（１画素当たり２バイトのデータ）である。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】  階調補正処理部４５は、振幅復元処理されたＲＧＢデータに対して、非線形な階調補正を行う部分であり、例えば、入力されたＲＧＢデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線形な処理を行う。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１８８
【補正方法】変更
【補正の内容】
【０１８８】  ここで、輝度データに対応する振幅復元フィルタＦＹ３は、例えば、ＲＧＢの色チャンネル毎の変調伝達関数（ＭＴＦＲ、ＭＴＦＧ、ＭＴＦＢ）を混合し、輝度データに対応する変調伝達関数（ＭＴＦＹ）を算出し、算出したＭＴＦＹに基づいて生成することができる。尚、ＭＴＦＹを算出する際に、ＭＴＦＲ、ＭＴＦＧ、ＭＴＦＢを重み付け線形和として算出することが好ましい。また、重み付け係数としては、［数２］式に示した（Ｒ）（Ｇ）（Ｂ）データから輝度データ（Ｙ）を生成する際の係数と同じ係数を使用することができるが、これに限定されるものではない。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１９６
【補正方法】変更
【補正の内容】
【０１９６】  尚、振幅復元処理部４４−２による振幅復元処理は、階調補正（ガンマ補正）後の輝度データ（Ｙ）対して行われるため、発生したアーティファクトを階調補正により強調するのを防ぐことができる点では、具体例４の振幅復元処理部４４と同様である。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１９８
【補正方法】変更
【補正の内容】
【０１９８】  図２５は、第３の実施形態における画像処理部３５の具体的な処理の例を示すブロック図である。第３の実施形態における画像処理部３５は、可視光像の画像（第１の画像データ）と近赤外光像の画像（第２の画像データ）とを共通の画像処理回路により処理が行われている。なお、可視光撮像モードとは、ＩＲカットフィルタ２５が光学系の撮像光路に挿入され、近赤外光発光部１５から近赤外光が発光されずに昼間に撮像を行うモードである。また、近赤外光撮像モードとは、ＩＲカットフィルタ２５が光学系の撮像光路から退避され、近赤外光発光部１５から近赤外光が発光し夜間に撮像を行うモードである。可視光撮像モードで撮像した場合にはＲＧＢデータ（第１の画像データ）が取得され、近赤外光撮像モードで撮像した場合にはＩＲデータ（第２の画像データ）が取得される。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０２０７
【補正方法】変更
【補正の内容】
【０２０７】  階調補正演算部７３は、ＲＧＢデータ及びＩＲデータに対して、非線形な階調補正を行う部分である。例えば階調補正演算部７３は、入力されるＲＧＢデータ及びＩＲデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線形な処理を行う。なお、階調補正演算部７３は、画像データに応じて非線形な階調補正を行うテーブルデータを非線形補正テーブル記憶部７４から取得する。ここで、非線形補正テーブル記憶部７４には、Ｒ、Ｇ、及びＢデータに対する非線形な階調補正を行うテーブルデータ、及びＩＲデータに対する非線形な階調補正を行うテーブルデータが記憶されている。
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2016171089.tif 000032
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2016171089.tif 000033
【国際調査報告】
2016171089.tif 000034
2016171089.tif 000035