(57)【要約】  可視光画像及び近赤外光画像に対して共用の復元フィルタを用いて復元処理を行う撮像装置、及びこの撮像装置の画像処理方法、及びプログラムを提供する。光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する。撮像素子により可視光の波長域帯に感度をもって撮像された被写体の画像データと、撮像素子により近赤外光の波長域帯に感度をもって撮像された被写体の画像データとに対し、共通の復元フィルタを用いた点像復元処理を行う。共通の復元フィルタは、光学系の可視光に対する第１の光学特性と、光学系の近赤外光に対する第２の光学特性との重み付け平均を行って得られた光学系の平均光学特性に基づいて算出する。
2016158196.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する画像取得部と、
前記画像取得部が取得した前記画像データに対し復元フィルタを用いた点像復元処理を行う点像復元処理部であって、前記撮像素子により前記可視光の波長帯域に感度をもって撮像された前記被写体の前記画像データと、前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像された前記被写体の前記画像データとに対し、共通の前記復元フィルタを用いた点像復元処理を行う点像復元処理部と、を備え、
共通の前記復元フィルタは、前記光学系の前記可視光に対する第１の光学特性と、前記光学系の前記近赤外光に対する第２の光学特性との重み付け平均を行って得られた前記光学系の平均光学特性に基づいて算出される撮像装置。
【請求項２】
前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像を行う場合に、近赤外光を補助光として発光する近赤外光発光部を備える請求項１に記載の撮像装置。
【請求項３】
前記撮像素子により前記可視光の波長帯域に感度をもって撮像を行う場合に前記撮像素子への撮像光路に配置され、且つ前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像を行う場合に前記撮像光路から退避される赤外線カットフィルタを備える請求項１または２に記載の撮像装置。
【請求項４】
前記第１の光学特性は、前記可視光の波長帯域に含まれる複数色の前記可視光の各々に対する前記光学系の光学特性であり、
共通の前記復元フィルタは、前記複数色の色毎の前記第１の光学特性と、前記第２の光学特性との重み付け平均を行って得られた前記平均光学特性に基づいて算出され、
前記点像復元処理部は、前記画像データに基づき生成された輝度に関する画像データである輝度系画像データに対して、共通の前記復元フィルタを用いた前記点像復元処理を行う請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像素子には、前記可視光の波長帯域に感度をもつ複数色の第１の画素が含まれており、
前記平均光学特性は、前記第１の光学特性に対する第１の重みと、前記第２の光学特性に対する第２の重みと、前記第１の画素の色毎の出現頻度とに基づき、前記複数色の色毎の前記第１の光学特性と、前記第２の光学特性との重み付け平均を行って得られた請求項４に記載の撮像装置。
【請求項６】
前記撮像素子には、前記第１の画素と、前記近赤外光の波長帯域に感度をもつ第２の画素とが含まれており、
前記撮像素子の前記第１の画素における同色画素間の画素ピッチと前記第２の画素の画素ピッチとが同じである請求項５に記載の撮像装置。
【請求項７】
前記撮像素子には、前記可視光の波長帯域に感度をもつ複数色の第１の画素が含まれており、
前記第１の光学特性は、前記可視光の波長帯域に含まれる複数色の前記可視光の各々に対する前記光学系の光学特性であり、
前記第２の光学特性は、前記複数色の前記第１の画素がそれぞれ感度をもつ前記近赤外光に対する当該第１の画素の各色画素別の前記光学系の光学特性であり、
共通の前記復元フィルタは、前記複数色の色毎の前記第１の光学特性と、前記複数色の色毎の前記第２の光学特性との重み付け平均を行って得られた前記複数色の色毎の前記平均光学特性に基づいて前記複数色の色毎に算出され、
前記点像復元処理部は、前記複数色の前記第１の画素により得られた複数色の色毎の前記画像データに対し、前記複数色の色毎の共通の前記復元フィルタを用いて、前記複数色の色毎に前記点像復元処理を行う請求項１から３のいずれか１項に記載の撮像装置。
【請求項８】
前記複数色の色毎の前記平均光学特性は、前記第１の光学特性に対する第１の重みと、前記第２の光学特性に対する第２の重みと、前記複数色の前記第１の画素の前記可視光及び前記近赤外光の波長に対する感度を示す感度特性とに基づき、前記複数色の色毎に前記第１の光学特性と前記第２の光学特性との重み付け平均を行って得られた請求項７に記載の撮像装置。
【請求項９】
前記撮像素子には、前記可視光の波長帯域に感度をもつ複数色の第１の画素と、前記近赤外光の波長帯域に感度をもつ第２の画素とが含まれ、
共通の前記復元フィルタは、前記可視光の中の赤色光に対応する前記光学系の前記第１の光学特性と、前記第２の光学特性との重み付け平均を行って得られた前記平均光学特性に基づいて算出され、
前記点像復元処理部は、前記複数色の中の赤色の前記第１の画素により得られる前記画像データと、前記第２の画素により得られる前記画像データとに対して、共通の前記復元フィルタを用いた点像復元処理を行う請求項１から３のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像素子の前記第１の画素における同色画素間の画素ピッチと前記第２の画素の画素ピッチとが同じである請求項９に記載の撮像装置。
【請求項１１】
前記撮像素子に入射する前記可視光と前記近赤外光との光量比を検出する光量比検出部と、
前記第１の光学特性及び前記第２の光学特性を記憶する光学特性記憶部と、
前記光学特性記憶部に記憶されている前記第１の光学特性と第２の光学特性との重み付け平均を行って得られた前記平均光学特性に基づいて共通の前記復元フィルタを生成する復元フィルタ生成部と、を備え、
前記復元フィルタ生成部は、前記光量比検出部の検出結果に応じて、前記重み付け平均を行う際の前記第１の光学特性に対する第１の重みと、前記第２の光学特性に対する第２の重みとを調整する請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像データに対し復元フィルタを用いた点像復元処理を行う点像復元処理ステップであって、前記撮像素子により前記可視光の波長帯域に感度をもって撮像された前記被写体の前記画像データと、前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像された前記被写体の前記画像データとに対し、共通の前記復元フィルタを用いた点像復元処理を行う点像復元処理ステップと、を有し、
共通の前記復元フィルタは、前記光学系の前記可視光に対する第１の光学特性と、前記光学系の前記近赤外光に対する第２の光学特性との重み付け平均を行って得られた前記光学系の平均光学特性に基づいて算出される撮像装置の画像処理方法。
【請求項１３】
光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データに対し点像復元処理を施す手段として撮像装置のコンピュータを機能させるプログラムにおいて、
コンピュータを、
前記撮像素子による撮像により得られた前記画像データを取得する画像取得部と、
前記画像取得部が取得した前記画像データに対し復元フィルタを用いた点像復元処理を行う点像復元処理部であって、前記撮像素子により前記可視光の波長帯域に感度をもって撮像された前記被写体の前記画像データと、前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像された前記被写体の前記画像データとに対し、前記光学系の前記可視光に対する第１の光学特性と前記光学系の前記近赤外光に対する第２の光学特性との重み付け平均を行って得られた平均光学特性に基づいて算出された共通の前記復元フィルタを用いた前記点像復元処理を行う点像復元処理部として機能させるプログラム。
【請求項１４】
光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する画像取得部と、
前記画像取得部が取得した前記画像データに対し、前記光学系の光学特性に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、を備え、
前記点像復元処理部は、前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像された前記被写体の前記画像データに対し、前記可視光の中の赤色の波長帯域の赤色光に対する前記光学系の光学特性に基づく前記復元フィルタを用いた前記点像復元処理を行う撮像装置。
【請求項１５】
前記撮像素子は、前記可視光の波長帯域に感度をもつ第１の画素と、前記近赤外光の波長帯域に感度をもつ第２の画素とを有している請求項１４に記載の撮像装置。
【請求項１６】
前記撮像素子における前記第１の画素における同色画素間の画素ピッチと前記第２の画素の画素ピッチとが同じである請求項１５に記載の撮像装置。
【請求項１７】
前記撮像素子により前記可視光の波長帯域に感度をもって撮像を行う場合に前記撮像素子への撮像光路に配置され、且つ前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像を行う場合に前記撮像光路から退避される赤外線カットフィルタを備える請求項１４から１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記赤色光に対する前記光学系の光学特性に基づいて算出された前記復元フィルタは、前記赤色光に対する前記光学系の光学特性に基づき生成され、又は当該光学特性に演算処理を行ったものを基に生成される請求項１４から１７のいずれか１項に記載の撮像装置。
【請求項１９】
光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する画像取得ステップと、
前記光学系の光学特性に基づく復元フィルタを用いて、前記画像取得ステップにて取得した画像データに対して点像復元処理を行う点像復元処理ステップと、を有し、
前記点像復元処理ステップは、前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像された前記被写体の前記画像データに対し、前記可視光の中の赤色の波長帯域の赤色光に対する前記光学系の光学特性に基づく前記復元フィルタを用いた前記点像復元処理を行う撮像装置の画像処理方法。
【請求項２０】
光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データに対し点像復元処理を施す手段として撮像装置のコンピュータを機能させるプログラムにおいて、
コンピュータを、
前記撮像素子による撮像により得られた前記画像データを取得する取得部と、
前記光学系の光学特性に基づく復元フィルタを用いて、前記取得部が取得した前記画像データに対して点像復元処理を行う点像復元処理部であって、前記撮像素子により前記近赤外光の波長帯域に感度をもって撮像された前記被写体の前記画像データに対し、前記可視光の中の赤色の波長帯域の赤色光に対する前記光学系の光学特性に基づく前記復元フィルタを用いた前記点像復元処理を行う点像復元処理部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、昼夜を問わずに被写体の撮像を行う撮像装置、及びこの撮像装置の画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、公共施設及び商業施設及び住居などにおいて固定位置（定点）に設置され、昼夜を問わずに被写体の撮像を行う監視カメラ（撮像装置）が広く用いられている。この昼夜兼用（デイナイト機能ともいう）の監視カメラは、昼間（日中）は被写体の可視光画像を撮像し、夜間は被写体の近赤外光画像を撮像するのが通常である。すなわち、昼夜兼用の監視カメラは、可視光の波長帯域だけでなく、近赤外光の波長帯域の光も撮像可能である（特許文献１参照）。【０００３】
一方、特許文献２では、撮像により得られた画像に対し、撮像条件に応じた光学系の光学特性に基づいて生成した復元フィルタを使用して点像復元処理を行う撮像装置が記載されている。また、特許文献３では、同一の被写体にピントが合った可視光画像と赤外光画像とを同時に撮像する撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２３０７７６号公報
【特許文献２】特開２０１３−０３８５６２号公報
【特許文献３】特開２００８−２６８８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の昼夜兼用の監視カメラでは、昼間は可視光画像を撮像し、夜間は近赤外光画像を撮像するため、昼間と夜間とで撮像対象の光の波長が切り替わるという問題がある。また、可視光と近赤外光ではレンズ等の光学系によって結像される像面位置がずれている場合がある。そのため、どちらかの波長によってピント位置を固定した場合、もう片方の波長においては像がボケてしまうため解像感が乖離してしまうという問題もある。【０００６】
仮に、上記特許文献２及び３に記載の技術を昼夜兼用の監視カメラに適用し、点像復元処理を行うとした場合、可視光画像の撮像か或いは近赤外光画像の撮像かによって点像復元処理に用いる復元フィルタの種類を切り替える必要がある。また、この場合に、昼間の撮像用及び夜間の撮像用の両方の復元フィルタを監視カメラのメモリに記憶させておく必要もある。従って、復元フィルタの切り替え及び復元フィルタを記憶するメモリ容量などのリソースを余計に必要としてしまう問題がある。なお、ここいう「リソース」とは、監視カメラ等の撮像装置のハードウェアやソフトウェアを動作させるのに必要な演算処理速度やメモリ容量を指す。【０００７】
本発明はこのような事情に鑑みてなされたものであり、点像復元処理に必要なリソースを削減することができる撮像装置、及びこの撮像装置の画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するための撮像装置は、光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する画像取得部と、画像取得部が取得した画像データに対し復元フィルタを用いた点像復元処理を行う点像復元処理部であって、撮像素子により可視光の波長帯域に感度をもって撮像された被写体の画像データと、撮像素子により近赤外光の波長帯域に感度をもって撮像された被写体の画像データとに対し、共通の復元フィルタを用いた点像復元処理を行う点像復元処理部と、を備え、共通の復元フィルタは、光学系の可視光に対する第１の光学特性と、光学系の近赤外光に対する第２の光学特性との重み付け平均を行って得られた光学系の平均光学特性に基づいて算出される。【０００９】
本発明によれば、可視光の波長帯域に感度をもって撮像された被写体の画像データの点像復元処理に用いられる復元フィルタと、近赤外光の波長帯域に感度をもって撮像された被写体の画像データの点像復元処理に用いられる復元フィルタとの切り替え及びこれら復元フィルタを記憶するメモリ容量の確保などが不要となる。【００１０】
また、可視光の波長帯域と近赤外光の波長帯域の光を撮像可能な撮像装置では、可視光と赤外光可視光と赤外光とがレンズ等の光学系によって結像される像面位置がずれている場合がある。そのため、可視光及び近赤外光のどちらかの波長によってピント位置を固定した場合、もう片方の波長においては像がボケてしまい解像感が乖離してしまうという問題が生じる。そのような問題に対し本発明によれば、復元フィルタを使用して点像復元処理をすることにより、解像度の高い画像に復元できる。【００１１】
本発明の他の態様に係る撮像装置において、撮像素子により近赤外光の波長帯域に感度をもって撮像を行う場合に、近赤外光を補助光として発光する近赤外光発光部を備える。これにより、夜間の暗い状態（低照度下）での撮像を行う場合でも鮮明な被写体の画像データが得られる。【００１２】
本発明の他の態様に係る撮像装置において、撮像素子により可視光の波長帯域に感度をもって撮像を行う場合に撮像素子への撮像光路に配置され、且つ撮像素子により近赤外光の波長帯域に感度をもって撮像を行う場合に撮像光路から退避される赤外線カットフィルタを備える。これにより、可視光の波長帯域に感度をもって被写体の撮像を行う場合、赤外線カットフィルタにより撮像素子に入射する赤外光（近赤外光を含む）を遮断することができる。【００１３】
本発明の他の態様に係る撮像装置において、第１の光学特性は、可視光の波長帯域に含まれる複数色の可視光の各々に対する光学系の光学特性であり、共通の復元フィルタは、複数色の色毎の第１の光学特性と、第２の光学特性との重み付け平均を行って得られた平均光学特性に基づいて算出され、点像復元処理部は、画像データに基づき生成された輝度に関する画像データである輝度系画像データに対して、共通の復元フィルタを用いた点像復元処理を行う。これにより、複数色の画像データに対して異なる復元フィルタを用いて点像復元処理を行う場合よりも演算処理の負荷を下げることができるので、点像復元処理に必要なリソースを削減することができる。【００１４】
本発明の他の態様に係る撮像装置において、撮像素子には、可視光の波長帯域に感度をもつ複数色の第１の画素が含まれており、平均光学特性は、第１の光学特性に対する第１の重みと、第２の光学特性に対する第２の重みと、第１の画素の色毎の出現頻度とに基づき、複数色の色毎の第１の光学特性と、第２の光学特性との重み付け平均を行って得られる。これにより、第１の画素の色毎の出現頻度を反映した平均光学特性が得られる。【００１５】
撮像素子には、第１の画素と、近赤外光の波長帯域に感度をもつ第２の画素とが含まれており、撮像素子の第１の画素における同色画素間の画素ピッチと第２の画素の画素ピッチとが同じである。これにより、第１の画素により得られる画像データと、第２の画素により得られる画像データとに対して共通の復元フィルタを用いた点像復元処理を行うことができる。【００１６】
本発明の他の態様に係る撮像装置において、撮像素子には、可視光の波長帯域に感度をもつ複数色の第１の画素が含まれており、第１の光学特性は、可視光の波長帯域に含まれる複数色の可視光の各々に対する光学系の光学特性であり、第２の光学特性は、複数色の第１の画素がそれぞれ感度をもつ近赤外光に対する第１の画素の各色画素別の光学系の光学特性であり、共通の復元フィルタは、複数色の色毎の第１の光学特性と、複数色の色毎の第２の光学特性との重み付け平均を行って得られた複数色の色毎の平均光学特性に基づいて複数色の色毎に算出され、点像復元処理部は、複数色の第１の画素により得られた複数色の色毎の画像データに対し、複数色の色毎の共通の復元フィルタを用いて、複数色の色毎に点像復元処理を行う。これにより、輝度系画像データに点像復元処理を行う場合よりも点像復元処理により得られる復元画像データの画質劣化を低減することができる。【００１７】
本発明の他の態様に係る撮像装置において、複数色の色毎の平均光学特性は、第１の光学特性に対する第１の重みと、第２の光学特性に対する第２の重みと、複数色の第１の画素の可視光及び近赤外光の波長に対する感度を示す感度特性とに基づき、複数色の色毎に第１の光学特性と第２の光学特性との重み付け平均を行って得られる。これにより、複数色の第１の画素の感度特性を反映した平均光学特性が得られる。【００１８】
本発明の他の態様に係る撮像装置において、撮像素子には、可視光の波長帯域に感度をもつ複数色の第１の画素と、近赤外光の波長帯域に感度をもつ第２の画素とが含まれ、共通の復元フィルタは、可視光の中の赤色光に対応する光学系の第１の光学特性と、第２の光学特性との重み付け平均を行って得られた平均光学特性に基づいて算出され、点像復元処理部は、複数色の中の赤色の第１の画素により得られる画像データと、第２の画素により得られる画像データとに対して、共通の復元フィルタを用いた点像復元処理を行う。これにより、赤色の第１の画素により得られる画像データと、第２の画素により得られる画像データとに対して共通の復元フィルタを用いた点像復元処理を行うことができるので、点像復元処理に必要なリソースを削減することができる。【００１９】
本発明の他の態様に係る撮像装置において、撮像素子の第１の画素における同色画素間の画素ピッチと第２の画素の画素ピッチとが同じである。これにより、第１の画素により得られる画像データと、第２の画素により得られる画像データとに対して共通の復元フィルタを用いた点像復元処理を行うことができる。【００２０】
本発明の他の態様に係る撮像装置において、撮像素子に入射する可視光と近赤外光との光量比を検出する光量比検出部と、第１の光学特性及び第２の光学特性を記憶する光学特性記憶部と、光学特性記憶部に記憶されている第１の光学特性と第２の光学特性との重み付け平均を行って得られた平均光学特性に基づいて共通の復元フィルタを生成する復元フィルタ生成部と、を備え、復元フィルタ生成部は、光量比検出部の検出結果に応じて、重み付け平均を行う際の第１の光学特性に対する第１の重みと、第２の光学特性に対する第２の重みとを調整する。これにより、監視カメラが設置される環境に応じて、適切な第１の重み及び第２の重みで平均光学特性を算出することができる。【００２１】
本発明の目的を達成するための撮像装置の画像処理方法は、光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する画像取得ステップと、画像取得ステップにより取得した画像データに対し復元フィルタを用いた点像復元処理を行う点像復元処理ステップであって、撮像素子により可視光の波長帯域に感度をもって撮像された被写体の画像データと、撮像素子により近赤外光の波長帯域に感度をもって撮像された被写体の画像データとに対し、共通の復元フィルタを用いた点像復元処理を行う点像復元処理ステップと、を有し、共通の復元フィルタは、光学系の可視光に対する第１の光学特性と、光学系の近赤外光に対する第２の光学特性との重み付け平均を行って得られた光学系の平均光学特性に基づいて算出される。【００２２】
本発明の目的を達成するためのプログラムは、光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データに対し点像復元処理を施す手段として撮像装置のコンピュータを機能させるプログラムにおいて、コンピュータを、撮像素子による撮像により得られた画像データを取得する画像取得部と、画像取得部が取得した画像データに対し復元フィルタを用いた点像復元処理を行う点像復元処理部であって、撮像素子により可視光の波長帯域に感度をもって撮像された被写体の画像データと、撮像素子により近赤外光の波長帯域に感度をもって撮像された被写体の画像データとに対し、光学系の可視光に対する第１の光学特性と光学系の近赤外光に対する第２の光学特性との重み付け平均を行って得られた平均光学特性に基づいて算出された共通の復元フィルタを用いた点像復元処理を行う点像復元処理部として機能させる。【００２３】
本発明の目的を達成するための撮像装置は、光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する画像取得部と、画像取得部が取得した画像データに対し、光学系の光学特性に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、を備え、点像復元処理部は、撮像素子により近赤外光の波長帯域に感度をもって撮像された被写体の画像データに対し、可視光の中の赤色の波長帯域の赤色光に対する光学系の光学特性に基づく復元フィルタを用いた点像復元処理を行う。【００２４】
本発明によれば、近赤外光の波長帯域に感度をもって被写体を撮像して得られた画像データに対する点像復元処理に用いられる復元フィルタとして、赤色の波長帯域の赤色光に対する光学系の光学特性に基づく復元フィルタを代用することができる。【００２５】
本発明の他の態様に係る撮像装置において、撮像素子は、可視光の波長帯域に感度をもつ第１の画素と、近赤外光の波長帯域に感度をもつ第２の画素とを有している。これにより、可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像することができる。【００２６】
本発明の他の態様に係る撮像装置において、撮像素子における第１の画素における同色画素間の画素ピッチと第２の画素の画素ピッチとが同じである。これにより、第１の画素により得られる画像データと、第２の画素により得られる画像データとに対して共通の復元フィルタを用いた点像復元処理を行うことができる。【００２７】
本発明の他の態様に係る撮像装置において、撮像素子により可視光の波長帯域に感度をもって撮像を行う場合に撮像素子への撮像光路に配置され、且つ撮像素子により近赤外光の波長帯域に感度をもって撮像を行う場合に撮像光路から退避される赤外線カットフィルタを備える。【００２８】
本発明の他の態様に係る撮像装置において、赤色光に対する光学系の光学特性に基づいて算出された復元フィルタは、赤色光に対する光学系の光学特性に基づき生成され、又は光学特性に演算処理を行ったものを基に生成される。【００２９】
本発明の目的を達成するための撮像装置の画像処理方法は、光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データを取得する画像取得ステップと、光学系の光学特性に基づく復元フィルタを用いて、画像取得ステップにて取得した画像データに対して点像復元処理を行う点像復元処理ステップと、を有し、点像復元処理ステップは、撮像素子により近赤外光の波長帯域に感度をもって撮像された被写体の画像データに対し、可視光の中の赤色の波長帯域の赤色光に対する光学系の光学特性に基づく復元フィルタを用いた点像復元処理を行う。【００３０】
本発明の目的を達成するためのプログラムは、光学系を介して可視光の波長帯域及び近赤外光の波長帯域に感度をもって被写体を撮像可能な撮像素子の撮像により得られた画像データに対し点像復元処理を施す手段として撮像装置のコンピュータを機能させるプログラムにおいて、コンピュータを、撮像素子による撮像により得られた画像データを取得する取得部と、光学系の光学特性に基づく復元フィルタを用いて、取得部が取得した画像データに対して点像復元処理を行う点像復元処理部であって、撮像素子により近赤外光の波長帯域に感度をもって撮像された被写体の画像データに対し、可視光の中の赤色の波長帯域の赤色光に対する光学系の光学特性に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部として機能させる。
【発明の効果】
【００３１】
本発明の撮像装置及び撮像装置の画像処理方法及びプログラムは、点像復元処理に必要なリソースを削減することができる。
【図面の簡単な説明】
【００３２】
【図１】監視カメラの機能構成例を示すブロック図であり、昼間（日中）に撮像を行っている状態を示すものである。
【図２】監視カメラの機能構成例を示すブロック図であり、夜間に撮像を行っている状態を示すものである。
【図３】（Ａ）は撮像素子の撮像面に設けられている画素の拡大図であり、（Ｂ）は（Ａ）に示した画素のカラーフィルタの分光透過率特性を説明するための説明図である。
【図４】カメラ本体コントローラの電気的構成を示すブロック図である。
【図５】第１実施形態の画像処理部の機能ブロック図である。
【図６】点像復元処理を説明するための説明図である。
【図７】点像復元処理の位相補正と振幅補正を説明するための説明図である。
【図８】第１実施形態の重み付け平均処理部による重み付け平均処理を説明するための説明図である。
【図９】第１実施形態の復元フィルタ生成部による共通復元フィルタの生成処理の流れを示すフローチャートである。
【図１０】第１実施形態の監視カメラの撮像処理及び画像処理の流れを示すフローチャートである。
【図１１】３板式の撮像素子の一例を示した概略図である。
【図１２】第２実施形態の監視カメラの画像処理部の機能ブロックである。
【図１３】第３実施形態の監視カメラの画像処理部の機能ブロック図である。
【図１４】第３実施形態の重み付け平均処理部による重み付け平均処理を説明するための説明図である。
【図１５】第３実施形態の復元フィルタ生成部による各共通復元フィルタの生成処理の流れを示すフローチャートである。
【図１６】第３実施形態の監視カメラの撮像処理及び画像処理の流れを示すフローチャートである。
【図１７】第４実施形態の監視カメラの画像処理部の機能ブロック図である。
【図１８】（Ａ）は、第５実施形態の撮像素子の撮像面に設けられている画素の拡大図であり、（Ｂ）は、（Ａ）に示した画素のカラーフィルタの分光透過率特性を説明するための説明図である。
【図１９】第５実施形態の監視カメラの画像処理部の機能ブロック図である。
【図２０】第６実施形態の監視カメラの復元フィルタ生成部の機能ブロック図である。
【図２１】日中から夜間の時間経過に伴う被写体の明るさ（光量）の変化を示すグラフである。
【図２２】第７実施形態の監視カメラの画像処理部の機能ブロック図である。
【図２３】第７実施形態の監視カメラの撮像処理及び画像処理の流れを示すフローチャートである。
【図２４】第８実施形態の監視カメラの画像処理部の機能ブロック図である。
【図２５】第９実施形態の監視カメラの画像処理部の機能ブロック図である。
【図２６】第１０実施形態の監視カメラの画像処理部の機能ブロック図である。
【図２７】撮像装置の実施形態であるスマートフォンの外観を示すものである。
【図２８】図２７に示したスマートフォンの構成を示すブロック図である。
【発明を実施するための形態】
【００３３】
［第１実施形態の監視カメラの全体構成］
図１は、昼夜兼用で用いられる監視カメラ１０の機能構成例を示すブロック図であり、昼間（日中）に撮像を行っている状態を示す。図２は、監視カメラ１０の機能構成例を示すブロック図であり、夜間に撮像を行っている状態を示す。ここで、本明細書でいう「昼間」及び「夜間」は必ずしも特定の時間帯を規定したものではなく、「昼間」及び「夜間」にはそれぞれ払暁（黎明）や薄暮が含まれることがある。
【００３４】
図１及び図２に示すように、本発明の撮像装置に相当する監視カメラ１０は、デジタルカメラの一種であり、公共施設及び商業施設及び住居などにおいて固定位置（定点）に設置されている。この監視カメラ１０は、昼間は被写体（監視領域）の可視光画像の撮像を行い、夜間は被写体の近赤外光画像の撮像を行うことにより、昼夜を問わず被写体の撮像を行う。また、監視カメラ１０は、パーソナルコンピュータ（Personal Computer）等のコンピュータ６０に接続されており、被写体の撮像により得られた画像データをコンピュータ６０に出力する。
【００３５】
ここで、近赤外光画像とは、少なくとも近赤外光の波長帯域に感度をもって被写体を撮像して得られる画像である。この近赤外光の波長帯域（近赤外域）は、特に限定されるものではないが７００ｎｍから２５００ｎｍの範囲にある。また、可視光画像とは、可視光の波長帯域（一般に３８０ｎｍから７８０ｎｍ）に感度をもって被写体を撮像して得られる画像である。
【００３６】
監視カメラ１０は、レンズユニット１２と、カメラ本体１４とを備える。なお、監視カメラ１０の外観は、図１及び図２に示した外観に限定されず、例えばレンズユニット１２及びカメラ本体１４が透明なドームにより覆われていてもよい。
【００３７】
レンズユニット１２は、カメラ本体１４の前面に設けられている。レンズユニット１２は、近赤外光発光部１５と、フォーカスレンズやズームレンズ等を含むレンズ１６と、絞り１７と、レンズ１６及び絞り１７を駆動するレンズ駆動部１８とを備える。
【００３８】
近赤外光発光部１５は、監視カメラ１０にて夜間の撮像を行う際に、被写体に向けて近赤外光を補助光として発光する。これにより、監視カメラ１０により夜間の暗い状態（低照度下）での撮像を行う場合でも鮮明な被写体の近赤外光画像の画像データが得られる。
【００３９】
レンズ１６は、可視光から近赤外域まで現実的な透過率を有しており、且つ可視光と近赤外光の色収差（倍率色収差）を光学的に補正した昼夜兼用レンズが用いられる。なお、一般に昼夜兼用のレンズでも近赤外域までの完全な色収差補正は現実的でなく、レンズ枚数などの制約から収差は残存する。レンズ駆動部１８は、レンズユニットコントローラ２０と、レンズ１６及び絞り１７を駆動するアクチュエータ（図示せず）とを含む。
【００４０】
レンズユニットコントローラ２０は、カメラ本体１４に設けられたレンズユニット入出力部２２を介してカメラ本体１４と電気的に接続されている。このレンズユニットコントローラ２０は、カメラ本体１４から入力される制御信号に基づき前述のアクチュエータによりレンズ１６及び絞り１７を駆動する。これにより、レンズ１６のレンズ移動によるフォーカス制御及びズーム制御と、絞り１７の絞り量制御とが行われる。
【００４１】
カメラ本体１４は、前述のレンズユニット入出力部２２の他に、フィルタ駆動部２４と、赤外線（ＩＲ：infrared）カットフィルタ２５と、撮像素子２６と、照度センサ２７と、カメラ本体コントローラ２８と、カメラ本体入出力部３０と、入出力インタフェース３２と、を備える。
【００４２】
ＩＲカットフィルタ２５は、近赤外光を含む赤外光を遮断するフィルタである。ＩＲカットフィルタ２５は、レンズユニット１２のレンズ１６及び絞り１７と共に本発明の光学系を構成している。ＩＲカットフィルタ２５は、フィルタ駆動部２４によりレンズユニット１２の撮像光路Ｌに挿入、または撮像光路Ｌから退避可能である。ここで、撮像光路Ｌとは、レンズユニット１２に入射した光が後述の撮像素子２６に到達するまでの光路である。なお、本実施形態では、ＩＲカットフィルタ２５がカメラ本体１４内に設けられているが、レンズユニット１２内に設けられていてもよい。
【００４３】
フィルタ駆動部２４は、カメラ本体コントローラ２８の制御の下、被写体の可視光画像の撮像時にはＩＲカットフィルタ２５を撮像光路Ｌに挿入し、被写体の近赤外光画像の撮像時にはＩＲカットフィルタ２５を撮像光路Ｌから退避させる。これにより、可視光画像の撮像時に後述の撮像素子２６に入射する赤外光を遮断することができる。なお、ＩＲカットフィルタ２５の種類は特に限定されず、例えば、近赤外光を遮断する近赤外光カットフィルタを用いてもよい。
【００４４】
撮像素子２６は、単板式（単板方式ともいう）のＣＣＤ（Charge Coupled Device）型の撮像素子あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子などが用いられる。撮像素子２６は、レンズユニット１２を通して被写体を撮像して、この被写体の画像データをカメラ本体コントローラ２８へ出力する。
【００４５】
図３（Ａ）は、撮像素子２６の撮像面に設けられている画素の拡大図である。また、図３（Ｂ）は、図３（Ａ）に示した画素のカラーフィルタの分光透過率特性を説明するための説明図である。
【００４６】
図３（Ａ）に示すように、単板式の撮像素子２６の撮像面には、複数色の画素がマトリクス状に配列されている。各画素は、マイクロレンズと、赤（Ｒ：Red）、緑（Ｇ：Green）又は青（Ｂ：Blue）のカラーフィルタと、光電変換部（フォトダイオード等）とを含んで構成される。ＲＧＢのカラーフィルタは、ベイヤー配列などの所定パターンのフィルタ配列を有している。なお、図中の「Ｒ」、「Ｇ」、及び「Ｂ」は、ＲＧＢの各カラーフィルタをそれぞれ有するＲ画素、Ｇ画素、及びＢ画素（以下、ＲＧＢ画素という）であり、本発明の複数色の第１の画素に相当する。
【００４７】
図３（Ｂ）に示すように、ＲＧＢ画素の各々は、可視光の波長帯域だけでなく近赤外域、特に近赤外光発光部１５が発光する近赤外光の波長帯域（本実施形態では８００ｎｍ〜９００ｎｍ）にも感度を有している。従って、ＲＧＢ画素は、近赤外光画像の撮像時（後述の第２の撮像モード時）にはＩＲ画素として機能する。すなわち、撮像素子２６は、被写体の可視光画像と近赤外光画像とを撮像可能である。
【００４８】
図１及び図２に戻って、監視カメラ１０は、被写体を撮像する撮像モードとして、昼間の撮像に対応する第１の撮像モードと、夜間の撮像に対応する第２の撮像モードとを有する。なお、監視カメラ１０の撮像モードの切り替えは、カメラ本体コントローラ２８により実行される。
【００４９】
第１の撮像モード時の撮像素子２６は、ＩＲカットフィルタ２５が撮像光路Ｌに挿入された状態でレンズユニット１２を通して被写体を撮像し、被写体の可視光画像（カラー画像）を示す第１の画像データＤ１［ＲＡＷ画像（Raw image format）データ］を出力する。この第１の画像データＤ１は、Ｒ画素から得られるＲ画像データと、Ｇ画素から得られるＧ画像データと、Ｂ画素から得られるＢ画像データとにより構成される。これらＲ画像データ及びＧ画像データ及びＢ画像データを、以下、「ＲＧＢ画像データ」と略す。なお、第１の撮像モードは、ＩＲカットフィルタ２５が撮像光路Ｌに挿入されていれば、他の条件は任意である。
【００５０】
また、第２の撮像モードにおいて撮像素子２６は、ＩＲカットフィルタ２５が撮像光路Ｌから退避された状態でレンズユニット１２を通して被写体を撮像し、被写体の近赤外光画像（モノクロ画像）を含む第２の画像データＤ２（ＲＡＷ画像データ）を出力する。ここで、「近赤外光画像を含む第２の画像データＤ２」とは、夜間であっても時間帯や周囲の環境によっては撮像素子２６への可視光の入射がゼロにならず、近赤外光だけでなく可視光の撮像により得られた第２の画像データＤ２を含むことを意味する。しかし、夜間の撮像では、可視光の光量は減少し、さらに本実施形態では近赤外光発光部１５にて近赤外光を補助光として発光しているので、撮像素子２６に入射する可視光の光量は近赤外光の光量に比較して大幅に少なくなる。このため、第２の画像データＤ２は、色の情報を持たず、輝度情報（輝度信号）により構成されているモノクロ画像データとみなすことができる。
【００５１】
照度センサ２７は、監視カメラ１０により撮像される被写体（監視領域）の照度を検出し、この照度検出結果をカメラ本体コントローラ２８に出力する。照度センサ２７による照度検出結果は、例えば、近赤外光発光部１５による近赤外光の発光のＯＮ及びＯＦＦの切り替えと、ＩＲカットフィルタ２５の挿入及び退避の切り替えと、前述の撮像モードの切り替えとに用いられる。
【００５２】
カメラ本体コントローラ２８は、例えばＣＰＵ（Central Processing Unit）を含む各種形状の演算部及び処理部及び記憶部（メモリ）により構成されたものであり、監視カメラ１０の全体の動作や処理を統括的に制御する。
【００５３】
図４は、カメラ本体コントローラ２８の電気的構成を示すブロック図である。図４に示すように、カメラ本体コントローラ２８は、デバイス制御部３４と、画像処理部３５と、記憶部３６と有している。
【００５４】
デバイス制御部３４は、記憶部３６から読み出した制御用プログラム３７Ａを実行することで、監視カメラ１０の各部の動作を制御する。例えば、デバイス制御部３４は、レンズユニット１２を制御するための制御信号を生成し、この制御信号をカメラ本体入出力部３０からレンズユニットコントローラ２０に送信する（図１及び図２参照）。これにより、前述のフォーカス制御及びズーム制御と、絞り１７の絞り量制御とが実行される。また、デバイス制御部３４は、撮像素子２６による撮像処理及び画像データの出力処理を制御する。
【００５５】
さらに、デバイス制御部３４は、照度センサ２７による照度検出結果に基づき、撮像モードの切り替えと、近赤外光発光部１５による近赤外光の発光のＯＮ及びＯＦＦの切り替えと、ＩＲカットフィルタ２５の挿入及び退避の切り替えと、をそれぞれ制御する。
【００５６】
例えば、デバイス制御部３４は、照度検出結果が予め定めた閾値以上であれば「昼間」であると判定し、撮像モードを第１の撮像モードに切り替える。これにより、撮像素子２６の撮像によって第１の画像データＤ１が得られる。一方、デバイス制御部３４は、照度検出結果が予め定めた閾値未満であれば「夜間」であると判定し、撮像モードを第２の撮像モードに切り替える。これにより、撮像素子２６の撮像によって第２の画像データＤ２が得られる。
【００５７】
このようにデバイス制御部３４は、照度検出結果から判別される「昼間」、「夜間」、「昼間」、「夜間」、・・・の繰り返しに応じて、撮像モードを第１の撮像モードと第２の撮像モードとに交互に切り替える。
【００５８】
また、デバイス制御部３４は、撮像モードを第１の撮像モードに切り替える場合、近赤外光発光部１５を制御して近赤外光の発光をＯＦＦさせると共に、フィルタ駆動部２４を制御して撮像光路ＬにＩＲカットフィルタ２５を挿入させる。逆にデバイス制御部３４は、撮像モードを第２の撮像モードに切り替える場合、近赤外光発光部１５を制御して近赤外光の発光をＯＮさせると共に、フィルタ駆動部２４を制御して撮像光路ＬからＩＲカットフィルタ２５を退避させる。
【００５９】
なお、本実施形態のデバイス制御部３４は、照度センサ２７による照度検出結果に基づき、撮像モードの切り替えを行っているが、撮像モード切替条件は照度検出結果に限定されるものではなく適宜変更してもよい。例えば、予め定めた時間帯（「昼間」はＡＭ６：００〜ＰＭ６：００、「夜間」はＰＭ６：００〜ＡＭ６：００）を撮像モード切替条件として、時間帯に応じて撮像モードの切り替えを行ってもよい。
【００６０】
画像処理部３５は、記憶部３６から読み出した画像処理用プログラム３７Ｂを実行することにより、撮像素子２６から入力される画像データ（第１の画像データＤ１及び第２の画像データＤ２）に対して後述の画像処理を行う。そして、画像処理部３５は、画像処理後の画像データを入出力インタフェース３２（図１及び図２参照）に出力する。
【００６１】
画像処理用プログラム３７Ｂは、本発明のプログラムに相当するものである。この画像処理用プログラム３７Ｂは、詳しくは後述するが、監視カメラ１０のコンピュータの一部を構成する画像処理部３５を、画像取得部３９及び点像復元処理部４４を含む複数の処理部として機能させる（図５参照）。
【００６２】
図１及び図２に戻って、入出力インタフェース３２は、外部機器類（コンピュータ６０等）に有線または無線接続されており、コンピュータ６０等に対して画像処理後の画像データを出力する。なお、コンピュータ６０等に送られる画像データのフォーマットは特に限定されず、任意のフォーマットとし得る。
【００６３】
コンピュータ６０は、カメラ本体１４の入出力インタフェース３２及びコンピュータ入出力部６２を介して監視カメラ１０に接続されており、監視カメラ１０から送られてくる画像データ等のデータ類を受信する。このコンピュータ６０は、コンピュータコントローラ６４と、ディスプレイ６６とを有する。
【００６４】
コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、監視カメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されているサーバ８０等との通信を制御する。ディスプレイ６６は、監視カメラ１０から入力される画像を表示する。
【００６５】
サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間において必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。
【００６６】
なお、監視カメラ１０及びコンピュータ６０及びサーバ８０の間の通信は、有線通信及び無線通信のいずれでもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、さらに両者の一方あるいは両方が省略されてもよい。また、監視カメラ１０にサーバ８０との通信機能を持たせ、監視カメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。
【００６７】
［画像処理部の構成］
図５は、画像処理部３５の機能ブロック図である。画像処理部３５は、第１の撮像モード時において、撮像素子２６から入力される第１の画像データＤ１（ＲＡＷ画像データ）に対して画像処理を施し、画像処理後の第１の画像データＤ１を入出力インタフェース３２へ出力する。また、画像処理部３５は、第２の撮像モード時において、撮像素子２６から入力される第２の画像データＤ２（ＲＡＷ画像データ）に対して画像処理を施し、画像処理後の第２の画像データＤ２を入出力インタフェース３２へ出力する。
【００６８】
画像処理部３５が第１の画像データＤ１及び第２の画像データＤ２に対して施す画像処理には、ゲイン補正処理や階調補正処理などの一般的な画像処理の他に、点像復元処理が含まれる。なお、図５中の「実線」は第１の撮像モード時のデータ処理の流れを示し、「点線」は第２の撮像モード時のデータ処理の流れを示す（他の類似の図面も同様）。
【００６９】
画像処理部３５は、前述の記憶部３６から読み出した画像処理用プログラム３７Ｂを実行することにより、第１の撮像モード時には画像取得部３９と、ゲイン補正処理部４０と、デモザイク処理部４１と、第１の階調補正処理部４２と、変換処理部４３と、点像復元処理部４４として機能する。また、画像処理部３５は、第２の撮像モード時には、前述の画像取得部３９及びゲイン補正処理部４０及び点像復元処理部４４の他に、第２の階調補正処理部４６として機能する。すなわち、本実施形態では、撮像モードの種類に関わらず、画像取得部３９及びゲイン補正処理部４０及び点像復元処理部４４は共通である。
【００７０】
画像取得部３９は、第１の撮像モード時において、撮像素子２６から出力された第１の画像データＤ１（ＲＡＷ画像データ）を取得し、この第１の画像データＤ１をゲイン補正処理部４０へ出力する。第１の画像データＤ１は、単板式の撮像素子２６のカラーフィルタ配列に対応したモザイク状のＲＧＢ画像データ（図中では「Ｒｍ」、「Ｇｍ」、「Ｂｍ」と表示）により構成される。
【００７１】
一方、画像取得部３９は、第２の撮像モード時において、撮像素子２６から出力された第２の画像データＤ２（ＲＡＷ画像データ）を取得し、この第２の画像データＤ２をゲイン補正処理部４０へ出力する。前述の通り、第２の撮像モード時には撮像素子２６のＲＧＢ画素（図３（Ａ）参照）がＩＲ画素として機能するので、第２の画像データＤ２は１面（非モザイク状）のＩＲ画像データ（図中、ＩＲと表示）である。
【００７２】
なお、ここでいう１面のＩＲ画像データは、Ｒ画素から得られるモザイク状のＩＲ（Ｒｍ）画像データと、Ｇ画素から得られるモザイク状のＩＲ（Ｇｍ）画像データと、Ｂ画素から得られるモザイク状のＩＲ（Ｂｍ）画像データと、により構成されている（図中、ＩＲ（Ｒｍ）、ＩＲ（Ｇｍ）、ＩＲ（Ｂｍ）」と表示）。
【００７３】
ゲイン補正処理部４０は、第１の撮像モード時において、画像取得部３９から入力されるモザイク状のＲＧＢ画像データに対して、ホワイトバランス（ＷＢ：White Balance）
を調整するゲイン補正処理部として機能する。具体的に、ゲイン補正処理部４０は、ＲＧＢの色毎に設定されたＷＢゲインをそれぞれＲＧＢ画像データに乗算し、ＲＧＢ画像データのホワイトバランス補正を行う。そして、ゲイン補正処理部４０は、ホワイトバランス補正後のＲＧＢ画像データをデモザイク処理部４１へ出力する。
【００７４】
一方、ゲイン補正処理部４０は、第２の撮像モード時において、近赤外光に対するＲ画素、Ｇ画素及びＢ画素の感度差を補正する感度補正処理部として機能する。具体的にゲイン補正処理部４０は、ＲＧＢ画素からそれぞれ出力されるＩＲ（Ｒｍ），ＩＲ（Ｇｍ），ＩＲ（Ｂｍ）画像データの積算平均値を１：１：１にするゲインを、それぞれ各画像データに乗算して、各画像データを補正する。なお、ＲＧＢ画素において、近赤外光に対する感度差がない場合には、ゲイン補正処理部４０による感度差の補正は不要である。そして、ゲイン補正処理部４０は、感度差補正後のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），ＩＲ（Ｂｍ）画像データにより構成される１面のＩＲ画像データを第２の階調補正処理部４６へ出力する。
【００７５】
デモザイク処理部４１は、第１の撮像モード時において、ゲイン補正処理部４０から入力されるモザイク状のＲＧＢ画像データから画素毎に全ての色情報を算出するデモザイク処理（同時化処理ともいう）を行う。すなわち、デモザイク処理部４１は、モザイク状のＲＧＢ画像データ（点順次のＲＧＢ画像データ）から同時化されたＲＧＢの３面の画像データ（図中では「Ｒ」、「Ｇ」、「Ｂ」と表示）を生成する。そして、デモザイク処理部４１は、デモザイク処理後のＲＧＢ画像データを第１の階調補正処理部４２へ出力する。
【００７６】
第１の階調補正処理部４２は、第１の撮像モード時において、デモザイク処理部４１から入力される３面のＲＧＢ画像データに対し階調補正処理（ガンマ補正処理等）を行う。例えば、第１の階調補正処理部４２は、１２ビット（０〜４０９５）のＲＧＢ画像データに対してガンマ特性に対応するガンマ補正を行い、８ビット（０〜２５５）のＲＧＢの色データ（１バイトのデータ）を生成する。このような第１の階調補正処理部４２は、例えば、ＲＧＢ毎のルックアップテーブルにより構成することができ、ＲＧＢ画像データの色毎にそれぞれ対応するガンマ補正を行う。そして、第１の階調補正処理部４２は、階調補正処理後のＲＧＢ画像データを変換処理部４３へ出力する。
【００７７】
変換処理部４３は、第１の撮像モード時において、第１の階調補正処理部４２から入力されるＲＧＢ画像データを、所定の変換式を用いて輝度成分を示す輝度データＹと、色差データＣｒ、Ｃｂとに変換する。そして、変換処理部４３は、変換後の輝度データＹを点像復元処理部４４へ出力する。この輝度データＹは、ＲＧＢ画像データに基づき生成された輝度に関する画像であり、本発明の輝度系画像データに相当する。
【００７８】
第２の階調補正処理部４６は、第２の撮像モード時において、ゲイン補正処理部４０から入力されるＩＲ画像データに対し、第１の階調補正処理部４２による階調補正処理と同様の階調補正処理（ガンマ補正処理等）を行う。例えば、第２の階調補正処理部４６は、近赤外光用のルックアップテーブルにより構成することができ、入力する１２ビットのＩＲ画像データに対してガンマ特性に対応するガンマ補正を行い、８ビットのＩＲ画像データを生成する。そして、第２の階調補正処理部４６は、階調補正処理後のＩＲ画像データを点像復元処理部４４へ出力する。なお、ＩＲ画像データは、前述の輝度データＹと同様の輝度系画像データである。
【００７９】
点像復元処理部４４は、第１の撮像モード時に変換処理部４３から入力される輝度データＹと、第２の撮像モード時に第２の階調補正処理部４６から入力されるＩＲ画像データとに対し、復元フィルタ記憶部４９に記憶されている１種類の共通復元フィルタＦ１を用いて点像復元処理を行う。
【００８０】
点像復元処理とは、監視カメラ１０の光学系（レンズ１６及び絞り１７及びＩＲカットフィルタ２５等）の収差等による劣化を示す光学特性を予め求めておき、撮像された画像（劣化している画像）を、前述の光学特性に基づいて生成した復元（回復）フィルタを使用して解像度の高い画像に復元する処理である。
【００８１】
図６は、点像復元処理を説明するための説明図である。なお、図６では、被写体として点像を撮像した場合を示している。
【００８２】
図６に示すように、点像を被写体として撮像を行う場合、被写体の可視光画像（第１の撮像モード）または近赤外光画像（第２の撮像モード）は監視カメラ１０の光学系を通して撮像素子２６により撮像され、この撮像素子２６から原画像データ（第１の画像データＤ１または第２の画像データＤ２）が出力される。
【００８３】
この際に、第１の画像データＤ１は、可視光に対する監視カメラ１０の光学系の光学特性に基づく点拡がり現象によって振幅成分と位相成分とが劣化し、本来の被写体像（点像）は、非点対称なボケ画像となる。ここで、可視光は様々な波長帯域の光から構成されているので倍率色収差が発生し、第１の画像データＤ１を構成するＲＧＢ画像データの位相にずれが発生する。また、第２の画像データＤ２（ＩＲ画像データ）は、近赤外光に対する監視カメラ１０の光学系の光学特性に基づく点拡がり現象によって振幅成分と位相成分とが劣化し、本来の被写体像（点像）は非点対称なボケ画像となる。
【００８４】
点像復元処理部４４による点像復元処理では、可視光に対する監視カメラ１０の光学系の第１の光学特性と、近赤外光に対する監視カメラ１０の光学系の第２の光学特性と、を予め取得または求めておき、これら第１の光学特性及び第２の光学特性に基づき、後述の復元フィルタ生成部５１にて共通復元フィルタＦ１を生成する。
【００８５】
第１の光学特性及び第２の光学特性としては、点拡がり関数（ＰＳＦ：Point spread function）または光学伝達関数（ＯＴＦ：Optical Transfer Function）が用いられる。ＰＳＦとＯＴＦとはフーリエ変換の関係にあり、ＰＳＦは実関数、ＯＴＦは複素関数である。また、これらと等価な情報を持つものとして、変調伝達関数又は振幅伝達関数（ＭＴＦ：Modulation Transfer Function）と位相伝達関数（ＰＴＦ：Phase Transfer Function）があり、それぞれＯＴＦの振幅成分と位相成分を示す。ＭＴＦとＰＴＦとを合わせてＯＴＦやＰＳＦと等価な情報量を持つ。
【００８６】
一般に、ＰＳＦによるボケ画像の復元に用いられる復元フィルタとしては、コンボリューション型のウィナー（Ｗｉｅｎｅｒ）フィルタを利用することができる。ＰＳＦ（ｘ，ｙ）をフーリエ変換したＯＴＦと信号対雑音比（ＳＮＲ：signal-noise ratio、ＳＮ比ともいう）の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ωｘ，ωｙ）を算出することができる。
【００８７】
【数１】
2016158196.tif 000003
【００８８】
ここで、ωｘ，ωｙは空間周波数を表し、Ｈ（ωｘ，ωｙ）はＯＴＦを表し、Ｈ＊（ωｘ，ωｙ）はその複素共役を表す。また、ＳＮＲ（ωｘ，ωｙ）は信号対雑音比（ＳＮ比）を表す。上記［数１］式のＨ（ωｘ，ωｙ）としてＯＴＦの代わりに、このＯＴＦの振幅成分を示すＭＴＦを使用し、点像復元フィルタを算出してもよい。
【００８９】
復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のＷｉｅｎｅｒ周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。このように復元フィルタは、撮像条件に応じた光学系の点像情報（ＰＳＦ）から、所定の振幅復元及び位相補正フィルタ算出アルゴリズムによって得られる。光学系の点像情報は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮像条件によって変動し得る。
【００９０】
復元フィルタは、例えばＭ×Ｎ（Ｍ及びＮは２以上の整数）のタップによって構成される実空間上のフィルタであり、処理対象の画像データにそれぞれ適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することにより、回復処理後の画素データを算出することができる。復元フィルタを用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することにより、点像復元処理を行うことができる。これにより、復元画像データ（輝度データＹ、ＩＲ画像データ）が得られる。
【００９１】
図７は、点像復元処理の位相補正と振幅補正を説明するための説明図である。図７に示すように、点像復元処理は、「位相補正」（「位相復元」ともいう）と、「振幅補正」（「振幅復元」ともいう）とに大別することができる。この「位相補正」には、ＲＧＢ画像データなどの位相ずれの復元と、非点対称な点拡がり関数（ＰＳＦ）の形状に起因する位相成分の復元とが含まれる。なお、非点対称な点拡がり関数の形状に起因する位相成分の復元とは、非対称な点広がり形状を点対称な点広がり形状に補正することである。なお、前述の輝度データＹやＩＲ画像データのような輝度系画像データに対する位相補正とは、非点対称な点拡がり関数（ＰＳＦ）の形状に起因する位相成分の復元である。
【００９２】
「振幅補正」は、画像データの振幅成分（ＭＴＦ）の復元処理である。振幅補正により、ナイキスト周波数までの撮像系のＳＮ比（signal-to-noise ratio）が十分に大きい場合においては、点広がり形状を点（デルタ関数）に補正することができる。
【００９３】
図６に戻って、一般に、輝度データＹに対しては、前述の第１の光学特性に基づき生成された可視光用の復元フィルタを用いた点像復元処理を行うことが好ましい。また、第２の画像データＤ２に対しては、前述の第２の光学特性に基づき生成された近赤外光用の復元フィルタを用いた点像復元処理を行うことが好ましい。しかしながら、この場合には、前述の通り、２種類の撮像モードに対応した復元フィルタを用意する必要があり、撮像モードに応じた復元フィルタの切り替えや、復元フィルタ記憶部４９の容量などのリソースを余計に必要としてしまう。
【００９４】
そこで、本実施形態では、復元フィルタ生成部５１にて、監視カメラ１０の光学系の第１の光学特性及び第２の光学特性に基づき、輝度データＹ（第１の画像データＤ１）及びＩＲ画像データ（第２の画像データＤ２）の両方に適用可能な共通復元フィルタＦ１を生成し、輝度データＹ及びＩＲ画像データに対してそれぞれ共通復元フィルタＦ１を用いた点像復元処理を行う。
【００９５】
＜復元フィルタ生成部の構成＞
図５に戻って、復元フィルタ生成部５１は、監視カメラ１０とは別体に設けられたコンピュータであり、監視カメラ１０の光学系の第１の光学特性及び第２の光学特性に基づき共通復元フィルタＦ１を生成する。なお、前述のコンピュータ６０またはサーバ８０（図１参照）を復元フィルタ生成部５１として機能させてもよい（第２実施形態以降も同様）。
【００９６】
復元フィルタ生成部５１は、大別して、光学特性記憶部５２と、重み付け平均処理部５３と、重み設定部５４と、復元フィルタ算出部５５とを備える。
【００９７】
光学特性記憶部５２には、前述の第１の光学特性に相当するＲ用光学特性５７Ｒ及びＧ用光学特性５７Ｇ及びＢ用光学特性５７Ｂと、前述の第２の光学特性に相当するＩＲ用光学特性５８とが予め記憶されている。Ｒ用光学特性５７Ｒは、可視光の中の赤色の波長帯域の赤色光（Ｒ光）に対する監視カメラ１０の光学系の光学特性である。Ｇ用光学特性５７Ｇは、可視光の中の緑色の波長帯域の緑色光（Ｇ光）に対する監視カメラ１０の光学系の光学特性である。Ｂ用光学特性５７Ｂは、可視光の中の青色の波長帯域の青色光（Ｂ光）に対する監視カメラ１０の光学系の光学特性である。ＩＲ用光学特性５８は、近赤外光に対する監視カメラ１０の光学系の光学特性である。
【００９８】
これら各光学特性５７Ｒ，５７Ｇ，５７Ｂ，５８は、前述のＭＴＦあるいはＯＴＦ（ＰＳＦ）などであり、監視カメラ１０の光学系の種類毎に予め測定されたものである。なお、インターネット等のネットワーク回線を介して各光学特性５７Ｒ，５７Ｇ，５７Ｂ，５８を取得して、光学特性記憶部５２に記憶させてもよい。
【００９９】
図８は、重み付け平均処理部５３による重み付け平均処理を説明するための説明図である。図８に示すように、重み付け平均処理部５３は、第１の光学特性（Ｒ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ）と、第２の光学特性（ＩＲ用光学特性５８）との重み付け平均を行って平均光学特性５９（ＭＴＦまたはＯＴＦ（ＰＳＦ）など）を算出する。具体的に、重み付け平均処理部５３は、第１の光学特性（Ｒ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ）に対する第１の重みαと、第２の光学特性（ＩＲ用光学特性５８）に対する第２の重み（１−α）と、ＲＧＢ画素の出現頻度ＰＲ，ＰＧ，ＰＢとに基づき、第１の光学特性と第２の光学特性との重み付け平均を行う。
【０１００】
第１の重みα及び第２の重み（１−α）をそれぞれ規定する「α」（ただし０≦α＜１）は、例えば、監視カメラ１０において可視光画像が撮像される確率、すなわち、第１の撮像モードが選択される確率である。この「α」は、１日の中で監視カメラ１０により可視光画像が撮像される時間（第１の撮像モードの時間）の割合によって決めてもよい。また、「α」は、可視光画像の撮像（第１の撮像モードの撮像）と近赤外光画像の撮像（第２の撮像モードの撮像）とのどちらを重視するのかによって恣意的に決めてもよい。
【０１０１】
さらに、「α」を、監視カメラ１０により撮像された第１の画像データＤ１及び第２の画像データＤ２を主観により評価した結果が最良となるように調整してもよい。この場合、ユーザによる復元フィルタ生成部５１の操作入力部（図示は省略）への「α」の入力を受けて、重み設定部５４が、第１の重みα及び第２の重み（１−α）の設定を行い、これら第１の重みα及び第２の重み（１−α）を重み付け平均処理部５３に入力する。
【０１０２】
ＲＧＢ画素の出現頻度ＰＲ，ＰＧ，ＰＢは、「０≦ＰＲ，ＰＧ，ＰＢ＜１」と「ＰＲ＋ＰＧ＋ＰＢ＝１」を満たす値であり、例えば、ＲＧＢ画像データから輝度データＹを算出する周知の式（Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ）に基づき決定可能である。この場合、ＰＲ＝０．２９９、ＰＧ＝０．５８７、ＰＢ＝０．１１４となる。なお、出現頻度ＰＲ，ＰＧ，ＰＢは、被写体の分光特性を考慮して主観的に調整してもよい。ユーザによる前述の操作入力部への「ＰＲ，ＰＧ，ＰＢ」の数値の入力を受けて、前述の重み設定部５４が、出現頻度ＰＲ，ＰＧ，ＰＢの設定を行い、これら出現頻度ＰＲ，ＰＧ，ＰＢを重み付け平均処理部５３に入力する。
【０１０３】
重み付け平均処理部５３は、第１の光学特性（Ｒ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ）と、第２の光学特性（ＩＲ用光学特性５８）とがそれぞれＭＴＦである場合、以下の式によりＭＴＦにより表される平均光学特性５９を求める。ここで、以下の式において、「ＭＴＦＲ」はＲ用光学特性５７Ｒであり、「ＭＴＦＧ」はＧ用光学特性５７Ｇであり、「ＭＴＦＢ」はＢ用光学特性５７Ｂであり、「ＭＴＦＩＲ」はＩＲ用光学特性５８であり、「ＭＴＦＡＶＥ」は平均光学特性５９である。
【０１０４】
【数２】
2016158196.tif 000004
【０１０５】
一方、ＰＳＦにより表される平均光学特性５９は、ＯＴＦにより表される平均光学特性５９と等価である。このため、重み付け平均処理部５３は、以下の式によりＯＴＦにより表される平均光学特性５９を求める。ここで、以下の式において、「ＯＴＦＲ」はＲ用光学特性５７Ｒであり、「ＯＴＦＧ」はＧ用光学特性５７Ｇであり、「ＯＴＦＢ」はＢ用光学特性５７Ｂであり、「ＯＴＦＩＲ」はＩＲ用光学特性５８であり、「ＯＴＦＡＶＥ」は平均光学特性５９である。
【０１０６】
【数３】
2016158196.tif 000005
【０１０７】
重み付け平均処理部５３は、算出した平均光学特性５９［ＭＴＦまたはＯＴＦ（ＰＳＦ）］を復元フィルタ算出部５５へ出力する。なお、図示は省略しているが、点像復元処理部４４による点像復元処理の前に、第１の画像データＤ１のＲＧＢ画像データに対して倍率色収差補正処理を行う場合には、ＰＳＦの位置に対しても同様の補正を行う（他の実施形態も同様）。
【０１０８】
図５に戻って、復元フィルタ算出部５５は、重み付け平均処理部５３より入力される平均光学特性５９［ＭＴＦまたはＯＴＦ（ＰＳＦ）］に基づき、上記［数１］式から共通復元フィルタＦ１を算出する。平均光学特性５９［ＭＴＦ］に基づき、輝度データＹ及びＩＲ画像データの振幅補正を可能な共通復元フィルタＦ１が算出される。また、復元フィルタ算出部５５は、平均光学特性５９［ＯＴＦ（ＰＳＦ）］に基づき、輝度データＹ及びＩＲ画像データの振幅補正及び位相補正の両方が可能な共通復元フィルタＦ１が算出する。復元フィルタ算出部５５は、共通復元フィルタＦ１を有線または無線のネットワーク回線、或いはメモリカードの情報記録媒体を介して復元フィルタ記憶部４９に記憶させる。
【０１０９】
＜共通復元フィルタを用いた点像復元処理＞
点像復元処理部４４は、第１の撮像モード時において変換処理部４３から入力される輝度データＹに対し、復元フィルタ記憶部４９から読み出した共通復元フィルタＦ１を用いて点像復元処理（振幅補正、又は振幅補正及び位相補正）を行う。これにより、点像復元処理後の復元画像データである輝度データＹと、変換処理部４３から出力される色差データＣｒ、Ｃｂとにより構成される画像処理後の第１の画像データＤ１が、画像処理部３５から前述の入出力インタフェース３２へ出力される。
【０１１０】
また、点像復元処理部４４は、第２の撮像モード時において変換処理部４３から入力されたＩＲ画像データに対し、復元フィルタ記憶部４９から読み出した共通復元フィルタＦ１を用いて点像復元処理（振幅補正、又は振幅補正及び位相補正）を行う。これにより、点像復元処理後の復元画像データであるＩＲ画像データが、画像処理後の第２の画像データＤ２として画像処理部３５から前述の入出力インタフェース３２へ出力される。
【０１１１】
［第１実施形態の監視カメラの作用］
次に、図９及び図１０を用いて上記構成の監視カメラ１０の作用（本発明の撮像装置の画像処理方法）について説明を行う。ここで、図９は、復元フィルタ生成部５１による共通復元フィルタＦ１の生成処理の流れを示すフローチャートである。また、図１０は、監視カメラ１０の撮像処理及び画像処理の流れを示すフローチャートである。
【０１１２】
＜共通復元フィルタの生成処理＞
監視カメラ１０の復元フィルタ記憶部４９には、復元フィルタ生成部５１によりに生成された共通復元フィルタＦ１が予め記憶される。図９に示すように、復元フィルタ生成部５１は、監視カメラ１０の光学系のＲ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ及びＩＲ用光学特性５８を予め測定または取得して、光学特性記憶部５２に記憶させる（ステップＳ１）。
【０１１３】
また、ユーザは、復元フィルタ生成部５１の図示しない操作入力部に第１の重み及び第２の重みを規定する前述の「α」を入力する。この「α」の入力を受けて、重み設定部５４が第１の重みα及び第２の重み（１−α）の設定を行い、これらの設定結果を重み付け平均処理部５３に入力する（ステップＳ２）。また、ユーザは、ＲＧＢ画素の出現頻度ＰＲ，ＰＧ，ＰＢを変更する場合には、前述の操作入力部に出現頻度ＰＲ，ＰＧ，ＰＢを入力する。これら出現頻度ＰＲ，ＰＧ，ＰＢは、重み設定部５４により重み付け平均処理部５３に入力される。
【０１１４】
そして、ユーザが前述の操作入力部にて共通復元フィルタＦ１の生成開始操作を行うと、重み付け平均処理部５３は、光学特性記憶部５２からＲ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ（第１の光学特性）及びＩＲ用光学特性５８（第２の光学特性）を読み出す（ステップＳ３）。
【０１１５】
次いで、重み付け平均処理部５３は、前述の［数２］式または［数３］式を用いて、平均光学特性５９［ＭＴＦまたはＯＴＦ（ＰＳＦ）］を算出する。すなわち、重み付け平均処理部５３は、第１の重みαと第２の重み（１−α）と出現頻度ＰＲ，ＰＧ，ＰＢとに基づき、第１の光学特性（Ｒ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ）と、第２の光学特性（ＩＲ用光学特性５８）との重み付け平均を行って平均光学特性５９を算出する（ステップＳ４）。この平均光学特性５９は、重み付け平均処理部５３から復元フィルタ算出部５５へ出力される。
【０１１６】
復元フィルタ算出部５５は、重み付け平均処理部５３から入力された平均光学特性５９［ＭＴＦまたはＯＴＦ（ＰＳＦ）］に基づき、上記［数１］式から共通復元フィルタＦ１を算出する（ステップＳ５）。この復元フィルタ算出部５５により算出された共通復元フィルタＦ１は、監視カメラ１０の復元フィルタ記憶部４９に記憶される。以上により復元フィルタ生成部５１による共通復元フィルタＦ１の生成処理が完了する。
【０１１７】
＜監視カメラの撮像処理及び画像処理：第１の撮像モード＞
図１０に示すように、監視カメラ１０のデバイス制御部３４は、照度センサ２７から入力される被写体の照度検出結果に基づき「夜間」から「昼間」に切り替わったと判定した場合、撮像モードを第１の撮像モードに切り替える（ステップＳ１０でＹＥＳ）。また同時に、デバイス制御部３４は、近赤外光発光部１５を制御して近赤外光の発光をＯＦＦさせると共に、フィルタ駆動部２４を制御して撮像光路ＬにＩＲカットフィルタ２５を挿入させる（ステップＳ１１）。
【０１１８】
デバイス制御部３４は、撮像素子２６により第１の撮像モードでの被写体（監視領域）の可視光画像の撮像を開始させる。撮像素子２６は、ＩＲカットフィルタ２５が撮像光路Ｌに挿入された状態でレンズユニット１２を通して被写体を撮像し、第１の画像データＤ１（ＲＡＷデータ）を画像処理部３５へ出力する（ステップＳ１２）。
【０１１９】
画像処理部３５の画像取得部３９は、撮像素子２６から第１の画像データＤ１を構成するモザイク状のＲＧＢ画像データを取得してゲイン補正処理部４０へ出力する（ステップＳ１３、本発明の画像取得ステップに相当）。ゲイン補正処理部４０は、画像取得部３９から入力されるモザイク状のＲＧＢ画像データに対してホワイトバランス補正を行い、補正後のＲＧＢ画像データをデモザイク処理部４１へ出力する。
【０１２０】
デモザイク処理部４１は、ゲイン補正処理部４０から入力されたモザイク状のＲＧＢ画像データに対してデモザイク処理を行って３面のＲＧＢ画像データを生成し、３面のＲＧＢ画像データを第１の階調補正処理部４２へ出力する（ステップＳ１４）。この３面のＲＧＢ画像データは、第１の階調補正処理部４２にて階調補正処理され、補正後のＲＧＢ画像データが変換処理部４３へ出力される。
【０１２１】
変換処理部４３は、第１の階調補正処理部４２から入力された３面のＲＧＢ画像データを、所定の変換式を用いて輝度データＹと色差データＣｒ、Ｃｂとに変換し、輝度データＹを点像復元処理部４４へ出力する（ステップＳ１５）。
【０１２２】
点像復元処理部４４は、変換処理部４３から入力された輝度データＹに対して、復元フィルタ記憶部４９から読み出した共通復元フィルタＦ１を用いて点像復元処理を行う（ステップＳ１６，Ｓ１７、本発明の点像復元処理ステップに相当）。平均光学特性５９［ＭＴＦ］に基づき生成された共通復元フィルタＦ１を用いた場合には、輝度データＹの振幅補正が行われ、平均光学特性５９［ＯＴＦ（ＰＳＦ）］に基づき生成された共通復元フィルタＦ１を用いた場合には、輝度データＹの振幅補正及び位相補正が行われる。
【０１２３】
点像復元処理部４４による点像復元処理後、点像復元処理後の輝度データＹと、変換処理部４３から出力される色差データＣｒ、Ｃｂとからなる画像処理後の第１の画像データＤ１が、画像処理部３５から入出力インタフェース３２に出力される（ステップＳ１８）。
【０１２４】
以下、撮像モードが第１の撮像モードから第２の撮像モードに切り替えられるまでの間、前述のステップＳ１２からステップＳ１８までの処理が繰り返し実行される（ステップＳ１９でＮＯ）。そして、後述のように、撮像モードが第１の撮像モードから第２の撮像モードに切り替えられると、第１の撮像モードにおける撮像処理及び画像処理が終了する（ステップＳ１９でＹＥＳ）。
【０１２５】
＜監視カメラの撮像処理及び画像処理：第２の撮像モード＞
デバイス制御部３４は、照度センサ２７から入力される被写体の照度検出結果に基づき「昼間」から「夜間」に切り替わったと判定した場合に、撮像モードを第１の撮像モードから第２の撮像モードに切り替える（ステップＳ１０でＮＯ、またはステップＳ１９でＹＥＳ）。また同時に、デバイス制御部３４は、近赤外光発光部１５を制御して近赤外光の発光をＯＮさせると共に、フィルタ駆動部２４を制御して撮像光路ＬからＩＲカットフィルタ２５を退避させる（ステップＳ２１）。
【０１２６】
次いで、デバイス制御部３４は、撮像素子２６により第２の撮像モードでの被写体（監視領域）の近赤外光画像の撮像を開始させる。撮像素子２６は、ＩＲカットフィルタ２５が撮像光路Ｌから退避された状態でレンズユニット１２を通して被写体を撮像し、第２の画像データＤ２（ＲＡＷデータ）を画像処理部３５へ出力する（ステップＳ２２）。
【０１２７】
画像取得部３９は、撮像素子２６から第２の画像データＤ２として１面のＩＲ画像データ［ＩＲ（Ｒｍ），ＩＲ（Ｇｍ），ＩＲ（Ｂｍ）画像データ］を取得して、ゲイン補正処理部４０へ出力する（ステップＳ２３、本発明の画像取得ステップに相当）。ゲイン補正処理部４０は、画像取得部３９から入力されるＩＲ画像データに対して感度差補正を行い、補正後のＩＲ画像データを第２の階調補正処理部４６へ出力する。そして、第２の画像データＤ２は、第２の階調補正処理部４６にて階調補正処理され、補正後のＩＲ画像データが点像復元処理部４４へ出力される。
【０１２８】
点像復元処理部４４は、第２の階調補正処理部４６から入力されたＩＲ画像データに対し、復元フィルタ記憶部４９から読み出した共通復元フィルタＦ１を用いて点像復元処理を行う（ステップＳ２４，Ｓ２５、本発明の点像復元処理ステップに相当）。平均光学特性５９［ＭＴＦ］に基づき生成された共通復元フィルタＦ１を用いた場合には、ＩＲ画像データの振幅補正が行われ、平均光学特性５９［ＯＴＦ（ＰＳＦ）］に基づき生成された共通復元フィルタＦ１を用いた場合には、ＩＲ画像データの振幅補正及び位相補正が行われる。
【０１２９】
点像復元処理部４４による点像復元処理後のＩＲ画像データは、画像処理後の第２の画像データＤ２として画像処理部３５から前述の入出力インタフェース３２へ出力される（ステップＳ２６）。
【０１３０】
以下、撮像モードが第２の撮像モードから第１の撮像モードに切り替えられるまでの間、前述のステップＳ２２からステップＳ２６までの処理が繰り返し実行される（ステップＳ２７でＮＯ）。そして、撮像モードが第２の撮像モードから第１の撮像モードに切り替えられると、第２の撮像モードにおける撮像処理及び画像処理が終了する（ステップＳ２７でＹＥＳ）。
【０１３１】
以下同様にして、「昼間」と「夜間」の切り替わりに応じて、前述の第１の撮像モードにおける撮像処理及び画像処理と、前述の第２の撮像モードにおける撮像処理及び画像処理とが交互に繰り返し実行される。
【０１３２】
［第１実施形態の効果］
以上のように、第１実施形態の監視カメラ１０では、昼間の第１の撮像モードにより取得された第１の画像データＤ１（輝度データＹ）と、夜間の第２の撮像モードにより取得された第２の画像データＤ２（ＩＲ画像データ）とに対して、１種類の共通復元フィルタＦ１を用いた点像復元処理を行うことができる。その結果、撮像モードごとに用意された復元フィルタの切り替え及びこれら復元フィルタを記憶するメモリ容量の確保などが不要となり、点像復元処理に必要なリソースを削減することができる。
【０１３３】
また、本実施形態の点像復元処理部４４は、輝度系画像データ（輝度データＹ及びＩＲ画像データ）に対して点像復元処理を行うので、ＲＧＢの各色の画像データに対して異なる復元フィルタを用いて点像復元処理を行う場合よりも演算処理の負荷を下げる、すなわち、点像復元処理に必要なリソースを削減することができる。
【０１３４】
［第１実施形態の変形例］
上記第１実施形態では、画像データの中の視覚的な効果が大きくなる輝度成分である輝度系画像データ（輝度データＹ及びＩＲ画像データ）に対して、昼間（第１の撮像モード）と夜間（第２の撮像モード）とにより重み付け平均された平均的に良い平均光学特性５９に基づき生成された共通復元フィルタＦ１を用いて点像復元処理を行っている。このため、輝度系画像データに対して常に最適な点像復元処理が行われるわけではなく、平均光学特性５９と監視カメラ１０の光学系の実際の光学特性とが乖離している場合には、過補正や画質劣化が生じ得る。そこで、下記の変形例では、平均光学特性５９と実際の光学特性との乖離に起因する過補正や画質劣化を抑える。
【０１３５】
＜第１実施形態の変形例１＞
変形例１では、第１の光学特性であるＲ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ（ＭＴＦ）と、第２の光学特性であるＩＲ用光学特性５８（ＭＴＦ）とに基づき、点像復元処理後の輝度系画像データ（輝度データＹ及びＩＲ画像データ）に対応する復元画像データのＭＴＦ値の過補正を防止する共通復元フィルタＦ１を生成する。ここで、復元画像データのＭＴＦ値の過補正の防止とは、復元画像データのＭＴＦ値を１．０以下に抑えることである。
【０１３６】
具体的には、上記［数２］式に示したＭＴＦＲ（ωｘ，ωｙ）とＭＴＦＧ（ωｘ，ωｙ）とＭＴＦＢ（ωｘ，ωｙ）とＭＴＦＩＲ（ωｘ，ωｙ）との中から「最大のＭＴＦ（ωｘ，ωｙ）」を選択する。そして、上記［数２］式中のＭＴＦＲ（ωｘ，ωｙ）とＭＴＦＧ（ωｘ，ωｙ）とＭＴＦＢ（ωｘ，ωｙ）とＭＴＦＩＲ（ωｘ，ωｙ）とをそれぞれ「最大のＭＴＦ（ωｘ，ωｙ）」に置換してＭＴＦＡＶＥ（ωｘ，ωｙ）を算出し、このＭＴＦＡＶＥ（ωｘ，ωｙ）に基づき共通復元フィルタＦ１を生成する。なお、具体的な変形例１の復元フィルタＦ１の算出方法については、公知（国際公開第２０１４／１３６３２１号：WO2014/136321 A1）であるので、ここでは詳細な説明は省略する。
【０１３７】
このような変形例１の共通復元フィルタＦ１を用いて点像復元処理を行うことにより、点像復元処理後の復元画像データ（輝度データＹ及びＩＲ画像データ）のＭＴＦ値の過補正を抑えることができる。その結果、平均光学特性５９と実際の光学特性との乖離に起因する過補正が抑えられる。
【０１３８】
＜第１実施形態の変形例２＞
変形例２では、第１の光学特性であるＲ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ（ＯＴＦ）と、第２の光学特性であるＩＲ用光学特性５８（ＯＴＦ）とに基づき、点像復元処理後の輝度系画像データ（輝度データＹ、ＩＲ画像データ）に対応する復元画像データの位相の過補正を防止する共通復元フィルタＦ１を生成する。
【０１３９】
具体的には、上記［数３］式中のＯＴＦＲ（ωｘ，ωｙ）とＯＴＦＧ（ωｘ，ωｙ）とＯＴＦＢ（ωｘ，ωｙ）とＯＴＦＩＲ（ωｘ，ωｙ）とによって示される複数色［Ｒ、Ｇ、Ｂ、ＩＲ］の色別の位相ずれ量の中から、絶対値が最小である単色の位相ずれ量を選択する。そして、選択した単色の位相ずれ量に対応する位相補正量で輝度系画像データの位相ずれを補正する共通復元フィルタＦ１を生成する。なお、具体的な変形例２の共通復元フィルタＦ１の算出方法については、公知（国際公開第２０１４／１３６３２２号：WO2014/136322 A1）であるので、ここでは詳細な説明は省略する。
【０１４０】
このような変形例２の共通復元フィルタＦ１を用いた点像復元処理を行うことにより、輝度系画像データに対する位相補正が、位相補正後の輝度系画像データに対応する各色（Ｒ、Ｇ、Ｂ、ＩＲ）の復元画像データにおいて過補正にならないように、位相補正による位相ずれの補正量を抑制することができる。
【０１４１】
＜第１実施形態の変形例３＞
変形例３では、第１の光学特性であるＲ，Ｇ，Ｂ用光学特性５７Ｒ，５７Ｇ，５７Ｂ（ＯＴＦ）と、第２の光学特性であるＩＲ用光学特性５８（ＯＴＦ）とに基づき、光学伝達関数（ＯＴＦ）の色毎（Ｒ、Ｇ、Ｂ、ＩＲ毎）のばらつきによる過補正を低減したタフネス性の高い共通復元フィルタＦ１を生成する。
【０１４２】
具体的に，変形例３の共通復元フィルタＦ１の生成では、国際公開第２０１４／１４８０７４号（WO2014/148074 A1）に開示されている復元フィルタの生成方法を応用して、最初に、ＲＧＢに加えてＩＲ（赤外波長成分）まで拡張したＯＴＦ（複素ＯＴＦともいう）の同時確率分布を求める。空間周波数ωｘ，ωｙにおけるＲ、Ｇ、Ｂ、ＩＲのそれぞれの波長における複素伝達関数をｈＲ、ｈＧ、ｈＢ、ｈＩＲとした場合、Ｒ、Ｇ、Ｂ、ＩＲの同時確率分布は、次式により求めることができる。
【０１４３】
【数４】
2016158196.tif 000006
【０１４４】
ここで、同時確率分布ＰＲＧＢ（ｈＲ，ｈＧ，ｈＢ｜ωｘ，ωｙ）は、ＲＧＢの色別のＯＴＦの確率変数がｈＲ，ｈＧ及びｈＢという値になる確率を、空間周波数（ωｘ，ωｙ）毎に示したものである。また、同時確率分布ＰＩＲ（ｈＩＲ｜ωｘ，ωｙ）は、ＩＲのＯＴＦの確率変数がｈＩＲという値になる確率を、空間周波数（ωｘ，ωｙ）毎に示したものである。
【０１４５】
次いで、上記［数４］式により表されるＲ、Ｇ、Ｂ、ＩＲの同時確率分布に基づき、次式に示すように、特定の表色系でのＯＴＦの母集団におけるＯＴＦの平均μ及び分散σ２を、空間周波数（ωｘ，ωｙ）毎に算出する。
【０１４６】
【数５】
2016158196.tif 000007
【０１４７】
【数６】
2016158196.tif 000008
【０１４８】
ここで、上記［数５］式及び［数６］式中の「Ｍ」は、次式に定義されるＲＧＢからＹＣｂＣｒへの変換行列である。
【０１４９】
【数７】
2016158196.tif 000009
【０１５０】
上記［数５］式及び［数６］式により表されるＯＴＦの平均μ及び分散σ２に基づき、次式から共通復元フィルタＦ１の周波数特性ｄ（ωｘ，ωｙ）を算出することができる。なお、次式は、上記［数１］式のような公知のＷｉｅｎｅｒフィルタの導出式をそのままを利用するのではなく、ＯＴＦばらつきや輝度系補正に起因する過補正を考慮し、色によるＯＴＦばらつきも適用したＷｉｅｎｅｒフィルタ導出用の誤差基準を導入した式である。
【０１５１】
【数８】
2016158196.tif 000010
【０１５２】
上記［数８］式において、μ＊（ωｘ，ωｙ）はμ（ωｘ，ωｙ）の複素共役を表す。また、ＳＹ（ωｘ，ωｙ）及びＮＹ（ωｘ，ωｙ）は、それぞれ輝度系画像データ（輝度データＹ、ＩＲ画像データ）の信号電力、ノイズ電力である。なお、詳細な共通復元フィルタＦ１の生成方法については、上記文献（国際公開第２０１４／１４８０７４号）を参照されたい。
【０１５３】
このような変形例３の共通復元フィルタＦ１を用いた点像復元処理を行うことにより、ＯＴＦの色毎（Ｒ、Ｇ、Ｂ、ＩＲ）のばらつきによる過補正を低減することができ、復元画像データの画質劣化が抑えられる。
【０１５４】
［第２実施形態の監視カメラ］
次に、本発明の第２実施形態の監視カメラについて説明を行う。上記第１実施形態の監視カメラ１０は、単板式の撮像素子２６により被写体の撮像を行う。これに対して、第２実施形態の監視カメラは、図１１に示すような３板式（３板方式ともいう）の撮像素子２６Ｒ，２６Ｇ，及び２６Ｂを用いて被写体の撮像を行う。ここで、図１１は３板式の撮像素子２６Ｒ，２６Ｇ，及び２６Ｂの一例を示した概略図である。
【０１５５】
３板式では、第１の撮像モード時において、ダイクロックミラーとプリズムとにより構成される色分離光学系６８を用いて可視光をＲ光及びＧ光及びＢ光にそれぞれ分離し、Ｒ光及びＧ光及びＢ光をそれぞれ撮像素子２６Ｒ，２６Ｇ，２６Ｂにより撮像する。これにより、３面のＲＧＢ画像データからなる第１の画像データＤ１が得られる。
【０１５６】
また、色分離光学系６８では、Ｒ光よりも長波長の光は撮像素子２６Ｒに入射する。このため、第２の撮像モード時において、近赤外光は撮像素子２６Ｒにより撮像される。これにより、第２の画像データＤ２として、１面のＩＲ（Ｒ）画像データが撮像素子２６Ｒから得られる。
【０１５７】
図１２は、第２実施形態の監視カメラ１０Ａの画像処理部３５Ａの機能ブロックである。なお、画像処理部３５Ａは、第１実施形態のデモザイク処理部４１として機能しない点を除けば、第１実施形態の画像処理部３５と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０１５８】
図１２に示すように、画像処理部３５Ａは、第１の撮像モードにおいて、画像取得部３９が撮像素子２６Ｒ，２６Ｇ，２６Ｂから第１の画像データＤ１を構成する３面のＲＧＢ画像データ（図中、「Ｒ」、「Ｇ」、「Ｂ」と表示）をそれぞれ取得する点と、３面のＲＧＢ画像データに対してゲイン補正処理部４０がホワイトバランス補正を行う点とを除けば、第１実施形態の画像処理部３５と同様の画像処理を行う。すなわち、第２実施形態においても、第１の撮像モードでは、３面のＲＧＢ画像データから生成された輝度データＹに対して点像復元処理部４４による点像復元処理を行う。
【０１５９】
一方、画像処理部３５Ａは、第２の撮像モードでは、第１実施形態の１面のＩＲ画像データと実質的に同じ１面のＩＲ（Ｒ）画像データに対して点像復元処理部４４による点像復元処理を行う点を除けば、第１実施形態の画像処理部３５と同様の画像処理を行う。ここで、第２実施形態により得られる輝度データＹ及びＩＲ（Ｒ）画像データの画素ピッチは、第１実施形態の輝度データＹ及びＩＲ画像データの画素ピッチと同じである。このため、第２実施形態の点像復元処理部４４は、第１実施形態と同じ共通復元フィルタＦ１を用いることができる。
【０１６０】
第２実施形態の点像復元処理部４４は、第１の撮像モード時には３面のＲＧＢ画像データから生成された輝度データＹに対し共通復元フィルタＦ１を用いて点像復元処理を行う。また、点像復元処理部４４は、第２の撮像モード時にはＩＲ（Ｒ）画像データに対し共通復元フィルタＦ１を用いて点像復元処理を行う。これ以降の処理は上記第１実施形態と同じであるため、説明は省略する。
【０１６１】
なお、第２実施形態の監視カメラ１０Ａの作用については、３面のＲＧＢ画像データ及び１面のＩＲ（Ｒ）画像データを取得して画像処理を行う点（デモザイク処理を行わない点等）を除けば、図９及び図１０に示した上記第１実施形態と基本的に同じであるので、ここでは説明は省略する。
【０１６２】
［第２実施形態の効果］
このように３板式の撮像素子２６Ｒ，２６Ｇ，２６Ｂを用いた第２実施形態の監視カメラ１０Ａにおいても、第１の撮像モードにより得られる第１の画像データ（輝度データＹ）と第２の撮像モードにより得られる第２の画像データＤ２（ＩＲ（Ｒ）画像データ）とに対して、１種類の共通復元フィルタＦ１を用いた点像復元処理を行うことができる。その結果、上記第１実施形態と同様の効果が得られる。
【０１６３】
［第３実施形態の監視カメラ］
次に、本発明の第３実施形態の監視カメラについて説明を行う。上記第１実施形態の監視カメラ１０は、点像復元処理部４４により輝度系画像データ（輝度データＹ、ＩＲ画像データ）に対する点像復元処理を行う。これに対して、第３実施形態の監視カメラでは、撮像素子２６のＲＧＢ画素によりそれぞれ得られた画像データに対して、ＲＧＢの色毎に異なる共通復元フィルタを用いて点像復元処理を行う。
【０１６４】
図１３は、第３実施形態の監視カメラ１０Ｂの画像処理部３５Ｂの機能ブロック図である。なお、監視カメラ１０Ｂは、画像処理部３５Ｂを除けば第１実施形態の監視カメラ１０と基本的に同じ構成であり、上記各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０１６５】
図１３に示すように、画像処理部３５Ｂは、前述の記憶部３６から読み出した画像処理用プログラム３７Ｂ（図４参照）を実行することにより、第１の撮像モード時には前述の画像取得部３９及びゲイン補正処理部４０及び第１の階調補正処理部４２の他に、点像復元処理部９３と、デモザイク処理部９４と、変換処理部９５として機能する。また、画像処理部３５Ｂは、第２の撮像モード時には、前述の画像取得部３９及びゲイン補正処理部４０及び第２の階調補正処理部４６の他に、点像復元処理部９３として機能する。
【０１６６】
画像取得部３９は、第１の撮像モード時において、撮像素子２６から第１の画像データＤ１を構成するモザイク状のＲＧＢ画像データ（図中、「Ｒｍ」、「Ｇｍ」、「Ｂｍ」と表示）を取得してゲイン補正処理部４０へ出力する。また、画像取得部３９は、第２の撮像モード時において、撮像素子２６から第２の画像データＤ２を構成するモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），ＩＲ（Ｂｍ）画像データ（図中、「ＩＲ（Ｒｍ）」、「ＩＲ（Ｇｍ）」、「ＩＲ（Ｂｍ）」と表示）を取得してゲイン補正処理部４０へ出力する。
【０１６７】
ゲイン補正処理部４０は、第１の撮像モード時には、画像取得部３９から入力されるモザイク状のＲＧＢ画像データに対してホワイトバランス補正を行い、補正後の第１の画像データＤ１を第１の階調補正処理部４２へ出力する。また、ゲイン補正処理部４０は、第２の撮像モード時には、画像取得部３９から入力されるモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），ＩＲ（Ｂｍ）画像データに対して感度差補正を行い、第２の階調補正処理部４６へ出力する。
【０１６８】
第３実施形態の第１の階調補正処理部４２は、第１の撮像モード時に、ゲイン補正処理部４０から入力されるモザイク状のＲＧＢ画像データに対し階調補正処理を行い、補正後の各画像データを点像復元処理部９３へ出力する。また、第２の階調補正処理部４６は、第２の撮像モード時に、ゲイン補正処理部４０から入力されるモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），ＩＲ（Ｂｍ）画像データに対し階調補正処理を行い、補正後の各画像データを点像復元処理部９３へ出力する。
【０１６９】
点像復元処理部９３は、第１の撮像モード時に、第１の階調補正処理部４２から入力されるモザイク状のＲＧＢ画像データに対して、復元フィルタ記憶部４９に記憶されている３種類の共通復元フィルタを用いて、ＲＧＢの色毎に点像復元処理を行う。また、点像復元処理部９３は、第２の撮像モード時に、第２の階調補正処理部４６から入力されるモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），ＩＲ（Ｂｍ）画像データに対し、前述の３種類の共通復元フィルタを用いてＲＧＢの色毎に点像復元処理を行う。
【０１７０】
このように第３実施形態では、撮像素子２６の同色画素から出力されたデモザイク処理前のモザイク状の画像データに対して点像復元処理を行う。このため、第１実施形態のように１面の画像データ（輝度データＹ及びＩＲ画像データ）に対して点像復元処理を行う場合と比較して、第３実施形態では復元フィルタの設計が難しくなる。従って、撮像素子
２６のＲＧＢの画素配列（すなわち、カラーフィルタ配列）は、前述の図３（Ａ）に示したベイヤー配列等の単純な配列であることが好ましい。
【０１７１】
３種類の共通復元フィルタは、Ｒ用共通復元フィルタＦ２Ｒ及びＧ用共通復元フィルタＦ２Ｇ及びＢ用共通復元フィルタＦ２Ｂである。Ｒ用共通復元フィルタＦ２Ｒは、第１の撮像モードにおけるモザイク状のＲ画像データと、第２の撮像モードにおけるモザイク状のＩＲ（Ｒｍ）画像データとに対する点像復元処理に共通に用いられる。Ｇ用共通復元フィルタＦ２Ｇは、第１の撮像モードにおけるモザイク状のＧ画像データと、第２の撮像モードにおけるモザイク状のＩＲ（Ｇｍ）画像データとに対する点像復元処理に共通に用いられる。Ｂ用共通復元フィルタＦ２Ｂは、第１の撮像モードにおけるモザイク状のＢ画像データと、第２の撮像モードにおけるモザイク状のＩＲ（Ｂｍ）画像データとに対する点像復元処理に共通に用いられる。
【０１７２】
このようなＲ用共通復元フィルタＦ２Ｒ及びＧ用共通復元フィルタＦ２Ｇ及びＢ用共通復元フィルタＦ２Ｂは、第１実施形態の復元フィルタ生成部５１とは異なる復元フィルタ生成部９６により生成される。
【０１７３】
＜復元フィルタ生成部の構成＞
復元フィルタ生成部９６は、大別して、前述の光学特性記憶部５２及び重み設定部５４の他に、重み付け平均処理部９７と、復元フィルタ算出部９８とを備える。
【０１７４】
第３実施形態の光学特性記憶部５２には、前述のＲ，Ｇ，Ｂ用の各光学特性５７Ｒ，５７Ｇ，５７Ｂの他に、本発明の第２の光学特性に相当するＩＲ（Ｒ）用光学特性５８Ｒと、ＩＲ（Ｇ）用光学特性５８Ｇと、ＩＲ（Ｂ）用光学特性５８Ｂとが、ＲＧＢ画素の各色画素別に記憶されている。ＩＲ（Ｒ）用光学特性５８Ｒは、撮像素子２６のＲ画素が感度をもつ波長帯域の近赤外光（図３（Ｂ）参照）に対する光学系の光学特性である。ＩＲ（Ｇ）用光学特性５８Ｇは、撮像素子２６のＧ画素が感度をもつ波長帯域の近赤外光（図３（Ｂ）参照）に対する光学系の光学特性である。ＩＲ（Ｂ）用光学特性５８Ｂは、撮像素子２６のＢ画素が感度をもつ波長帯域の近赤外光（図３（Ｂ）参照）に対する光学系の光学特性である。
【０１７５】
各光学特性５８Ｒ，５８Ｇ，及び５８Ｂは、前述のＭＴＦあるいはＯＴＦ（ＰＳＦ）などであり、監視カメラ１０Ｂの光学系の種類毎に予め測定されたものである。なお、インターネット等のネットワーク回線を介して各光学特性５８Ｒ，５８Ｇ，及び５８Ｂを取得して、光学特性記憶部５２に記憶させてもよい。
【０１７６】
図１４は、第３実施形態の重み付け平均処理部９７による重み付け平均処理を説明するための説明図である。図１４に示すように、重み付け平均処理部９７は、第１の光学特性（各光学特性５７Ｒ，５７Ｇ，５７Ｂ）と、第２の光学特性（各光学特性５８Ｒ，５８Ｇ，５８Ｂ）との重み付け平均をＲＧＢの色毎に行って、ＲＧＢの色毎の平均光学特性を算出する。これらＲＧＢの色毎の平均光学特性は、Ｒ用平均光学特性５９Ｒ及びＧ用平均光学特性５９Ｇ及びＢ用平均光学特性５９Ｂである。
【０１７７】
具体的に、重み付け平均処理部９７は、前述の重み設定部５４により設定された第１の重みα及び第２の重み（１−α）と、撮像素子２６のＲＧＢ画素の各々の可視光及び近赤外光の波長に対する感度を示す感度特性βＲ，βＧ，βＢとに基づき、ＲＧＢの色毎に第１の光学特性と第２の光学特性との重み付け平均を行う。
【０１７８】
ここで、感度特性βＲは、Ｒ画素の全波長域の光（可視光及び赤外光）に対しての全入力感度の大きさに対する、可視光に対しての入力感度の大きさを示す（図３（Ｂ）参照）。また、感度特性βＧは、Ｇ画素の全波長域の光（可視光及び赤外光）に対しての全入力感度の大きさに対する、可視光に対しての入力感度の大きさを示す（図３（Ｂ）参照）。また、感度特性βＢは、Ｂ画素の全波長域の光（可視光及び赤外光）に対しての全入力感度の大きさに対する、可視光に対しての入力感度の大きさを示す（図３（Ｂ）参照）。なお、これら感度特性βＲ，βＧ，βＢは予め重み付け平均処理部９７に記憶されているが、前述の重み設定部５４にて個々の数値を変更可能である。
【０１７９】
重み付け平均処理部９７は、第１の光学特性（各光学特性５７Ｒ，５７Ｇ，及び５７Ｂ）と、第２の光学特性（各光学特性５８Ｒ，５８Ｇ，及び５８Ｂ）とがそれぞれＭＴＦである場合、以下の式により、ＭＴＦで表されるＲ，Ｇ，及びＢ用平均光学特性５９Ｒ，５９Ｇ，及び５９Ｂを算出する。
【０１８０】
【数９】
2016158196.tif 000011
【０１８１】
上記［数９］式において、「ＭＴＦＲ（ＩＲ）」はＩＲ（Ｒ）用光学特性５８Ｒであり、「ＭＴＦＧ（ＩＲ）」はＩＲ（Ｇ）用光学特性５８Ｇであり、「ＭＴＦＢ（ＩＲ）」はＩＲ（Ｂ）用光学特性５８Ｂである。また、「ＭＴＦＲ＋ＩＲ」はＲ用平均光学特性５９Ｒであり、「ＭＴＦＧ＋ＩＲ（ωｘ，ωｙ）」はＧ用平均光学特性５９Ｇであり、「ＭＴＦＢ＋ＩＲ」はＢ用平均光学特性５９Ｂである。
【０１８２】
一方、ＯＴＦ（ＰＳＦ）で表される各平均光学特性５９Ｒ，５９Ｇ，５９Ｂは、ＭＴＦで表される各平均光学特性５９Ｒ，５９Ｇ，及び５９Ｂと等価である。このため、重み付け平均処理部９７は、上記［数９］式の「ＭＴＦ」を「ＯＴＦ」に置き換えた式（記載は省略）により、ＯＴＦで表される各平均光学特性５９Ｒ，５９Ｇ，及び５９Ｂを算出する。
【０１８３】
重み付け平均処理部９７は、算出した各平均光学特性５９Ｒ，５９Ｇ，及び５９Ｂ［ＭＴＦまたはＯＴＦ（ＰＳＦ）］を復元フィルタ算出部９８へ出力する。
【０１８４】
図１３に戻って、復元フィルタ算出部９８は、重み付け平均処理部９７より入力される各平均光学特性５９Ｒ，５９Ｇ，５９Ｂ［ＭＴＦまたはＯＴＦ（ＰＳＦ）］に基づき、上記［数１］式からＲＧＢの色毎のＲ，Ｇ，Ｂ用共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂをそれぞれ算出する。そして、復元フィルタ算出部９８は、各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂを有線または無線のネットワーク回線、或いはメモリカードの情報記録媒体を介して復元フィルタ記憶部４９に記憶させる。
【０１８５】
＜共通復元フィルタを用いた点像復元処理について＞
点像復元処理部９３は、第１の撮像モード時に、第１の階調補正処理部４２から入力されるモザイク状のＲＧＢ画像データに対し、復元フィルタ記憶部４９から読み出した各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂを用いて、ＲＧＢの色毎に点像復元処理（振幅補正及び位相補正）を行う。そして、点像復元処理部９３は、点像復元処理後のモザイク状のＲＧＢ画像データをデモザイク処理部９４へ出力する。
【０１８６】
また、点像復元処理部９３は、第２の撮像モード時に、第２の階調補正処理部４６から入力されるモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データに対し、復元フィルタ記憶部４９から読み出した各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂを用いて、ＲＧＢの色毎に点像復元処理（振幅補正及び位相補正）を行う。点像復元処理後のモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データは、画像処理後の第２の画像データＤ２として画像処理部３５Ｂから入出力インタフェース３２へ出力される。
【０１８７】
＜画像処理部の他の構成＞
デモザイク処理部９４は、第１の撮像モード時に、点像復元処理部９３から入力されるモザイク状のＲＧＢ画像データに対しデモザイク処理を行って、３面のＲＧＢ画像データ（図中、「Ｒ」、「Ｇ」、及び「Ｂ」により表示）を生成する。そして、デモザイク処理部９４は、デモザイク処理後の３面のＲＧＢ画像データを変換処理部９５へ出力する。
【０１８８】
変換処理部９５は、第１の撮像モード時に、デモザイク処理部９４から入力される３面のＲＧＢ画像データを、輝度成分を示す輝度データＹと色差データＣｒ、Ｃｂとに変換する。これにより、輝度データＹと色差データＣｒ、Ｃｂとからなる第１の画像データＤ１が、画像処理部３５Ｂから入出力インタフェース３２へ出力される。
【０１８９】
［第３実施形態の監視カメラの作用］
次に、図１５及び図１６を用いて上記構成の監視カメラ１０Ｂの作用（本発明の撮像装置の画像処理方法）について説明を行う。ここで、図１５は、復元フィルタ生成部９６による各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂの生成処理の流れを示すフローチャートである。また、図１６は、監視カメラ１０Ｂの撮像処理及び画像処理の流れを示すフローチャートである。
【０１９０】
＜共通復元フィルタの生成処理＞
監視カメラ１０Ｂの復元フィルタ記憶部４９には、復元フィルタ生成部９６によりに生成された各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂが予め記憶される。図１５に示すように、復元フィルタ生成部９６は、各光学特性５７Ｒ，５７Ｇ，５７Ｂ及び各光学特性５８Ｒ，５８Ｇ，５８Ｂを予め測定または取得して、光学特性記憶部５２に記憶させる（ステップＳ３１）。
【０１９１】
また、前述の第１実施形態と同様に、重み設定部５４が、第１の重みα及び第２の重み（１−α）の設定を行い、これら第１の重みα及び第２の重み（１−α）を重み付け平均処理部９７に入力する（ステップＳ３２）。なお、重み付け平均処理部９７には、予め測定または取得された前述の感度特性βＲ，βＧ，βＢが記憶されている。
【０１９２】
そして、ユーザが前述の操作入力部にて各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂの生成開始操作を行うと、重み付け平均処理部９７は、光学特性記憶部５２から各光学特性５７Ｒ，５７Ｇ，及び５７Ｂ（第１の光学特性）及び各光学特性５８Ｒ，５８Ｇ，及び５８Ｂ（第２の光学特性）を読み出す（ステップＳ３３）。
【０１９３】
次いで、重み付け平均処理部９７は、前述の［数９］式またはこの［数９］式の「ＭＴＦ」を「ＯＴＦ」に置き換えた数式を用いて、ＲＧＢの色毎の各平均光学特性５９Ｒ，５９Ｇ，５９Ｂ［ＭＴＦまたはＯＴＦ（ＰＳＦ）］をそれぞれ算出する。すなわち、重み付け平均処理部９７は、第１の重みαと第２の重み（１−α）と感度特性βＲ，βＧ，βＢとに基づき、第１の光学特性（各光学特性５７Ｒ，５７Ｇ，５７Ｂ）と、第２の光学特性（各光学特性５７Ｒ，５７Ｇ，５７Ｂ）との重み付け平均をＲＧＢの色毎に行って、各平均光学特性５９Ｒ，５９Ｇ，５９Ｂをそれぞれ算出する（ステップＳ３４）。これらＲＧＢの色毎の各平均光学特性５９Ｒ，５９Ｇ，５９Ｂは、重み付け平均処理部９７から復元フィルタ算出部９８へ出力される。
【０１９４】
復元フィルタ算出部９８は、重み付け平均処理部９７から入力された各平均光学特性５９Ｒ，５９Ｇ，５９Ｂ［ＭＴＦまたはＯＴＦ（ＰＳＦ）］に基づき、上記［数１］式からＲＧＢの色毎の各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂをそれぞれ算出する（ステップＳ３５）。この復元フィルタ算出部９８により算出された各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂは、監視カメラ１０Ｂの復元フィルタ記憶部４９に記憶される。以上で復元フィルタ生成部９６による各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂの生成処理が完了する。
【０１９５】
＜第３実施形態の監視カメラの撮像処理及び画像処理：第１の撮像モード＞
図１６に示すように、第１の撮像モードの監視カメラ１０ＢのステップＳ４０からステップＳ４３までの処理は、前述の図１０に示した第１実施形態のステップＳ１０からステップＳ１３までの処理と基本的に同じであるので、ここでは説明を省略する。
【０１９６】
ステップＳ４３までの処理が完了すると、画像処理部３５Ｂの画像取得部３９は、撮像素子２６から第１の画像データＤ１を構成するモザイク状のＲＧＢ画像データ（Ｒｍ，Ｇｍ，Ｂｍ）を取得してゲイン補正処理部４０へ出力する（本発明の画像取得ステップに相当）。これらＲＧＢ画像データは、ゲイン補正処理部４０でのホワイトバランス補正と、第１の階調補正処理部４２での階調補正とを経て、点像復元処理部９３に入力される。
【０１９７】
点像復元処理部９３は、第１の階調補正処理部４２から入力されるモザイク状のＲＧＢ画像データに対し、復元フィルタ記憶部４９から読み出した各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂを用いて、ＲＧＢの色毎に点像復元処理を行う（ステップＳ４４，Ｓ４５、本発明の点像復元処理ステップに相当）。各平均光学特性５９Ｒ，５９Ｇ，５９Ｂ［ＭＴＦ］に基づき生成された各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂを用いた場合には、ＲＧＢ画像データの振幅補正が行われる。また、各平均光学特性５９Ｒ，５９Ｇ，５９Ｂ［ＯＴＦ（ＰＳＦ）］に基づき生成された各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂを用いた場合には、ＲＧＢ画像データの振幅補正及び位相補正が行われる。点像復元処理後のモザイク状のＲＧＢ画像データは、点像復元処理部９３からデモザイク処理部９４へ出力される。
【０１９８】
デモザイク処理部９４は、点像復元処理部９３から入力されるモザイク状のＲＧＢ画像データに対してデモザイク処理を行って３面のＲＧＢ画像データを生成する（ステップＳ４６）。デモザイク処理後の３面のＲＧＢ画像データは、デモザイク処理部９４から変換処理部９５へ出力される。
【０１９９】
変換処理部９５は、デモザイク処理部９４から入力される３面のＲＧＢ画像データを、輝度データＹと色差データＣｒ、Ｃｂとに変換する（ステップＳ４７）。
【０２００】
変換処理部９５による変換処理後、輝度データＹと色差データＣｒ、Ｃｂとからなる画像処理後の第１の画像データＤ１が、画像処理部３５Ｂから入出力インタフェース３２へ出力される（ステップＳ４８）。
【０２０１】
以下、撮像モードが第１の撮像モードから第２の撮像モードに切り替えられるまでの間、前述のステップＳ４２からステップＳ４８までの処理が繰り返し実行される（ステップＳ４９でＮＯ）。そして、後述のように、撮像モードが第１の撮像モードから第２の撮像モードに切り替えられると、第１の撮像モードにおける撮像処理及び画像処理が終了する（ステップＳ４９でＹＥＳ）。
【０２０２】
＜第３実施形態の監視カメラの撮像処理及び画像処理：第２の撮像モード＞
第２の撮像モードの監視カメラ１０ＢのステップＳ５１からステップＳ５３までの処理は、前述の図１０に示した第１実施形態のステップＳ２１からステップＳ２３までの処理と基本的に同じであるので、ここでは説明を省略する。
【０２０３】
ステップＳ５３までの処理が完了すると、画像取得部３９は、撮像素子２６から第２の画像データＤ２を構成するモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データを取得してゲイン補正処理部４０へ出力する（本発明の画像取得ステップに相当）。これらＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データは、第２の階調補正処理部４６での階調補正を経て、点像復元処理部９３に入力される。
【０２０４】
点像復元処理部９３は、第２の階調補正処理部４６から入力されるモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データに対し、復元フィルタ記憶部４９から読み出した各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂを用いて、ＲＧＢの色毎に点像復元処理を行う（ステップＳ５４，Ｓ５５、本発明の点像復元処理ステップに相当）。各平均光学特性５９Ｒ，５９Ｇ，及び５９Ｂ［ＭＴＦ］に基づき生成された各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂを用いた場合には、ＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データの振幅補正が行われる。また、各平均光学特性５９Ｒ，５９Ｇ，５９Ｂ［ＯＴＦ（ＰＳＦ）］に基づき生成された各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂを用いた場合には、ＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データの振幅補正及び位相補正が行われる。
【０２０５】
点像復元処理後のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データは、画像処理後の第２の画像データＤ２として画像処理部３５Ｂから入出力インタフェース３２へ出力される（ステップＳ５６）。
【０２０６】
以下、撮像モードが第２の撮像モードから第１の撮像モードに切り替えられるまでの間、前述のステップＳ５２からステップＳ５６までの処理が繰り返し実行される（ステップＳ５７でＮＯ）。そして、撮像モードが第２の撮像モードから第１の撮像モードに切り替えられると、第２の撮像モードにおける撮像処理及び画像処理が終了する（ステップＳ５７でＹＥＳ）。
【０２０７】
以下同様にして、「昼間」と「夜間」の切り替わりに応じて、前述の第１の撮像モードにおける撮像処理及び画像処理と、前述の第２の撮像モードにおける撮像処理及び画像処理とが交互に繰り返し実行される。
【０２０８】
［第３実施形態の効果］
以上のように、第３実施形態の監視カメラ１０Ｂでは、第１の撮像モードで取得された第１の画像データＤ１（モザイク状のＲＧＢ画像データ）と、第２の撮像モードで取得された第２の画像データＤ２（モザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データ）とに対して、ＲＧＢの色毎にそれぞれ各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂを用いた点像復元処理を行うことができる。その結果、撮像モードごとに用意された復元フィルタの切り替え及びこれら復元フィルタを記憶するメモリ容量の確保などが不要となる。これにより、点像復元処理に必要なリソースを削減することができる。
【０２０９】
また、第３実施形態の監視カメラ１０Ｂでは、ＲＧＢの各色の画像データに対して、異なる各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，及びＦ２Ｂを用いて点像復元処理を行うので、輝度系画像データに点像復元処理を行う第１実施形態よりも復元画像データの画質劣化を低減することができる。
【０２１０】
［第３実施形態の変形例］
上記第３実施形態においても、上記第１実施形態の変形例で説明したように、各平均光学特性５９Ｒ，５９Ｇ，５９Ｂと監視カメラ１０Ｂの光学系の実際の光学特性とが乖離している場合には、過補正や画質劣化が生じ得る。このため、上記第１実施形態の変形例１で説明したような復元画像データのＭＴＦ値の過補正の防止と、上記第１実施形態の変形例２で説明したような復元画像データの位相の過補正の防止とを行ってもよい。
【０２１１】
また、上記第１実施形態の変形例３で説明したような光学伝達関数（ＯＴＦ）の色毎のばらつきによる過補正を低減したタフネス性の高い各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂを生成してもよい。この場合には、上記［数５］式及び［数６］式の代わりに、次式を用いてＯＴＦの平均μ及び分散σ２を、空間周波数（ωｘ，ωｙ）毎に算出する。
【０２１２】
【数１０】
2016158196.tif 000012
【０２１３】
【数１１】
2016158196.tif 000013
【０２１４】
ここで、上記［数１０］式及び［数１１］式において、Ｘ＝｛Ｒ，Ｇ，Ｂ｝である。上記［数１０］式及び［数１１］式により表されるＯＴＦの平均μ及び分散σ２に基づき、上記［数８］式から各共通復元フィルタＦ２Ｒ，Ｆ２Ｇ，Ｆ２Ｂの周波数特性ｄ（ωｘ，ωｙ）を算出することができる。
【０２１５】
［第４実施形態の監視カメラ］
次に、本発明の第４実施形態の監視カメラについて説明を行う。上記第３実施形態の監視カメラ１０Ｂは、単板式の撮像素子２６により被写体の撮像を行うが、第４実施形態の監視カメラは、前述の図１１に示した３板式の撮像素子２６Ｒ，２６Ｇ，２６Ｂを用いて被写体の撮像を行う。
【０２１６】
図１７は、第４実施形態の監視カメラ１０Ｃの画像処理部３５Ｃの機能ブロック図である。なお、監視カメラ１０Ｃは、画像処理部３５Ｃを除けば第３実施形態の監視カメラ１０Ｂ（図１３参照）と基本的に同じ構成であり、上記各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０２１７】
図１７に示すように、画像処理部３５Ｃは、前述の記憶部３６から読み出した画像処理用プログラム３７Ｂ（図４参照）を実行することにより、第３実施形態のゲイン補正処理部４０の代わりにゲイン補正処理部４０Ａとして機能し、第３実施形態の点像復元処理部９３の代わりに点像復元処理部９３Ａとして機能し、デモザイク処理部９４としては機能しない点を除けば、第３実施形態の画像処理部３５Ｂ（図１３参照）と基本的に同じ構成である。
【０２１８】
第４実施形態の画像取得部３９は、第１の撮像モードにおいて、撮像素子２６Ｒ，２６Ｇ，２６Ｂから第１の画像データＤ１を構成する３面のＲＧＢ画像データ（図中では「Ｒ」、「Ｇ」、及び「Ｂ」と表示）を取得する。また、画像取得部３９は、第２の撮像モードにおいて、Ｒ画素のみで構成される撮像素子２６Ｒから、第２の画像データＤ２として、１面のＩＲ（Ｒ）画像データ（図中では「ＩＲ（Ｒ）」と表示）を取得する。
【０２１９】
ゲイン補正処理部４０Ａは、第１の撮像モード時に、画像取得部３９が撮像素子２６Ｒ，２６Ｇ，２６Ｂから取得した３面のＲＧＢ画像データに対しホワイトバランス補正を行う。また、ゲイン補正処理部４０Ａは、第２の撮像モード時に、画像取得部３９が撮像素子２６Ｒから取得した１面のＩＲ（Ｒ）画像データをそのまま第２の階調補正処理部４６へ出力する。
【０２２０】
第１の階調補正処理部４２は、第１の撮像モード時に、３面のＲＧＢ画像データに対し階調補正を行った後、点像復元処理部９３Ａへ出力する。一方、第２の階調補正処理部４６は、第２の撮像モード時に、１面のＩＲ（Ｒ）画像データに対し階調補正を行った後、点像復元処理部９３Ａへ出力する。
【０２２１】
点像復元処理部９３Ａは、ＲＧＢ画素によりそれぞれ得られた画像データに対して、ＲＧＢの色毎に異なる復元フィルタを用いて点像復元処理を行う点では、第３実施形態の点像復元処理部９３と基本的には同じである。ただし、点像復元処理部９３Ａは、第１の撮像モードにおいて撮像素子２６Ｒにより得られた１面のＲ画像データと、第２の撮像モードにおいて撮像素子２６Ｒにより得られた１面のＩＲ（Ｒ）画像データとに対して、Ｒ用共通復元フィルタＦ３Ｒを用いて点像復元処理を行う。一方、点像復元処理部９３Ａは、第１の撮像モードにおいて撮像素子２６Ｇ，及び２６Ｂにより得られた１面のＧ，Ｂ画像データに対しては、それぞれ異なるＧ，Ｂ用復元フィルタＦ（Ｇ），及びＦ（Ｂ）を用いて点像復元処理を行う。
【０２２２】
このようなＲ用共通復元フィルタＦ３Ｒ及びＧ，Ｂ用復元フィルタＦ（Ｇ），及びＦ（Ｂ）は、第３実施形態の復元フィルタ生成部９６とは異なる復元フィルタ生成部９６Ａにより生成される。
【０２２３】
＜復元フィルタ生成部の構成＞
復元フィルタ生成部９６Ａは、大別して、前述の光学特性記憶部５２及び重み設定部５４の他に、重み付け平均処理部９７Ａと、復元フィルタ算出部９８Ａとを備える。
【０２２４】
第４実施形態の光学特性記憶部５２には、前述のＲ，Ｇ，及びＢ用の各光学特性５７Ｒ，５７Ｇ，及び５７Ｂの他に、前述のＩＲ（Ｒ）用光学特性５８Ｒが記憶されている。第４実施形態におけるＩＲ（Ｒ）用光学特性５８Ｒは、撮像素子２６ＲのＲ画素が感度をもつ波長帯域の近赤外光（図３（Ｂ）参照）に対する光学系の光学特性［ＭＴＦまたはＯＴＦ（ＰＳＦ）］である。
【０２２５】
重み付け平均処理部９７Ａは、上記第３実施形態と同様に、重み設定部５４により設定された第１の重みα及び第２の重み（１−α）と、感度特性βＲとに基づき、Ｒ用光学特性５７ＲとＩＲ（Ｒ）用光学特性５８Ｒとの重み付け平均を行って、Ｒ用平均光学特性５９Ｒを算出する。そして、重み付け平均処理部９７Ａは、算出したＲ用平均光学特性５９Ｒ［ＭＴＦまたはＯＴＦ（ＰＳＦ）］を復元フィルタ算出部９８Ａへ出力する。
【０２２６】
復元フィルタ算出部９８Ａは、重み付け平均処理部９７Ａから入力されるＲ用平均光学特性５９Ｒに基づき、上記［数１］式からＲ用共通復元フィルタＦ３Ｒを生成する。このＲ用共通復元フィルタＦ３Ｒは、モザイク状の画像データに対応した第３実施形態のＲ用共通復元フィルタＦ２Ｒとは異なり、１面の画像データに対応した復元フィルタである。
【０２２７】
また、復元フィルタ算出部９８Ａは、光学特性記憶部５２から読み出したＧ，Ｂ用の各光学特性５７Ｇ，５７Ｂに基づき、上記［数１］式からＧ用復元フィルタＦ（Ｇ）、Ｂ用復元フィルタＦ（Ｂ）をそれぞれ生成する。そして、復元フィルタ算出部９８Ａは、Ｒ用共通復元フィルタＦ３Ｒ及びＧ，Ｂ用復元フィルタＦ（Ｇ），Ｆ（Ｂ）を有線または無線のネットワーク回線、或いはメモリカードの情報記録媒体を介して復元フィルタ記憶部４９に記憶させる。
【０２２８】
＜第４実施形態の点像復元処理について＞
点像復元処理部９３Ａは、第１の撮像モード時において、第１の階調補正処理部４２から入力された３面のＲＧＢ画像データのうちの、Ｒ画像データに対し、復元フィルタ記憶部４９から読み出したＲ用共通復元フィルタＦ３Ｒを用いて点像復元処理（振幅補正及び位相補正）を行う。また、点像復元処理部９３Ａは、Ｇ画像データ及びＢ画像データに対して、復元フィルタ記憶部４９から読み出したＧ，及びＢ用復元フィルタＦ（Ｇ），及びＦ（Ｂ）をそれぞれ用いて、Ｇ，及びＢの色毎に点像復元処理（振幅補正及び位相補正）を行う。点像復元処理後の３面のＲＧＢ画像データは、変換処理部９５にて変換処理された後、画像処理後の第１の画像データＤ１として、画像処理部３５Ｃから入出力インタフェース３２へ出力される。
【０２２９】
一方、点像復元処理部９３Ａは、第２の撮像モード時において、第２の階調補正処理部４６から入力された１面のＩＲ（Ｒ）画像データに対して、復元フィルタ記憶部４９から読み出したＲ用共通復元フィルタＦ３Ｒを用いて点像復元処理（振幅補正及び位相補正）を行う。点像復元処理後のＩＲ（Ｒ）画像データは、画像処理後の第２の画像データＤ２として、画像処理部３５Ｃから入出力インタフェース３２へ出力される。
【０２３０】
なお、第４実施形態の監視カメラ１０Ｃの作用については、１面のＲ画像データ及びＩＲ（Ｒ）画像データに対してＲ用共通復元フィルタＦ３Ｒを用いて点像復元処理を行い、１面のＧ，Ｂ画像データに対してはＧ，Ｂ用復元フィルタＦ（Ｇ），Ｆ（Ｂ）を用いて点像復元処理を行う点を除けば、上記第３実施形態（図１５及び図１６参照）と基本的に同じである。このため、具体的な説明は省略する。
【０２３１】
［第４実施形態の効果］
このように第４実施形態の監視カメラ１０Ｃでは、第１の撮像モードにより得られる第１の画像データＤ１（Ｒ画像データ）と、第２の撮像モードにより得られる第２の画像データＤ２（ＩＲ（Ｒ）画像データ）とに対して、１種類のＲ用共通復元フィルタＦ３Ｒを用いた点像復元処理を行うことができる。すなわち、第４実施形態においても監視カメラ１０Ｃに記憶させておく復元フィルタの種類は第３実施形態と同様の３種類であるので、上記第３実施形態と同様の効果が得られる。
【０２３２】
［第５実施形態の監視カメラ］
次に、本発明の第５実施形態の監視カメラについて説明を行う。上記第１実施形態の監視カメラ１０は、ＲＧＢ画素が撮像面にマトリクス状に配置された単板式の撮像素子２６により被写体の撮像を行う。これに対して、第５実施形態の監視カメラは、ＲＧＢ画素及びＩＲ画素が撮像面にマトリクス状に配置された単板式の撮像素子２６により被写体の撮像を行う。
【０２３３】
図１８（Ａ）は、第５実施形態の撮像素子２６の撮像面に設けられている画素の拡大図である。また、図１８（Ｂ）は、図１８（Ａ）に示した画素のカラーフィルタの分光透過率特性を説明するための説明図である。
【０２３４】
図１８（Ａ）に示すように、第５実施形態の撮像素子２６の撮像面には、前述のＲＧＢ画素に加えて、マイクロレンズと近赤外光透過フィルタと光電変換部とを含んで構成されるＩＲ画素（図中、ＩＲと表示）が配列されている。このＩＲ画素は、本発明の第２の画素に相当するものである。そして、本実施形態では、ＲＧＢ画素における同色画素間の画素ピッチとＩＲ画素の画素ピッチとが同じになるように、ＲＧＢ画素及びＩＲ画素が撮像面に配列されている。すなわち、ＲＧＢ画素における同色画素の配列パターンと、ＩＲ画素の配列パターンとが同じパターンになる。
【０２３５】
図１８（Ｂ）に示すように、ＩＲ画素は、近赤外光の波長帯域のみに感度を有している。第２の撮像モードにおいて撮像光路ＬからＩＲカットフィルタ２５が退避された場合、ＩＲ画素には近赤外光のみが入射する。なお、前述の通りＲＧＢ画素も近赤外光の波長帯域に感度を有しているが、本実施形態ではＩＲ画素のみから第２の画像データＤ２を取得するものとする。
【０２３６】
図１９は、第５実施形態の監視カメラ１０Ｄの画像処理部３５Ｄの機能ブロック図である。画像処理部３５Ｄは、第１の撮像モード時に、画像取得部３９が撮像素子２６から取得した第１の画像データＤ１を構成するモザイク状のＲＧＢ画像データ（「Ｒｍ」、「Ｇｍ」、「Ｂｍ」）に対し、点像復元処理を含む各種画像処理を行う。一方、画像処理部３５Ｄは、第２の撮像モード時に、画像取得部３９が撮像素子２６から第２の画像データＤ２として取得したモザイク状のＩＲｍ画像データ（図中、「ＩＲｍ」と表示）に対し、点像復元処理を含む各種画像処理を行う。
【０２３７】
画像処理部３５Ｄは、第３実施形態のゲイン補正処理部４０及び点像復元処理部９３及びデモザイク処理部９４とは異なるゲイン補正処理部４０Ｂと、点像復元処理部１０１と、デモザイク処理部１０２として機能する点を除けば、第３実施形態の画像処理部３５Ｂ（図１３参照）と基本的に同じ構成である。このため、上記各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０２３８】
ゲイン補正処理部４０Ｂは、第１の撮像モード時に、画像取得部３９が取得したモザイク状のＲＧＢ画像データに対しホワイトバランス補正を行う。補正後のＲＧＢ画像データは、第１の階調補正処理部４２により階調補正された後、点像復元処理部１０１に入力される。
【０２３９】
一方、ゲイン補正処理部４０Ｂは、第２の撮像モード時に、画像取得部３９が取得したモザイク状のＩＲｍ画像データをそのまま第２の階調補正処理部４６へ出力する。ＩＲｍ画像データは、第２の階調補正処理部４６により階調補正された後、点像復元処理部１０１に入力される。
【０２４０】
点像復元処理部１０１は、モザイク状の画像データに対して点像復元処理を行うという点を除けば、上記第４実施形態の点像復元処理部９３Ａ（図１７参照）と基本的に同じである。すなわち、第５実施形態の点像復元処理部１０１は、第１の撮像モードにより撮像素子２６のＲ画素により得られたモザイク状のＲ画像データと、第２の撮像モードにより撮像素子２６のＩＲ画素により得られたモザイク状のＩＲｍ画像データとに対し、Ｒ用共通復元フィルタＦ４Ｒを用いて点像復元処理を行う。前述の図１８（Ａ）に示したように、撮像素子２６のＲ画素とＩＲ画素とは同じ画素ピッチで配列されており、配列パターンも同じであるので、同じＲ用共通復元フィルタＦ４Ｒを用いて点像復元処理を行うことができる。
【０２４１】
一方、点像復元処理部１０１は、第１の撮像モードにおける撮像素子２６のＧ,及びＢ画素により得られたモザイク状のＧ，及びＢ画像データに対しては、それぞれ異なるＧ，及びＢ用復元フィルタＦ（Ｇｍ），及びＦ（Ｂｍ）を用いて点像復元処理を行う。
【０２４２】
このようなＲ用共通復元フィルタＦ４Ｒ及びＧ，Ｂ用復元フィルタＦ（Ｇｍ），Ｆ（Ｂｍ）は、第４実施形態の復元フィルタ生成部９６Ａとは異なる復元フィルタ生成部９６Ｂにより生成される。
【０２４３】
＜復元フィルタ生成部の構成＞
復元フィルタ生成部９６Ｂは、大別して、前述の光学特性記憶部５２及び重み設定部５４の他に、重み付け平均処理部９７Ｂと、復元フィルタ算出部９８Ｂとを備える。
【０２４４】
第５実施形態の光学特性記憶部５２には、前述の各光学特性５７Ｒ，５７Ｇ，及び５７Ｂの他に、撮像素子２６のＩＲ画素が感度をもつ波長帯域の近赤外光に対する監視カメラ１０Ｄの光学特性であるＩＲ用光学特性１０３［ＭＴＦまたはＯＴＦ（ＰＳＦ）］が記憶されている。
【０２４５】
重み付け平均処理部９７Ｂは、上記第４実施形態と同様に、重み設定部５４により設定された第１の重みα及び第２の重み（１−α）と、感度特性βＲとに基づき、Ｒ用光学特性５７ＲとＩＲ用光学特性１０３との重み付け平均を行って、Ｒ用平均光学特性１０４を算出する。そして、重み付け平均処理部９７Ｂは、算出したＲ用平均光学特性１０４［ＭＴＦまたはＯＴＦ（ＰＳＦ）］を復元フィルタ算出部９８Ｂへ出力する。
【０２４６】
復元フィルタ算出部９８Ｂは、重み付け平均処理部９７Ｂから入力されるＲ用平均光学特性１０４に基づき、上記［数１］式からモザイク状の画像データの点像復元処理に対応したＲ用共通復元フィルタＦ４Ｒを生成する。また、復元フィルタ算出部９８Ｂは、光学特性記憶部５２から読み出したＧ，及びＢ用の各光学特性５７Ｇ，及び５７Ｂに基づき、上記［数１］式からモザイク状の画像データの点像復元処理に対応したＧ用復元フィルタＦ（Ｇｍ）、及びＢ用復元フィルタＦ（Ｂｍ）をそれぞれ生成する。そして、復元フィルタ算出部９８Ｂは、Ｒ用共通復元フィルタＦ４Ｒ及びＧ，Ｂ用復元フィルタＦ（Ｇｍ），Ｆ（Ｂｍ）を有線または無線のネットワーク回線、或いはメモリカードの情報記録媒体を介して復元フィルタ記憶部４９に記憶させる。
【０２４７】
＜第５実施形態の点像復元処理について＞
点像復元処理部１０１は、第１の撮像モード時に、第１の階調補正処理部４２から入力されたモザイク状のＲＧＢ画像データのうちのＲ画像データに対し、復元フィルタ記憶部４９から読み出したＲ用共通復元フィルタＦ４Ｒを用いて点像復元処理（振幅補正及び位相補正）を行う。また、点像復元処理部１０１は、Ｇ，Ｂ画像データに対して、復元フィルタ記憶部４９から読み出したＧ，Ｂ用復元フィルタＦ（Ｇｍ），Ｆ（Ｂｍ）をそれぞれ用いて、Ｇ，Ｂの色毎に点像復元処理（振幅補正及び位相補正）を行う。そして、点像復元処理部１０１は、点像復元処理後のモザイク状のＲＧＢ画像データをデモザイク処理部１０２へ出力する。
【０２４８】
一方、点像復元処理部１０１は、第２の撮像モード時において、第２の階調補正処理部４６から入力されたモザイク状のＩＲｍ画像データに対し、復元フィルタ記憶部４９から読み出したＲ用共通復元フィルタＦ４Ｒを用いて点像復元処理（振幅補正及び位相補正）を行う。そして、点像復元処理部１０１は、点像復元処理後のモザイク状のＩＲｍ画像データをデモザイク処理部１０２へ出力する。
【０２４９】
＜第５実施形態の他の構成について＞
デモザイク処理部１０２は、第１の撮像モード時において、第３実施形態のデモザイク処理部９４（図１３参照）と同様に、モザイク状のＲＧＢ画像データに対してデモザイク処理を行って３面のＲＧＢ画像データを生成する。３面のＲＧＢ画像データは、変換処理部９５により輝度データＹと色差データＣｒ、Ｃｂとに変換される。そして、輝度データＹと色差データＣｒ、Ｃｂとからなる画像処理後の第１の画像データＤ１が、画像処理部３５Ｄから入出力インタフェース３２へ出力される。
【０２５０】
一方、デモザイク処理部１０２は、第２の撮像モード時において、点像復元処理部１０１から入力されるモザイク状のＩＲｍ画像データに対し、デモザイク処理を行って１面のＩＲ画像データ（図中、「ＩＲ」と表示）を生成する。このＩＲ画像データは、画像処理後の第２の画像データＤ２として、画像処理部３５Ｄから入出力インタフェース３２へ出力される。
【０２５１】
なお、第５実施形態の監視カメラ１０Ｄの作用は、モザイク状のＲ画像データ及びＩＲｍ画像データに対しＲ用共通復元フィルタＦ４Ｒを用いて点像復元処理を行う点と、点像復元処理後のモザイク状のＩＲｍ画像データにデモザイク処理を行う点とを除けば、上記第３実施形態（図１６参照）と基本的に同じである。このため、具体的な説明は省略する。
【０２５２】
このように第５実施形態の監視カメラ１０Ｄでは、第１の撮像モードにより得られる第１の画像データＤ１（モザイク状のＲ画像データ）と、第２の撮像モードにより得られるモザイク状の第２の画像データＤ２（ＩＲｍ画像データ）とに対して、１種類のＲ用共通復元フィルタＦ４Ｒを用いた点像復元処理を行うことができる。すなわち、第５実施形態においても監視カメラ１０Ｄに記憶させておく復元フィルタの種類は第３実施形態と同様の３種類であるので、上記第３実施形態と同様の効果が得られる。
【０２５３】
［第５実施形態の変形例］
上記第５実施形態では、撮像素子２６のＲ画素及びＩＲ画素と、Ｇ画素と、Ｂ画素とでそれぞれ得られた画像データに対して、Ｒ（ＩＲ）、Ｇ、Ｂの色毎に異なる復元フィルタを用いて点像復元処理を行っているが、上記第１実施形態により説明したような輝度系画像データに対する点像復元処理を行ってもよい。この場合、上記の［数２］式における「ＭＴＦＩＲ」と、［数３］式における「ＯＴＦＩＲ」とは、それぞれ前述のＩＲ用光学特性１０３である。
【０２５４】
また、上記第５実施形態では、第１の撮像モードにより得られるモザイク状のＲ画像データと、第２の撮像モードにより得られるモザイク状のＩＲｍ画像データとに対して、Ｒ用共通復元フィルタＦ４Ｒを用いた点像復元処理を行っているが、撮像素子２６のＲ画素とＩＲ画素とを同じ画素ピッチにすることができない場合がある。この場合には、第１の撮像モードにより得られるモザイク状のＧ画像データまたはＢ画像データと、ＩＲｍ画像データとに対して共通復元フィルタを用いた点像復元処理を行ってもよい。
【０２５５】
［第６実施形態］
次に、本発明の第６実施形態の監視カメラについて説明を行う。上記各実施形態では、各復元フィルタ生成部がそれぞれ監視カメラとは別体に設けられているが、監視カメラ（例えばカメラ本体コントローラ２８）の中に前述の復元フィルタ生成部が設けられていてもよい。
【０２５６】
この際に、昼間の撮像により得られる第１の画像データＤ１と、夜間の撮像により得られる第２の画像データＤ２との両方に対応した共通復元フィルタを生成するためには、ほぼ可視光のみが撮像素子２６に入射する「昼間」と、ほぼ近赤外光のみが撮像素子２６に入射する「夜間」との切り替わりの時間帯を基準として平均光学特性を算出することが好ましい。すなわち、可視光と近赤外光とが混在した光が撮像素子２６に入射する薄暮などの薄明下における可視光と近赤外光との光量比に応じて、第１の光学特性と第２の光学特性との重み付け平均を行う際の第１の重みα及び第２の重み（１−α）を適切に調整することが好ましい。
【０２５７】
図２０は、第６実施形態の監視カメラ１０Ｅの復元フィルタ生成部５１Ａの機能ブロック図である。図２０に示すように、第６実施形態の監視カメラ１０Ｅは、第１実施形態の監視カメラ１０に復元フィルタ生成部５１Ａを設けたものであり、基本的な構成は第１実施形態と同じである。このため、上記第１実施形態と機能・及び構成上同一のものについては、同一符号を付してその説明は省略する。
【０２５８】
復元フィルタ生成部５１Ａは、光量比検出部１０６が設けられていると共に、重み付け平均処理部５３内に重み調整部１０７が設けられている点を除けば、第１実施形態の復元フィルタ生成部５１と基本的に同じである。光量比検出部１０６は、照度センサ２７から入力される照度検出結果に基づき可視光の光量と近赤外光の光量との光量比を検出する。
【０２５９】
図２１は、昼間（日中）から夜間の時間経過に伴う被写体の明るさ（光量）の変化を示すグラフである。図２１に示すように、被写体の光量（太陽光の光量）は、昼間（日中）から夜間の時間経過に伴って徐々に減少し、夜間はゼロになる。
【０２６０】
薄暮の時間帯において、被写体の光量が閾値Ｔｈ未満になると、撮像モードは、第１の撮像モードから第２の撮像モードに切り替えられ、近赤外光画像の撮像が行われる。すなわち、昼間は第１の撮像モードに切り替えられ、薄暮及び夜間は第２の撮像モードに切り替えられる。そして、撮像モードが第２の撮像モードに切り替えられると、前述の近赤外光発光部１５が発光し、かつ撮像光路ＬからＩＲカットフィルタ２５が退避される。その結果、被写体の光量は、第２の撮像モードに切り替わると、近赤外光発光部１５から被写体に照射される近赤外光の光量分だけ光量が増加する。
【０２６１】
最初に閾値Ｔｈ未満になったときの光量をＱ１、可視光画像撮像モードから近赤外光画像撮像モードに切り替わった時点の光量をＱ２、薄暮の状態の任意時点の光量をＱ３とすると、光量Ｑ２から光量Ｑ１を減算した光量（光量Ｑ２−光量Ｑ１）は、近赤外光発光部１５から被写体に照射される近赤外光に対応する光量であり、一定値である。従って、夜間の光量は、近赤外光のみによる一定の光量になる。また、薄暮の状態の可視光の光量は、光量Ｑ３から近赤外光のみによる一定の光量（光量Ｑ２−光量Ｑ１）を減算した光量［光量Ｑ３−（光量Ｑ２−光量Ｑ１）］である。
【０２６２】
本実施形態では、監視カメラ１０Ｅに照度センサ２７が設けられているため、この照度センサ２７から入力される照度検出結果を被写体の光量（明るさ）を示す光量データ、すなわち、上述の光量Ｑ１〜Ｑ３として使用することができる。
【０２６３】
図２０に戻って、光量比検出部１０６は、照度センサ２７から入力される照度検出結果に基づき、最初に閾値Ｔｈ未満になったときの光量データ（光量Ｑ１）と、赤外光画像撮像モードに切り替わった時点の光量データ（光量Ｑ２）とを記憶し、その後、リアルタイムに入力する光量データ（光量ＱＣ）に基づき、薄暮の状態の可視光の光量［光量Ｑ３−（光量Ｑ２−光量Ｑ１）］と近赤外光の光量（光量Ｑ２−光量Ｑ１）との光量比を検出する。そして、光量比検出部１０６は、可視光と近赤外光との光量比を重み調整部１０７に出力する。
【０２６４】
重み調整部１０７は、光量比検出部１０６から入力される可視光と近赤外光との光量比の検出結果に応じて、重み付け平均処理部５３が第１の光学特性と第２の光学特性との重み付け平均を行う際の第１の重みα及び第２の重み（１−α）を調整する。具体的に、重み調整部１０７は、可視光と近赤外光との光量比の検出結果に基づき、可視光の光量が近赤外光の光量よりも大きくなるほど第１の重みαを高く調整し、逆に、可視光の光量が近赤外光の光量よりも小さくなるほど第１の重みαを低く調整する。
【０２６５】
重み付け平均処理部５３は、重み調整部１０７による調整後の第１の重みαと第２の重み（１−α）とに基づき、第１の光学特性と第２の光学特性との重み付け平均を行う。これ以降の処理は、上記第１実施形態と基本的に同じであるので、ここでは具体的な説明は省略する。
【０２６６】
［第６実施形態の効果］
このように第６実施形態の監視カメラ１０Ｅでは、薄暮などの薄明下における可視光と近赤外光との光量比に応じて、第１の光学特性と第２の光学特性との重み付け平均を行う際の第１の重みα及び第２の重み（１−α）を適切に調整することができる。これにより、監視カメラ１０Ｅが設置される環境に応じて、適切な第１の重みα及び第２の重み（１−α）により平均光学特性５９を算出することができる。その結果、昼間及び夜間の撮像でそれぞれ得られる画像データ（第１の画像データＤ１、第２の画像データＤ２）の両方の点像復元処理を良好に行うことができる共通復元フィルタＦ１を生成することができる。
【０２６７】
また、このような共通復元フィルタＦ１の生成は、一定時間間隔毎に繰り返し行ってもよい。これにより、例えば昼間と夜間の時間の長さが変わる季節毎に、異なる第１の重みα及び第２の重み（１−α）により平均光学特性５９を生成して、この平均光学特性５９に基づいて共通復元フィルタＦ１を生成することができる。
【０２６８】
なお、上記第６実施形態では、上記第１実施形態の監視カメラ１０に復元フィルタ生成部５１に設けた監視カメラ１０Ｅを例に挙げて説明を行ったが、上記第２実施形態から第５実施形態の監視カメラに復元フィルタ生成部を設けた場合にも、第６実施形態に係る発明を同様に適用することができる。
【０２６９】
上記第６実施形態では、照度センサ２７による照度検出結果に基づき被写体の光量を求めているが、例えば絞り１７の制御及びシャッタースピード（撮像素子２６での電荷蓄積時間）の制御による自動露出制御を行う場合には、被写体の明るさ［ＥＶ値（exposure value）］を検出するので、検出したＥＶ値を被写体の光量（明るさ）として使用するなど、被写体の光量を求める方法は特に限定はされない。
【０２７０】
［第７実施形態の監視カメラの構成］
次に、本発明の第７実施形態の監視カメラについて説明を行う。上記各実施形態では、第１の撮像モードにより得られた第１の画像データＤ１と、第２の撮像モードにより得られた第２の画像データＤ２とに対して、共通復元フィルタを用いた点像復元処理を行っている。これに対して、第７実施形態の監視カメラでは、第２の画像データＤ２に対して、前述のＲ用光学特性５７Ｒに基づき生成したＲ用復元フィルタを用いて点像復元処理を行う。
【０２７１】
図２２は、第７実施形態の監視カメラ１０Ｆの画像処理部３５Ｆの機能ブロック図である。図２２に示すように、監視カメラ１０Ｆは、点像復元処理に用いる復元フィルタの種類が異なる点を除けば、上記第３実施形態の監視カメラ１０Ｂ（図１３参照）と基本的に同じ構成である。このため、上記各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０２７２】
画像処理部３５Ｆは、第３実施形態の点像復元処理部９３（図１３参照）とは異なる点像復元処理部１２０として機能する点を除けば、第３実施形態の画像処理部３５Ｂと基本的に同じ構成である。
【０２７３】
第７実施形態の復元フィルタ記憶部４９は、単板式の撮像素子２６により得られたモザイク状のＲＧＢ画像データに対する点像復元処理に用いられるＲ用復元フィルタＦ（Ｒｍ）とＧ用復元フィルタＦ（Ｇｍ）とＢ用復元フィルタＦ（Ｂｍ）とを記憶する。これら各復元フィルタＦ（Ｒｍ），Ｆ（Ｇｍ），及びＦ（Ｂｍ）は、前述のＲ，Ｇ，及びＢ用の各光学特性５７Ｒ，５７Ｇ，及び５７Ｂに基づき、復元フィルタ生成部１２２により既述の方法で生成されたものである。なお、復元フィルタ生成部１２２は、監視カメラ１０Ｆと一体または別体に設けられている。
【０２７４】
点像復元処理部１２０は、第１の撮像モード時において、第１の階調補正処理部４２から入力された第１の画像データＤ１を構成するモザイク状のＲＧＢ画像データに対し、復元フィルタ記憶部４９から読み出した各復元フィルタＦ（Ｒｍ），Ｆ（Ｇｍ），及びＦ（Ｂｍ）を用いて、ＲＧＢの色毎に点像復元処理（振幅補正及び位相補正）を行う。そして、点像復元処理部１０１は、点像復元処理後のモザイク状のＲＧＢ画像データをデモザイク処理部９４へ出力する。
【０２７５】
また、点像復元処理部１２０は、第２の撮像モード時において、第２の階調補正処理部４６から入力される第２の画像データＤ２を構成するモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データに対し、復元フィルタ記憶部４９から読み出したＲ用復元フィルタＦ（Ｒｍ）を用いて点像復元処理を行う。これ以降の処理は、上記第３実施形態と基本的に同じであるので、ここでは説明は省略する。
【０２７６】
［第７実施形態の監視カメラの作用］
次に、図２３を用いて上記構成の監視カメラ１０Ｆの作用（本発明の撮像装置の画像処理方法）について説明を行う。ここで、図２３は、監視カメラ１０Ｂの撮像処理及び画像処理の流れを示すフローチャートである。
【０２７７】
図２３に示すように、第７実施形態の監視カメラ１０Ｆでは、第１の撮像モード時において、点像復元処理部１２０が第１の画像データＤ１を構成するモザイク状のＲＧＢ画像データに対し、復元フィルタ記憶部４９から読み出した各復元フィルタＦ（Ｒｍ），Ｆ（Ｇｍ），及びＦ（Ｂｍ）を用いてＲＧＢの色毎に点像復元処理を行う点（ステップＳ４４Ａ，Ｓ４５Ａ）を除けば、図１６に示した第３実施形態と基本的に同じである。
【０２７８】
また、第７実施形態の監視カメラ１０Ｆでは、第２の撮像モード時において、点像復元処理部１２０が第２の画像データＤ２を構成するモザイク状のＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データに対し、復元フィルタ記憶部４９から読み出したＲ用復元フィルタＦ（Ｒｍ）を用いて点像復元処理を行う点（ステップＳ５４Ａ，Ｓ５５Ａ）を除けば、図１６に示した第３実施形態と基本的に同じである。
【０２７９】
なお、第７実施形態では、ステップＳ４３，Ｓ５３が本発明の画像取得ステップに相当し、ステップＳ５５Ａが本発明の点像復元処理ステップに相当する。
【０２８０】
［第７実施形態の効果］
このように第７実施形態の監視カメラ１０Ｆでは、第２の画像データＤ２（ＩＲ（Ｒｍ），ＩＲ（Ｇｍ），及びＩＲ（Ｂｍ）画像データ）に対する点像復元処理に用いられる復元フィルタとして、Ｒ用復元フィルタＦ（Ｒｍ）を代用するので、第２の画像データＤ２に対する点像復元処理に用いられる復元フィルタを別途に生成及び記憶する必要がなくなる。その結果、上記各実施形態と同様に、点像復元処理に必要なリソースを削減することができる。
【０２８１】
［第７実施形態の変形例］
上記第７実施形態では、Ｒ画像データとＩＲ（Ｒｍ）画像データとの点像復元処理に用いられるＲ用復元フィルタＦ（Ｒｍ）として、光学系のＲ用光学特性５７Ｒのそのものに基づき生成された復元フィルタ（すなわち、Ｒ用光学特性５７Ｒを直接用いて生成された復元フィルタ）を用いているが、Ｒ用光学特性５７Ｒに演算処理を行ったものを基に生成された復元フィルタを用いてもよい。ここでいう「演算処理」とは、例えば、Ｒ用光学特性５７Ｒ（ＯＴＦ）の直流（Direct Current）成分以外（ωｘ≠０、ωｙ≠０）を、定数λ（０＜λ＜１）倍する演算処理である。これは、ＩＲ画像がＲ画像よりもボケており、ＩＲ用の光学特性（ＯＴＦ）の拡がりがＲ用の光学特性（ＯＴＦ）の拡がりよりも大きくなっているのが一般的だからである。このλの値は、例えば点像復元処理後の画像を見ながら主観によって調整される。なお、後述の第８実施形態から第１０実施形態におけるＲ用復元フィルタについても同様である。
【０２８２】
［第８実施形態の監視カメラ］
次に、本発明の第８実施形態の監視カメラについて説明を行う。上記第７実施形態の監視カメラ１０Ｆは、単板式の撮像素子２６により被写体の撮像を行う。これに対して、第８実施形態の監視カメラは、前述の図１１に示したような３板式の撮像素子２６Ｒ，２６Ｇ，２６Ｂを用いて被写体の撮像を行う。
【０２８３】
図２４は、第８実施形態の監視カメラ１０Ｇの画像処理部３５Ｇの機能ブロック図である。図２４に示すように、監視カメラ１０Ｇは、画像処理部３５Ｇを除けば第４実施形態の監視カメラ１０Ｃ（図１７参照）と基本的に同じ構成であり、上記各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０２８４】
画像処理部３５Ｇは、第４実施形態の点像復元処理部９３Ａ（図１７参照）とは異なる点像復元処理部１２０Ａとして機能する点を除けば、第４実施形態の画像処理部３５Ｃと基本的に同じ構成である。なお、輝度系画像データに対して点像復元処理を行う場合には、デモザイク処理の有無を除けば、上記第７実施形態と基本的に同じであるので、ここでは説明を省略する。
【０２８５】
第８実施形態の復元フィルタ記憶部４９は、３板式の撮像素子２６Ｒ，２６Ｇ，及び２６Ｂにより得られた３面のＲＧＢ画像データに対する点像復元処理に用いられるＲ用復元フィルタＦ（Ｒ）とＧ用復元フィルタＦ（Ｇ）とＢ用復元フィルタＦ（Ｂ）とを記憶する。これら各復元フィルタＦ（Ｒ），Ｆ（Ｇ），及びＦ（Ｂ）は、前述のＲ，Ｇ，及びＢ用の各光学特性５７Ｇ，及び５７Ｂに基づき、復元フィルタ生成部１２２Ａにより既述の方法によって生成されたものである。なお、復元フィルタ生成部１２２Ａは、監視カメラ１０Ｇと一体または別体に設けられている。
【０２８６】
点像復元処理部１２０Ａは、第１の撮像モード時に、第１の階調補正処理部４２から入力された第１の画像データＤ１を構成する３面のＲＧＢ画像データに対し、復元フィルタ記憶部４９から読み出した各復元フィルタＦ（Ｒ），Ｆ（Ｇ），及びＦ（Ｂ）を用いて、ＲＧＢの色毎に点像復元処理（振幅補正及び位相補正）を行う。そして、点像復元処理部１２０Ａは、点像復元処理後の３面のＲＧＢ画像データを変換処理部９５へ出力する。
【０２８７】
一方、点像復元処理部１２０Ａは、第２の撮像モード時に、第２の階調補正処理部４６から第２の画像データＤ２として入力される１面のＩＲ（Ｒ）画像データに対し、復元フィルタ記憶部４９から読み出したＲ用復元フィルタＦ（Ｒ）を用いて点像復元処理を行う。これ以降の処理は、上記第４実施形態と基本的に同じであるので、ここでは説明は省略する。
【０２８８】
なお、第８実施形態の監視カメラ１０Ｇの作用については、３板式の撮像素子２６Ｒ，２６Ｇ，２６Ｂに対応した点像復元処理等の画像処理を行う点を除けば、上記第７実施形態（図２３参照）と基本的に同じであるので、ここでは具体的な説明は省略する。
【０２８９】
［第８実施形態の効果］
このように第８実施形態の監視カメラ１０Ｇでは、第２の画像データＤ２（ＩＲ（Ｒ）画像データ）に対する点像復元処理に用いられる復元フィルタとしてＲ用復元フィルタＦ（Ｒ）を代用するので、上記第７実施形態と同様の効果が得られる。
【０２９０】
［第９実施形態の監視カメラ］
次に、本発明の第９実施形態の監視カメラについて説明を行う。上記第７実施形態の監視カメラ１０Ｆ（図２２参照）では、ＲＧＢ画素が撮像面にマトリクス状に配置された単板式の撮像素子２６により被写体の撮像を行う場合について説明したが、第９実施形態の監視カメラでは、図１８（Ａ）に示したようなＲＧＢ画素及びＩＲ画素が撮像面にマトリクス状に配置された単板式の撮像素子２６により被写体の撮像を行う。
【０２９１】
図２５は、第９実施形態の監視カメラ１０Ｈの画像処理部３５Ｈの機能ブロック図である。図２４に示すように、監視カメラ１０Ｇは、ＩＲ画素を有する撮像素子２６と、画像処理部３５Ｈのデモザイク処理部１２９及び点像復元処理部１３０とを除けば第１実施形態の監視カメラ１０（図５参照）と基本的に同じ構成であり、上記各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０２９２】
第９実施形態のデモザイク処理部１２９は、第２の撮像モード時に、第２の画像データＤ２としてＩＲ画素から得られたモザイク状の画像データ（図示は省略）に対して、デモザイク処理を行い１面のＩＲ画像データを点像復元処理部１３０に出力する点を除けば、第１実施形態のデモザイク処理部４１と基本的に同じである。
【０２９３】
第９実施形態の復元フィルタ記憶部４９は、変換処理部４３が前述のＲＧＢ画像データを変換して生成した輝度データＹに対する点像復元処理に用いられる復元フィルタＦ（Ｙ）と、前述の第８実施形態で説明したＲ用復元フィルタＦ（Ｒ）とを記憶する。なお、復元フィルタＦ（Ｙ）の生成方法については公知技術であるので説明は省略する。
【０２９４】
点像復元処理部１３０は、第１の撮像モード時に、変換処理部４３から入力された輝度データＹに対し、復元フィルタ記憶部４９から読み出した復元フィルタＦ（Ｙ）を用いて点像復元処理を行う。一方、点像復元処理部１３０は、第２の撮像モード時に、第２の階調補正処理部４６から入力された１面のＩＲ画像データに対して、復元フィルタ記憶部４９から読み出したＲ用復元フィルタＦ（Ｒ）を用いて点像復元処理を行う。これ以降の処理は、上記第１実施形態と基本的に同じであるので、ここでは説明は省略する。
【０２９５】
［第９実施形態の効果］
このように、第９実施形態の監視カメラ１０Ｈでは、１面の第２の画像データＤ２に対する点像復元処理に用いられる復元フィルタとしてＲ用復元フィルタＦ（Ｒ）を代用するので、第２の画像データＤ２に対する点像復元処理に用いられる復元フィルタを別途に生成（設計）する必要がなくなる。
【０２９６】
［第１０実施形態の監視カメラ］
次に、本発明の第１０実施形態の監視カメラについて説明を行う。上記第９実施形態の監視カメラ１０Ｈは、点像復元処理部１３０により輝度系画像データ（輝度データＹ、第２の画像データＤ２）に対する点像復元処理を行っている。これに対して、第１０実施形態の監視カメラでは、Ｒ画素及びＩＲ画素と、Ｇ画素と、Ｂ画素とによりそれぞれ得られる画像データに対して異なる復元フィルタを用いて点像復元処理を行う。
【０２９７】
図２６は、第１０実施形態の監視カメラ１０Ｉの画像処理部３５Ｉの機能ブロック図である。図２６に示すように、監視カメラ１０Ｉは、画像処理部３５Ｉの点像復元処理部１３５を除けば第５実施形態の監視カメラ１０Ｄ（図１９参照）と基本的に同じ構成であり、上記各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０２９８】
第１０実施形態の復元フィルタ記憶部４９は、第７実施形態（図２２参照）と同様に、モザイク状の画像データに対する点像復元処理に用いられる前述のＲ用復元フィルタＦ（Ｒｍ）とＧ用復元フィルタＦ（Ｇｍ）とＢ用復元フィルタＦ（Ｂｍ）とを記憶する。
【０２９９】
点像復元処理部１３５は、第１の撮像モード時に、第１の階調補正処理部４２から入力された第１の画像データＤ１を構成するモザイク状のＲＧＢ画像データに対し、復元フィルタ記憶部４９から読み出した各復元フィルタＦ（Ｒｍ），Ｆ（Ｇｍ），Ｆ（Ｂｍ）をそれぞれ用いて、ＲＧＢの色毎に点像復元処理を行う。
【０３００】
一方、点像復元処理部１３５は、第２の撮像モード時に、第２の画像データＤ２として第２の階調補正処理部４６から入力されたモザイク状のＩＲｍ画像データに対して、復元フィルタ記憶部４９から読み出したＲ用復元フィルタＦ（Ｒｍ）を用いて点像復元処理を行う。前述の図１８（Ａ）に示したように、撮像素子２６のＲ画素とＩＲ画素とは同じ画素ピッチで配列されており、配列パターンも同じであるので、同じＲ用復元フィルタＦ（Ｒｍ）を用いて点像復元処理を行うことができる。これ以降の処理は、上記第５実施形態と基本的に同じであるので、ここでは説明は省略する。
【０３０１】
［第１０実施形態の効果］
このように第１０実施形態の監視カメラ１０Ｉでは、第２の画像データＤ２（ＩＲｍ画像データ）に対する点像復元処理に用いられる復元フィルタとしてＲ用復元フィルタＦ（Ｒｍ）を代用することができるので、上記第７実施形態で説明した効果と同様の効果が得られる。
【０３０２】
［その他］
上記各実施形態において、画像処理部が点像復元処理以外に行う一般的な画像処理としてゲイン補正処理や階調補正処理を例に挙げて説明したが、これら以外の公知の各種画像処理を行ってもよい。
【０３０３】
上記各実施形態では、点像復元処理を行う画像処理部が監視カメラ内に設けられているが、前述のコンピュータ６０またはサーバ８０に画像処理部が設けられていてもよい。
【０３０４】
上述の実施形態で説明した撮像装置（監視カメラ）が画像データに対して点像復元処理を施す手段として撮像装置のコンピュータを機能させるためのプログラム（前述の画像処理用プログラム３７Ｂ等）をＣＤ−ＲＯＭ（Compact Disc Read Only Memory）や磁気ディスクやその他のコンピュータ可読媒体（有体物たる非一時的な情報記憶媒体）に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの通信ネットワークを利用してプログラム信号をダウンロードサービスとして提供することも可能である。
【０３０５】
＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理は、例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Extended Depth of Field(Focus)）を有する光学系（レンズ等）によって撮像取得された画像データに対する点像復元処理に対しても適用することが可能である。
【０３０６】
ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮像取得されるボケ画像の画像データに対して点像復元処理を行うことにより、広範囲でピントが合った状態の高解像度の画像データに復元することができる。この場合、ＥＤｏＦ光学系の伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ等）に基づく点像復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する点像復元フィルタを用いた復元処理が行われる。
【０３０７】
また、本発明を適用可能な態様は、監視カメラ又はデジタルカメラには限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
【０３０８】
＜スマートフォンの構成＞
図２７は、撮像装置の実施形態であるスマートフォン５００の外観を示すものである。図２７に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、ＬＥＤ発光部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０３０９】
図２８は、図２７に示したスマートフォン５００の構成を示すブロック図である。図２８に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
【０３１０】
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０３１１】
表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
【０３１２】
表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
【０３１３】
操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【０３１４】
図２７に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０３１５】
尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２において採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０３１６】
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力したりするものである。また、図２７に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。
【０３１７】
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０３１８】
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０３１９】
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０３２０】
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【０３２１】
ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
【０３２２】
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
【０３２３】
電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０３２４】
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０３２５】
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【０３２６】
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【０３２７】
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０３２８】
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０３２９】
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０３３０】
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０３３１】
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０３３２】
カメラ部５４１は、前述のＣＭＯＳ型あるいはＣＣＤ型の撮像素子を用いて電子撮像する撮像装置である。このカメラ部５４１に前述した監視カメラ１０の構成を適用することができる。この場合、スマートフォン５００の薄型化のために、ＩＲカットフィルタを撮像光路に挿入及び退避させるフィルタ装置を設けずに、可視光画像と近赤外光画像とを撮像することができる撮像素子を使用することが好ましい。例えば、カメラ部５４１の撮像素子として、図１８（Ａ）に示したＲＧＢ画素及びＩＲ画素を有する撮像素子２６を用いることができる。
【０３３３】
ＬＥＤ発光部５４２は、白色ＬＥＤ及び近赤外ＬＥＤを有し、可視光画像撮像モード時に被写体の光量が不足する場合には、白色ＬＥＤを点灯し、可視光画像撮像時の補助光として白色ＬＥＤから白色光を発光し、近赤外光画像撮像モード時に近赤外ＬＥＤを点灯し、近赤外光画像撮像時の補助光として近赤外ＬＥＤから近赤外光を発光する。また、近赤外ＬＥＤは、赤外線通信機能を有するスマートフォン５００の場合、赤外線通信の光源として使用することも可能である。
【０３３４】
また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力したりすることができる。図２７に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。
【０３３５】
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１により取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【符号の説明】
【０３３６】
１０，１０Ａ…監視カメラ，１２…レンズユニット，１６…レンズ，２５…赤外線（ＩＲ）カットフィルタ，２６…撮像素子，２６Ｒ，２６Ｇ，２６Ｂ…撮像素子，３５，３５Ａ…画像処理部，３７Ｂ…画像処理用プログラム，３９…画像取得部，４４，９３…点像復元処理部，４９…復元フィルタ記憶部，５１，９６…復元フィルタ生成部，５３…重み付け平均処理部，５５，９８…復元フィルタ算出部，５７Ｒ…Ｒ用光学特性，５７Ｇ…Ｇ用光学特性，５７Ｂ…Ｂ用光学特性，５８…ＩＲ用光学特性，５８Ｒ…ＩＲ（Ｒ）用光学特性，５８Ｇ…ＩＲ（Ｇ）用光学特性，５８Ｂ…ＩＲ（Ｂ）用光学特性，５９…平均光学特性，５９Ｒ…Ｒ用平均光学特性，５９Ｇ…Ｇ用平均光学特性，５９Ｂ…Ｂ用平均光学特性，１０６…光量比検出部，Ｆ１…共通復元フィルタ，Ｆ２Ｒ，Ｆ３Ｒ，Ｆ４Ｒ…Ｒ用共通復元フィルタ，Ｆ２Ｇ…Ｇ用共通復元フィルタ，Ｆ２Ｂ…Ｂ用共通復元フィルタ
【図１】
2016158196.tif 000014
【図２】
2016158196.tif 000015
【図３】
2016158196.tif 000016
【図４】
2016158196.tif 000017
【図５】
2016158196.tif 000018
【図６】
2016158196.tif 000019
【図７】
2016158196.tif 000020
【図８】
2016158196.tif 000021
【図９】
2016158196.tif 000022
【図１０】
2016158196.tif 000023
【図１１】
2016158196.tif 000024
【図１２】
2016158196.tif 000025
【図１３】
2016158196.tif 000026
【図１４】
2016158196.tif 000027
【図１５】
2016158196.tif 000028
【図１６】
2016158196.tif 000029
【図１７】
2016158196.tif 000030
【図１８】
2016158196.tif 000031
【図１９】
2016158196.tif 000032
【図２０】
2016158196.tif 000033
【図２１】
2016158196.tif 000034
【図２２】
2016158196.tif 000035
【図２３】
2016158196.tif 000036
【図２４】
2016158196.tif 000037
【図２５】
2016158196.tif 000038
【図２６】
2016158196.tif 000039
【図２７】
2016158196.tif 000040
【図２８】
2016158196.tif 000041
【国際調査報告】
2016158196.tif 000042
2016158196.tif 000043