(57)【要約】  ＩＲフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができる。撮像素子２２は、カラーフィルタ２２２を備え、カラーフィルタ２２２が複数のフィルタのいずれか１つ以上が近赤外領域の光を透過であり、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、第１の同色フィルタおよび第２の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる。
2020059050.tif 000002
【特許請求の範囲】
【請求項１】
光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、
可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、
を備え、
前記カラーフィルタは、
前記複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、
前記第１の同色フィルタおよび前記第２の同色フィルタは、
可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる
撮像素子。
【請求項２】
光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、
可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、
を備え、
前記カラーフィルタは、
前記複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、
前記第１の同色フィルタおよび前記第２の同色フィルタは、
可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる
撮像素子と、
前記可視領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第１の比率と、前記近赤外領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第２の比率と、に基づいて、前記第１の同色フィルタが配置されてなる前記画素によって生成された第１の画像信号および前記第２の同色フィルタが配置されてなる前記画素によって生成された第２の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する分離部と、
を備える
撮像装置。
【請求項３】
請求項２に記載の撮像装置であって、
前記カラーフィルタは、ベイヤー配列であり、
前記第１の同色フィルタおよび前記第２の同色フィルタは、緑色の波長帯域を透過する
撮像装置。
【請求項４】
請求項３に記載の撮像装置であって、
前記カラーフィルタの受光面に設けられ、前記近赤外領域の一部の光をカットするノッチフィルタをさらに備える
撮像装置。
【請求項５】
撮像装置が実行する撮像方法であって、
当該撮像装置は、
撮像素子と、
画像処理部と、
を備え、
前記撮像素子は、
光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、
可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、
を備え、
前記カラーフィルタは、
前記複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、
前記第１の同色フィルタおよび前記第２の同色フィルタは、
可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なり、
前記画像処理部が前記可視領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第１の比率と、前記近赤外領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第２の比率と、に基づいて、前記第１の同色フィルタが配置されてなる前記画素によって生成された第１の画像信号および前記第２の同色フィルタが配置されてなる前記画素によって生成された第２の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する
撮像方法。
【請求項６】
撮像装置が実行するプログラムであって、
当該撮像装置は、
撮像素子と、
画像処理部と、
を備え、
前記撮像素子は、
光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、
可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、
を備え、
前記カラーフィルタは、
前記複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、
前記第１の同色フィルタおよび前記第２の同色フィルタは、
可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なり、
前記画像処理部が前記可視領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第１の比率と、前記近赤外領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第２の比率と、に基づいて、前記第１の同色フィルタが配置されてなる前記画素によって生成された第１の画像信号および前記第２の同色フィルタが配置されてなる前記画素によって生成された第２の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カラー画像と近赤外線画像を撮像可能な撮像素子、撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置において、カラー画像と近赤外画像とを撮像することができる技術が知られている（特許文献１参照）。この技術では、Ｒフィルタ、２つのＧフィルタおよびＢフィルタで構成されたベイヤー配列のうち１つのフィルタをＩＲフィルタに置き換えることによって、可視光画像と近赤外画像とを撮像する。【０００３】
また、Ｒフィルタ、Ｇフィルタ、ＢフィルタおよびＩＲフィルタで構成されたカラーフィルタにおいて、Ｒフィルタ、ＧフィルタおよびＢフィルタの受光面に、赤外吸収フィルタを設けることによって、カラー画像と近赤外画像とを撮像する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−６０６６号公報
【特許文献２】特開２０１７−１３９２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１，２では、ＩＲフィルタが必要となり、従来のベイヤー配列で用いた画像処理を適用することができないという問題点があった。【０００６】
本開示は、上記に鑑みてなされたものであって、ＩＲフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができる撮像素子、撮像装置、撮像方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記カラーフィルタは、前記複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、前記第１の同色フィルタおよび前記第２の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる。【０００８】
また、本開示に係る撮像装置は、光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記カラーフィルタは、前記複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、前記第１の同色フィルタおよび前記第２の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる撮像素子と、前記可視領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第１の比率と、前記近赤外領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第２の比率と、に基づいて、前記第１の同色フィルタが配置されてなる前記画素によって生成された第１の画像信号および前記第２の同色フィルタが配置されてなる前記画素によって生成された第２の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する分離部と、を備える。【０００９】
また、本開示に係る撮像装置は、上記開示において、前記カラーフィルタは、ベイヤー配列であり、前記第１の同色フィルタおよび前記第２の同色フィルタは、緑色の波長帯域を透過する。【００１０】
また、本開示に係る撮像装置は、上記開示において、前記カラーフィルタの受光面に設けられ、前記近赤外領域の一部の光をカットするノッチフィルタをさらに備える。【００１１】
また、本開示に係る撮像方法は、撮像装置が実行する撮像方法であって、当該撮像装置は、撮像素子と、画像処理部と、を備え、前記撮像素子は、光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記カラーフィルタは、前記複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、前記第１の同色フィルタおよび前記第２の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なり、前記画像処理部が前記可視領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第１の比率と、前記近赤外領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第２の比率と、に基づいて、前記第１の同色フィルタが配置されてなる前記画素によって生成された第１の画像信号および前記第２の同色フィルタが配置されてなる前記画素によって生成された第２の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する。【００１２】
また、本開示に係るプログラムは、撮像装置が実行するプログラムであって、当該撮像装置は、撮像素子と、画像処理部と、を備え、前記撮像素子は、光を受光することによって画像信号を生成する複数の画素が二次元マトリクス状に配置されてなる画素部と、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを前記複数の画素に対応させて配置してなるカラーフィルタと、を備え、前記カラーフィルタは、前記複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、前記第１の同色フィルタおよび前記第２の同色フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なり、前記画像処理部が前記可視領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第１の比率と、前記近赤外領域における前記第１の同色フィルタの透過率と前記第２の同色フィルタの透過率との第２の比率と、に基づいて、前記第１の同色フィルタが配置されてなる前記画素によって生成された第１の画像信号および前記第２の同色フィルタが配置されてなる前記画素によって生成された第２の画像信号の各々から前記可視領域の画像信号と前記近赤外領域の画像信号とを分離する。
【発明の効果】
【００１３】
本開示によれば、ＩＲフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施の形態１に係る撮像装置の機能構成を示すブロック図である。
【図２】図２は、実施の形態１に係る画素部の構成を模式的に示す図である。
【図３】図３は、実施の形態１に係るカラーフィルタの構成を模式的に示す図である。
【図４】図４は、実施の形態１に係る各フィルタの透過特性を示す図である。
【図５】図５は、実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図６】図６は、実施の形態１に係る撮像装置が生成する画像の一例を模式的に説明する図である。
【図７】図７は、実施の形態１に係るｔｒｕｅＧおよびＩＲの各々の分光透過率を模式的に示す図である。
【図８】図８は、実施の形態１に係るフィルタＧ１およびフィルタＧ２の透過率を模式的に示す図である。
【図９】図９は、被写体の分光反射率を模式的に示す図である。
【図１０】図１０は、実施の形態１に係るＧ１画素およびＧ２画素の分光感度を示す。
【図１１】図１１は、実施の形態１の変形例１に係るカラーフィルタの構成を模式的に示す図である。
【図１２】図１２は、実施の形態１の変形例１に係るカラーフィルタの透過特性を示す図である。
【図１３】図１３は、実施の形態１の変形例２のカラーフィルタを模式的に示す図である。
【図１４】図１４は、実施の形態２に係る各波長帯域の分光透過率を模式的に示す図である。
【図１５】図１５は、実施の形態３に係る撮像装置の機能構成を示すブロック図である。
【図１６】図１６は、実施の形態３に係る各フィルタおよびノッチフィルタの透過特性を示す図である。
【発明を実施するための形態】
【００１５】
以下、本開示を実施するための形態（以下、「実施の形態」という）について説明する。この実施の形態では、被写体を撮像することによって画像データ（ＲＡＷデータ）を生成する撮像素子を備えた撮像装置について説明する。また、この実施の形態により、本開示が限定されるものでない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
【００１６】
（実施の形態１）
〔撮像装置の構成〕
図１は、実施の形態１に係る撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、撮像部２と、画像処理部３と、表示部４と、記録部５と、制御部６と、を備える。
【００１７】
撮像部２は、被写体を撮像することによって画像データを生成する。撮像部２は、光学系２１と、撮像素子２２と、Ａ／Ｄ変換部２３と、を有する。
【００１８】
光学系２１は、被写体像を撮像素子２２の受光面に結像する。光学系２１は、１または複数のレンズを用いて構成される。光学系２１は、ズーム機能およびフォーカス機能を有する。光学系２１は、図示しないモータ等の駆動ユニットによって光軸Ｌ１上を移動することによって、ズーム倍率およびフォーカス位置を変更する。
【００１９】
撮像素子２２は、受光面が光学系２１の光軸Ｌ１に対して垂直に設けられる。撮像素子２２は、制御部６の制御のもと、光学系２１によって結像された被写体像に対して光電変換を行うことによって画像信号（画像データ）を生成し、この画像信号をＡ／Ｄ変換部２３へ出力する。撮像素子２２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を用いて実現される。撮像素子２２は、画素部２２１と、画素部２２１の受光面に積層されてなるカラーフィルタ２２２と、を含む。なお、画素部２２１およびカラーフィルタ２２２の詳細な構成については後述する。
【００２０】
Ａ／Ｄ変換部２３は、制御部６の制御のもと、撮像部２から入力されたアナログの画像信号に対して、Ａ／Ｄ変換を行って画像処理部３へ出力する。Ａ／Ｄ変換部２３は、例えばＡ／Ｄ変換回路等を用いて構成される。
【００２１】
画像処理部３は、制御部６の制御のもと、撮像部２から入力された画像信号に対して、各種の画像処理、例えばホワイトバランス調整処理、デモザキング処理および分離処理等を行って表示部４へ出力する。画像処理部３は、ＧＰＵ（Graphics  Processing  Unit）またはＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。画像処理部３は、補間部３１と、分離部３２と、生成部３３と、を有する。
【００２２】
補間部３１は、撮像部２から入力された画像信号に対して、各画素の画像信号（画素値）を補間する周知の補間処理を実行する。具体的には、補間部３１は、カラーフィルタ２２２を構成する各フィルタの画像信号を、周知の補間処理を行うことによって各フィルタの画像信号を補間した各フィルタの画像信号に対応する画像を生成する。
【００２３】
分離部３２は、可視領域における第１の同色フィルタの透過率と第２の同色フィルタの透過率との第１の比率と、近赤外領域における第１の同色フィルタの透過率と第２の同色フィルタの透過率との第２の比率と、に基づいて、第１の同色フィルタが配置されてなる画素によって生成された第１の画像信号および第２の同色フィルタが配置されてなる画素によって生成された第２の画像信号の各々から可視領域の画像信号と近赤外領域の画像信号とを分離する。なお、分離部３２による分離方法の詳細は、後述する。
【００２４】
生成部３３は、分離部３２が分離した可視領域の画像信号および近赤外領域の画像信号に基づいて、可視光画像および近赤外画像（以下、単に「ＩＲ画像」という）を生成する。生成部３３は、可視光画像およびＩＲ画像を表示部４へ出力する。
【００２５】
表示部４は、制御部６の制御のもと、画像処理部３から入力された画像信号に対応する画像（可視光画像およびＩＲ画像の少なくとも一方）を表示する。また、表示部４は、撮像装置１に関する各種情報を表示する。表示部４は、例えば液晶または有機ＥＬ（Electro  Luminescence）等の表示パネルを用いて構成される。
【００２６】
記録部５は、撮像装置１が実行するプログラム、処理中のデータおよび撮像部２が生成した画像データ等を記録する。記録部５は、撮像装置１が実行するプログラムを記録するプログラム記録部５１と、カラーフィルタ２２２の各フィルタの感度を記録する感度情報記録部５２と、を有する。記録部５は、例えばＦｌａｓｈメモリ、ＲＡＭ（Random  Access  Memory）、ＨＤＤ（Hard  Disk  Drive）、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）、メモリカード等を用いて構成される。
【００２７】
制御部６は、撮像装置１の各部を制御する。制御部６は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。
【００２８】
〔画素部の構成〕
次に、上述した画素部２２１の詳細な構成について説明する。図２は、画素部２２１の構成を模式的に示す図である。
【００２９】
図２に示す画素部２２１は、カラーフィルタ２２２を透過した光を受光する複数の画素Ｐが二次元格子状（二次元マトリックス状）に配置されてなる。各画素Ｐは、光学系２１から入射された光であって、カラーフィルタ２２２を透過した光を受光して光電変換を行うことによって画像信号を生成する。この画像信号には、各画素の画素値（輝度値）および画素の位置情報（画素アドレス）等が含まれる。図２において、ｉ行ｊ列目に配置されてなる画素を画素Ｐｉｊと記して表現する。
【００３０】
〔カラーフィルタの構成〕
次に、カラーフィルタ２２２の詳細な構成について説明する。図３は、カラーフィルタ２２２の構成を模式的に示す図である。
【００３１】
図３に示すカラーフィルタ２２２は、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを画素部２２１の複数の画素に対応させて配置されてなる。具体的には、カラーフィルタ２２２は、画素部２２１の受光面上に配置されており、可視領域において互いに異なる波長帯域の可視光および近赤外領域において互いに異なる波長帯域の近赤外線を透過する４種類のフィルタを有する。より具体的には、カラーフィルタ２２２は、Ｒフィルタと、Ｇ１フィルタと、Ｇ２フィルタと、Ｂフィルタと、を有する。カラーフィルタ２２２は、Ｒフィルタ、Ｇ１フィルタ、Ｇ２フィルタおよびＢフィルタが所定の配列パターンに並べて配置されて形成される。具体的には、カラーフィルタ２２２は、列毎にＲフィルタ、Ｇ１フィルタ、Ｂフィルタ、Ｒフィルタ、Ｇ２フィルタの配列パターンで配置されて形成される。
【００３２】
Ｒフィルタは、赤色の波長帯域の光を透過する。Ｇ１フィルタは、緑色の波長帯域の光を透過し、かつ、近赤外の波長帯域の光を透過する。Ｇ２フィルタは、Ｇ１フィルタと同じ同色の波長帯域において互いに異なる透過波長特性を有し、緑色の波長帯域の光を透過し、かつ、近赤外の波長帯域の光を透過する。Ｂフィルタは、青色の波長帯域の光を透過する。
【００３３】
Ｇ１フィルタおよびＧ２フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる。なお、実施の形態１では、Ｇ１フィルタおよびＧ２フィルタが第１の同色フィルタおよび第２の同色フィルタとして機能する。また、以下においては、各フィルタが設けられた画素Ｐｉｊは、フィルタを透過した波長帯域の光を受光する。このため、Ｒフィルタが配置された画素をＲ画素、Ｇ１フィルタが配置された画素をＧ１画素、Ｇ２フィルタが配置された画素をＧ２画素、Ｂフィルタが配置された画素をＢ画素として説明する。
【００３４】
〔各フィルタの分光透過特性〕
次に、上述したカラーフィルタ２２２の透過特性（分光感度特性）について説明する。図４は、各フィルタの透過特性を示す図である。図４においては、縦軸が透過率（分光感度）を示し、横軸が波長（ｎｍ）を示す。さらに、図４において、曲線ＬＢがフィルタＢの透過率曲線を示し、曲線ＬＧ１がフィルタＧ１の透過曲線を示し、曲線ＬＧ２がフィルタＧ２の透過曲線を示し、曲線ＬＲがフィルタＲの透過曲線を示す。さらに、以下においては、可視領域を４００ｎｍ〜７００ｎｍとし、近赤外領域を７００ｎｍ〜１０００ｎｍとして説明する。
【００３５】
図４に示す曲線ＬＲに示すように、フィルタＲは、第１の可視領域である赤色の波長帯域（波長帯域６００ｎｍ〜７００ｎｍ）の光を透過する。また、曲線ＬＢに示すように、フィルタＢは、第２の可視領域である青色の波長帯域（４００ｎｍ〜５００ｎｍ）の光を透過する。また、曲線ＬＧ１および曲線ＬＧ２に示すように、フィルタＧ１およびフィルタＧ２は、第３の可視帯域である緑色の波長帯域（５００ｎｍ〜６００ｎｍ）および近赤外領域（７００ｎｍ〜１０００ｎｍ）の各々の光を透過する。さらに、フィルタＧ１およびフィルタＧ２は、第３の可視光領域および近赤外領域の各々において分光透過率が一定の領域を有する。さらにまた、フィルタＧ１およびフィルタＧ２は、第３の可視光領域および近赤外領域の各々において透過率が異なうえ、透過率の差Ｄ１，Ｄ２が一定である。なお、実施の形態１では、フィルタＧ１およびフィルタＧ２は、第３の可視光領域および近赤外領域の各々において透過率が互い異なっているが、第３の可視光領域および近赤外領域の少なくとも一方で透過率が異なっていればよい。
【００３６】
〔撮像装置の処理〕
次に、撮像装置１が実行する処理について説明する。図５は、撮像装置１が実行する処理の概要を示すフローチャートである。図６は、撮像装置１が生成する画像の一例を模式的に説明する図である。
【００３７】
図５に示すように、まず、撮像部２は、被写体の撮像を行う（ステップＳ１０１）。この場合、撮像部２は、被写体を撮像した画像信号を画像処理部３へ出力する。
【００３８】
続いて、補間部３１は、撮像部２から入力された画像信号に対して、各画素の画素値を補間する補間処理を実行する（ステップＳ１０２）。具体的には、図６に示すように、補間部３１は、撮像部２から入力された画像信号に対して、各画素の画像信号を補間する補間処理を行うことによって、Ｂ画像ＰＢ、Ｒ画像ＰＲ、Ｇ１画像ＰＧ１、Ｇ２画像ＰＧ２を生成する。
【００３９】
その後、分離部３２は、Ｇ１画像ＰＧ１およびＧ２画像ＰＧ２に対して、可視領域の画像信号と近赤外領域の画像信号とを分離する分離処理を実行する（ステップＳ１０３）。
【００４０】
〔分離処理の詳細〕
ここで、分離部３２が実行する分離処理の概要について説明する。
図７は、ｔｒｕｅＧおよびＩＲの各々の分光透過率を模式的に示す図である。図７において、縦軸が透過率を示し、横軸が波長（ｎｍ）を示す。また、図７において、曲線ＬＴＧがｔｒｕｅＧの透過率を示し、曲線ＬＩＲがＩＲの透過率を示す。また、図８は、フィルタＧ１およびフィルタＧ２の透過率を模式的に示す図である。図８において、曲線ＬＧ１がフィルタＧ１の透過率を示し、曲線ＬＧ２がフィルタＧ２の透過率を示す。
【００４１】
図７に示すように、実施の形態１では、ｔｒｕｅＧ（５００ｎｍ〜６００ｎｍ）およびＩＲ（７００ｎｍ〜１０００ｎｍ）の各々の透過率を「１．０」にした場合において、各波長帯域における透過率をａ、ｂ、ｃおよびｄとしたとき、図８に示すようにｔｒｕｅＧ（５００ｎｍ〜６００ｎｍ）におけるフィルタＧ１およびフィルタＧ２の透過比率が一定で既知（ａ＝１．０，ｃ＝０．７）であり、かつ、ＩＲ（７００ｎｍ〜１０００ｎｍ）におけるフィルタＧ１およびフィルタＧ２の透過比率が一定で既知（ｂ＝０．２，ｄ＝０．６）である。
【００４２】
図９は、被写体の分光反射率を模式的に示す図である。図１０は、Ｇ１画素およびＧ２画素の分光感度を示す。図９において、縦軸が分光反射率を示す。図１０において、縦軸が分光感度を示し、図９および図１０において、横軸が波長（ｎｍ）を示す。また、図９において、曲線ＬＰが被写体の分光反射率を示す。また、図１０において曲線ＬＴＧ１で囲まれている領域がｔｒｕｅｒＧ１（ａ×ｔｒｕｅｒＧ）を示し、曲線ＬＴＧ２で囲まれている領域がｔｒｕｅｒＧ２（ｃ×ｔｒｕｅｒＧ）を示し、曲線ＬＩＲ2で囲まれている領域がＩＲ２（ｄ×ＩＲ）を示し、曲線ＬＩＲ１で囲まれている領域がＩＲ１（ｂ×ＩＲ）を示す。
【００４３】
図９および図１０に示すように、分離部３２は、可視領域におけるＧ１フィルタの透過率とＧ２フィルタの透過率との第１の比率Ｄ１（ａ／ｃ）と、近赤外領域におけるＧ１フィルタの透過率とＧ２フィルタの透過率との第２の比率Ｄ２（ｄ／ｂ）と、に基づいて、Ｇ１画素によって生成された第１の画像信号およびＧ２画素によって生成された第２の画像信号の各々から可視領域の画像信号と近赤外領域の画像信号とを分離する。
【００４４】
即ち、Ｇ１画像ＰＧ１において、可視領域のみのＧ１画像ＰＧ１の画像信号をｔｒｕｅＧ１、近赤外領域のみの画像信号をＩＲ１、可視領域のみの真のＧ１画像ＰＧ１の画像信号をｔｒｕｅＧ、近赤外領域のみの真の画像信号をＩＲとし、Ｇ２画像ＰＧ２において、可視領域のみの真のＧ２画像ＰＧ２の画像信号をｔｒｕｅＧ２、近赤外領域のみの真の画像信号をＩＲ２、可視領域のみの真のＧ２画像ＰＧ２の画像信号をｔｒｕｅＧ、近赤外領域のみの真の画像信号をＩＲとした場合、以下の式（１）、式（２）が成り立つ。
ｔｒｕｅＧ１＋ＩＲ１＝ａ×ｔｒｕｅＧ＋ｂ×ＩＲ＝Ｇ１      ・・・（１）
ｔｒｕｅＧ２＋ＩＲ２＝ｃ×ｔｒｕｅＧ＋ｄ×ＩＲ＝Ｇ２      ・・・（２）
上記（１），（２）の方程式を解くと、
α＝ａｄ−ｂｃとし、ａｄ−ｂｃ≠０でないとすると、
ＩＲ＝（ａ×Ｇ２−ｃ×Ｇ１）／α      ・・・（３）
ｔｒｕｅＧ＝（ｄ×Ｇ１−ｂ×Ｇ２）／α      ・・・（４）
また、上記の式（１），（２）に、図８のａ（ａ＝１．０）、ｂ（ｂ＝０．２）、ｃ（ｃ＝０．７）およびｄ（ｄ＝０．６）を代入した場合、以下の式（５）,（６）が成り立つ。
ｔｒｕｅＧ１＋ＩＲ１＝ａ×ｔｒｕｅＧ＋ｂ×ＩＲ
＝１．０×ｔｒｕｅＧ＋０．２×ＩＲ
＝Ｇ１      ・・・（５）
ｔｒｕｅＧ２＋ＩＲ２＝ｃ×ｔｒｕｅＧ＋ｄ×ＩＲ
＝０．７×ｔｒｕｅＧ＋０．６×ＩＲ
＝Ｇ２      ・・・（６）
【００４５】
このように分離部３２は、式（３）〜（６）を用いて、可視領域におけるＧ１フィルタの透過率とＧ２フィルタの透過率との第１の比率Ｄ１（ａ／ｃ）と、近赤外領域におけるＧ１フィルタの透過率とＧ２フィルタの透過率との第２の比率Ｄ２（ｄ／ｂ）と、に基づいて、Ｇ１画素によって生成された第１の画像信号およびＧ２画素によって生成された第２の画像信号の各々から可視領域の画像信号と近赤外領域の画像信号とを分離する。
【００４６】
図５に戻り、ステップＳ１０３以降の説明を続ける。
続いて、生成部３３は、分離部３２が分離した可視領域の信号値および近赤外領域の信号値に基づいて、ＩＲ画像およびＧ画像を生成する。具体的には、図６に示すように、生成部３３は、分離部３２が分離した可視領域の信号値および近赤外領域の信号値に基づいて、Ｇ画像ＰＧおよびＩＲ画像ＰＩＲを生成する（ステップＳ１０４）。
【００４７】
その後、生成部３３は、可視画像を生成する（ステップＳ１０５）。具体的には、図６に示すように、生成部３３は、Ｂ画像ＰＢ、Ｒ画像ＰＲおよびＧ画像ＰＧに基づいて、可視画像ＰＷを生成する。ステップＳ１０５の後、撮像装置１は、本処理を終了する。
【００４８】
以上説明した実施の形態１によれば、カラーフィルタ２２２が複数のフィルタのいずれか１つ以上が近赤外領域の光を透過し、かつ、同色の波長帯域において互いに異なる透過波長特性を有する第１の同色フィルタおよび第２の同色フィルタを含み、第１の同色フィルタおよび第２の同色フィルタが可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なるので、ＩＲフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができる。
【００４９】
また、実施の形態１によれば、分離部３２が可視領域における第１の同色フィルタの透過率と第２の同色フィルタの透過率との第１の比率と、近赤外領域における第１の同色フィルタの透過率と第２の同色フィルタの透過率との第２の比率と、に基づいて、第１の同色フィルタが配置されてなる画素によって生成された第１の画像信号および第２の同色フィルタが配置されてなる画素によって生成された第２の画像信号の各々から可視領域の画像信号と近赤外領域の画像信号とを分離するので、ＩＲフィルタを設けることなく、カラー画像と近赤外画像とを同時に取得することができる。
【００５０】
（実施の形態１の変形例１）
次に、実施の形態１の変形例１について説明する。実施の形態１の変形例１では、カラーフィルタの構成が異なる。具体的には、上述した実施の形態１では、緑色の波長帯域の光を透過するＧフィルタが互いに異なる分光透過特性を有していたが、実施の形態１の変形例１では、赤色の波長帯域の光を透過するＲフィルタが互いに異なる分光透過特性を有する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【００５１】
〔カラーフィルタの構成〕
図１１は、実施の形態１の変形例１に係るカラーフィルタの詳細な構成について説明する。
【００５２】
図１１に示すカラーフィルタ２２２Ａは、可視領域および近赤外領域の各々において互いに異なる分光透過特性を有する複数のフィルタからなるフィルタユニットを画素部２２１の複数の画素に対応させて配置されてなる。具体的には、カラーフィルタ２２２Ａは、画素部２２１の受光面上に配置されており、可視領域において互いに異なる波長帯域の可視光および近赤外領域において互いに異なる波長帯域の近赤外線を透過する４種類のフィルタを有する。より具体的には、カラーフィルタ２２２は、Ｒ１フィルタと、Ｒ２フィルタと、Ｇフィルタと、Ｂフィルタと、を有する。カラーフィルタ２２２Ａは、Ｒ１フィルタ、Ｒ２フィルタ、ＧフィルタおよびＢフィルタが所定の配列パターンに並べて配置されて形成される。具体的には、カラーフィルタ２２２Ａは、列毎にＲ１フィルタ、Ｇフィルタ、Ｂフィルタ、Ｒ２フィルタの配列パターンで配置されて形成される。
【００５３】
Ｒ１フィルタは、赤色の波長帯域の光を透過し、かつ、近赤外の波長帯域の光を透過する。Ｒ２フィルタは、Ｒ１フィルタと同じ同色の波長帯域において互いに異なる透過波長特性を有し、赤色の波長帯域の光を透過し、かつ、近赤外の波長帯域の光を透過する。
【００５４】
Ｒ１フィルタおよびＲ２フィルタは、可視領域および近赤外領域の各々において分光透過率が一定の領域を有し、かつ、可視領域および近赤外領域の少なくとも一方において互いの分光透過率が異なる。なお、実施の形態１の変形例１では、Ｒ１フィルタおよびＲ２フィルタが第１の同色フィルタおよび第２の同色フィルタとして機能する。また、以下においては、各フィルタが設けられた画素Ｐｉｊは、フィルタを透過した波長帯域の光を受光する。このため、Ｒ１フィルタが配置された画素をＲ１画素、Ｒ２フィルタが配置された画素をＲ２画素、Ｇフィルタが配置された画素をＧ画素、Ｂフィルタが配置された画素をＢ画素として説明する。
【００５５】
図１２は、実施の形態１の変形例１に係るカラーフィルタの透過特性を示す図である。図１２においては、各フィルタの最大値が略等しくなるように透過曲線を模擬的に規格化している。また、図１２においては、縦軸が透過率（分光感度）を示し、横軸が波長（ｎｍ）を示す。さらに、図１２において、曲線ＬＢがフィルタＢの透過率曲線を示し、曲線ＬＧ１がフィルタＧの透過曲線を示し、曲線ＬＲ１がフィルタＲ１の透過曲線を示し、曲線ＬＲ２がフィルタＲ２の透過曲線を示す。さらに、以下においては、可視領域を４００ｎｍ〜７００ｎｍとし、近赤外領域を７００ｎｍ〜１０００ｎｍとして説明する。
【００５６】
フィルタＲ１およびフィルタＲ２は、第１の可視光領域および近赤外領域の各々において透過率の差Ｄ１１，Ｄ１２が一定の領域を有し、かつ、透過率が第１の可視光領域および近赤外領域の少なくとも一方で異なっている。具体的には、フィルタＲ１およびフィルタＲ２は、第１の可視光領域および近赤外領域の各々において透過率の差Ｄ１１，Ｄ１２が一定の領域を有し、かつ、透過率が第１の可視光領域および近赤外領域の少なくとも一方で異なっている。
【００５７】
このように構成されたカラーフィルタ２２２Ａを画素部２２１の受光面に配置した場合であっても、上述した実施の形態１と同様に、可視光画像と近赤外画像とを同時に撮像することができる。
【００５８】
なお、上述した実施の形態１の変形例１では、赤色の波長帯域の光を透過するＲフィルタが互いに異なる透過率を有していたが、Ｒ１フィルタおよびＲ２フィルタに加えて、例えば上述した実施の形態１のＧ１フィルタおよびＧ２フィルタを用いてカラーフィルタを構成してもよい。
【００５９】
（実施の形態１の変形例２）
次に、実施の形態１の変形例２について説明する。上述した実施の形態１では、各フィルタが列毎に配置されていたが、これに限定されることなく、適宜変更することができる。
【００６０】
図１３は、実施の形態１の変形例２のカラーフィルタを模式的に示す図である。図１３に示すカラーフィルタ２２２Ｂは、ベイヤー配列で構成され、Ｇフィルタの配置箇所にＧ１フィルタおよびＧ２フィルタが配置される。
【００６１】
以上説明した実施の形態１の変形例２によれば、従来の画像処理のパイプライン（画像信号ライン）を用いることができるので、簡易な構成で可視光画像と近赤外画像とを同時に取得することができる。
【００６２】
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、近赤外を含まないＲ画素およびＢ画素の信号値を算出する。以下においては、分離部３２が算出する算出方法について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【００６３】
図１４は、各波長帯域の分光透過率を模式的に示す図である。図１４において、領域ＬＴＢは、Ｂフィルタの画像信号ｔｒｕｅＢの積分値を示し、領域ＬＴＲがＲフィルタの画像信号ｔｒｕｅＲの積分値を示し、領域ＬＴＧがＧ１フィルタ＋Ｇ２フィルタを合算した際の画像信号ｔｒｕｅＧの積分値を示し、ＬＴＩＲが画像信号ＩＲの積分値を示す。さらにまた、図１４において、縦軸が透過率を示し、横軸が波長（ｎｍ）を示す。
【００６４】
図１４に示すように、まず、分離部３２は、上述した実施の形態１の方法によって画像信号ｔｒｕｅＧおよび画像信号ＩＲを算出する。そして、図１４に示すように、分離部３２は、近赤外領域の透過率がほぼ一定であるため、近赤外光の画像信号ＩＲに基づいて、Ｒ画素の画像信号およびＢ画素の画像信号を算出する。具体的には、近赤外領域の透過率がほぼ一定であることを利用した場合、以下の式が成り立つ。
ｔｒｕｅｒＲ＋ｒ_ｉｒ×ＩＲ＝ｔｒｕｅｒＲ＋１．０×ＩＲ＝Ｒ      ・・・（７）
ｔｒｕｅｒＢ＋ｂ_ｉｒ×ＩＲ＝ｔｒｕｅｒＢ＋０．３×ＩＲ＝Ｂ      ・・・（８）
即ち、
ｔｒｕｅｒＲ＝Ｒ−ｒ_ｉｒ×ＩＲ＝Ｒ−１．０×ＩＲ      ・・・（９）
ｔｒｕｅｒＢ＝Ｂ−ｂ_ｉｒ×ＩＲ＝Ｂ−０．３×ＩＲ      ・・・（１０）
となる。
【００６５】
このように、分離部３２は、上述した式（９）および式（１０）を用いて、Ｒ画素およびＢ画素の各々の画像信号を算出する。
【００６６】
以上説明した実施の形態２によれば、Ｒ画素およびＢ画素の各々の真の画素値を出力することができる。
【００６７】
（実施の形態３）
次に、実施の形態３について説明する。実施の形態３は、上述した実施の形態１に係る撮像装置１と構成が異なる。具体的には、実施の形態３に係る撮像装置は、所定の波長帯域の光をカットするノッチフィルタをさらに備える。以下においては、実施の形態３に係る撮像装置の構成について説明する。なお、上述した実施の形態１に係る撮像装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
【００６８】
〔撮像装置の構成〕
図１５は、実施の形態３に係る撮像装置の機能構成を示すブロック図である。図１５に示す撮像装置１Ｃは、上述した実施の形態１に係る撮像部２に換えて、撮像部２Ｃを備える。また、撮像部２Ｃは、上述した実施の形態１に係る撮像素子２２に換えて、撮像素子２２Ｃを備える。撮像素子２２Ｃは、上述した実施の形態１に係る撮像素子２２の構成に加えて、ノッチフィルタ２２３をさらに備える。
【００６９】
ノッチフィルタ２２３は、可視領域の光を透過し、近赤外領域の一部をカットする。
【００７０】
図１６は、各フィルタおよびノッチフィルタの透過特性を示す図である。図１６において、曲線ＬＮがノッチフィルタ２２３の透過特性を示す。また、図１６において、縦軸が透過率を示し、横軸が波長（ｎｍ）を示す。
【００７１】
図１６に示すように、ノッチフィルタ２２３は、可視領域の光を透過し、近赤外領域の一部をカットする。ノッチフィルタ２２３は、近赤外領域の一定領域、例えば７００ｎｍ〜８００ｎｍの領域の光をカットする。これにより、各フィルタの分光透過率がほぼ一定とする。この結果、精度の高い近赤外画像を取得することができる。
【００７２】
以上説明した実施の形態３によれば、ノッチフィルタ２２３が近赤外領域の一定領域の光をカットすることによって、各フィルタの分光透過率がほぼ一定とすることができるので、精度の高い近赤外画像を取得することができる。
【００７３】
（その他の実施の形態）
上述した本開示の実施の形態１〜３に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態１〜３に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１〜３で説明した構成要素を適宜組み合わせてもよい。
【００７４】
また、本開示の実施の形態１〜３では、撮像装置であったが、例えば被検体を撮像する内視鏡システムやビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
【００７５】
また、本開示の実施の形態１〜３では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【００７６】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本開示を実施することが可能である。
【符号の説明】
【００７７】
１，１Ｃ  撮像装置
２，２Ｃ  撮像部
３  画像処理部
４  表示部
５  記録部
６  制御部
２１  光学系
２２，２２Ｃ  撮像素子
２３  Ａ／Ｄ変換部
３１  補間部
３２  分離部
３３  生成部
５１  プログラム記録部
５２  感度情報記録部
２２１  画素部
２２２，２２２Ａ，２２２Ｂ  カラーフィルタ
２２３  ノッチフィルタ
【図１】
2020059050.tif 000003
【図２】
2020059050.tif 000004
【図３】
2020059050.tif 000005
【図４】
2020059050.tif 000006
【図５】
2020059050.tif 000007
【図６】
2020059050.tif 000008
【図７】
2020059050.tif 000009
【図８】
2020059050.tif 000010
【図９】
2020059050.tif 000011
【図１０】
2020059050.tif 000012
【図１１】
2020059050.tif 000013
【図１２】
2020059050.tif 000014
【図１３】
2020059050.tif 000015
【図１４】
2020059050.tif 000016
【図１５】
2020059050.tif 000017
【図１６】
2020059050.tif 000018
【国際調査報告】
2020059050.tif 000019
2020059050.tif 000020