(57)【要約】【課題】１度の露光によって４以上の波長帯の光の強度を得る。【解決手段】撮像センサ３は複数の受光画素Ｐを２次元に配列して備えており、各受光画素Ｐにはそれぞれ、特定の波長帯の光を透過するフィルタが付されている。このフィルタには、青色波長帯の光を透過するＢフィルタ、比較的短い緑色波長帯の光を透過するＧ１フィルタ、比較的長い緑色波長帯の光を透過するＧ２フィルタ、赤色波長帯の光を透過するＲフィルタの４種類のフィルタがある。これにより、１度の露光によって４つの波長帯の光の強度が得られる。【選択図】        図４
2004228662.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
緑色波長帯の光を透過する第１タイプフィルタ、前記第１タイプフィルタよりも短い波長帯の光を透過する第２タイプフィルタ、および、前記第１タイプフィルタよりも長い波長帯の光を透過する第３タイプフィルタのいずれかがそれぞれ付された複数の受光画素を２次元に配列して有する撮像センサ、
を備え、
前記第１タイプフィルタは、前記複数の受光画素の配列における市松模様の一方の領域に対応する前記受光画素に付され、
前記第２および第３タイプフィルタは、前記市松模様の他方の領域に対応する前記受光画素にそれぞれ均等に付され、
前記第１ないし第３タイプフィルタのうちの少なくとも１つは、透過する光の波長帯が異なる２以上の種類のフィルタを含むことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮像センサは、４種以上の色のいずれかにそれぞれ対応する複数の画素を有する画像を出力し、
前記４種以上の色はそれぞれ、３原色に対応する３つのグループのいずれかに区分されるものであり、
前記グループごとに、該グループに含まれる色に対応する画素の値から、１原色に対応する画素の値を導出する導出手段、
をさらに備えることを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記撮像センサは、４種以上の色のいずれかにそれぞれ対応する複数の画素を有する第１画像を出力し、
前記４種以上の色はそれぞれ、３原色に対応する３つのグループのいずれかに区分されるものであり、
前記グループごとに、該グループに含まれる色に対応する画素の値から、１の第２画像を生成する生成手段と、
生成される３つの前記第２画像で構成される第３画像を圧縮して１の圧縮画像を生成する圧縮手段と、
をさらに備えることを特徴とする撮像装置。
【請求項４】
撮像装置であって、
複数の受光画素からなる４以上の所定数の結像領域を平面的に配列して有する撮像センサと、
前記所定数の結像領域上に被写体の光像をそれぞれ結像する前記所定数のマイクロレンズを平面的に配列して有するマイクロレンズアレイと、
前記所定数のマイクロレンズにそれぞれ対応する前記所定数のフィルタを平面的に配列して有するフィルタアレイと、
を備え、
前記所定数のフィルタは、透過する光の波長帯が互いに異なることを特徴とする撮像装置。
【請求項５】
撮像装置であって、
複数の受光画素からなる複数の結像領域を平面的に配列して有する撮像センサと、
前記複数の結像領域上に被写体の光像をそれぞれ結像する複数のマイクロレンズを平面的に配列して有するマイクロレンズアレイと、
前記複数のマイクロレンズにそれぞれ対応する複数のフィルタを平面的に配列して有するフィルタアレイと、
前記複数の結像領域のそれぞれにて得られる被写体の画像に含まれる画素を、再配置することで１の再配置画像を生成する再配置手段と、
を備え、
前記複数のフィルタは、透過する光の波長帯が異なる４以上の種類があることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の波長帯の光の強度を取得する技術に関する。
【０００２】
【従来の技術】
一般に、デジタルスチルカメラ、デジタルビデオカメラなどの撮像装置では、３原色にそれぞれ対応する３つの波長帯に係る被写体からの反射光の強度を得る撮像センサを備えることで、被写体のカラー情報を得るようにしている。図１は、従来の一般的な撮像センサ３００を示す図である。撮像センサ３００は、２次元に配列された複数の受光画素Ｐを有しており、受光画素Ｐにはそれぞれ３原色に対応する波長帯の光を透過するフィルタのいずれかが付されている。図に示すように、緑色波長帯の光を透過するＧフィルタは市松状（市松模様の一方の領域）に配置され、青色波長帯の光を透過するＢフィルタおよび赤色波長帯の光を透過するＲフィルタは残りの領域（市松模様の他方の領域）に均等に配置される。このＲＧＢの配列は「ベイヤー配列」と呼ばれている。このような撮像センサを採用することにより、撮像装置は３つの波長帯の光の強度（３原色）を被写体のカラー情報として得ることができる（例えば、特許文献１参照。）。
【０００３】
その一方で、従来より、条件等色（メタメリズム）の問題を解決するためや、物体の成分の解析等を行うために、撮像装置で得られる画像から被写体の分光反射率を求める試みがなされている。被写体の分光反射率は、被写体からの反射光の離散的なカラー情報から反射光の分光分布を求め、さらに、反射光の分光分布から照明光の分光分布を取り除くことなどで求めることができる。反射光の離散的なカラー情報から分光分布を求める手法としては、スプライン補間処理、主成分分析による推定、Ｗｉｎｎｅｒ推定などが知られている。
【０００４】
しかしながら、一般の撮像装置で得られる３つの波長帯の光の強度のみでは、反射光の分光分布を高精度に得ることはできない。このため、４以上の波長帯の光の強度を取得可能な撮像装置であるマルチバンドカメラが提案されている。従来より提案されているマルチバンドカメラの方式としては、以下のものがある。
【０００５】
１．分光透過特性の異なる４以上フィルタを円盤状に配置し、これらのフィルタを入射光の行路中に順次に配置して撮像を行うカラーホイール式。
【０００６】
２．干渉計や液晶の偏光現象により特定の波長帯のみを透過する光学素子を用いて、透過する波長帯を順次変化させて撮像を行うチューナブルフィルタ式。
【０００７】
３．入射光を回折により波長帯ごとに分解し、走査により二次元の撮影を行うグレーティング式。
【０００８】
その他、この出願に関連する先行技術文献情報として特許文献２がある。
【０００９】
【特許文献１】
米国特許第３９７１０６５号明細書
【特許文献２】
特開２００１−６１１０９号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、従来から提案されたマルチバンドカメラは、波長帯の切り替えや走査が必要なため、いずれも１度の露光では目的とする全ての波長帯の光の強度を得ることができず、撮影に時間がかかり、比較的高速に移動する物体などを被写体にすることができないという問題があった。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、１度の露光によって４以上の波長帯の光の強度を得ることができる技術を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明は、撮像装置であって、緑色波長帯の光を透過する第１タイプフィルタ、前記第１タイプフィルタよりも短い波長帯の光を透過する第２タイプフィルタ、および、前記第１タイプフィルタよりも長い波長帯の光を透過する第３タイプフィルタのいずれかがそれぞれ付された複数の受光画素を２次元に配列して有する撮像センサ、を備え、前記第１タイプフィルタは、前記複数の受光画素の配列における市松模様の一方の領域に対応する前記受光画素に付され、前記第２および第３タイプフィルタは、前記市松模様の他方の領域に対応する前記受光画素にそれぞれ均等に付され、前記第１ないし第３タイプフィルタのうちの少なくとも１つは、透過する光の波長帯が異なる２以上の種類のフィルタを含むことを特徴とする。
【００１３】
また、請求項２の発明は、請求項１に記載の撮像装置において、前記撮像センサは、４種以上の色のいずれかにそれぞれ対応する複数の画素を有する画像を出力し、前記４種以上の色はそれぞれ、３原色に対応する３つのグループのいずれかに区分されるものであり、前記グループごとに、該グループに含まれる色に対応する画素の値から、１原色に対応する画素の値を導出する導出手段、をさらに備えている。
【００１４】
また、請求項３の発明は、請求項１に記載の撮像装置において、前記撮像センサは、４種以上の色のいずれかにそれぞれ対応する複数の画素を有する第１画像を出力し、前記４種以上の色はそれぞれ、３原色に対応する３つのグループのいずれかに区分されるものであり、前記グループごとに、該グループに含まれる色に対応する画素の値から、１の第２画像を生成する生成手段と、生成される３つの前記第２画像で構成される第３画像を圧縮して１の圧縮画像を生成する圧縮手段と、をさらに備えている。
【００１５】
また、請求項４の発明は、撮像装置であって、複数の受光画素からなる４以上の所定数の結像領域を平面的に配列して有する撮像センサと、前記所定数の結像領域上に被写体の光像をそれぞれ結像する前記所定数のマイクロレンズを平面的に配列して有するマイクロレンズアレイと、前記所定数のマイクロレンズにそれぞれ対応する前記所定数のフィルタを平面的に配列して有するフィルタアレイと、を備え、前記所定数のフィルタは、透過する光の波長帯が互いに異なることを特徴とする。
【００１６】
また、請求項５の発明は、撮像装置であって、複数の受光画素からなる複数の結像領域を平面的に配列して有する撮像センサと、前記複数の結像領域上に被写体の光像をそれぞれ結像する複数のマイクロレンズを平面的に配列して有するマイクロレンズアレイと、前記複数のマイクロレンズにそれぞれ対応する複数のフィルタを平面的に配列して有するフィルタアレイと、前記複数の結像領域のそれぞれにて得られる被写体の画像に含まれる画素を、再配置することで１の再配置画像を生成する再配置手段と、を備え、前記複数のフィルタは、透過する光の波長帯が異なる４以上の種類があることを特徴とする。
【００１７】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００１８】
＜１．第１の実施の形態＞
＜１−１．構成＞
図２は、本発明の実施の形態に係る撮像装置の基本的な構成を示す図である。この撮像装置１は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、または、測色計として構成される。どのような装置として構成される場合であっても撮像装置１の基本的な構成は同様である。すなわち、撮像装置１は主として、撮像部４０、Ａ／Ｄ変換器４１、画像処理部４２、全体制御部５０、カードスロット４３、操作入力部４４およびデータ出力端子４５を備えている。
【００１９】
撮像部４０は、レンズ２と、該レンズ２によって結像される被写体の光像を光電変換して画像信号（以下、単に「画像」という。）を出力する撮像センサ３とを備えている。撮像センサ３から出力された画像は、Ａ／Ｄ変換器４１においてデジタル信号とされ、必要に応じて画像処理部４２において所定の処理が施される。このようにして得られた画像は、カードスロット４３に装着されるメモリカード９１に記録されたり、データ出力端子４５を介して接続される外部装置９２に送信される。
【００２０】
操作入力部４４は、撮像開始の指示などの各種コマンドをユーザから受け付けるための操作部材を示している。撮像装置１は、操作入力部４４の操作に応答して所定の動作を行う。
【００２１】
全体制御部５０は、上述した撮像装置１の各部を統括制御する制御機能や、各種データ処理を行うデータ処理機能を有し、マイクロコンピュータを備えて構成される。具体的には、全体制御部５０は、その本体部であるＣＰＵ５１、制御プログラムなどを記憶するＲＯＭ５２、および、作業領域となるＲＡＭ５３などを備えている。全体制御部５０の各種の機能は、ＲＯＭ５２に記憶された制御プログラムをＣＰＵ５１が実行することにより実現される。
【００２２】
撮像部４０が備える撮像センサ３は、それぞれ特定の波長帯の光を通過するフィルタ（カラーフィルタ）が付された複数の受光画素を二次元に配列して備えている。受光画素はそれぞれ、自身に付されたフィルタを透過した光を光電変換し、その強度に応じた信号電荷を出力する。本実施の形態では、このフィルタとして、透過する光の波長帯が異なる４種類のものがある。これにより、撮像装置１は４つの波長帯の光の強度を取得可能なマルチバンドカメラとなっている。
【００２３】
図３は、受光画素に付される４種類のフィルタの分光透過特性の例を示す図である。４種類のフィルタは、それぞれ可視波長帯（約３８０〜約７８０ｎｍ）の光を透過する分光透過特性を有している。図に示すように、４種類のフィルタには、透過する波長帯が短いものからＢフィルタ、Ｇ１フィルタ、Ｇ２フィルタおよびＲフィルタがある。Ｂフィルタは青色波長帯の光を透過し、Ｇ１フィルタは緑色波長帯のうち比較的短い波長帯の光を透過し、Ｇ２フィルタは緑色波長帯のうち比較的長い波長帯の光を透過し、Ｒフィルタは赤色波長帯の光を透過する。つまり、本実施の形態では、緑色波長帯の光を透過するタイプのフィルタ（以下、「Ｇタイプフィルタ」という。）として、Ｇ１フィルタおよびＧ２フィルタの２種類のフィルタが含まれている。Ｇ１フィルタおよびＧ２フィルタの分光透過特性線のピークはそれぞれ、例えば、ＢフィルタおよびＲフィルタの分光透過特性線のピーク間を３等分した位置に配置される。なお、以下、Ｒフィルタが透過する光の色をＲ、Ｇ１フィルタが透過する光の色をＧ１、Ｇ２フィルタが透過する光の色をＧ２、Ｂフィルタが透過する光の色をＢとする。また、緑色波長帯の光を透過する一般的なＧフィルタが透過する光の色をＧとする。ここで、Ｒ，Ｇ，Ｂは光の３原色である。
【００２４】
図４は、これらの４種類のフィルタの撮像センサ３における配置例を示す図である。図４に示すように、Ｇタイプフィルタ（Ｇ１フィルタおよびＧ２フィルタ）は、複数の受光画素Ｐの配列における市松模様の一方の領域に対応する受光画素Ｐに付されている。そして、Ｇ１フィルタとＧ２フィルタとは、垂直方向に対して交互に配置される。一方、ＢフィルタおよびＲフィルタは、上記市松模様の他方の領域（Ｇタイプフィルタが配置されていない領域）に対応する受光画素Ｐに付される。そして、ＢフィルタとＲフィルタとは、垂直方向に対して交互に配置される。つまり、Ｇ１フィルタおよびＧ２フィルタはベイヤー配列（図１参照。）のＧフィルタの位置に均等に配置され、ＢフィルタおよびＲフィルタはベイヤー配列と同様の位置に配置される。これにより、４種類のフィルタはそれぞれ撮像センサ３の受光面全体において均等に配置される。
【００２５】
これらの４種類のフィルタは、シリコンなどで構成される受光画素上に、フォトリソグラフィ技術を用いた染色層（ゼラチンなどの樹脂膜）の選択的な形成を４回繰り返すことにより形成される。各フィルタの分光透過特性は、染色層を染色する色素と、染色層の膜厚とによって調整される。なお、フィルタの分光透過特性は図３に示すものには限定されず、撮像装置１の目的に応じた特性にしてもよい。例えば、撮像装置１が、蛍光灯などの輝線スペクトルを有する光を放射する（あるいは反射する）物体を撮像対象とするものであれば、撮像センサ３の一のフィルタはその輝線スペクトルを主として透過する分光透過特性を有するようにしてもよい。また、このように特定の目的に使用される撮像装置１の場合は、使用される環境や経年による特性の変化を考慮して、フィルタの分光透過特性を調整することが好ましい。
【００２６】
撮像センサ３の各受光画素から出力される信号は、その信号が出力された受光画素に付されたフィルタの種類に応じて、図３に示す４つの波長帯のいずれかの光の強度を示すこととなる。したがって、撮像装置１は１度の露光によって４つの波長帯の光の強度を得ることができることとなる。
【００２７】
＜１−２．画像処理＞
撮像センサ３の各受光画素から出力される信号は、撮像センサ３から出力される画像（以下、「センサ出力画像」という。）中の各画素の値となる。したがって、センサ出力画像に含まれる各画素の値は、４つの波長帯のいずれかの光の強度、すなわち、Ｂ，Ｇ１，Ｇ２，Ｒのいずれかの色に対応する値を示すこととなる。これにより、センサ出力画像は４種の色の値を有する状態となる。センサ出力画像中において各画素が対応する色の配列は、図４に示すフィルタの配列と同様となる。
【００２８】
センサ出力画像は、出力先における用途に応じて適切な処理を施すことが好ましい。このため、本実施の形態の撮像装置１では、画像処理部４２において、センサ出力画像の出力先に応じた画像処理が、センサ出力画像に対してなされる。以下、画像処理部４２の処理内容について説明する。なお以下の説明においては、画像中においてＲに対応する画素をＲ画素、Ｂに対応する画素をＢ画素、Ｇに対応する画素をＧ画素、Ｇ１に対応する画素をＧ１画素、Ｇ２に対応する画素をＧ２画素とそれぞれ称する。
【００２９】
＜１−２−１．演算＞
まず、外部装置９２としてコンピュータが接続され、このコンピュータにおいて被写体からの光の分光分布などを求めるための演算にセンサ出力画像を用いる場合について説明する。この場合は、センサ出力画像はＡ／Ｄ変換器４１においてデジタル信号とされた後、画像処理部４２において画像処理を行わずに、そのままデータ出力端子４５を介して外部装置９２であるコンピュータに出力される。このように画像処理を行わずにセンサ出力画像を出力することで、画像処理によるデータの劣化のない４つの波長帯の光の強度（４種の色）を含む画像を出力することができる。そして、このような４つの波長帯の光の強度を含む画像を用いることで、コンピュータにおいて被写体からの光の分光分布などを演算する際の演算精度を向上することができる。
【００３０】
＜１−２−２．表示＞
次に、外部装置９２としてカラー表示装置が接続され、このカラー表示装置においてセンサ出力画像を表示する場合について説明する。一般に、カラー表示装置は、各画素のカラー情報がＲＧＢの３原色で表現された画像を表示するように構成されることから、センサ出力画像はそのままではカラー表示装置における表示に用いることができない。このため、カラー表示装置においてセンサ出力画像を表示する場合は、センサ出力画像から、各画素がＲＧＢの３原色の値を有する通常画像が画像処理部４２において生成される。
【００３１】
図５は、センサ出力画像Ｄ１から通常画像Ｄ３を生成する手法を概念的に示す図である。通常画像Ｄ３の生成にあたっては、まず、センサ出力画像Ｄ１から、各画素がＲＧＢの３原色のいずれかの値を有し３原色の配列がベイヤー配列となる画像（以下、「ベイヤー画像」という。）Ｄ２が生成され、さらに、生成されたベイヤー画像Ｄ２に対して欠落画素値の補間（一画素において不足している色情報の生成処理）がなされて通常画像Ｄ３が生成される。
【００３２】
ベイヤー画像Ｄ２の生成にあたっては、ＲＧＢの３原色に対応する３つのグループにＲ，Ｇ１，Ｇ２，Ｂを区分し、それぞれのグループごとにベイヤー画像の１原色に対応する画素の値が求められる。具体的には、原色Ｒのグループには、Ｒ，Ｇ１，Ｇ２，ＢのうちのＲが区分される。このため、センサ出力画像Ｄ１中のＲ画素の値は、ベイヤー画像Ｄ２のＲ画素の値とされる。同様に、原色ＢのグループにはＲ，Ｇ１，Ｇ２，ＢのうちのＢが区分されるため、センサ出力画像Ｄ１中のＢ画素の値は、ベイヤー画像Ｄ２のＢ画素の値とされる。また、原色ＧのグループにはＲ，Ｇ１，Ｇ２，ＢのうちのＧ１，Ｇ２が区分される。このため、センサ出力画像Ｄ１のＧ１画素およびＧ２画素の値から、ベイヤー画像Ｄ２のＧ画素の値が導出される。
【００３３】
センサ出力画像Ｄ１のＧ１画素と同一位置のベイヤー画像Ｄ２のＧ画素の値は、センサ出力画像Ｄ１のＧ１画素を中心とした３×３画素に対して図６に示すフィルタマスクを用いたコンボリューション演算がなされることにより導出される。すなわち、このＧ画素の値は、Ｇ１画素の値に重みαを乗算した結果と、その近傍の４つのＧ２画素の値の平均値に重みβを乗算した結果とを加算することにより導出される。また、センサ出力画像Ｄ１のＧ２画素と同一位置のベイヤー画像Ｄ２のＧ画素の値は、センサ出力画像Ｄ１のＧ２画素を中心とした３×３画素に対して図７に示すフィルタマスクを用いたコンボリューション演算がなされることにより導出される。つまり、このＧ画素の値は、Ｇ２画素の値に重みβを乗算した結果と、その近傍の４つのＧ１画素の値の平均値に重みαを乗算した結果とを加算することにより導出される。ここで、重みα，βは、次の式（１）を満たすものである。
【００３４】
α＋β＝１          …（１）
この重みα，βは、Ｇ１フィルタおよびＧ２フィルタの分光透過特性と、一般的なＧフィルタの分光透過特性との関係により決定することができる。例えば、Ｇ１フィルタおよびＧ２フィルタのそれぞれが透過する光の波長帯が、一般的なＧフィルタが透過する光の波長帯の中心位置に対して対称に分布する場合はα＝β＝０．５とすればよい。また、Ｇ２フィルタと比較してＧ１フィルタが一般的なＧフィルタに近似する分光透過特性を有する場合はαを比較的大きくし、逆に、Ｇ２フィルタが一般的なＧフィルタに近似する分光透過特性を有する場合はβを比較的大きくすればよい。
【００３５】
このようにしてベイヤー画像Ｄ２が生成されると、欠落画素値の補間がなされる。すなわち、ベイヤー画像Ｄ２中のＲ画素の値から全画素に係るＲの値、Ｇ画素の値から全画素に係るＧの値、Ｂ画素の値から全画素に係るＢの値がそれぞれ線形補間等により求められる。これにより、各画素がＲＧＢの３原色の値を有する通常画像Ｄ３が生成される。なお、この欠落画素値の補間処理は、１色の値のみで構成される３つの色成分画像を生成することと等価である。
【００３６】
このように、３原色に対応する３つのグループにＲ，Ｇ１，Ｇ２，Ｂを区分し、グループごとにベイヤー画像の１原色に対応する画素の値を導出するため、４種の色の値を有するセンサ出力画像Ｄ１から、カラー情報が３原色で表現された通常画像Ｄ３を生成することができる。これにより、そのままでは表示不可能なセンサ出力画像を、カラー表示装置の表示に用いることができる。
【００３７】
なお、カラー表示装置がテレビジョン信号を必要とするものである場合は、上記のようにして通常画像Ｄ３を生成した後、各画素のＲＧＢ値を、ＮＴＳＣ方式、ＰＡＬ方式、ＳＥＣＡＭ方式などにおける所定の形式のテレビジョン信号に変換すればよい。このＲＧＢ値からテレビジョン信号への変換は、周知の手法により容易に行うことができる。
【００３８】
＜１−２−３．印刷＞
次に、外部装置９２としてカラー印刷装置が接続され、このカラー印刷装置においてセンサ出力画像を印刷する場合について説明する。一般に、カラー印刷装置は、各画素のカラー情報がＣＭＹ（シアン・マゼンダ・イエロー）の３色、あるいは、ＣＭＹＫ（シアン・マゼンダ・イエロー・ブラック）の４色で表現された画像を印刷するように構成される。このため、センサ出力画像はそのままではカラー印刷装置における印刷に用いることができない。
【００３９】
したがってこの場合は、画像処理部４２において、表示に用いる場合と同様の手法により、まず、各画素のカラー情報がＲＧＢの３原色で表現される通常画像が生成され、さらに、生成された通常画像の各画素のＲＧＢ値がＣＭＹ値またはＣＭＹＫ値に変換される。ＲＧＢ値からＣＭＹ値またはＣＭＹＫ値への変換は、周知の手法により容易に行うことができる。このような処理により、センサ出力画像をカラー印刷装置における印刷に用いることができる。
【００４０】
ところで、センサ出力画像を表示や印刷に用いる場合は、画像をより美しくするために、被写体のエッジを強調する先鋭化処理、コントラストを調整する階調補正処理、色相や彩度を調整する色補正処理などの画像処理を行うようにしてもよい。これらの画像処理のうち先鋭化処理は、通常画像を生成する前の段階において、センサ出力画像に対して行うことが好ましい。
【００４１】
先鋭化処理においては、センサ出力画像の一の画素を注目画素とし、この注目画素を中心とした５×５画素に対して、図８のフィルタマスクを用いたコンボリューション演算を行うことにより、注目画素の新たな値が求められる。センサ出力画像の全画素をそれぞれ注目画素としてこのような演算を行うことにより、センサ出力画像中の被写体のエッジが強調される。センサ出力画像においては、注目画素を中心とした５×５画素領域内に、注目画素と同一の色に対応し、かつ、水平または垂直方向が同一となる画素が４つ存在する。これは、いずれの色に対応する画素が注目画素となった場合でも同様である。したがって、センサ出力画像に対して図８に示すフィルタマスクを用いた演算を行うことで、同一色に対応する画素間に関して演算を行うことができる。つまり、他の色に対応する画素の値に影響されない演算結果を得ることができる。なお、階調補正処理および色補正処理に関しては、注目画素の処理結果が周辺画素の値に影響されないため、センサ出力画像および通常画像のいずれに対して行ってもよい。
【００４２】
＜１−２−４．記録＞
次に、センサ出力画像をメモリカード９１に記録する場合について説明する。一般に、フィルタ配列がベイヤー配列となる撮像センサから出力される画像（ベイヤー画像）を記録する際には、欠落画素値の補間を行って、各画素がＲＧＢの３原色の値を有する通常画像としてから圧縮処理を行い、圧縮画像として記録する。つまり、ＲＧＢの３原色ごとの色成分画像を生成し、３つの色成分画像で構成される通常画像を圧縮することとなる。
【００４３】
これと同様に、本実施の形態の撮像センサ３から得られるセンサ出力画像から、Ｂ、Ｇ１、Ｇ２、Ｒの４つの色ごとの色成分画像を生成し、４つの色成分画像から構成される画像を圧縮して圧縮画像を生成すると、色数が増加した分、圧縮画像のデータ量が増加してしまうこととなる。その一方で、表示に用いる場合と同様の手法により、カラー情報が３原色で表現される通常画像を生成し、この通常画像を圧縮した場合は、４つの色の値のうちＧ１およびＧ２の値が失われてしまうこととなる。
【００４４】
このため、本実施の形態の撮像装置１では、ＲＧＢの３原色に対応する３つのグループにＲ，Ｇ１，Ｇ２，Ｂを区分し、画素の値を維持しつつ、それぞれのグループごとに１つの色成分画像が生成される。図９は、センサ出力画像から３つの色成分画像を生成する手法を概念的に示す図である。図に示すように、センサ出力画像Ｄ１のＲ画素の値からＲの値のみで構成される一の色成分画像Ｄ４ｒが生成され、センサ出力画像Ｄ１のＢ画素の値からＢの値のみで構成される一の色成分画像Ｄ４ｂが生成される。さらに、センサ出力画像Ｄ１のＧ１画素およびＧ２画素の値から一の色成分画像Ｄ４ｇが生成される。
【００４５】
この色成分画像Ｄ４ｇの生成にあたって、Ｇ１あるいはＧ２に対応していない画素の値は、その周辺に存在するＧ１画素およびＧ２画素の双方の値に基づいて導出される。これとともに、Ｇ１画素およびＧ２画素の値は変更されずに、そのまま色成分画像Ｄ４ｇにおいても維持される。つまり、色成分画像Ｄ４ｇは、Ｇ１およびＧ２の双方の値を有することとなる。これにより、３つの色成分画像Ｄ４ｒ，Ｄ４ｇ，Ｄ４ｂから構成される画像Ｄ４を圧縮した圧縮画像には、Ｒ，Ｇ１，Ｇ２，Ｂの４つの色の値が含まれる。また、この圧縮画像は、３つの色成分画像で構成される画像を圧縮したものであるため、通常画像を圧縮した圧縮画像と比較してデータ量はほぼ同等となり、４つの色成分画像から構成される画像を圧縮して圧縮画像を生成する場合よりも、データ量を抑制することができる。
【００４６】
このようにして得られた圧縮画像を利用する場合は、圧縮画像に対して伸張処理を行って、画像Ｄ４を復元し、この画像Ｄ４に含まれる色成分画像Ｄ４ｇからＧ１画素およびＧ２画素をそれぞれ抽出することにより、Ｒ，Ｇ１，Ｇ２，Ｂの４つの色の値を利用することができる。
【００４７】
＜１−３．変形例＞
本実施の形態は、上記に記載に限定されるものではなく様々な変形が可能である。以下、このような変形例について説明する。なお、以下においては、名称に記号が付されたフィルタが透過する光の色を、そのフィルタに付された記号で示すこととする。例えば、Ｘフィルタが透過する光の色は、Ｘで示すものとする。
【００４８】
＜１−３−１．ＢまたはＲタイプフィルタの複数化＞
上記実施の形態では、緑色波長帯の光を透過するＧタイプフィルタに、Ｇ１フィルタおよびＧ２フィルタの２種類のフィルタが含まれていたが、青色波長帯の光を透過するタイプのフィルタ（以下、「Ｂタイプフィルタ」という。）、または、赤色波長帯の光を透過するタイプのフィルタ（以下、「Ｒタイプフィルタ」という。）が２種類以上のフィルタを含むようにしてもよい。
【００４９】
図１０は、受光画素に付されるフィルタとして、青色波長帯のうち比較的短い波長帯の光を透過するＢ１フィルタ、青色波長帯のうち比較的長い波長帯の光を透過するＢ２フィルタ、ならびに、ＧフィルタおよびＲフィルタの４種類のフィルタがある場合における、撮像センサ３におけるフィルタの配置例を示す図である。この場合は、Ｂタイプフィルタに、Ｂ１フィルタおよびＢ２フィルタの２種類のフィルタが含まれている。これにより撮像センサ３からは、Ｂ１，Ｂ２，Ｇ，Ｒの４色のいずれかにそれぞれ対応する複数の画素を含むセンサ出力画像が出力され、４つの波長帯の光の強度が得られる。
【００５０】
また、図１１は、受光画素に付されるフィルタとして、赤色波長帯のうち比較的短い波長帯の光を透過するＲ１フィルタ、赤色波長帯のうち比較的長い波長帯の光を透過するＲ２フィルタ、ならびに、ＧフィルタおよびＢフィルタの４種類のフィルタがある場合における、撮像センサ３におけるフィルタの配置例を示す図である。この場合は、Ｒタイプフィルタに、Ｒ１フィルタおよびＲ２フィルタの２種類のフィルタが含まれている。これにより撮像センサ３からは、Ｂ，Ｇ，Ｒ１，Ｒ２の４色のいずれかにそれぞれ対応する複数の画素を含むセンサ出力画像が出力され、４つの波長帯の光の強度が得られる。
【００５１】
いずれの場合であっても、Ｇタイプフィルタは、複数の受光画素Ｐの配列における市松模様の一方の領域に対応する受光画素Ｐに付され、ＢタイプフィルタおよびＲタイプフィルタは、上記市松模様の他方の領域（Ｇタイプフィルタが配置されていない領域）に対応する受光画素Ｐに均等に付されるようにしている。人間の眼は緑色波長帯の光に対しての感度が高いため、このようにＧタイプフィルタを市松模様の一方の領域に配置して、ＢタイプフィルタおよびＲタイプフィルタよりも配置数を多くすることで、取得される画像の解像感を高めることができる。
【００５２】
また、表示等に用いるために、図１０または図１１に示す撮像センサ３から得られるセンサ出力画像からベイヤー画像を生成する際においても、上記と同様に、ＲＧＢの３原色に対応する３つのグループに４つの色を区分し、それぞれのグループごとにベイヤー画像の１原色に対応する画素の値を求めるようにすればよい。例えば、図１０に示す撮像センサ３から得られるセンサ出力画像のＢ１画素と同一位置のベイヤー画像のＢ画素の値は、センサ出力画像のＢ１画素を中心とした５×５画素に対して図１２に示すフィルタマスクを用いたコンボリューション演算を行うことにより導出することができる。また、センサ出力画像のＢ２画素と同一位置のベイヤー画像のＢ画素の値は、図１２に示すフィルタマスクのαとβとを入れ替えたものを用いることにより導出することができる。
【００５３】
＜１−３−２．６種類のフィルタ＞
また、Ｂタイプフィルタ、Ｇタイプフィルタ、Ｒタイプフィルタがそれぞれ２種類のフィルタを含むようにして、計６種類のフィルタによって、６つの波長帯の光の強度が得られるようになっていてもよい。
【００５４】
図１３は、このような場合の６種類のフィルタの分光透過特性の例を示す図である。図に示すように６種類のフィルタとして、透過する波長帯が短いものからＢ１フィルタ、Ｂ２フィルタ、Ｇ１フィルタ、Ｇ２フィルタ、Ｒ１フィルタおよびＲ２フィルタがある。これにより、Ｂタイプフィルタとして２種類のフィルタ、Ｇタイプフィルタとして２種類のフィルタ、Ｒタイプフィルタとして２種類のフィルタがそれぞれ含まれている。
【００５５】
図１４は、これら６種類のフィルタの撮像センサ３における配置例を示す図である。この場合においても、Ｇタイプフィルタは、複数の受光画素Ｐの配列における市松模様の一方の領域に対応する受光画素Ｐに付され、ＢタイプフィルタおよびＲタイプフィルタは、上記市松模様の他方の領域（Ｇタイプフィルタが配置されていない領域）に対応する受光画素Ｐに均等に付されるようにしている。これにより撮像センサ３からは、Ｂ１，Ｂ２，Ｇ１，Ｇ２，Ｒ１，Ｒ２の６色のいずれかにそれぞれ対応する複数の画素を含むセンサ出力画像が出力され、６つの波長帯の光の強度が得られる。
【００５６】
また、この撮像センサ３から得られるセンサ出力画像からベイヤー画像を生成する際においても、上記と同様に、ＲＧＢの３原色に対応する３つのグループに６つの色を区分し、それぞれのグループごとにベイヤー画像の１原色に対応する画素の値を求めるようにすればよい。原色ＢのグループにはＢ１，Ｂ２が区分され、原色ＧのグループにはＧ１，Ｇ２が区分され、原色ＲのグループにはＲ１，Ｒ２が区分される。そして、ベイヤー画像のＧ画素の値の導出には図６の如きフィルタマスクを用いればよく、ベイヤー画像のＢ画素およびＲ画素の値の導出には図１２の如きフィルタマスクを用いればよい。
【００５７】
＜１−３−３．８種類のフィルタ＞
また、Ｂタイプフィルタ、Ｒタイプフィルタがそれぞれ２種類のフィルタを含み、Ｇタイプフィルタが４種類のフィルタを含むようにして、計８種類のフィルタによって、８つの波長帯の光の強度が得られるようになっていてもよい。
【００５８】
図１５は、このような場合の８種類のフィルタの分光透過特性の例を示す図である。図に示すように８種類のフィルタとして、透過する波長帯が短いものからＢ１フィルタ、Ｂ２フィルタ、Ｇ１フィルタ、Ｇ２フィルタ、Ｇ３フィルタ、Ｇ４フィルタ、Ｒ１フィルタおよびＲ２フィルタがある。これにより、Ｂタイプフィルタとして２種類のフィルタ、Ｇタイプフィルタとして４種類のフィルタ、Ｒタイプフィルタとして２種類のフィルタがそれぞれ含まれている。
【００５９】
図１６は、これら８種類のフィルタの撮像センサ３における配置例を示す図である。この場合においても、Ｇタイプフィルタは、複数の受光画素Ｐの配列における市松模様の一方の領域に対応する受光画素Ｐに付される。そして、この領域内において、Ｇ１〜Ｇ４フィルタがそれぞれ均等に配置される。また、ＢタイプフィルタおよびＲタイプフィルタは、上記市松模様の他方の領域（Ｇタイプフィルタが配置されていない領域）に対応する受光画素Ｐに均等に付される。これにより撮像センサ３からは、Ｂ１，Ｂ２，Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｒ１，Ｒ２の８色のいずれかにそれぞれ対応する複数の画素を含むセンサ出力画像が出力され、８つの波長帯の光の強度が得られる。
【００６０】
このように取得できる波長帯の数が増加するほど、コンピュータなどにおいて被写体からの光の分光分布などを演算する際の演算精度を向上させることができる。取得できる波長帯の数はフィルタの種類の数に一致するが、このフィルタの種類の数は４以上であればどのような数であってもよい。精度の高い分光分布を得るためには、４以上の波長帯の光の強度を得る必要がある。
【００６１】
また、この撮像センサ３から得られるセンサ出力画像からベイヤー画像を生成する際においても、上記と同様に、ＲＧＢの３原色に対応する３つのグループに８つの色を区分し、それぞれのグループごとにベイヤー画像の１原色に対応する画素の値を求めるようにすればよい。原色ＢのグループにはＢ１，Ｂ２が区分され、原色ＧのグループにはＧ１，Ｇ２，Ｇ３，Ｇ４が区分され、原色ＲのグループにはＲ１，Ｒ２が区分される。
【００６２】
ベイヤー画像のＢ画素およびＲ画素の値の導出には図１２の如きフィルタマスクを用いればよい。一方、ベイヤー画像のＧ画素の値の導出には、例えば、図１７に示すフィルタマスクを用いることができる。より具体的には、例えば、センサ出力画像のＧ１画素と同一位置のベイヤー画像のＧ画素の値は、センサ出力画像のＧ１画素を中心とした５×５画素に対して図１７に示すフィルタマスクを用いたコンボリューション演算により導出される。つまり、このＧ画素の値は、Ｇ１画素の値に重みα１を乗算した結果に対して、その近傍の４つのＧ２画素、２つのＧ３画素、および、２つのＧ４画素の値にそれぞれ重みα２、α３、α４を乗算した結果の平均値を加算することにより導出される。ここで、重みα１，α２，α３，α４は、次の式（２）を満たすものである。
【００６３】
α１＋α２＋α３＋α４＝１          …（２）
これらの重みα１〜α４は、Ｇ１〜Ｇ４フィルタそれぞれの分光透過特性と、一般的なＧフィルタの分光透過特性との関係により決定することができる。すなわち、分光透過特性がＧフィルタと近似するフィルタが付された画素の値ほど、重みが大きくなるようにα１〜α４が決定される。なお、Ｇ２画素、Ｇ３画素、Ｇ４画素のそれぞれと同一位置のベイヤー画像のＧ画素の値は、図１７に示すフィルタマスクの重みα１〜α４を適宜変更したものを用いて導出すればよい。
【００６４】
＜１−３−４．近紫外または近赤外の波長帯＞
上記実施の形態のフィルタは、全て可視波長帯の光を透過するものであったが、シリコンで構成される受光画素は近紫外の波長（約３００ｎｍ）から近赤外の波長（約１１００ｎｍ）までの光の光電変換が可能であるため、複数の種類のフィルタには、近紫外や近赤外の波長帯の光を透過するフィルタが含まれていてもよい。
【００６５】
図１８は、近紫外の波長帯の光を透過するＵＶフィルタを含む４種類のフィルタの分光透過特性の例を示す図である。図に示すように４種類のフィルタとして、可視波長帯の光を透過するＢフィルタ、ＧフィルタおよびＲフィルタとともに、近紫外の波長帯の光を透過するＵＶフィルタがある。
【００６６】
図１９は、これら４種類のフィルタの撮像センサ３における配置例を示す図である。ＵＶフィルタは、Ｇタイプフィルタよりも短い波長帯の光を透過するタイプのフィルタ（以下、「短波長タイプフィルタ」という。）に分類される。この短波長タイプフィルタには、ＵＶフィルタおよびＢフィルタの２種類のフィルタが含まれている。Ｇタイプフィルタは、複数の受光画素Ｐの配列における市松模様の一方の領域に対応する受光画素Ｐに付され、短波長タイプフィルタおよびＲタイプフィルタは、上記市松模様の他方の領域（Ｇタイプフィルタが配置されていない領域）に対応する受光画素Ｐに均等に付される。そして、ＵＶフィルタと、Ｂフィルタとは、短波長タイプフィルタが配置される領域にそれぞれ均等に配置される。
【００６７】
このような撮像センサ３からは、近紫外の波長帯と、ＲＧＢの３原色にそれぞれ対応する波長帯とからなる４つの波長帯の光の強度が得られる。つまり、この撮像センサ３においては、１度の露光で、被写体のカラー情報とともに、被写体からの光についての近紫外の波長帯の情報が得られることとなる。
【００６８】
図２０は、近赤外の波長帯の光を透過するＩＲフィルタを含む４種類のフィルタの分光透過特性の例を示す図である。図に示すように４種類のフィルタとして、可視波長帯の光を透過するＢフィルタ、ＧフィルタおよびＲフィルタとともに、近赤外の波長帯の光を透過するＩＲフィルタがある。
【００６９】
図２１は、これら４種類のフィルタの撮像センサ３における配置例を示す図である。ＩＲフィルタは、Ｇタイプフィルタよりも長い波長帯の光を透過するタイプのフィルタ（以下、「長波長タイプフィルタ」という。）に分類される。この長波長タイプフィルタには、ＩＲフィルタおよびＲフィルタの２種類のフィルタが含まれている。Ｇタイプフィルタは、複数の受光画素Ｐの配列における市松模様の一方の領域に対応する受光画素Ｐに付され、長波長タイプフィルタおよびＢタイプフィルタは、上記市松模様の他方の領域（Ｇタイプフィルタが配置されていない領域）に対応する受光画素Ｐに均等に付される。そして、ＩＲフィルタと、Ｒフィルタとは、長波長タイプフィルタが配置される領域にそれぞれ均等に配置される。
【００７０】
このような撮像センサ３からは、近赤外の波長帯と、ＲＧＢの３原色にそれぞれ対応する波長帯とからなる４つの波長帯の光の強度が得られる。つまり、この撮像センサ３においては、１度の露光で、被写体のカラー情報とともに、被写体からの光についての近赤外の波長帯の情報が得られることとなる。
【００７１】
近紫外の波長帯は、昆虫などが視感度を有する波長帯であるため、近紫外の波長帯の光の強度が得られれば、植物などの被写体に関して種々の分析を行うことができる。また、近紫外の波長帯の光は被写体における散乱が多いため、顔のしわやしみの検出にも適している。一方、近赤外の波長帯の光は、被写体における散乱や水の吸収が少なく生体を透過しやすいため、近赤外の波長帯の光の強度が得られれば、生体の被写体に関して種々の分析を行うことができる。
【００７２】
＜１−３−５．等色関数の再現＞
撮像センサ３の受光画素に付されるフィルタとして、４種類のフィルタがあれば、人間の眼の感度を表す等色関数を再現することも可能である。図２２は、等色関数を示す図である。図に示すように、等色関数は、ｒ，ｇ，ｂの３つの曲線で表現される。このうち曲線ｒは、負の側に飛び出している部分ｒｎがある。
【００７３】
このため、このような等色関数を再現するために、図２３に示すように、等色関数の曲線ｒの正の部分の特性と一致する分光透過特性を有するＲ１フィルタ、等色関数の曲線ｒの負の部分ｒｎの特性と正負が逆となる分光透過特性を有するＲ２フィルタ、等色関数の曲線ｇの特性と一致する分光透過特性を有するＧフィルタ、等色関数の曲線ｂの特性と一致する分光透過特性を有するＢフィルタをそれぞれ設定する。これらの４種類のフィルタは、例えば、図１１と同様に撮像センサ３に配置すればよい。
【００７４】
そして、Ｇフィルタが付された受光画素で得られる値を原色Ｇの値、Ｂフィルタが付された受光画素で得られる値を原色Ｂの値とし、Ｒ１フィルタが付された受光画素で得られる値から、Ｒ２フィルタが付された受光画素で得られる値を減算した結果を原色Ｒの値とする。このようにすれば、実質的に等色関数を再現することとなり、人間の眼で感じる値に相当する３原色の値が得られることとなる。
【００７５】
＜１−３−６．ハニカム配列＞
また、撮像センサ３は、受光画素の配列がハニカム配列となるハニカムセンサであってもよい。ハニカムセンサにおいては、蜂巣状に（隣接する受光画素が半画素分ずれるように）受光画素が配置される。図２４は、ハニカムセンサ３ａに対する、Ｂフィルタ、Ｇ１フィルタ、Ｇ２フィルタおよびＲフィルタの４種類のフィルタの配置例を示す図である。図２４に示すフィルタの配置は、図４に示したフィルタの配置を４５度回転させたものに相当する。
【００７６】
このようなハニカムセンサ３ａは、受光画素Ｐ間の配線部が不要になるためスペースに余裕が生まれ、上記で説明したような撮像センサ３と比較して、各受光画素を大型化することが可能となる。
【００７７】
透過する光の波長帯が互いに異なるフィルタの種類を増加させた場合、それぞれのフィルタが透過する光の帯域幅は狭くなるため、このようなフィルタが付された受光画素の感度は低下する可能性がある。撮像センサ３としてハニカムセンサ３ａを採用すると、各受光画素を大型化することができるため、このような受光画素の感度の低下を防止することができる。
【００７８】
＜２．第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。第１の実施の形態においては、フィルタは撮像センサの受光画素ごとに配置されるものであったが、本実施の形態においては複数の受光画素を含むユニットごとに配置されるようになっている。本実施の形態の撮像装置１の構成は、図２に示すものとほぼ同様であるが、撮像部４０の構成が相違する。
【００７９】
図２５は、本実施の形態の撮像部４０の概略構成を示す分解斜視図である。被写体からの光は図２５の上部から入射する。図に示すように、撮像部４０は、水平２×垂直２の計４つのマイクロレンズ２１を平面的に配列して有するマイクロレンズアレイ２０と、水平２×垂直２の計４つのフィルタ６１を平面的に配列して有するフィルタアレイ６０と、水平２×垂直２の計４つの格子７１を平面的に配列して有する隔壁７０と、複数の受光画素を平面的に配列して有する撮像センサ３０とを、光が入射する側からこの順に備えている。
【００８０】
撮像センサ３０の複数の受光画素で構成される受光面は、水平２×垂直２の計４つの結像領域３１に区分され、４つの結像領域３１に対して４つのマイクロレンズ２１がそれぞれ被写体の光像を結像するようになっている。また、４つのフィルタ６１は、４つのマイクロレンズ２１のそれぞれに対応して配置され、マイクロレンズ２１を通過した光のうち特定の波長帯の光のみを透過する。さらに、４つの格子７１は、４のマイクロレンズ２１のそれぞれに対応して配置され、１のマイクロレンズ２１を通過した光と、他のマイクロレンズ２１を通過した光との干渉を防止するように機能する。
【００８１】
つまり、１の結像領域３１に対して、１のマイクロレンズ２１と、１のフィルタ６１と、１の格子７１とが対応づけられて、これらが図中の破線による角柱で示す如く１のユニットＵを形成している。マイクロレンズ２１によって同一ユニットＵ内の結像領域３１中に結像された被写体の光像は、該結像領域３１に含まれる複数の受光画素において光電変換されて一の画像とされる。したがって、ユニットＵごとに一の被写体の画像が得られ、撮像センサ３０の全体では、４つの被写体の画像が得られる。取得される４つの画像は、Ａ／Ｄ変換器４１においてデジタル信号とされ、必要に応じて画像処理部４２において所定の処理が施され、メモリカード９１に記憶されたり外部装置９２に送信される。
【００８２】
マイクロレンズの焦点距離は、通常のレンズの焦点距離よりも短いため、撮像部４０を本実施の形態の構成とすることで撮像装置１を小型化することができる。また、第１の実施の形態のように複数種類のフィルタを受光画素ごとに形成すると、撮像センサの製造上の工程数が多くなり、撮像装置の製造コストが高くなる可能性があるが、本実施の形態の撮像部４０の構成によれば、フィルタをユニット毎に配置すればよいためフィルタのサイズを比較的大きくすることができる。このことから、フィルタの製造は比較的容易となり、これにより撮像装置の製造コストを低減することができる。
【００８３】
各ユニットＵ内のフィルタが透過する光の波長帯は、同一ユニットＵにて得られる画像中の画素の色に対応する。フィルタアレイ６０を形成する４つのフィルタ６１は、透過する光の波長帯が互いに異なっている。つまり、本実施の形態においては４種類のフィルタが採用されている。この４種類のフィルタとしては、図３に示す分光透過特性を有するＢフィルタ、Ｇ１フィルタ、Ｇ２フィルタおよびＲフィルタが用いられている。図２６は、フィルタアレイ６０中における４種類のフィルタ６１の各ユニットＵへの配置例を示す図である。
【００８４】
このような構成により、撮像装置１としては、１度の露光によって同一被写体に関して色が異なる４つの画像が得られる。つまり、撮像装置１は、４つの波長帯の光の強度を１度の露光によって得ることができることとなる。さらに、撮像装置１は、被写体の同一点からの光に関して、４つ波長帯の強度を得ることができる。つまり、欠落画素値の補間などを行わずに、Ｂ，Ｇ１，Ｇ２，Ｒの４つの色成分画像を取得できることとなり、欠落画素値の補間によって生じる偽色やモアレなどが発生することもない。
【００８５】
なお、本実施の形態においては、フィルタアレイ６０中におけるフィルタの配列は特に限定されず、４種類のフィルタがどのように配置されていてもよい。また、４種類のフィルタとしては、透過する光の波長帯が互いに異なっていれば、どのような波長帯を透過するものであってもよい。
【００８６】
例えば、４種類のフィルタに、近紫外や近赤外の波長帯の光を透過するフィルタを含めるようにしてもよい。図２７は、図１９に示す分光透過特性を有するＵＶフィルタ、Ｂフィルタ、ＧフィルタおよびＲフィルタを採用した場合における、フィルタアレイ６０中におけるフィルタ６１の配置例を示す図である。また、図２８は、図２０に示す分光透過特性を有するＢフィルタ、Ｇフィルタ、ＲフィルタおよびＩＲフィルタを採用した場合における、フィルタアレイ６０中におけるフィルタ６１の配置例を示す図である。このような構成とすると、撮像センサ３０では、１度の露光で、被写体のカラー情報とともに、被写体からの光についての近紫外または近赤外の波長帯の情報が得られるため、前述したように、被写体に対して様々な分析を行うことができる。
【００８７】
また、４種類のフィルタに、全波長帯の光を透過する透明のフィルタ（以下、「Ｗフィルタ」という。）を含めるようにしてもよい。図２９は、このような場合におけるフィルタアレイ６０中におけるフィルタ６１の配置例を示す図である。このような構成とすると、撮像センサ３０では、１度の露光で、被写体のカラー情報とともに、被写体からの光についての純粋な輝度成分の情報が得られることとなる。これとともに、Ｗフィルタは全波長帯の光を透過するため、Ｗフィルタが配置されるユニットＵ中に含まれる受光画素の感度を向上させることができる。したがって、図２９に示すフィルタアレイ６０が採用された撮像装置１は、被写体の輝度が極端に低い場合であっても、Ｗフィルタが配置されるユニットＵを用いることにより、その被写体の画像を得ることができる。このため、この撮像装置１は、昼夜を問わない使用が要求される監視カメラや車載カメラなどに利用することができる。
【００８８】
また、ユニットＵの数は４つに限定されず、４以上であればどのような数であってもよい。図３０は、ユニットＵの数を６つとした場合のフィルタアレイ６０中におけるフィルタ６１の配置例を示す図である。このような場合であっても、６つのフィルタ６１は透過する光の波長帯が互いに異なるようにし、図３０の例においては図１３に示す分光透過特性を有する６種類のフィルタが採用されている。このようにユニットＵの数を増加させると、１度の露光で取得できる波長帯の数を増加することができるため、コンピュータなどにおいて被写体からの光の分光分布などを演算する際の演算精度を向上させることができる。
【００８９】
また、図３１に示すように、可視波長帯を例えば１６分割し、分割されたそれぞれの波長帯の光を透過可能な１６種類のフィルタ（Ｆ１〜Ｆ１６フィルタ）を用意し、図３２に示すように、１６のユニットＵにＦ１〜Ｆ１６フィルタをそれぞれ配置するようにしてもよい。図３２に示すフィルタアレイ６０が採用された撮像装置１では、１度の露光で１６の波長帯の光の強度を得ることができ、精度の高い分光測色計として利用することができる。なお、撮像装置１を分光測色計として利用する場合は、１度の露光で取得できる波長帯の数は１６以上であることが好ましい。
【００９０】
＜３．第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。本実施の形態の撮像装置１の構成は第２の実施の形態とほぼ同様であるが、本実施の形態では、各ユニットＵごとに取得される複数の画像を再配置して、１つの再配置画像を生成するようにしている。
【００９１】
図３３は、本実施の形態の撮像部４０の概略構成を示す分解斜視図である。本実施の形態の撮像部４０は、第２の実施の形態とほぼ同様に、複数のマイクロレンズ２１を平面的に配列して有するマイクロレンズアレイ２０と、複数のフィルタ６１を平面的に配列して有するフィルタアレイ６０と、複数の格子７１を平面的に配列して有する隔壁７０と、複数の受光画素を平面的に配列して有する撮像センサ３０とを、光が入射する側からこの順に備えている。撮像センサ３０の複数の受光画素で構成される受光面は、複数の結像領域３１に区分される。そして、この結像領域３１に対して、１のマイクロレンズ２１と、１のフィルタ６１と、１の格子７１とが対応づけられて、これらが１のユニットＵを形成している。ただし、本実施の形態の撮像部４０は多数のユニットＵ、具体的には、水平方向にＭ個、素直方向にＮ個に配列された複数のユニットＵを備えている。
【００９２】
図３４は、複数のユニットＵと複数の受光画素Ｐとの関係を示す図であり、上部は撮像センサ３０内におけるユニットＵ（すなわち結像領域３１）の配列を、下部は一のユニットＵ内における受光画素Ｐの配列を示している。図に示すように、撮像センサ３０の受光面は水平Ｍ個×垂直Ｎ個のユニットＵに区分され、一のユニットＵには水平ｍ個×垂直ｎ個の受光画素Ｐが含まれている。
【００９３】
各ユニットＵでは、水平ｍ×垂直ｎ画素からなる被写体の画像（以下、「ユニット画像」という。）が得られる。このユニット画像は、Ａ／Ｄ変換器４１においてデジタル信号とされた後、画像処理部４２に入力される。そして、画像処理部４２において各ユニットＵで得られたユニット画像に含まれる画素が再配置され、水平方向Ｎ×ｎ画素、垂直方向Ｍ×ｍ画素からなる再配置画像が生成される。
【００９４】
マイクロレンズアレイ２０を形成する複数のマイクロレンズ２１間には視差があることから、この視差を原因として、結像領域３１間において微妙に異なった位置に被写体の光像が結像される。したがって、複数のユニット画像間では、含まれる被写体像の位置は微妙に異なることとなる。本実施の形態では、このようなユニット画像間の被写体像の位置の相違を利用し、複数のユニット画像の画素を再配置することで、高解像度となる単一の再配置画像を得るようにしている。
【００９５】
ここで、撮像センサ３０上における各ユニットＵの水平方向の座標をＩ，垂直方向の座標をＪとし、ユニットＵ内における受光画素Ｐの水平方向の座標をｉ，垂直方向の座標をｊとし、各ユニット画像の識別には取得されたユニットＵの座標（Ｉ，Ｊ）を用い、ユニット画像中の各画素の識別には取得された受光画素Ｐの座標（ｉ，ｊ）を用いるものとする。図３４においては、各ユニットＵ内にそれぞれの座標（Ｉ，Ｊ）を示し、各受光画素Ｐ内にそれぞれの座標（ｉ，ｊ）を示している。
【００９６】
そして、再配置画像中の各画素の水平方向の座標をｘ、垂直方向の座標をｙとすると、再配置処理においてユニット画像（Ｉ，Ｊ）中の画素（ｉ，ｊ）を配置すべき座標（ｘ，ｙ）は、次の式（３）および式（４）で表現される。
【００９７】
ｘ＝Ｍ（ｉ−１）＋Ｉ          …（３）
ｙ＝Ｎ（ｊ−１）＋Ｊ          …（４）
再配置処理においては、式（３）および式（４）により求められる座標（ｘ，ｙ）を各画素の目標座標とし、全ユニット画像の全画素をそれぞれの目標座標に配置することで、再配置画像が生成されることとなる。
【００９８】
本実施の形態では、フィルタアレイ６０を形成する複数のフィルタ６１として、透過する光の波長帯が異なる４種類のフィルタが採用されている。この４種類のフィルタとしては、図３に示す分光透過特性を有するＢフィルタ、Ｇ１フィルタ、Ｇ２フィルタおよびＲフィルタが用いられている。
【００９９】
図３５は、フィルタアレイ６０中における４種類のフィルタの各ユニットＵ（すなわち、各マイクロレンズ２１）への配置例を示す図である。図３５に示すように、Ｇタイプフィルタ（Ｇ１フィルタおよびＧ２フィルタ）は、ユニットＵの配列における市松模様の一方の領域に対応するユニットＵに配置されている。そして、Ｇ１フィルタとＧ２フィルタとは、垂直方向に対して交互に配置される。一方、ＢフィルタおよびＲフィルタは、上記市松模様の他方の領域（Ｇタイプフィルタが配置されていない領域）に対応するユニットＵに配置される。そして、ＢフィルタとＲフィルタとは、垂直方向に対して交互に配置される。つまり、このフィルタの配列は、図４に示すフィルタの配列と同様となっている。
【０１００】
各ユニット画像中の画素の色は、取得されたユニットＵ内のフィルタ６１が透過する光の波長帯に対応する。つまり、Ｂフィルタが配置されたユニットＵからはＢ画素のみのユニット画像、Ｇ１フィルタが配置されたユニットＵからはＧ１画素のみのユニット画像、Ｇ２フィルタが配置されたユニットＵからはＧ２画素のみのユニット画像、Ｒフィルタが配置されたユニットＵからはＲ画素のみのユニット画像がそれぞれ得られる。したがって、本実施の形態の撮像装置１においても、１度の露光によって４つの波長帯の光の強度を得ることができる。
【０１０１】
また、これらのユニット画像について、上記のような再配置処理を行うと、再配置画像中の画素が対応する色の配列は、フィルタアレイ６０中における４種類のフィルタの配列と同様になる。このため、図３５に示すフィルタアレイ６０を採用すると、図４に示す撮像センサ３から得られるセンサ出力画像と同等の画像が、再配置画像として得られることとなる。このことから、この再配置画像については、第１の実施の形態と全く同様の画像処理を行うことができる。
【０１０２】
なお、本実施の形態においてもフィルタの種類の数は４以上であればどのような数であってもよく、また、フィルタとしては、どのような波長帯の光を透過するものであってもよい。したがって、フィルタアレイ６０中におけるフィルタの配列としては、図１０、図１１、図１４、図１６、図１９、図２１に示した配列のいずれであっても採用することができる。
【０１０３】
◎なお、上述した具体的実施の形態には以下の構成を有する発明が含まれている。
【０１０４】
（１）  請求項５に記載の撮像装置において、
前記複数のフィルタはそれぞれ、緑色波長帯の光を透過する第１タイプフィルタ、前記第１タイプフィルタよりも短い波長帯の光を透過する第２タイプフィルタ、および、前記第１タイプフィルタよりも長い波長帯の光を透過する第３タイプフィルタのいずれかに区分され、
前記第１タイプフィルタは、前記複数のマイクロレンズの配列における市松模様の一方の領域に対応する前記マイクロレンズに対して配置され、
前記第２および第３タイプフィルタは、前記市松模様の他方の領域に対応する前記マイクロレンズに対してそれぞれ均等に配置されることを特徴とする撮像装置。
【０１０５】
これによれば、人間の眼は緑色波長帯の光に対しての感度が高いため、緑色波長帯の光を透過する第１タイプフィルタを市松模様の一方の領域に配置して、第２および第３タイプフィルタよりも配置数を多くすることで、取得される画像の解像感を高めることができる。
【０１０６】
（２）  請求項１または上記（１）に記載の撮像装置において、
前記第２タイプフィルタは、近紫外線の波長帯を透過するフィルタを含むことを特徴とする撮像装置。
【０１０７】
これによれば、近紫外線の波長帯の光の強度を得ることができるため、被写体に対して様々な分析を行うことができる。
【０１０８】
（３）  請求項１または上記（１）に記載の撮像装置において、
前記第３タイプフィルタは、近赤外線の波長帯を透過するフィルタを含むことを特徴とする撮像装置。
【０１０９】
これによれば、近赤外線の波長帯の光の強度を得ることができるため、被写体に対して様々な分析を行うことができる。
【０１１０】
（４）  請求項４に記載の撮像装置において、
前記所定数のフィルタは、近紫外線または近赤外線の波長帯を透過するフィルタを含むことを特徴とする撮像装置。
【０１１１】
これによれば、近紫外線または近赤外線の波長帯の光の強度を得ることができるため、被写体に対して様々な分析を行うことができる。
【０１１２】
【発明の効果】
以上、説明したように、請求項１の発明によれば、１度の露光によって４以上の波長帯の光の強度を得ることができる。また、人間の眼は緑色波長帯の光に対しての感度が高いため、緑色波長帯の光を透過する第１タイプフィルタを市松模様の一方の領域に配置して、第２および第３タイプフィルタよりも配置数を多くすることで、取得される画像の解像感を高めることができる。
【０１１３】
また、請求項２の発明によれば、３原色に対応する３つのグループごとに１原色に対応する画素の値が導出されるため、４種以上の色のいずれかにそれぞれ対応する複数の画素を有する画像を、一般的なカラー表示装置への表示やカラー印刷装置での印刷に用いることができる。
【０１１４】
また、請求項３の発明によれば、３つの第２画像から構成される第３画像を圧縮して１の圧縮画像を生成するため、４以上の第２画像から構成される第３画像を圧縮して１の圧縮画像を生成する場合よりも圧縮画像のデータ量を抑制することができる。
【０１１５】
また、請求項４の発明によれば、被写体からの同一点からの４以上の波長帯の光の強度を１度の露光によって得ることができる。また、撮像装置を小型化することができる。
【０１１６】
また、請求項５の発明によれば、１度の露光によって４以上の波長帯の光の強度を得ることができる。また、撮像装置を小型化することができる。
【図面の簡単な説明】
【図１】フィルタの配列がベイヤー配列となる撮像センサを示す図である。
【図２】撮像装置の基本的な構成を示す図である。
【図３】フィルタの分光透過特性の例を示す図である。
【図４】フィルタの配置例を示す図である。
【図５】センサ出力画像から通常画像を生成する手法を示す図である。
【図６】演算に用いるフィルタマスクの例を示す図である。
【図７】演算に用いるフィルタマスクの例を示す図である。
【図８】演算に用いるフィルタマスクの例を示す図である。
【図９】センサ出力画像から３つの色成分画像を生成する手法を示す図である。
【図１０】フィルタの配置例を示す図である。
【図１１】フィルタの配置例を示す図である。
【図１２】演算に用いるフィルタマスクの例を示す図である。
【図１３】フィルタの分光透過特性の例を示す図である。
【図１４】フィルタの配置例を示す図である。
【図１５】フィルタの分光透過特性の例を示す図である。
【図１６】フィルタの配置例を示す図である。
【図１７】演算に用いるフィルタマスクの例を示す図である。
【図１８】フィルタの分光透過特性の例を示す図である。
【図１９】フィルタの配置例を示す図である。
【図２０】フィルタの分光透過特性の例を示す図である。
【図２１】フィルタの配置例を示す図である。
【図２２】等色関数を示す図である。
【図２３】フィルタの分光透過特性の例を示す図である。
【図２４】ハニカムセンサに対するフィルタの配置例を示す図である。
【図２５】第２の実施の形態の撮像部の概略構成を示す図である。
【図２６】フィルタアレイにおけるフィルタの配置例を示す図である。
【図２７】フィルタアレイにおけるフィルタの配置例を示す図である。
【図２８】フィルタアレイにおけるフィルタの配置例を示す図である。
【図２９】フィルタアレイにおけるフィルタの配置例を示す図である。
【図３０】フィルタアレイにおけるフィルタの配置例を示す図である。
【図３１】フィルタの分光透過特性の例を示す図である。
【図３２】フィルタアレイにおけるフィルタの配置例を示す図である。
【図３３】第３の実施の形態の撮像部の概略構成を示す図である。
【図３４】複数のユニットと複数の受光画素との関係を示す図である。
【図３５】フィルタアレイにおけるフィルタの配置例を示す図である。
【符号の説明】
１      撮像装置
２      レンズ
３      撮像センサ
２０      マイクロレンズアレイ
３０      撮像センサ
６０      フィルタアレイ
７０      隔壁
Ｕ      ユニット
Ｐ      受光画素
【図１】
2004228662.tif 000003
【図２】
2004228662.tif 000004
【図３】
2004228662.tif 000005
【図４】
2004228662.tif 000006
【図５】
2004228662.tif 000007
【図６】
2004228662.tif 000008
【図７】
2004228662.tif 000009
【図８】
2004228662.tif 000010
【図９】
2004228662.tif 000011
【図１０】
2004228662.tif 000012
【図１１】
2004228662.tif 000013
【図１２】
2004228662.tif 000014
【図１３】
2004228662.tif 000015
【図１４】
2004228662.tif 000016
【図１５】
2004228662.tif 000017
【図１６】
2004228662.tif 000018
【図１７】
2004228662.tif 000019
【図１８】
2004228662.tif 000020
【図１９】
2004228662.tif 000021
【図２０】
2004228662.tif 000022
【図２１】
2004228662.tif 000023
【図２２】
2004228662.tif 000024
【図２３】
2004228662.tif 000025
【図２４】
2004228662.tif 000026
【図２５】
2004228662.tif 000027
【図２６】
2004228662.tif 000028
【図２７】
2004228662.tif 000029
【図２８】
2004228662.tif 000030
【図２９】
2004228662.tif 000031
【図３０】
2004228662.tif 000032
【図３１】
2004228662.tif 000033
【図３２】
2004228662.tif 000034
【図３３】
2004228662.tif 000035
【図３４】
2004228662.tif 000036
【図３５】
2004228662.tif 000037