(57)【特許請求の範囲】
【請求項１】
被撮像物を撮像して画像信号を得る撮像装置において、
受光素子が行方向及び列方向に二次元的に配列された受光素子アレイと、
前記受光素子アレイの手前に設けられ、互いに光透過特性が異なる複数の種類の帯状の光透過部が、幅方向に沿って交互に配列された光透過フィルタと、
前記受光素子が出力した画像信号を入力して演算処理を行う演算処理部と、を有し、
前記光透過部が配列される配列方向は、前記受光素子が配列される前記行方向及び前記列方向のいずれとも平行ではなく、
前記演算処理部は、予め計算された加重係数を用いて、複数の受光素子のそれぞれが出力した前記画像信号の加重和を求める演算処理を行うことを特徴とする撮像装置。
【請求項２】
前記受光素子が配列される前記行方向に沿う前記光透過部の幅寸法は、前記行方向に沿う前記受光素子の幅寸法に略等しいことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記受光素子が配列される前記列方向に沿う前記光透過部の幅寸法は、前記列方向に沿う前記受光素子の幅寸法の略２倍であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の種類の光透過部は、偏光方向が互いに異なる光を透過する光透過特性が異なることを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
【請求項５】
前記複数の種類の光透過部は、波長帯域が互いに異なる光を透過する光透過特性が異なることを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
【請求項６】
前記複数の受光素子は、２行２列に配列された４つの受光素子であることを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記演算処理部は、複数の異なる被撮像物を撮像して得られた画像信号に基づいて、前記加重係数を計算することを特徴とする請求項１から請求項６のいずれかに記載の撮像装置。
【請求項８】
前記加重係数を記憶する記憶部を有することを特徴とする請求項１から請求項７のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の偏光フィルタ又は複数の色分解フィルタを配列した光透過フィルタを備え、被撮像物を撮像して画像信号を得る撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等において、被撮像物を撮像して得られた画像信号よりなる画像情報を、複数の波長帯域の画像情報に分解する撮像装置がある。
【０００３】
あるいは、デジタルカメラ等において、例えば不要な偏光成分を除去して被撮像物のコントラストを強調するために、被撮像物を撮像して得られた画像信号よりなる画像情報を、複数の偏光成分の画像情報に分解する撮像装置がある。
【０００４】
このような撮像装置においては、１種類の受光素子を配列してなる受光素子アレイを用い、複数の異なる偏光方向又は複数の異なる波長帯域を有する複数の種類の光に分解するものがある。
【０００５】
例えば、ＣＣＤ（電荷結合素子：Charge Coupled Device）、ＣＭＯＳ（相補形金属酸化膜半導体：Complementary Metal Oxide Semiconductor）等よりなる受光素子アレイの前面に、互いに異なる特性の複数の光を透過する複数の種類の領域に分割された領域分割型のフィルタを配置し、受光素子から出力される画像信号データに対して信号処理を行うことにより、異なる特性の複数の光透過フィルタを透過した複数の種類の受光素子が存在するかのように、複数の画像信号を得る撮像装置がある。
【０００６】
一の例として、ＣＣＤ等よりなる受光素子アレイの前面に、領域分割分光フィルタ、すなわち、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色分解フィルタのように、透過する光の帯域波長が異なる分光フィルタ（以下、「分光フィルタ部」という。）を、所定の配置パターンに従って配列したカラーフィルタを設置し、１つの受光素子アレイのみを用いてカラー画像信号データを取得する撮像装置がある（例えば特許文献１参照）。
【０００７】
他の例として、ＣＣＤ等よりなる受光素子アレイの前面に、領域分割偏光フィルタ、すなわち偏光方向の異なる偏光フィルタ（以下、「偏光フィルタ部」という。）を所定の配置パターンに従って配列した偏光フィルタを設置し、１つの被撮像物を撮像して得た１つの画像信号データを、偏光方向ごとに分離して複数の画像信号データを取得する撮像装置がある（例えば特許文献２参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、このような撮像装置においては、以下のような問題があった。
【０００９】
このような撮像装置においては、一つの画素に相当する一つの受光素子が受光する光は、複数に分割された光透過フィルタ（以下、「光透過フィルタ部」という。）のうち、一種類の光透過フィルタ部を透過する必要がある。そのためには、例えば各受光素子と各光透過フィルタ部とを一対一に対応させる場合には、各受光素子及び各光透過フィルタ部の形状及び大きさを略等しくしなければならない。
【００１０】
しかしながら、撮像装置は、ＣＣＤ、ＣＭＯＳ等の受光素子アレイの前面に、別体で形成された光透過フィルタを接着等により取り付けて構成されるため、受光素子及びフィルタ部の形状及び大きさを略等しくすることだけでは足りず、各光透過フィルタ部を受光アレイに対して精密に位置合わせしなければならないという問題があった。
【００１１】
ここで、各光透過フィルタ部が各受光素子に対して平行に位置ずれしている場合、一つの受光素子において、異なる偏光特性を有する複数の偏光フィルタを透過した光が受光される。そのため、その受光素子で出力される画像信号データは、そのままでは、本来意図する偏光画像と異なってしまう、また混合比率によっては全く取得できなくなるという問題があった。
【００１２】
また、各光透過フィルタ部が各受光素子に対して回転して位置ずれしている場合も、その回転角度が微小である場合には、狭い領域で見れば平行に位置ずれしているものと近似することができる。そのため、上記したのと同様に、偏光情報が取得できないという問題があった。
【００１３】
このような異なる複数の偏光フィルタ部を配列配置してなる偏光フィルタを使用する場合に発生する問題は、分光フィルタ部を配列配置してなる分光フィルタを使用する場合にも同様に発生するものである。例えば、受光素子に対して複数の種類の色分解フィルタの位置が位置ずれした場合、その受光素子で出力される画像信号データが、例えばＲＧＢの各色分解フィルタを透過した光を平均化した画像信号データとなってしまい、カラー画像情報が取得できないという問題があった。
【００１４】
本発明は上記の点に鑑みてなされたものであり、受光素子の手前に設けられる光透過フィルタの受光素子に対する位置合わせの精度が十分でなくても、画面全体で各光透過フィルタ部ごとによる画像信号データを復元することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
第１の発明は、被撮像物を撮像して画像信号を得る撮像装置において、受光素子が行方向及び列方向に二次元的に配列された受光素子アレイと、前記受光素子アレイの手前に設けられ、互いに光透過特性が異なる複数の種類の帯状の光透過部が、幅方向に沿って交互に配列された光透過フィルタと、前記受光素子が出力した画像信号を入力して演算処理を行う演算処理部と、を有し、前記光透過部が配列される配列方向は、前記受光素子が配列される前記行方向及び前記列方向のいずれとも平行ではなく、前記演算処理部は、予め計算された加重係数を用いて、複数の受光素子のそれぞれが出力した前記画像信号の加重和を求める演算処理を行うことを特徴とする。
【００１７】
第２の発明は、第１の発明に係る撮像装置において、前記受光素子が配列される前記行方向に沿う前記光透過部の幅寸法は、前記行方向に沿う前記受光素子の幅寸法に略等しいことを特徴とする。
【００１８】
第３の発明は、第２の発明に係る撮像装置において、前記受光素子が配列される前記列方向に沿う前記光透過部の幅寸法は、前記列方向に沿う前記受光素子の幅寸法の略２倍であることを特徴とする。
【００１９】
第４の発明は、第１から第３のいずれかの発明に係る撮像装置において、前記複数の種類の光透過部は、偏光方向が互いに異なる光を透過する光透過特性が異なることを特徴とする。
【００２０】
第５の発明は、第１から第３のいずれかの発明に係る撮像装置において、前記複数の種類の光透過部は、波長帯域が互いに異なる光を透過する光透過特性が異なることを特徴とする。
【００２２】
第６の発明は、第１の発明に係る撮像装置において、前記複数の受光素子は、２行２列に配列された４つの受光素子であることを特徴とする。
【００２３】
第７の発明は、第１から第６のいずれかの発明に係る撮像装置において、前記演算処理部は、複数の異なる被撮像物を撮像して得られた画像信号に基づいて、前記加重係数を計算することを特徴とする。
【００２４】
第８の発明は、第１から第７のいずれかの発明に係る撮像装置において、前記加重係数を記憶する記憶部を有することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、複数の異なる種類の光透過フィルタ部を有する光透過フィルタが受光素子の手前に設けられてなる撮像装置において、光透過フィルタの受光素子に対する位置合わせの精度が十分でなくても、画面全体で各光透過フィルタ部ごとによる画像信号データを復元することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施の形態に係る撮像装置の全体構成を模式的に示すブロック図である。
【図２】本発明の第１の実施の形態に係る撮像装置の領域分割偏光フィルタにおける偏光フィルタ部の配置パターンを示す図である。
【図３】偏光フィルタ部の受光素子に対する相対位置が、横方向（行方向）にずれた場合の配置を示す図である。
【図４】横方向（行方向）のずれ量と、特定の偏光フィルタ部が特定の受光素子と重なる面積の割合であるカバー率を示すグラフである。
【図５】配置パターンが市松模様である偏光フィルタ部が、受光素子に対して横方向（行方向）及び縦方向（列方向）に１／２（０．５）ずつずれている場合を示す図である。
【図６】本発明の第１の実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。
【図７】本発明の第１の実施の形態に係る撮像装置が実行する信号処理方法を説明する工程図である。
【図８】本発明の第２の実施の形態に係る撮像装置の領域分割分光フィルタにおける分光フィルタ部の配置パターンを示す図である。
【図９】各分光フィルタ部を構成する各色分解フィルタが透過する光の波長帯域を示すスペクトルである。
【発明を実施するための形態】
【００２７】
次に、本発明を実施するための形態について図面と共に説明する。
（第１の実施の形態）
（撮像装置）
図１から図６を参照し、本発明の第１の実施の形態に係る撮像装置を説明する。
【００２８】
本実施の形態に係る撮像装置は、１組の受光素子アレイと領域分割偏光フィルタを用いて被撮像物を１回撮像し、得られたて画像信号データから縦偏光成分と横偏光成分の２つの画像信号データを復元するものである。
【００２９】
始めに、図１を参照し、本実施の形態の全体構成を説明する。図１は、本実施の形態に係る撮像装置の全体構成を模式的に示すブロック図である。
【００３０】
図１に示すように、本実施の形態に係る撮像装置５は、受光素子アレイ１、領域分割偏光フィルタ２、信号処理部３、及び出力インタフェース部４を有する。
【００３１】
なお、領域分割偏光フィルタ２、及び信号処理部３は、本発明における光透過フィルタ、及び演算処理部のそれぞれに相当する。
【００３２】
受光素子アレイ１は、受光素子が行方向及び列方向に二次元的に配列されてなる。受光素子アレイ１としては、ＣＣＤやＭＯＳ、ＣＭＯＳ等を用いることができる。領域分割偏光フィルタ２は、受光素子アレイ１に受光される光の光路上であって受光素子アレイ１の手前に設けられる。信号処理部３は、受光素子アレイ１から出力される画像信号データを入力し、領域分割されていない各偏光フィルタ単体を通過したのと同様な画像信号データを生成する。
【００３３】
なお、本実施の形態に係る偏光フィルタ部は、本発明における光透過部に相当する。
（領域分割偏光フィルタ）
次に、図２を参照し、本実施の形態に係る撮像装置の領域分割偏光フィルタについて説明する。図２は、本実施の形態に係る撮像装置の領域分割偏光フィルタにおける偏光フィルタ部の配置パターンを示す図である。
【００３４】
領域分割偏光フィルタ２は、偏光方向が互いに異なる光を透過する複数の種類の帯状の偏光フィルタ部を有する。具体的には、図２に示すように、領域分割偏光フィルタ２は、透過する偏光方向が互いに９０°異なる光を透過する複数の種類の帯状の偏光フィルタ部２１、２２を有する。図２における２種類の斜めの帯が、縦方向及び横方向のそれぞれに対応する２種類の偏光フィルタ部２１、２２を示す。２種類の帯状の偏光フィルタ部２１、２２は、幅方向に沿って交互に配列されている。本実施の形態では、一例として、偏光フィルタ部２１を、偏光方向が縦方向である縦偏光フィルタ部２１とし、偏光フィルタ部２２を、偏光方向が横方向である横偏光フィルタ部２２とすることができる。
【００３５】
なお、本実施の形態に示す一例のように偏光フィルタ部が２種類である場合、その種類をＡ、Ｂで表記すると、「交互に配列する」とは、Ａ、Ｂ、Ａ、Ｂ、Ａ、Ｂ・・・の順番に繰返し配列することを意味する。
【００３６】
また、領域分割偏光フィルタは、それぞれ縦偏光又は横偏光を透過する２種類の偏光フィルタ部が配列する構成に限られるものではなく、偏光方向が異なる３種類以上の偏光フィルタ部が配列する構成であってもよい。３種類の偏光フィルタ部が配列する場合、その３種類をＡ、Ｂ、Ｃで表記すると、「交互に配列する」とは、Ａ、Ｂ、Ｃ、Ａ、Ｂ、Ｃ、Ａ、Ｂ、Ｃ・・・の順番に繰返し配列することを意味する。
【００３７】
また、領域分割偏光フィルタ２は、受光素子アレイ１に対する相対位置が位置ずれしていない場合には、図２に示すように、縦横に格子状に配列する正方形である各受光素子１０（又は各受光素子１０の受光部）に対して下記に説明するような所定の位置関係を有するように設置される。
【００３８】
具体的には、縦偏光フィルタ部２１、横偏光フィルタ部２２は、図２における横方向に１受光素子分（１画素分）の幅に等しい幅寸法を有する。すなわち、受光素子１０が配列する行方向に沿う縦偏光フィルタ部２１、横偏光フィルタ部２２の幅寸法は、行方向に沿う受光素子１０の幅寸法に略等しい。また、縦偏光フィルタ部２１、横偏光フィルタ部２２は、図２における縦方向に２画素分の幅寸法に等しい幅寸法を有する。すなわち、受光素子１０が配列する列方向に沿う各偏光フィルタ部の幅寸法は、列方向に沿う受光素子１０の幅寸法の略２倍である。従って、領域分割偏光フィルタの各偏光フィルタ部同士の境界線の傾きは２、すなわち、横方向に１受光素子分（１画素分）進む間に縦方向に２受光素子分（２画素分）変化する角度を有する斜めに傾いた帯状の形状を有する。
【００３９】
すなわち、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンであり、帯状の偏光フィルタ部が配列する配列方向である幅方向は、受光素子が配列する横方向（行方向）及び縦方向（列方向）のいずれとも平行でない。
【００４０】
なお、本実施の形態において、行方向及び列方向は、それぞれ二次元に配列する２つの配列方向のうち一方及び他方を表すものであって、特に区別されるものではない。従って、本実施の形態は、行方向と列方向を取り替えて９０度回転させた配置を含む。すなわち、「横方向（行方向）」及び「縦方向（列方向）」を、それぞれ「縦方向（行方向）」及び「横方向（列方向）」とした場合を含む。
【００４１】
次に、図３及び図４を参照し、本実施の形態における領域分割偏光フィルタにおける偏光フィルタ部の配置パターンが、偏光フィルタ部の受光素子に対する相対位置の位置ずれが生じた場合にも、その位置ずれの影響を受け難いことを説明する。
【００４２】
図３は、偏光フィルタ部の受光素子に対する相対位置が、横方向（行方向）にずれた場合の配置を示す図である。図４は、横方向（行方向）のずれ量と、特定の偏光フィルタ部が特定の受光素子と重なる面積の割合であるカバー率を示すグラフである。具体的には、縦偏光フィルタ部が特定の受光素子と重なるカバー率を示す。
【００４３】
図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）は、偏光フィルタ部の受光素子に対する相対位置のずれ量をｄとしたときに、ｄが、横方向（行方向）にそれぞれ０画素分、１／４画素分（０．２５画素分）、１／２画素分（０．５画素分）、３／４画素分（０．７５画素分）となる配置を示す。図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）では、簡単のため、２行２列に配列された４つの受光素子１１〜１４と、その４つの受光素子１１〜１４に重なる縦偏光フィルタ部２１、横偏光フィルタ部２２のみを示す。また、図３（ａ）における点線ＩＩで囲まれた範囲は、図２における点線Ｉで囲まれた範囲に相当する。また、図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）では、視やすいように、縦偏光フィルタ部２１のみハッチングを行い、横偏光フィルタ部２２にはハッチングを行っていない。
【００４４】
最初に、４つの受光素子１１〜１４を代表し、受光素子１４、１２について、図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）を参照し、受光素子１４、１２が縦偏光フィルタ部２１と重なる面積の割合であるカバー率について説明する。
【００４５】
偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが０の場合（図３（ａ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率の割合は、０．７５、０．２５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが１／４（０．２５）の場合（図３（ｂ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．８７５、０．５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが１／２（０．５）の場合（図３（ｃ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．７５、０．７５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが３／４の場合（図３（ｄ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．５、０．８７５である。
【００４６】
以上のカバー率の変化を、ずれ量ｄの連続的な変化に対して表したものが図４である。図４において、横軸は、偏光フィルタ部の受光素子に対する相対位置の横方向（行方向）に沿うずれ量ｄ（単位は一つの受光素子の横方向（行方向）の幅）を示す。また、縦軸は、１つの受光素子の縦偏光フィルタ２１によるカバー率を示す。また、図４において、符号を付したように、破線で示す曲線Ｃ１、実線で示す曲線Ｃ２、一点鎖線で示す曲線Ｃ３、点線で示す曲線Ｃ４のそれぞれが、図３（ａ）に示す受光素子１１、１２、１３、１４のそれぞれに対応する。
【００４７】
図４を参照し、受光素子１１、１２、１３、１４のうち、受光素子１４、１２について、ずれ量と縦偏光フィルタ部によるカバー率の関係について説明する。
【００４８】
図４に示すように、ずれ量ｄが０から０．５の範囲では、曲線Ｃ４は、縦偏光フィルタ部２１によるカバー率が０．７５以上の範囲にあり、受光素子１４の面積の７５％以上が縦偏光フィルタ部２１でカバーされる。また、ずれ量ｄが０．５以上１．０以下の範囲では、曲線Ｃ４は、右肩下がりの直線であり、ずれ量ｄの増加に伴って、受光素子１４の縦偏光フィルタ部２１によるカバー率は低下する。その代わりに、ずれ量ｄが０．５以上１．０以下の範囲では、曲線Ｃ２が、縦偏光フィルタ部２１によるカバー率が０．７５以上の範囲にあり、受光素子１２の縦偏光フィルタ部２１によるカバー率が７５％以上となる。ずれ量ｄが１．０以上２．０以下の範囲における曲線Ｃ４、Ｃ２は、ずれ量ｄが０以上１．０以下の範囲における曲線Ｃ４、Ｃ２を、縦偏光フィルタ部２１によるカバー率が０．５となる水平線を対称中心として上下反転させた形状を有している。しかし、受光素子１４、１２において縦偏光フィルタ２１でカバーされない部分は、横偏光フィルタ２２でカバーされる面積であるため、ずれ量ｄが１．０以上２．０以下の範囲では、横偏光フィルタ２２のカバー率が７５％以上となる。
【００４９】
すなわち、上下に隣接する２つの受光素子１４、１２に注目すると、上側の受光素子１２が縦偏光フィルタ部２１及び横偏光フィルタ部２２にそれぞれ半分ずつカバーされるような配置（ずれ量ｄが０．２５）では、下側の受光素子１４が一方の偏光フィルタ部である縦偏光フィルタ部２１に略全面に亘りカバーされる。逆に下側の受光素子１４が縦偏光フィルタ部２１及び横偏光フィルタ部２２にそれぞれ半分ずつカバーされるような配置（ずれ量ｄが０．７５）では、上側の受光素子１２が一方の偏光フィルタ部である縦偏光フィルタ部２１に略全面に亘りカバーされる。さらに左右の画素に注目すると、偏光フィルタ部の幅が１素子分であるため、右隣の受光素子は左隣の受光素子と反対の種類の偏光フィルタ部に関して同じカバー率を有する。従って、縦横２画素ずつ（２行２列）計４画素の近傍領域を考えると、任意のずれ量ｄに対して、４画素中の１画素は縦偏光フィルタ部２１に略全面に亘りカバーされ（カバー率０．７５以上）、他の１画素は横偏光フィルタ部２２に略全面に亘りカバーされる（カバー率０．７５以上）。
【００５０】
一方、領域分割偏光フィルタの配置パターンが他の場合は、このような効果は得られない。例えば、市松模様の場合について、図５を参照し、本実施の形態と比較する。図５は、配置パターンが市松模様である偏光フィルタ部が、受光素子に対して横方向（行方向）及び縦方向（列方向）に１／２（０．５）ずつずれている場合を示す図である。
【００５１】
図５に示すように、横方向（行方向）及び縦方向（列方向）に例えば６μｍの幅寸法を有する受光素子アレイにおいて、偏光フィルタ部の受光素子に対する相対的な位置関係が縦横に３μｍ（すなわち１／２画素分）ずれた場合について考える。図５においては、４つの受光素子１１１、１１２、１１３、１１４と、４つの偏光フィルタ部のみを示す。４つの偏光フィルタ部とは、縦偏光フィルタ部１２１ａ、１２１ｂ、横偏光フィルタ部１２２ａ、１２２ｂである。このような状態では、例えば受光素子１１４の受光する光は、４つの偏光フィルタ部１２１ａ、１２１ｂ、１２２ａ、１２２ｂを透過した光を平均したものとなってしまい、どのような偏光方向の光を入射した場合にも、受光素子１１４の出力は略等しくなるため、偏光に関する情報を得ることができない。受光素子アレイ及び偏光フィルタにおいては、このような相対的な位置関係が横方向（行方向）及び縦方向（列方向）に繰り返されるため、受光素子１１４以外の全ての受光素子においても、受光素子が受光する光が４つの偏光フィルタ部を透過した光を平均したものとなってしまい、偏光に関する情報を得ることができない。
【００５２】
上記したのと対照的に、本実施の形態では、受光素子と偏光フィルタとの相対的な位置関係はいずれのずれ量によりずれていたとしても、縦横２画素ずつ計４画素の近傍領域における全ての受光素子において、縦偏光フィルタ部によるカバー率又は横偏光フィルタ部によるカバー率が同じ値になることはない。従って、入射する光の偏光方向に変化があった場合、４画素の出力の組み合わせには、必ず変化が生ずることになるため、偏光に関する情報を得ることができる。
【００５３】
なお、偏光フィルタ部の境界の受光素子の境界に対する傾きは２以外の値としてもよいが、傾きが２で、かつ、横方向のフィルタ幅が１画素分の場合、縦方向のフィルタ幅は２画素分となり、縦方向２画素ごと同じ配置の繰り返しになる。近傍範囲を狭くすることができ、実質的な解像度の低下を防止することができ、また後述する演算処理部において必要な演算量を低減することができる。
【００５４】
また、上記においては、領域分割偏光フィルタが受光素子アレイに対して横方向（行方向）にずれた場合について説明したが、領域分割偏光フィルタが受光素子アレイに対して横方向（行方向）にずれた場合についても、全く同様な配置として表される。
【００５５】
また、小角度で回転してずれた場合についても、近傍領域においては平行移動として近似することができるため、上記した場合と全く同様に説明することができる。
（信号処理方法）
次に、図６を参照し、上記の配置パターンで得られる画像信号データから、各フィルタ成分による単独画像信号データを復元するための信号処理方法について説明する。図６は、本実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。
【００５６】
前述したように、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンである。すなわち、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンであり、帯状の偏光フィルタ部が配列する配列方向である幅方向は、受光素子が配列する横方向（行方向）及び縦方向（列方向）のいずれとも平行でない。
【００５７】
このような斜めストライプの偏光フィルタ部の配置パターンを採用することにより、偏光フィルタと受光素子アレイに対する相対位置に位置ずれがあった場合に偏光情報を得ることができなくなることを防止することができる。
【００５８】
しかしながら、このような斜めストライプの偏光フィルタ部の配置パターンにおいては、１つの偏光フィルタ部と１つの受光素子とが１対１に対応しておらず、複数の偏光フィルタ部が１つの受光素子に対応している。そのため、このままでは、各偏光フィルタ部を透過した透過光の成分のみからなる画像信号データを得ることができない。
【００５９】
そこで、以下に説明するような、信号処理方法を行い、斜めストライプの偏光フィルタ部の配置パターンを用いて被撮像物を撮像して得た画像信号データから、異なる種類の偏光フィルタ部に対応する複数の種類の画像信号データを復元する。
【００６０】
図６に示すように、信号処理部３は、ＣＰＵ３１、ＤＲＡＭ３２、フラッシュメモリ３３等の不揮発性メモリ、画像データ入力インタフェース３４を有する。信号処理部３は、不揮発性メモリに記録されたプログラムをＣＰＵ３１やＤＲＡＭ３２を用いて実行することにより、受光素子アレイから画像データ入力インタフェースを経由して入力される画像データに対して、以下に述べる信号処理演算を実行し、演算処理結果を出力インタフェース部へ送る。
【００６１】
ここでは、ＣＰＵ３１上のソフトウェアを用いて信号処理を実行するが、演算処理回路をハードウェアとして設計してもよい。
【００６２】
次に、図７を参照し、信号処理方法について本実施の形態に係る撮像装置が実行する信号処理方法を説明する。図７は、本実施の形態に係る撮像装置が実行する信号処理方法を説明する工程図である。
【００６３】
図７に示すように、本実施の形態に係る信号処理方法は、感度計測ステップ（ステップＳ１１）と、加重係数計算ステップ（ステップＳ１２）と、加重係数記録ステップ（ステップＳ１３）と、画像信号データ取得ステップ（ステップＳ１４）と、加重和演算ステップ（ステップＳ１５）と、画像信号データ復元ステップ（ステップＳ１６）を有する。
【００６４】
本実施の形態に係る信号処理方法においては、予めステップＳ１１からステップＳ１３を実行しておき、被撮像物を撮像する際には、ステップＳ１４からステップＳ１６を実行する。
【００６５】
上記したように、予めステップＳ１１である感度計測ステップを行う。ステップＳ１１では、縦方向の偏光成分のみの偏光又は横方向の偏光成分のみの偏光（縦横１００％偏光）を照明等により照射して撮像し、受光素子アレイから出力された画像信号データを信号処理部が取得する。
【００６６】
予め、受光素子アレイの表面に領域分割偏光フィルタが取り付けられたものを用意する。具体的には、例えば、受光素子アレイの表面に、領域分割偏光フィルタを接着することによって、取り付ける。このとき、受光素子アレイの各受光素子に対する領域分割偏光フィルタの各偏光フィルタ部の境界の角度を含めた相対位置は、凡そ一致していればよく、精密な位置合わせをする必要はない。このような受光素子アレイの表面に領域分割偏光フィルタが取り付けられたものを、信号処理部、出力インタフェース部と組み合わせ、本実施の形態に係る撮像装置を準備する。
【００６７】
次に、受光素子アレイ全体に一様な強度の１００％縦偏光の光を照射し、その時の受光素子アレイの各受光素子の出力値を参照画像信号データＲＩ１として記録する。続けて、同様に、受光素子アレイ全体に一様な強度の１００％横偏光の光を照射し、参照画像信号データＲＩ２として記録する。
【００６８】
ここで、参照画像信号データＲＩ１、ＲＩ２の各受光素子（画素）における成分は、各受光素子（画素）での縦偏光に対する感度及び横偏光に対する感度のそれぞれに比例している。また、その縦偏光に対する感度及び横偏光に対する感度は、主として各受光素子（画素）における縦偏光フィルタ及び横偏光フィルタのそれぞれのカバー率によって決定されるものであり、受光素子アレイに領域分割偏光フィルタを接着して固定した後では、変動することはない。
【００６９】
次に、ステップＳ１２である加重係数計算ステップを行う。ステップＳ１２では、信号処理部が取得した画像信号データから各受光素子に対応する加重係数を計算する。加重係数の計算は、式（５）を用いて後述するような方法により行う。
【００７０】
次に、ステップＳ１３である加重係数記録ステップを行う。ステップＳ１３では、計算した加重係数を記憶部に記録する。記憶部として、前述したフラッシュメモリ３３等の不揮発性メモリに記録することができる。
【００７１】
このようにして、予めステップＳ１１からステップＳ１３を行って加重係数を計算した後、実際の撮像時に、ステップＳ１４からステップＳ１６を行う。
【００７２】
始めに、ステップＳ１４である画像信号データ取得ステップを行う。ステップＳ１４では、被撮像物を撮像し、画像信号データを取得する。
【００７３】
次に、ステップＳ１５である加重和演算ステップを行う。ステップＳ１５では、取得した画像信号データに対して予め記録された加重係数を用いて加重和を求める演算処理を行う。
【００７４】
入射光の縦偏光成分をＬｖ、横偏光成分をＬｈ、受光素子ｉでの縦偏光成分の感度をａｖｉ、横偏光成分の感度をａｈｉとする。領域分割偏光フィルタを透過して受光素子ｉに入射する入射光の強度Ｉｉは、
Ｉｉ＝ａＶｉＬｖ＋ａｈｉＬｈ                                        （１）
である。
【００７５】
ここで、隣接する２行２列の受光素子の位置に同じ光が入射するものとすると、それら４つの受光素子１１〜１４について式（１）が成り立ち、以下のようにまとめて表すことができる。
【００７６】
【数１】
0005446521.tif 000002
また、式（２）において、左辺をＩ、右辺の２つのテンソルを順にＭ、Ｌとすると、式（２）は、式（３）のように表すことができる。
【００７７】
Ｉ＝ＭＬ                                                        （３）
ここで、入射光の入射強度Ｉｉは、受光素子アレイの出力する画像信号として取得することができる。また、各受光素子ｉの縦横偏光成分感度（ａｖｉ、ａｈｉ）は、ステップＳ１１で測定した値を利用すれば既知である。また、入射光の偏光成分Ｌｖ、Ｌｈだけが未知量となる。
【００７８】
式（３）は、未知量Ｌｖ、Ｌｈの個数より制約条件の数が多い連立一次方程式であり、このような問題は、行列Ｍの擬似逆行列Ｍ＋を用いることにより、式（３）から以下のように解くことができる。
【００７９】
Ｌ＝Ｍ＋Ｉ                                                      （４）
ただし、
Ｍ＋＝（ＭＴＭ）−１ＭＴ                                            （５）
偏光フィルタ部の受光素子に対する相対位置のずれ量によっては、参照する２行２列の画素の領域内に、隣接する画素同士でフィルタ領域のカバー率が５０％に近くなる場合、すなわち偏光情報が比較的得にくい場合も存在する。しかしながら、本実施の形態に係る演算処理方法を用いることにより、擬似逆行列により誤差を最小化するように、Ｌｖ、Ｌｈの解が求められる。
【００８０】
前述したように、ステップＳ１２において、すべての受光素子について、式（５）を用いてテンソルＭ＋を計算し、ステップＳ１３において、テンソルＭ＋を記録しておくことができる。これにより、ステップＳ１５においては、２行２列の受光素子における画像信号データＩ＝（Ｉ１１、Ｉ１２、Ｉ１３、Ｉ１４）の単純な加重和を求める演算を行うだけで、各受光素子（画素）の縦横偏光成分Ｌ＝（Ｌｖ、Ｌｈ）を求めることができる。
【００８１】
式（５）の計算は、多少複雑である。しかしながら、式（５）の演算処理を、実際の撮像より前に、具体的にはカメラの製造時にカメラ外部の計算機などで一回だけ実行して結果だけ記録しておけばよいため、撮像時の処理速度には影響しない。
【００８２】
最後に、ステップＳ１６である画像信号データ復元ステップを行う。ステップＳ１６では、求めた加重和に基づいて画像信号データを復元し、復元した画像信号データを、出力インタフェース部へ送る。
【００８３】
以上、本実施の形態に係る撮像装置によれば、特殊な偏光フィルタ部の配置パターンと信号処理とを組合せることによって、受光素子アレイの表面に領域分割偏光フィルタを接着する際の位置合わせの精度が十分でなくても、各偏光フィルタのみを透過して得られる画像信号データを画面全体に亘り復元することができる。また、位置合わせの精度を高精度にしなくてもよいため、撮像装置の製造コストを低減することができる。
【００８４】
また、本実施の形態に係る撮像装置によれば、画像信号データを復元する演算処理に必要な参照領域を最小化することができる。そのため、実質的な解像度の低下を防止することができるとともに、必要な演算量も少なくすることができる。また、単純な演算処理を行って画像信号データの復元処理を実行することができるため、撮像時の処理速度を向上させることができ、あるいはハードウェアコストを低減することができる。また、適切な偏光フィルタを設計することにより、複数の偏光成分の画像を一度に撮影することができる。
【００８５】
また、上記した演算処理方法では、図４に示す計算上の面積のカバー率のみに基づくものではなく、実際の偏光照明を撮像して得た画像信号データに基づいて、入射光の強度に対する各受光素子の縦横偏光成分感度である加重係数を決定する。得られた加重係数は、各偏光フィルタ部の消光比や、偏光フィルタ部同士の境界における光漏れ等の面積のカバー率以外の特性のばらつきも含んでいる。よって、本実施の形態に係る信号処理方法によれば、面積のカバー率以外の特性のばらつきを補正することもできる。
【００８６】
また、本実施の形態では、縦横２種類の偏光フィルタ部が交互に配列された領域分割偏光フィルタを用いた。しかし、偏光フィルタ部は縦横２種類に限定されるものではなく、互いに異なる３種類以上の偏光方向を有する偏光フィルタ部が順番に繰返し配列されてもよい。
（第２の実施の形態）
次に、図８及び図９を参照し、本発明の第２の実施の形態に係る撮像装置について説明する。
【００８７】
図８は、本実施の形態に係る撮像装置の領域分割分光フィルタにおける分光フィルタ部の配置パターンを示す図である。図８においては、３種類の各分光フィルタ部をそれぞれ１つずつ、計３つを示す。図９は、各分光フィルタ部を構成する各色分解フィルタが透過する光の波長帯域を示すスペクトルである。
【００８８】
本実施の形態に係る撮像装置は、偏光フィルタに代え、分光フィルタを用いる点で、第１の実施の形態に係る撮像装置と相違する。
【００８９】
第１の実施の形態に係る撮像装置では、縦偏光フィルタ部及び横偏光フィルタ部が幅方向に沿って交互に配列されているのと相違し、本実施の形態に係る撮像装置においては、図８に示すように、分光透過率特性の異なる３種類の分光フィルタよりなる分光フィルタ部２３、２４、２５が幅方向に、順番に繰返し配列されている。３種類の分光フィルタとして、例えば図９に示すような３種類の異なる透過波長帯域を有する第１フィルタＦ１、第２フィルタＦ２、第３フィルタＦ３よりなる色分解フィルタ、例えばＲＧＢの３色を透過する色分解フィルタを用いることができる。以下では、色分解フィルタも広義における分光フィルタであるものとし、分光フィルタとして説明する。
【００９０】
本実施の形態に係る撮像装置においては、第１の実施の形態に係る撮像装置において、領域分割偏光フィルタに代え、領域分割分光フィルタを用いる。その他の受光素子アレイ、信号処理部、及び出力インタフェース部の構成は、第１の実施の形態において図１に示すブロック図を用いて説明した構成と同様である。
【００９１】
なお、本実施の形態における信号処理部は、第１の実施の形態と同様に、本発明における演算処理部に相当する。また、本実施の形態における領域分割分光フィルタ及び分光フィルタ部は、本発明における光透過フィルタ及び光透過部に相当する。
【００９２】
図８に示すように、本実施の形態に係る撮像装置の領域分割分光フィルタ２ａは、第１の実施の形態と同様に、横方向（行方向）に１画素分の幅に等しい幅を有し、領域分割分光フィルタ２ａの各領域である各分光フィルタ部２３、２４、２５同士の境界線の傾きは２である。また、３種類の分光フィルタ部２３、２４、２５は、幅方向に沿って、第１フィルタＦ１よりなる第１分光フィルタ部２３、第２フィルタＦ２よりなる第２分光フィルタ部２４、第３フィルタＦ３よりなる第３分光フィルタ部２５の順番に繰返し連続して配列する。図８に示すように、各分光フィルタ部２３、２４、２５の形状は、第１の実施の形態に係る偏光フィルタ部２１、２２の形状と同様である。また、ずれ量に対するカバー率の変化は、第１の実施の形態に係る偏光フィルタにおいて図４を用いて示したのと同様である。本実施の形態に係るフィルタ配置パターンでは、任意のずれ量に対して、横方向（行方向）に３素子分、縦方向（列方向）に２素子分の合計６素子分の領域の範囲内において、フィルタカバー率が７５％となる受光素子が各分光フィルタ部に対応して一つずつ確保される。
【００９３】
本実施の形態に係る撮像装置の信号処理方法も、第１の実施の形態に係る信号処理方法と略同様である。すなわち、参照画像は、３種類の分光輝度分布を有する一様な明るさの被撮像物を撮像すればよい。また、第１の実施の形態では、注目すべき受光素子（画素）の周辺の２行２列の計４つの受光素子（画素）よりなる領域を参照したが、本実施の形態では、２行３列の計６つの受光素子（画素）よりなる領域を参照すればよい。本実施の形態では、第１の実施の形態において説明した式（３）の行列Ｍは、６行２列の行列となるが、その擬似逆行列Ｍ＋は、第１の実施の形態において説明した式（５）によって求められる。
【００９４】
また、本実施の形態では、各分光フィルタ部の有する透過率スペクトルを適宜選択することにより、特殊な分光特性、例えば赤外領域の分光画像等を撮影するカメラを実現することができる。また、適切な分光特性フィルタを設計することにより、任意の分光成分の画像を一度に撮影することができる。
【００９５】
以上、本発明の好ましい実施の形態について記述したが、本発明はかかる特定の実施の形態に限定されるものではなく、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００９６】
また、本発明における光透過フィルタは、光の３要素である波長、振幅（強度）、振動方向（偏光方向）のいずれかの要素が互いに異なる光を透過する光透過特性が異なるものをも含む。第１の実施の形態における光透過フィルタは、振動方向（偏光方向）が互いに異なる光を透過する光透過特性が異なるものである。また、第２の実施の形態における光透過フィルタは、波長が互いに異なる光を透過する光透過特性が異なるものである。従って、強度（振幅）が互いに異なる光を透過する光透過特性が異なる光透過フィルタを用いる場合等も含む。
【符号の説明】
【００９７】
１  受光素子アレイ
２、２ａ  領域分割分光フィルタ（光透過フィルタ）
３  信号処理部
４  出力インタフェース部
５  撮像装置
１０、１１〜１４、１１１〜１１４  受光素子
２１、１２１ａ、１２１ｂ  縦偏光フィルタ部
２２、１２２ａ、１２２ｂ  横偏光フィルタ部
２３〜２５  分光フィルタ部
３１  ＣＰＵ
３２  ＤＲＡＭ
３３  フラッシュメモリ
３４  画像データ入力インタフェース
【先行技術文献】
【特許文献】
【００９８】
【特許文献１】特開２００７−０８６７２０号公報
【特許文献２】特許３７７１０５４号公報
【図１】
0005446521.tif 000003
【図２】
0005446521.tif 000004
【図３】
0005446521.tif 000005
【図４】
0005446521.tif 000006
【図５】
0005446521.tif 000007
【図６】
0005446521.tif 000008
【図７】
0005446521.tif 000009
【図８】
0005446521.tif 000010
【図９】
0005446521.tif 000011