(57)【要約】 【課題】  夜間などの低照度時であっても、画像の解像度を低下させることなく、感度と色再現性が両立できる技術を提供する。【解決手段】  撮像レンズを透過した光束を像面で分割する瞳分割手段と、分割された光束を受光する一対の光電変換手段と、前記一対の光電変換手段の一方の赤外光成分または可視光成分を遮断する分光制御手段と、を備えた撮像装置において、分光制御手段の配置を前記一対の光電変換手段ごとに設定する。【選択図】  図６
2019114891.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズを透過した光束を像面で分割する瞳分割手段と、
分割された光束を受光する一対の光電変換手段と、
前記一対の光電変換手段の一方の赤外光成分または可視光成分を遮断する分光制御手段と、
を備えた撮像装置において、
分光制御手段の配置を前記一対の光電変換手段ごとに設定する
ことを特徴とする撮像装置。
【請求項２】
分光特性が同一である前記分光制御手段が垂直方向に近接するように配置される
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
分光特性が同一である前記分光制御手段が水平方向に近接するように配置される
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
分光特性が同一となる前記一対の光電変換手段が離散的に配置された撮像装置において、
分光特性が同一となる複数の前記一対の光電変換手段においては、
分光特性が同一である前記分光制御手段が垂直方向に近接するように配置される
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
分光特性が同一となる前記一対の光電変換手段が離散的に配置された撮像装置において、
分光特性が同一となる複数の前記一対の光電変換手段においては、
分光特性が同一である前記分光制御手段が水平方向に近接するように配置される
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の撮像装置と、
前記撮像装置で取得された画像を処理する情報処理装置と、
を有することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素配列に特徴のある撮像装置、撮像方法に関する。
【背景技術】
【０００２】
カメラで撮影した映像を、ネットワークを経由して配信するネットワークカメラが知られている。ネットワークカメラは、監視や見守りなどを目的とするため、間断することなく昼夜連続して撮像を行う。そのため、夜間でも視認性の良い撮影が求められている。
【０００３】
ベイヤー配列のＧフィルタをＩＲフィルタに置き換えたＲＧＢＩＲ配列の撮像素子が提案されている（特許文献１）。それにより、昼間の色再現性と夜間の感度を両立して昼夜連続で利用可能なカメラが実現できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−６０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、夜間などの比較的暗いときの撮影では、ＩＲ画素を主に用いて画素補間をするために、画像の解像度の低下が課題となる。
【０００６】
本発明は、上記課題を鑑み、夜間などの低照度時であっても、画像の解像度を低下させることなく、感度と色再現性を両立することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第一様態は、撮像レンズを透過した光束を像面で分割する瞳分割手段と、分割された光束を受光する一対の光電変換手段と、前記一対の光電変換手段の一方の赤外光成分または可視光成分を遮断する分光制御手段と、を備えた撮像装置において、分光制御手段の配置を前記一対の光電変換手段ごとに設定することを特徴とする撮像装置を提供する。
【発明の効果】
【０００８】
本発明により、夜間などの低照度時であっても、画像の解像度を低下させることなく、感度と色再現性が両立できる。
【図面の簡単な説明】
【０００９】
【図１】撮像システムの装置構成の全体図。
【図２】撮像装置の模式図。
【図３】フィルタの分光特性を説明する模式図。
【図４】像面瞳分割画素構造を説明する模式図。
【図５】光束と像面瞳分割画素の関係を説明する模式図。
【図６】フィルタ配列（１）を説明する模式図。
【図７】フィルタ配列（２）を説明する模式図。
【図８】フィルタ配列（３）を説明する模式図。
【図９】フィルタ配列（４）を説明する模式図。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の実施の形態を説明する。
【００１１】
［実施例１］
（撮像システムの装置構成）
本発明の撮像システムの構成を、図１を用いて説明する。撮像システムは、撮像装置（監視カメラ、または、ネットワークカメラ）１０１、情報処理装置１０２、表示装置１０３から構成される。撮像装置１０１と情報処理装置１０２との間は、汎用Ｉ／Ｆのケーブル１０４、ネットワーク１０５、汎用Ｉ／Ｆのケーブル１０６で接続される。情報処理装置１０２と表示装置１０３との間は、汎用のＩ／Ｆのケーブル１０７で接続される。
【００１２】
撮像装置１０１は、パン・チルト・ズーム・ローテーション・フォーカス機能などを有する監視カメラ、または、ネットワークカメラである。撮像装置１０１は、所定画角の動画像を撮像し、動画像データを含む各種データを汎用Ｉ／Ｆのケーブル１０４、ネットワーク１０５、汎用Ｉ／Ｆのケーブル１０６を介して情報処理装置１０２に配信する。各種データには、パン角、チルト角、ローテーション角や、ズーム倍率、フォーカス位置、露出、ホワイトバランスなどの撮像設定などが含まれる。
【００１３】
情報処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。撮像装置１０１から配信される動画像データや各種データを取得し、表示装置１０３にそれらの情報を表示する。また、撮像装置１０１に対して、パン角、チルト角、ローテーション角や、ズーム倍率、フォーカス位置、露出、ホワイトバランスなどの撮像設定などを制御する制御コマンドを送信して、撮像装置１０１の動作を制御する。
【００１４】
表示装置１０３は、情報処理装置１０２が処理した結果である動画像データや各種データを表示するディスプレイであり、液晶ディスプレイなどが用いられる。
【００１５】
汎用Ｉ／Ｆのケーブル１０４、１０６は、例えばＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）などの通信規格を満足するツイストペアケーブル、光ファイバーケーブルなどの、所謂、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブルである。なお、汎用Ｉ／Ｆのケーブル１０４、１０６は有線ＬＡＮに限らず、無線ＬＡＮで構成しても良い。
【００１６】
ネットワーク１０５は、ルータ、スイッチ、ケーブルなどで構成されるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。
【００１７】
本発明の撮像システムは、撮像装置１０１をサーバ、情報処理装置１０２をクライアントとしたクライアントサーバシステムを構成できる。撮像装置１０１は複数の情報処理装置１０２と接続でき、複数の情報処理装置１０２が撮像装置１０１の動画像データを取得できる。また、撮像装置１０１の制御権の受け渡しを管理することで、複数の情報処理装置１０２が撮像装置１０１を制御できる。
【００１８】
図１の例では、撮像装置１０１、情報処理装置１０２と表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、ノートＰＣやタブレット型端末のように表示装置と一体化した情報処理装置を用いても良い。また、情報処理装置の機能を撮像装置に組み込んでも良い。
【００１９】
（撮像装置の機能構成）
図２は、撮像装置１０１の機能ブロック図である。撮像装置１０１は、概略、レンズユニット２０１、画像処理ユニット２０２、メイン制御部２０３から構成される。
【００２０】
レンズユニット２０１は、概略、撮像ユニット２０４、撮像レンズ２０５から構成される。
【００２１】
撮像ユニット２０４は、撮像センサとアナログフロントエンド（ＡＦＥ）から構成される。撮像センサは２次元の光学像を光電変換によって電気的な物理量へ変える２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。撮像センサからは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像データとしてカラー画像データが所望される場合は、例えば、ベイヤー配列のカラーフィルタが取り付けられた単板のイメージセンサを用いれば良い。
【００２２】
ＡＦＥは、撮像センサの動作を制御する回路、及び、撮像センサから出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥは、Ｈ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサを駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。
【００２３】
アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の画像処理ユニット２０２で現像処理される。タイミングジェネレータは、撮像センサのタイミングおよび後段の画像処理ユニット２０２のタイミングを調整する信号を生成する。
【００２４】
撮像センサとしてＣＣＤを用いる場合、上記ＡＦＥは必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥの機能をセンサに内包できる。
撮像センサは像面瞳分割画素構造（図４参照）を備え、分割画素それぞれからの信号を出力する。例えば、１つの分割画素からの出力は、赤外光成分に相当する信号であり、他方の分割画素からの出力は、可視光成分に相当する信号である。すなわち、画像の解像度を低下させることなく、撮像ユニット２０４からは、赤外光成分に相当する信号と可視光成分に相当する信号が出力される。赤外光成分に相当する信号、及び、可視光成分に相当する信号は分割画素それぞれからの信号に限るものではない。
【００２５】
分割画素それぞれからの信号を後段で演算処理することにより、赤外光成分に相当する信号、及び、可視光成分に相当する信号を生成する構成もあり得る。具体的な構成については、図４、及び、図６から図９で説明する。
また、撮像センサは像面瞳分割画素構造（図４参照）を備え、位相差オートフォーカスが可能である。撮像センサから出力された一対の画像信号に対して相関演算を行い、相関量（位相差）を算出する。この相関量（位相差）に基づいて、メイン制御部２０３を介して、撮像レンズ２０５のフォーカス・レンズ群を駆動してオートフォーカスを行う。
【００２６】
撮像レンズ２０５は、複数のレンズ群により構成される。ズーム機能やフォーカス機能を実現する場合には、群ごとにレンズが移動するモータ機構などの駆動部が追加される。
【００２７】
画像処理ユニット２０２は、現像処理ユニット２０６、通信ユニット２０７から構成される。
【００２８】
現像処理ユニット２０６は、黒補正部、デモザイキング処理部、ホワイトバランス調整部、フィルタ処理部、ガンマ補正部などから構成される。なお、黒補正部、デモザイキング処理部、ホワイトバランス調整部、フィルタ処理部、ガンマ補正部は不図示である。黒補正部は、ＲＡＷデータの各画素の値から、バックグラウンド（遮光時に得られた黒補正データ）を減算する処理を行う。デモザイキング処理部は、ベイヤー配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。
【００２９】
また、デモザイキング処理部は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサがカラーフィルタを有しておらず、単色の画像データが得られている場合、デモザイキング処理は不要となり、欠陥画素の補正処理を実行する。ホワイトバランス調整部は、撮像環境の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。フィルタ処理部は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。ガンマ補正部は、画像に一般的な表示デバイスの階調表現特性の逆特性を付加する処理や、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行する。
【００３０】
通信ユニット２０７は、圧縮処理部、通信Ｉ／Ｆから構成される。現像処理ユニット２０６によって生成された画像データに圧縮処理を行い、圧縮処理された画像データを、ネットワーク１０５を介して情報処理装置１０２に送信する。圧縮処理部は、２次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。動画像の圧縮手法として、Ｈ．２６４やＨ．２６５などの規格化された符号化方式が広く一般に知られている。また、静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ  ＸＲ等の規格化された符号化方式が広く一般に知られている。通信Ｉ／Ｆは、圧縮処理された画像データを、ネットワーク１０５を介して情報処理装置１０２に送信するためのインターフェースである。
【００３１】
メイン制御部２０３は、情報処理装置１０２から送信される各種制御コマンドを、通信ユニット２０７を介して取得し、取得した制御コマンドを解析する。解析結果に応じて、制御コマンドを撮像ユニット２０４、現像処理ユニット２０６に送信する。また、撮像ユニット２０４、現像処理ユニット２０６から制御コマンドに対する応答コマンドを受信し、受信した応答コマンドを、通信ユニット２０８を介して情報処理装置１０２に送信する。
【００３２】
（分光特性）
図３は、本実施の形態におけるフィルタ（分光制御手段）の分光特性を説明する模式図である。
【００３３】
図３（ａ）は、Ｒフィルタ３０１、Ｇフィルタ３０２、Ｂフィルタ３０３の分光特性であり、縦軸は透過率（単位は任意）、横軸は波長（単位はｎｍ）である。また、可視光と赤外光の境界を点線で示している。可視光は人間が観察可能な光であり、赤外光は人間が観察できない、もしくは、観察しにくい光である。本実施の形態では、可視光は３０８ｎｍから７５０ｎｍまでの波長の光と定義し、赤外光は７５０ｎｍから２５００ｎｍまでの波長の光と定義する。
【００３４】
図３（ｂ）は、ＶＬフィルタ３０４（可視光透過フィルタ）ＩＲフィルタ３０５（赤外光透過フィルタ）の分光特性であり、縦軸は透過率（単位は任意）、横軸は波長（単位はｎｍ）である。図３（ａ）と同様に、可視光と赤外光の境界を点線で示している。
【００３５】
（像面瞳分割画素構造）
図４は、本実施の形態における像面瞳分割画素構造を説明する模式図である。図４（ａ）は、撮像センサの上面図である。撮像センサは、水平方向に第１の光電変換部４０２と第２の光電変換部４０３を備える画素が格子状に配列した画素群４０１から構成される。
【００３６】
図４（ｂ）は、撮像センサの画素の断面図である。上方から、マイクロレンズ４０４、第１のフィルタ４０５、及び、第２のフィルタ４０６、第１の光電変換部４０２、及び、第２の光電変換部４０３、配線部４０７から構成される。マイクロレンズ４０４と第１の光電変換部４０２、及び、第２の光電変換部４０３とは、撮像レンズ２０５を通過した光速を可能な限り有効に取り込む配置となっている。
【００３７】
また、第１のフィルタ４０５と第１の光電変換部４０２は一対１で対応しており、第１のフィルタ４０５を透過した光束が第１の光電変換部４０２にて電荷に変換される。同様に、第２のフィルタ４０６と第２の光電変換部４０３は一対１で対応しており、第２のフィルタ４０６を透過した光束が第２の光電変換部４０３にて電荷に変換される。
【００３８】
第１のフィルタ４０５、第２のフィルタ４０６には、Ｒフィルタ３０１、Ｇフィルタ３０２、Ｂフィルタ３０３、ＶＬフィルタ３０４、ＩＲフィルタ３０５が用いられる。また、フィルタを積層した構造とすることもできる。例えば、Ｒフィルタ３０１にＶＬフィルタ３０４を積層して、Ｒフィルタに対して赤外光を遮断したフィルタを形成することができる（図８（ｃ）参照）。
【００３９】
ここでは、一対一対応するフィルタと光電変換部が水平方向に並んだ配列で説明したが、一対一対応するフィルタと光電変換部が垂直方向に並んだ配列としても良い。
【００４０】
（本発明のポイント）
本発明では、第１のフィルタ４０５と第２のフィルタ４０６が異なる分光透過率分布を有する像面瞳分割画素構造とする。例えば、第１のフィルタ４０５を有する光電変換部４０２からの信号により赤外光成分に相当する信号を取得し、第２のフィルタ４０６を有する光電変換部４０３からの信号により可視光成分に相当する信号を取得する。また、光電変換部４０２からの信号と光電変換部４０３からの信号を演算することで赤外光成分に相当する信号、もしくは、可視光成分に相当する信号を取得する構成もあり得る。像面瞳分割画素構造を利用することで、画像の解像度を低下させることなく、感度と色再現性を両立することが、本発明のポイントである。具体的な構成例は図６から図９で説明する。
【００４１】
（光束と像面瞳分割画素の関係）
図５は、光束と像面瞳分割画素の関係を説明する模式図である。撮像レンズ２０５の射出瞳と第１の光電変換部４０２、及び、第２の光電変換部４０３は、光学的に共役な位置に配置されている。撮像レンズ２０５の射出瞳の上半分（図５の塗り潰し領域）を通過した光束は、マイクロレンズ４０４によって、第２の光電変換部４０３に入射する。同様に、撮像レンズ２０５の射出瞳の下半分を通過した光束は、マイクロレンズ４０４によって、第１の光電変換部４０２に入射する。この像面で瞳分割を行う画素構造により後述する位相差オートフォーカスが可能となる。
【００４２】
（位相差オートフォーカスの説明）
ここで、第１のフィルタ４０５Ａと第２のフィルタ４０６Ａが略同一の分光透過率分布を有する像面瞳分割画素構造（図４参照）における位相差オートフォーカスについて説明する。撮像ユニット２０４において、撮像センサから一対の画像信号が得られる。一対の画像信号とは、画素それぞれにおいて、第１のフィルタ４０５Ａを通過して第１の光電変換部４０２Ａで受光した信号と、第２のフィルタ４０６Ａを通過して第２の光電変換部４０３Ａで受光した信号との一対で構成される信号である。
【００４３】
一対の画像信号に対して相関演算を行い、それらの相対的な位置関係を示す相関量（位相差）を算出する。この相関量（位相差）に基づいて、撮像レンズ２０５の焦点状態であるフォーカスずれ量を算出する。このフォーカスずれ量は撮像ユニット２０４からメイン制御部２０３に送信される。メイン制御部２０３は、フォーカスずれ量に基づいて、合焦状態とするために撮像レンズ２０５のレンズ群を駆動するためのレンズ駆動量を算出する。メイン制御部２０３は、レンズ駆動量だけ撮像レンズ２０５のレンズ群を駆動するための制御信号を撮像レンズ２０５に送信する。
【００４４】
一方で、本発明では、第１のフィルタ４０５Ａと第２のフィルタ４０６Ａが異なる分光透過率分布を有する像面瞳分割画素構造とする。この場合、同一画素内の第１の光電変換部４０２Ａで受光した信号と、第２の光電変換部４０３Ａで受光した信号は、位相差オートフォーカスを行うための一対の信号として構成することができない。本発明では、ある画素の第１のフィルタ４０５Ｂと、隣接する画素の第２のフィルタ４０６Ａの分光透過率分布を略同一とする。
【００４５】
すなわち、ある画素の第１の光電変換部４０２Ｂと、隣接する画素の第２の光電変換部４０３Ａとは、異なるマイクロレンズで瞳分割された光束をそれぞれ受光する構成となる。そのため、ある画素の第１の光電変換部４０２Ｂで受光した信号と、隣接する画素の第２の光電変換部４０３Ａで受光した信号とで、位相差オートフォーカスを行うための一対の信号が構成できる。フィルタの構成、及び、位相差オートフォーカスを行うための一対の信号の構成については、図６から図９で説明する。
【００４６】
（フィルタ配列（１））
図６は、フィルタ配列（１）を説明する模式図である。フィルタ配列（１）は、フィルタが、赤外光を透過させて可視光を遮断するＩＲフィルタと、可視光を透過させて赤外光を遮断するＶＬフィルタで構成される。図６（ａ）はフィルタ配列を示しており、図６（ｂ）には画素名称を示している。１つの画素は実線で区切られた領域であり、画素内のフィルタは点線で区切られた領域である。
【００４７】
それぞれの画素はＶＬフィルタとＩＲフィルタで構成される。画素Ａと画素Ｂは隣接しており、画素ＡのＩＲフィルタ（ａ）６０１と画素ＢのＩＲフィルタ（ｂ）６０２とで、位相差オートフォーカスを行うための一対の信号を構成する。すなわち、赤外光に対しては、隣接するＩＲフィルタ間で位相差オートフォーカスのための一対の信号を構成することができる。同様に、画素Ｍと画素Ｎは隣接しており、画素ＡのＶＬフィルタ（ａ）６０３と画素ＢのＶＬフィルタ（ｂ）６０４とで、位相差オートフォーカスを行うための一対の信号を構成する。すなわち、可視光に対しては、隣接するＶＬフィルタ間で位相差オートフォーカスのための一対の信号を構成することができる。
【００４８】
フィルタ配列（１）では、可視光はＶＬフィルタを介して受光し、赤外光はＩＲフィルタを介して受光する。フィルタ配列（１）を構成する撮像センサに対して、撮像レンズ２０５に挿抜可能なカラーフィルタ（Ｒフィルタ３０１、Ｇフィルタ３０２、Ｂフィルタ３０３）を搭載して、カラーフィルタを時分割切り替えすることで、カラー画像の取得が可能である。
【００４９】
この構成により、ＶＬフィルタで構成される光電変換部からの信号で構成される画像と、ＩＲフィルタで構成される光電変換部からの信号で構成される画像、をそれぞれ取得することができる。すなわち、夜間などの低照度時であっても、画像の解像度を低下させることなく、ＩＲフィルタで構成される光電変換部からの信号に相当する赤外光成分の取得と、ＶＬフィルタで構成される光電変換部からの信号に相当する可視光成分の取得が両立できる。
【００５０】
（フィルタ配列（２））
図７は、フィルタ配列（２）を説明する模式図である。フィルタ配列（２）は、フィルタが、赤外光を透過させて可視光を遮断するＩＲフィルタと、全ての波長を透過させて遮断を行わないＷフィルタ（ホワイトフィルタ）で構成される。図７（ａ）はフィルタ配列を示しており、図７（ｂ）には画素名称を示している。１つの画素は実線で区切られた領域であり、画素内のフィルタは点線で区切られた領域である。
それぞれの画素はＷフィルタとＩＲフィルタで構成される。画素Ａと画素Ｂは隣接しており、画素ＡのＩＲフィルタ（ａ）７０１と画素ＢのＩＲフィルタ（ｂ）７０２とで、位相差オートフォーカスを行うための一対の信号を構成する。
【００５１】
すなわち、赤外光に対しては、隣接するＩＲフィルタ間で位相差オートフォーカスのための一対の信号を構成することができる。同様に、画素Ｍと画素Ｎは隣接しており、画素ＡのＷフィルタ（ａ）７０３と画素ＢのＷフィルタ（ｂ）７０４とで、位相差オートフォーカスを行うための一対の信号を構成する。すなわち、可視光に対しては、隣接するＷフィルタ間で位相差オートフォーカスのための一対の信号を構成することができる。
【００５２】
フィルタ配列（２）では、全波長範囲の光はＷフィルタを介して受光し、赤外光はＩＲフィルタを介して受光する。フィルタ配列（２）を構成する撮像センサに対して、撮像レンズ２０５に挿抜可能なカラーフィルタ（Ｒフィルタ３０１、Ｇフィルタ３０２、Ｂフィルタ３０３）を搭載して、カラーフィルタを時分割切り替えすることで、カラー画像の取得も可能である。その場合、ＲＧＢそれぞれの可視光成分の取得は、Ｗフィルタの信号からＩＲフィルタの信号を減算することで取得できる。
【００５３】
この構成により、Ｗフィルタで構成される光電変換部からの信号で構成される画像と、ＩＲフィルタで構成される光電変換部からの信号で構成される画像、をそれぞれ取得することができる。すなわち、夜間などの低照度時であっても、画像の解像度を低下させることなく、ＩＲフィルタで構成される光電変換部の信号に相当する赤外光成分の取得と、Ｗフィルタで構成される光電変換部の信号からＩＲフィルタで構成される光電変換部からの信号を減算した信号に相当する可視光成分の取得が両立できる。
【００５４】
（フィルタ配列（３））
図８は、フィルタ配列（３）を説明する模式図である。フィルタ配列（３）は、フィルタが、ＲＧＢのカラーフィルタと、ＲＧＢのカラーフィルタそれぞれに対して赤外光を遮断したフィルタで構成される。ＲＧＢのカラーフィルタそれぞれの分光特性は、図３に示す通り、Ｒフィルタ３０１、Ｇフィルタ３０２、Ｂフィルタ３０３となる。ＲＧＢのカラーフィルタそれぞれに対して赤外光を遮断したフィルタの分光特性は、それぞれのカラーフィルタにＶＬフィルタ３０４を組み合わせた特性となる。図８（ａ）はフィルタ配列を示しており、図８（ｂ）には画素名称を示している。１つの画素は実線で区切られた領域であり、画素内のフィルタは点線で区切られた領域である。
【００５５】
ここで、ＲＧＢのカラーフィルタそれぞれに対して赤外光を遮断したフィルタの構造について説明する（図８（ｃ）参照）。Ｒフィルタに対して赤外光を遮断したフィルタであるＲ−ＩＲフィルタ（ａ）８０２の場合、Ｒフィルタ３０１にＶＬフィルタ３０４を積層した構造となる。例えば、図４の第２のフィルタ４０５がＲフィルタ３０１にＶＬフィルタ３０４を積層した積層フィルタ構造になる。
【００５６】
画素内のフィルタは、１つのカラーフィルタとそのカラーフィルタに対して赤外光を遮断したフィルタで構成される。例えば、画素Ａ−１は、Ｒフィルタ（ａ）８０１とＲフィルタに対して赤外光を遮断したＲ−ＩＲフィルタ（ａ）８０２で構成される。画素配列はベイヤー配列に従っている。例えば、画素Ａ−１、画素Ｂ−１、画素Ｃ−１、画素Ｄ−１でベイヤー配列の１つのブロック（ＲＧＧＢ）を構成する。画素Ａ−１と画素Ａ−２は隣接するＲ画素（ＲフィルタとＲ−ＩＲフィルタの配列）であり、画素Ａ−１のＲフィルタ（ａ）８０１と画素Ａ−２のＲフィルタ（ｂ）８０４とで、位相差オートフォーカスを行うための一対の信号を構成する。
【００５７】
すなわち、赤外光に対しては、隣接するカラーフィルタ間で位相差オートフォーカスのための一対の信号を構成することができる。同様に、画素Ａ−１と画素Ａ−２は隣接するＲ画素（ＲフィルタとＲ−ＩＲフィルタの配列）であり、画素Ａ−１のＲ―ＩＲフィルタ（ａ）８０２と画素Ａ−２のＲ―ＩＲフィルタ（ｂ）８０３とで、位相差オートフォーカスを行うための一対の信号を構成する。すなわち、可視光に対しては、隣接する赤外光遮断フィルタ間で位相差オートフォーカスのための一対の信号を構成することができる。また、フィルタ配列（３）では、赤外光成分の取得は、カラーフィルタの信号から赤外光遮断フィルタの信号を減算することで取得できる。
【００５８】
図６、図７と比較すると、図８は、カラー画素が離散的に配置されることになる。そのため、補間処理により、画素Ａ−１のＲフィルタ（ａ）８０１を含むＲフィルタ（図４の第１のフィルタ４０５に相当）の画像信号、及び、画素Ａ−２のＲフィルタ（ｂ）８０４を含むＲフィルタ（図４の第２のフィルタ４０６に相当）の画像信号を生成する。同様に、補間処理により、画素Ａ−１のＲ―ＩＲフィルタ（ａ）８０２を含むＲ―ＩＲフィルタ（図４の第２のフィルタ４０６に相当）の画像信号、及び、画素Ａ−２のＲ―ＩＲフィルタ（ｂ）８０３を含むＲ―ＩＲフィルタ（図４の第１のフィルタ４０５に相当）の画像信号を生成する。それらの一対の画像信号に対して相関演算を行い、それらの相対的な位置関係を示す相関量（位相差）を算出して、位相差オートフォーカスを実行することになる。
【００５９】
この構成により、ＲＧＢカラーフィルタで構成される光電変換部からの信号で構成される画像と、ＲＧＢカラーフィルタとＶＬフィルタを組み合わせたフィルタで構成される光電変換部からの信号で構成される画像、をそれぞれ取得することができる。すなわち、夜間などの低照度時であっても、画像の解像度を低下させることなく、ＲＧＢカラーフィルタで構成される光電変換部からの信号に相当する赤外光成分の取得と、ＲＧＢカラーフィルタとＶＬフィルタを組み合わせたフィルタで構成される光電変換部からの信号に相当する可視光成分の取得が両立できる。
【００６０】
（フィルタ配列（４））
図９は、フィルタ配列（４）を説明する模式図である。フィルタ配列（４）は、フィルタが、ＲＧＢのカラーフィルタと、赤外光を透過させて可視光を遮断するＩＲフィルタで構成される。ＲＧＢのカラーフィルタそれぞれの分光特性は、図３に示す通り、Ｒフィルタ３０１、Ｇフィルタ３０２、Ｂフィルタ３０３となる。ＩＲフィルタの分光特性は、それぞれのカラーフィルタにＶＬフィルタ３０４を組み合わせた特性となる。図９（ａ）はフィルタ配列を示しており、図９（ｂ）には画素名称を示している。１つの画素は実線で区切られた領域であり、画素内のフィルタは点線で区切られた領域である。
【００６１】
画素内のフィルタは、１つのカラーフィルタとそのＩＲフィルタで構成される。例えば、画素Ａ−１は、Ｒフィルタ（ａ）９０１とＩＲフィルタ（ａ）９０２で構成される。画素配列はベイヤー配列に従っている。例えば、画素Ａ−１、画素Ｂ−１、画素Ｃ−１、画素Ｄ−１でベイヤー配列の１つのブロック（ＲＧＧＢ）を構成する。画素Ａ−１と画素Ａ−２は隣接するＲ画素（ＲフィルタとＩＲフィルタの配列）であり、画素Ａ−１のＲフィルタ（ａ）９０１と画素Ａ−２のＲフィルタ（ｂ）９０４とで、位相差オートフォーカスを行うための一対の信号を構成する。
【００６２】
すなわち、可視光に対しては、隣接するカラーフィルタ間で位相差オートフォーカスのための一対の信号を構成することができる。同様に、画素Ａ−１と画素Ａ−２は隣接するＲ画素（ＲフィルタとＲ−ＩＲフィルタの配列）であり、画素Ａ−１のＩＲフィルタ（ａ）９０２と画素Ａ−２のＩＲフィルタ（ｂ）９０３とで、位相差オートフォーカスを行うための一対の信号を構成する。すなわち、赤外光に対しては、隣接するＩＲフィルタ間で位相差オートフォーカスのための一対の信号を構成することができる。また、フィルタ配列（４）では、可視光成分の取得は、カラーフィルタの信号からＩＲフィルタの信号を減算することで取得できる。
【００６３】
図６、図７と比較すると、図９は、カラー画素が離散的に配置されることになる。そのため、補間処理により、画素Ａ−１のＲフィルタ（ａ）９０１を含むＲフィルタ（図４の第１のフィルタ４０５に相当）の画像信号、及び、画素Ａ−２のＲフィルタ（ｂ）９０４を含むＲフィルタ（図４の第２のフィルタ４０６に相当）の画像信号を生成する。同様に、補間処理により、画素Ａ−１のＩＲフィルタ（ａ）９０２を含むＩＲフィルタ（図４の第２のフィルタ４０６に相当）の画像信号、及び、画素Ａ−２のＩＲフィルタ（ｂ）９０３を含むＩＲフィルタ（図４の第１のフィルタ４０５に相当）の画像信号を生成する。それらの一対の画像信号に対して相関演算を行い、それらの相対的な位置関係を示す相関量（位相差）を算出して、位相差オートフォーカスを実行することになる。
【００６４】
この構成により、ＲＧＢカラーフィルタで構成される光電変換部からの信号で構成される画像と、ＩＲフィルタで構成される光電変換部からの信号で構成される画像、をそれぞれ取得することができる。すなわち、夜間などの低照度時であっても、画像の解像度を低下させることなく、ＩＲフィルタで構成される光電変換部からの信号に相当する赤外光成分の取得と、ＲＧＢカラーフィルタで構成される光電変換部からの信号からＩＲフィルタで構成される光電変換部からの信号を減算した信号に相当する可視光成分の取得が両立できる。
【００６５】
以上、図６から図９では、一対一対応するフィルタと光電変換部が水平方向に並んだ配列で説明したが、一対一対応するフィルタと光電変換部が垂直方向に並んだ配列としても良い。
【００６６】
（効果）
これらのフィルタ配列により、夜間などの低照度時であっても、画像の解像度を低下させることなく、感度と色再現性が両立できる。分光特性が略同一であるフィルタを近接するように配置することで、異なる画素間で瞳分割を行うため、位相差オートフォーカスが可能である。
【符号の説明】
【００６７】
１０１  撮像装置
１０２  情報処理装置
１０３  表示装置
１０４  汎用Ｉ／Ｆのケーブル
１０５  ネットワーク
１０６  汎用Ｉ／Ｆのケーブル
１０７  用のＩ／Ｆのケーブル
２０１  レンズユニット
２０２  画像処理ユニット
２０３  メイン制御ユニット
２０４  撮像ユニット
２０５  撮像レンズ
２０６  現像処理ユニット
２０７  通信ユニット
３０１  Ｒフィルタ
３０２  Ｇフィルタ
３０３  Ｂフィルタ
３０４  ＶＬフィルタ
３０５  ＩＲフィルタ
４０１  画素群
４０２  第１の光電変換部
４０３  第２の光電変換部
４０４  マイクロレンズ
４０５  第１のフィルタ
４０６  第２のフィルタ
４０７  配線部
６０１  ＩＲフィルタ（ａ）
６０２  ＩＲフィルタ（ｂ）
６０３  ＶＬフィルタ（ａ）
６０４  ＶＬフィルタ（ｂ）
７０１  ＩＲフィルタ（ａ）
７０２  ＩＲフィルタ（ｂ）
７０３  Ｗフィルタ（ａ）
７０４  Ｗフィルタ（ｂ）
８０１  Ｒフィルタ（ａ）
８０２  Ｒ―ＩＲフィルタ（ａ）
８０３  Ｒ−ＩＲフィルタ（ｂ）
８０４  Ｒフィルタ（ｂ）
９０１  Ｒフィルタ（ａ）
９０２  ＩＲフィルタ（ａ）
９０３  ＩＲフィルタ（ｂ）
９０４  Ｒフィルタ（ｂ）
【図１】
2019114891.tif 000003
【図２】
2019114891.tif 000004
【図３】
2019114891.tif 000005
【図４】
2019114891.tif 000006
【図５】
2019114891.tif 000007
【図６】
2019114891.tif 000008
【図７】
2019114891.tif 000009
【図８】
2019114891.tif 000010
【図９】
2019114891.tif 000011