(57)【要約】【課題】赤外光照射による距離画像撮像とカラー撮像を一つのイメージセンサーと撮影レンズの組合せで実現し、安価で高性能な撮像装置を提供する。【解決手段】本発明の撮像装置は、赤外光パターン照射手段を備え、イメージセンサーの全面に可視域全体を透過させ、それに加え前記赤外光パターン照射の波長の近傍のみを透過させる２バンド透過型の光学フィルターを設置し、イメージセンサーには赤外光を受光する複数の画素と可視光を受光する複数の画素を設置し、全画素の信号電荷を同時に排出する排出手段を設置し、照射赤外光露光時間と背景光露光時間を時分割に行う。【選択図】図１
2014207493.tif 000002
【特許請求の範囲】
【請求項１】
赤外光パターン照射手段と、
可視域とともに、前記赤外光パターン照射手段から照射された赤外光の近傍波長が透過する２バンド透過型の光学フィルターと、
前記光学フィルターからの赤外光を受光して照射赤外光露光を行う複数の第１の画素と、前記光学フィルターからの可視光を受光し背景光露光を行う複数の第２の画素と、前記第１及び第２の画素の信号電荷を同時に排出する排出手段を備え、前記照射赤外光露光と前記背景光露光を時分割に行うイメージセンサーと、
を備えた撮像装置。
【請求項２】
前記赤外光を受光する画素と前記背景光を受光する画素を混在してｎ×ｍの単位配列とすることを特徴とする請求項１の撮像装置。
【請求項３】
前記赤外光を受光する画素には可視光カットする光学フィルターを、前記背景光を受光する画素には各々ＲＧＢ光学カラーフィルターを設置し、２×２を単位配列とすることを特徴とする請求項２の撮像装置。
【請求項４】
前記照射赤外光露光と前記可視光露光の時分割サイクルが１フレームおき単位に同期していることを特徴とする請求項１、２、３のいずれか一項に記載の撮像装置。
【請求項５】
前記照射赤外光露光時間と前記可視光露光時間を独立に制御する為に検波回路の出力を赤外光用ＡＥと可視光用ＡＥとで独立に分けて、各々独立にＡＥ制御することを特徴とする請求項４の撮像装置。
【請求項６】
前記可視光露光時間の開始を決定する全画素の蓄積電荷を排出するＰＤ排出パルス印加のタイミングから、前記可視光露光時間終了を決定する全画素の蓄積電荷を読み出すＰＤ読み出しパルス印加のタイミングまでの期間については、少なくとも前記赤外光パターン照射を停止することを特徴とする請求項４、５の撮像装置。
【請求項７】
前記照射赤外光露光フレームの前記赤外光を受光する画素の信号出力から、前記背景光露光フレームの前記赤外光を受光する画素の信号出力を、各々の受光時間を加味して受光時間比分を補正して減算する回路を搭載することを特徴とする請求項５、６の撮像装置。
【請求項８】
前記背景光露光フレームの各々の前記可視光を受光する画素の信号出力から、前記背景光露光フレームの前記赤外光を受光する画素の信号出力を、各々の画素の赤外光の分光透過率による感度を加味し、その比を補正して減算する回路を搭載したことを特徴とする請求項５、６、７のいずれか一項に記載の撮像装置。
【請求項９】
前記赤外光を受光する画素の信号電荷読み出しゲートと前記可視光を受光する画素の信号電荷読み出しゲートを独立に配線し、前記照射赤外光露光と前記背景光露光の時分割が１フレーム内で完結し、前記赤外光を受光する画素の信号電荷読み出しパルス印加で赤外光露光を終了し、前記可視光を受光する画素の信号電荷読み出しパルスで受光時間を終了することを特徴とする請求項１、２、３のいずれか一項に記載の撮像装置。
【請求項１０】
前記照射赤外光露光時間と前記可視光露光時間を独立に制御する為に検波回路の出力を赤外光用ＡＥと可視光用ＡＥとで独立に分けて、各々独立にＡＥ制御することを特徴とする請求項９の撮像装置。
【請求項１１】
前記可視光露光時間の開始を決定する全画素の蓄積電荷を排出するＰＤ排出パルス印加のタイミングから、前記可視光露光時間終了を決定する前記可視光を受光する画素の信号電荷読み出しパルス印加のタイミングまでの期間については、少なくとも前記赤外光パターン照射を停止することを特徴とする請求項９、１０の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は撮像装置に関する。
【背景技術】
【０００２】
従来技術の可視光撮像と赤外光による距離画像撮像を単一のイメージセンサーと光学レンズに統合した撮像装置について、図１２〜図１４を参照しながら説明する。
【０００３】
まず、図１２は、可視光の３原色である赤（Ｒ）、青（Ｂ）、緑（Ｇ）をそれぞれ受光して信号電荷を蓄積する受光部９０ａ〜９０ｃと、赤外光（ＩＲ）を受光して信号電荷を蓄積するＩＲ受光部９０ｄとが平面配列されたインターライン転送方式のＣＣＤイメージセンサーであり、受光部９０ａ〜９０ｄの全画素の信号電荷を掃き捨てる一般的な縦型オーバーフロードレイン（ＶＯＤ）と、各画素の被写体との距離の測定はＴｏＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式のため、ＩＲ受光部９０ｄの信号電荷のみを高速に掃き捨て可能な横型オーバーフロードレイン（ＬＯＤ）を備える。ＬＯＤはＩＲ受光部９０ｄに接続された掃き捨てゲート９１を介してＩＲ受光部９０ｄの信号電荷がドレインに掃き捨てられるドレイン領域とからなる。ＶＯＤの後にＬＯＤを動作させ、その後に受光部９０ａ〜９０ｄから信号電荷を読み出す構成である。
【０００４】
また、図１３においては、各画素に設置される可視光を受光する各々の３原色のカラーフィルター１０２は、一般に赤外光を透過するために、赤外光を遮断する赤外光カットフィルター１０１との二層構造となっており、さらに赤外光を受光する光学フィルターは赤外光透過フィルターと、可視光を受光する前記二層構造のカラーフィルターとの平坦化を図るため透明フィルターとの二層構造となっており、赤外光と可視光の光学的な混合の抑圧を図るものである。
【０００５】
また、図１４は、１フレーム走査期間毎に可視光画素及び赤外光画素の撮像を行いながら、撮影対象空間へのＩＲパルスの照射を１フレーム走査期間おきに行う。可視光画像を１フレーム走査期間毎に生成すると共に、ＩＲパルスの照射時の撮影によって得られたＩＲ画像信号（Ｓ１ＩＲ）からＩＲパルスの非照射時の撮影によって得られたＩＲ画像信号（Ｓ２ＩＲ）を減算することによって、外光中の赤外光成分による影響を排除した距離画像を１フレーム走査期間おきに生成する構成となっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−８７００号公報
【特許文献２】特開２００８−５２１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら従来技術には、以下に示す課題を有する。
【０００８】
まず、ＩＲ画素には一般的な縦型オーバーフロードレイン（ＶＯＤ）設置に加え、イメージセンサーの感光部（ＰＤ）面積を圧迫する横型オーバーフロードレイン（ＬＯＤ）の設置が必要となり、イメージセンサーにＣＣＤイメージセンサーを用いる場合は、感度・飽和・スミア等の基本性能を犠牲にせざるを得ないという課題を有している。
【０００９】
また、可視光画素については、各画素にＲＧＢのカラーフィルターと赤外光カットフィルターの複雑な二層光学フィルターの構成が必要となり、デバイスの製造難易度を高くするばかりでなく、感度特性に重要な光学層の薄膜化を阻害するという課題を有している。
【００１０】
また、ＩＲ画素についても各画素に可視光カットフィルターに加え、平坦化のため透明フィルターを積層する複雑な二層構成を取らざるを得ず、デバイスの製造難易度を高くするだけでなく、感度特性に重要な光学層の薄膜化を阻害するという課題を有する。
【００１１】
前記課題を鑑み、本発明は、一般的な構成の安価な単一のイメージセンサーを用いて、高画質な可視光撮像と高精度の距離画像撮像を１システムに統合した撮像装置を提供する。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明の一形態に係る撮像装置は、赤外光パターン照射手段と、可視域とともに、前記赤外光パターン照射手段から照射された赤外光の近傍波長が透過する２バンド透過型の光学フィルターと、前記光学フィルターからの赤外光を受光して照射赤外光露光を行う複数の第１の画素と、前記光学フィルターからの可視光を受光し背景光露光を行う複数の第２の画素と、前記第１及び第２の画素の信号電荷を同時に排出する排出手段を備え、前記照射赤外光露光と前記背景光露光を時分割に行うイメージセンサーと、を備えている。
【００１３】
この構成により、画素の信号電荷の排出手段は全画素一括の単一の手段で行え、また各画素に設置する光学フィルターも単層の一般的な簡単な構造が採用でき、２バンド透過型の光学フィルターにより可視光と赤外光の光学的な混合を最小限に抑え、良好なカラー画像と高精度の距離画像を実現出来る。
【発明の効果】
【００１４】
本発明によれば、可視光撮像と赤外光照射による距離画像撮像を単一のレンズとイメージセンサーの組み合せで、高画質かつ高精度でありながら、安価に提供することが可能となり、また、同時に電力と発熱が抑えられる撮像装置を実現できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る撮像装置の構成図
【図２】本発明の第１〜第３の実施形態に係る２バンド光学フィルターの分光透過率を示す図
【図３】本発明の第１の実施形態に係る固体撮像装置の構成図
【図４】本発明の第１〜第３の実施形態に係るカラーフィルター配列図
【図５】本発明の第１の実施形態に係る撮像装置、固体撮像装置の動作タイミング図
【図６】本発明の第２の実施形態に係る撮像装置の構成図
【図７】本発明の第２の実施形態に係る固体撮像装置の構成図
【図８】本発明の第２の実施形態に係る撮像装置、固体撮像装置の動作タイミング図
【図９】本発明の第３の実施形態に係る撮像装置の構成図
【図１０】本発明の第３の実施形態に係る固体撮像装置の構成図
【図１１】本発明の第３の実施形態の撮像装置、固体撮像装置の動作タイミング図
【図１２】従来技術のイメージセンサー構成図
【図１３】従来技術のイメージセンサー画素断面図
【図１４】従来技術のシステムタイミング図
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を、図面を参照しながら説明する。なお、本実施形態では、イメージセンサー（画素）が光を受けることを受光と呼び、イメージセンサー（画素）が光を受ける時間を露光または露光時間と呼ぶ。
【００１７】
（第１の実施形態）
本発明の第１の実施形態の撮像装置（カメラ）の構成を図１に示す。
【００１８】
図１より、本実施形態に係る撮像装置は、８５０ｎｍの赤外光照射レーザーが設置され、照射光に粗面フィルターを設置することにより、被写体にコヒーレントランダムスペックルパターンによる多数の斑点パターンが照射される。
【００１９】
また、その反射光を光学レンズと、可視光波長領域と８５０ｎｍ近傍の近赤外波長領域を透過する図２に示す分光透過率を有する２バンド光学フィルターとを介してイメージセンサー（固体撮像装置）に結像された画像を電気信号に変換する。一方、赤外照射を行わない時間には背景光照明による被写体からの反射光を同じ光学レンズと２バンド光学フィルターを介して同じイメージセンサーに結像された画像を電気信号に変換する。なお、図１のイメージセンサーは、ＣＣＤイメージセンサー（固体撮像装置）である。
【００２０】
また、イメージセンサーから出力された信号はアナログフロントエンド（ＡＦＥ）を介してデジタル信号に変換される。デジタル化された信号は後段のＩＳＰ内のカメラ前処理部でキズ補正等が行われる。また、カメラ前処理部ではＡＥ検波、必要に応じてノイズ除去が行われる。
【００２１】
また、ＩＳＰには、輪郭強調や色調整等のカメラカラー処理が施されるカラーカメラ処理部、赤外光画素からのコヒーレントランダムスペックルパターンとリファレンスパターンを比較して距離を演算する距離画像演算処理部が設置されている。また、ＣＰＵは各ブロックのレジスタ設定等によりシステム全体の制御を行う。
【００２２】
特に、ＡＥ検波回路からの出力を、時間軸方向のフィルター等を施して、イメージセンサーの可視光露光時間、赤外光露光時間の各々を独立に演算してその情報をタイミングジェネレータ（ＴＧ）に伝え、ＴＧはイメージセンサーの駆動パルスを生成し、この時ＣＰＵから指令されたシャッタースピードになるように画素の信号電荷を排出する基板排出パルスのタイミングを生成し、可視光露光、赤外光露光共に自然なＡＥ制御を行えることが本実施形態の特徴である。
【００２３】
次に、本実施形態に係る撮像装置に備わるイメージセンサーの詳細について、図３、図４を用いて説明する。
【００２４】
図３より、プログレッシブスキャン対応のインタライントランスファー方式のイメージセンサーであり、フォトダイオード（画素）２１と、例えば１画素あたり４ゲートの四相駆動の垂直転送部２２と、例えば二相の水平転送部２３と、電荷検出部２４と、縦型オーバーフロードレイン（ＶＯＤ）２５とから構成される。画素の信号電荷の読み出しゲートは四相の垂直転送部（Ｖ１〜Ｖ４）２２のＶ１ゲートが兼用した構成となっている。
【００２５】
なお、図３では、本発明の理解を容易とするため、ＶＯＤ２５は画素の面横方向に記載しているが、実際には画素のバルク方向（半導体基板の深さ方向）に構成されている。ＶＯＤの基板に接続されているＳｕｂ端子に高電圧が印加されると全画素の信号電荷は一括に基板に排出される構成となっている。また各画素には、図４に示すＲ、Ｇ、Ｂ、ＩＲのカラーフィルターが設置されている。
【００２６】
次に、図５を用いて、本発明の実施形態に係る撮像装置、固体撮像装置の動作タイミングについて説明する。
【００２７】
まず、垂直同期パルスＶＤは毎秒６０フレーム（６０ｆｐｓ）であり、奇数フレームが照射赤外撮像、偶数フレームが背景光による可視光撮像の場合について説明する。
【００２８】
第一フレームにおいて最終の転送部の基板排出パルス（φＳｕｂ）印加で全画素の信号電荷が排出され、φＳｕｂ印加終了により照射赤外光露光時間が開始され、同時に赤外光レーザーが照射される。
【００２９】
背景光は点灯継続しているため被写体からの反射光は赤外光と可視光の双方を含んでいるが、２バンド光学フィルターと赤外光受光画素の可視光カットフィルターにより８５０ｎｍ近傍の反射光のみが赤外光受光画素により受光されて光電変換が行われ、赤外光露光時間中、画素に信号電荷が蓄積される。
【００３０】
次に、第二フレーム始まりに全画素読み出しパルスφＶ１にＨレベルを印加することにより、赤外光を受光する画素を含む全画素の信号電荷が垂直転送部に読み出され、照射赤外光露光時間が終了する。同時に赤外光レーザー照射を停止する。
【００３１】
なお、本実施形態では、赤外光レーザー照射期間と照射赤外光露光時間を合致させているが、赤外光照射期間は赤外光露光時間１１を含んでおり、可視光露光時間１２を含まなければ特に問題は生じない。
【００３２】
その後、図３で説明した垂直転送部２２と、水平転送部２３と、電荷検出部２４を介し、図５で示すタイミング（赤外光露光時間１のイメージセンサー出力タイミング）１４で赤外光画素信号が出力され、後段での処理に移行する。なお、この際にＲＧＢの各画素信号も出力されるが、特に後段で処理されることはない。
【００３３】
一方、第二フレームの全画素の信号電荷読み出し後、必要な露光時間になるように、全画素にφＳｕｂ印加で全画素の信号電荷が排出され、φＳｕｂ印加終了により背景光露光時間が開始され、この時レーザー照射は停止しているため、被写体からの反射光は背景光の成分のみを含んでいる。
【００３４】
また、ＲＧＢの各々の画素には２バンド光学フィルターとＲＧＢフィルター透過により、背景光が赤外光成分を含む場合はその一部の赤外光が、Ｒ、Ｇ、Ｂの各々の画素にＲ成分と前記一部の赤外光成分、Ｇ成分と前記一部の赤外光成分、Ｂ成分と前記一部の赤外光成分がＲ、Ｇ、Ｂの各々の画素で受光される。また、２バンド光学フィルターとＩＲフィルター透過により、ＩＲ画素には一部の赤外光成分のみが受光されて光電変換が行われ、Ｒ、Ｇ、Ｂ、ＩＲ各々の画素で、可視光露光時間中に蓄積される。
【００３５】
次に、第三フレーム始まりに全画素読み出しパルスφＶ１にＨレベルを印加することにより、全画素が垂直転送部に読み出され、背景光露光時間が終了する。
【００３６】
その後、図３で説明した垂直転送部２２、水平転送部２３、電荷検出部２４を介し、図５に示したタイミング（可視光露光時間１のイメージセンサー出力タイミング）１５でＩＲ画素を含む全画素が出力される。
【００３７】
さらに、イメージセンサーの動作が繰り返され、照射赤外光露光時間と背景光露光時間をフレームおきに時分割に動作させるものとなる。
【００３８】
次に、イメージセンサーから出力された信号からＡＥ動作について説明する。
【００３９】
奇数フレームの照射赤外光露光時間の画素信号は偶数フレームに出力され、赤外光を受光するＩＲ画素の信号のみがＩＳＰ回路のＡＥ検波回路で検波され、その出力をＣＰＵで読み取り、偶数フレーム毎にイメージセンサーから出力されたＩＲ画素の信号検波結果のみを用いて、次の奇数フレームのシャッタースピードがＣＰＵにより時間フィルターを介して決定される。
【００４０】
また、偶数フレームの背景光露光時間の画素信号は奇数フレームに出力され、可視光を受光するＲＧＢ画素の信号がＩＳＰ回路のＡＥ検波回路で検波され、その出力をＣＰＵで読み取り、奇数フレーム毎にイメージセンサーから出力された可視光画素の信号検波結果のみを用いて、次の偶数フレームのシャッタースピードがＣＰＵにより時間フィルターを介して決定される。
【００４１】
このようにして、６０ｆｐｓのイメージセンサーを用いて、３０ｆｐｓの照射赤外光撮像と３０ｆｐｓの背景光カラー撮像のあたかも２台のカメラを設置したように、各々独立してＡＥ制御を実現する。
【００４２】
次に、照射赤外光露光時間に被写体からのコヒーレントランダムスペックルパターンの反射光として受光されたＩＲ画素信号は、予め格納されたスペックルパターンのリファレンスパターンと照合しそのアドレスずれから、距離画像演算回路で演算され、距離画像に変換して出力される。
【００４３】
なお、本実施形態では、背景光に赤外光成分が圧倒的に多い等のより距離画像精度が要求される悪環境下の場合は、照射赤外光露光時間のＩＲ画素の信号レベルから背景光露光時間のＩＲ画素の信号を各々の露光時間比を加味して、同一露光時間のレベルとなるように補正した後に減算回路によって減算した結果を後段の距離画像演算処理部に入力する。これにより、背景光の８５０ｎｍ近傍の赤外成分のノイズを抑圧し、より一層高精度な距離画像演算を実現することが出来る。
【００４４】
次に、背景光露光時間に被写体からの反射光として受光されたＲＧＢ画素信号は、カラーカメラ処理部により、ホワイトバランスや輪郭強調処理等の処理されたカラー画像として出力される。
【００４５】
以上、図面を用いて説明したように、本実施形態に係る撮像装置は、背景光に赤外光成分が圧倒的に多い等の厳しい環境下で、アプリケーションとしてより高色再現性が求められる場合には、背景光露光時間の各々のＲＧＢ画素の信号レベルから背景光露光時間のＩＲ画素の信号を、各々の画素に設置されたフィルターと２バンド光学フィルターの総合特性としての８５０ｎｍ近傍の赤外光透過率を加味して、同一の透過率レベルとなるようにＲＧＢ画素の各々とＩＲ画素の透過率比を補正する。その後、減算回路によって減算した結果を後段のカラーカメラ処理部に入力する。
【００４６】
これにより、背景光の８５０ｎｍ近傍の赤外光成分のノイズを抑圧し、より高色再現・高画質な撮像装置を実現できる。
【００４７】
（第２の実施形態）
まず、図６を用いて、本発明の第２の実施形態に係る撮像装置（カメラ）の構成を示す。
【００４８】
図６より、本実施形態に係る撮像装置には８５０ｎｍの赤外光照射レーザーが設置され、照射光に粗面フィルターを設置することにより、被写体にコヒーレントランダムスペックルパターンによる多数の斑点パターンが照射される。また、図６のイメージセンサーは、ＭＯＳイメージセンサー（固体撮像装置）である。
【００４９】
その反射光を光学レンズと、可視光波長領域と８５０ｎｍ近傍の近赤外波長領域を透過する図２に示した分光透過率を有する２バンド光学フィルターを介して、グローバルシャッター機能を搭載したイメージセンサー（固体撮像装置）に結像された画像を電気信号に変換する。
【００５０】
一方、赤外光照射を行わない時間には背景光照明による被写体からの反射光を同じ光学レンズと２バンド光学フィルターを介して同じイメージセンサーに結像された画像を電気信号に変換するものである。
【００５１】
イメージセンサーから出力された信号はアナログフロントエンド（ＡＦＥ）を介してデジタル信号に変換される。デジタル化された信号は後段のＩＳＰ内のカメラ前処理部でキズ補正等が施される。また、カメラ前処理部ではＡＥ検波、必要に応じてノイズ除去が施される。
【００５２】
また、輪郭強調や色調整等のカメラカラー処理が施されるカラーカメラ処理部、赤外光画素からのコヒーレントランダムスペックルパターンとリファレンスパターンを比較して距離を演算する距離画像演算処理部が設置されている。
【００５３】
ＣＰＵは各ブロックのレジスタ設定等によりシステム全体の制御を行う。特に、本実施形態では、ＡＥ検波回路からの出力を、時間軸方向のフィルターを施して、イメージセンサーの可視光露光時間、赤外光露光時間の各々を独立に演算して、その情報をシリアル転送等の通信手段で直接イメージセンサーに伝え、イメージセンサー内で各種駆動パルスを生成する。この時、ＣＰＵから指令されたシャッタースピードになるように画素の信号電荷を排出する排出パルスＴＸＳ１〜ＴＸＳｎのタイミングを生成し、可視光露光、赤外光露光共に自然なＡＥ制御を行えることが特徴である。
【００５４】
次に、図７を用いて、本実施形態に係る撮像装置に設置されるイメージセンサーの詳細を説明する。
【００５５】
図７より、本実施形態に係るイメージセンサーはグローバルシャッター＆グロ―バルリセット機能を搭載したプログレッシブスキャン方式対応であり、その光電変換部の１セルは以下の構成からなるものであり、フォトダイオードＰＤ（画素）と、ＰＤに蓄積した信号電荷を一括してリセットするリセットトランジスタＭ５と、フローティングディフュージョンＦＤと、ＰＤに蓄積した信号電荷を一括してＦＤに読み出す読み出しトランジスタＭ１と、ＦＤに読み出された信号電荷をリセットするリセットトランジスタＭ２と、ソースフォロワトランジスタＭ３とライン選択トランジスタＭ４とから構成される。
【００５６】
以下、垂直信号線に読み出された電圧信号は、ソースフォロワトランジスタのＶｔばらつきにより発生するＦＰＮ除去回路を経て、出力信号として出力される。また各画素には第１の実施形態と同様に図４に示すＲ、Ｇ、Ｂ、ＩＲのカラーフィルターが設置されている。
【００５７】
次に、図８を用いて、本発明の実施形態に係る撮像装置、固体撮像装置の動作タイミングを説明する。
【００５８】
まず、垂直同期パルスＶＤは毎秒６０フレーム（６０ｆｐｓ）であり、奇数フレームが照射赤外撮像、偶数フレームが背景光による可視光撮像の例について説明すると、第一フレームにおいて全ＰＤに蓄積した信号電荷を一括してリセットするリセットトランジスタＭ５をＯＮするゲートパルスＴＸＳｎ印加で全画素の信号電荷が排出され、排出パルスＴＸＳｎ印加終了により照射赤外光露光時間が開始され、同時に赤外光レーザーが照射される。
【００５９】
背景光は点灯継続しているため被写体からの反射光は赤外光と可視光の双方を含んでいるが、２バンド光学フィルターと赤外光受光画素の可視光カットフィルターにより、８５０ｎｍ近傍の反射光のみが赤外光受光画素により受光されて光電変換が行われ、赤外光露光時間中画素に信号電荷が蓄積される。
【００６０】
次に、第二フレーム始まりに全ＰＤに蓄積した信号電荷を一括してＦＤに読み出す読み出しトランジスタＭ１をＯＮするゲートパルスＴＸｎ印加で全画素の信号電荷が全ＦＤに読み出され、照射赤外光露光時間が終了する。同時に赤外光レーザー照射を停止する。
【００６１】
なお、本実施形態では、赤外光レーザー照射期間と照射赤外光露光時間を合致させているが、赤外光照射期間は赤外光露光時間１３１を含んでおり、可視光露光時間１３２を含まなければ機能上は差し支えない。
【００６２】
その後、信号ライン選択パルスＳＥＬ１により、ＦＤで信号電圧に変換された電圧信号は、ソースフォロワを介して垂直信号線に読み出され、ＦＰＮ除去回路を介して、赤外光画素信号が出力され、後段での処理に移行し、順次ＳＥＬ２、ＳＥＬ３とライン選択され一画面分の赤外画素信号が出力される。この時ＲＧＢの各画素信号も出力されるが、特に後段で処理されることはない。
【００６３】
すなわち、図８で示すタイミング（赤外光露光時間１のイメージセンサー出力タイミング）１３４で赤外光画素信号が出力され、後段での処理に移行する。
【００６４】
一方、第二フレームの前記全画素の信号電荷がＦＤへ読み出し後、必要な露光時間になるように、全ＰＤに蓄積した信号電荷を一括してリセットするリセットトランジスタＭ５をＯＮするゲートパルスＴＸＳｎ印加で全画素の信号電荷が排出され、ゲートパルスＴＸＳｎ印加終了により背景光露光時間が開始され、この時レーザー照射は停止しているため、被写体からの反射光は背景光の成分のみを含んでいる。
【００６５】
ＲＧＢの各々の画素には２バンド光学フィルターとＲＧＢフィルターにより、背景光が赤外光成分を含む場合はその一部の赤外光が、Ｒ、Ｇ、Ｂの各々の画素にＲ成分と前記一部の赤外光成分、Ｇ成分と前記一部の赤外光成分、Ｂ成分と前記一部の赤外光成分がＲ、Ｇ、Ｂの各々の画素で受光され、また、２バンド光学フィルターとＩＲ画素には一部の赤外光成分のみが受光され光電変換が行われ、Ｒ、Ｇ、Ｂ、ＩＲ各々の画素で、可視光露光時間中に蓄積される。
【００６６】
次に、第三フレームの始まりに全ＰＤに蓄積した信号電荷を一括してＦＤに読み出す読み出しトランジスタＭ１をＯＮするゲートパルスＴＸｎ印加で全画素の信号電荷が全ＦＤに読み出され、背景光露光時間が終了する。
【００６７】
以下、信号ライン選択パルスＳＥＬ２により、ＦＤで信号電圧に変換された電圧信号は、ソースフォロワを介して垂直信号線に読み出され、ＦＰＮ除去回路を介して、イメージセンサーよりＩＲ画素を含む全画素が出力される。
【００６８】
すなわち、図８に示したタイミング（可視光露光時間１のイメージセンサー出力タイミング）１３５でＩＲ画素を含む全画素が出力される。
【００６９】
その後、イメージセンサーの動作が繰り返され、照射赤外光露光時間と背景光露光時間をフレームおきに時分割に動作させるものとなる。
【００７０】
次に、イメージセンサーから出力された信号からＡＥ動作について説明する。
【００７１】
まず、奇数フレームの照射赤外光露光時間の画素信号は偶数フレームに出力され、赤外光を受光するＩＲ画素の信号のみがＩＳＰ回路のＡＥ検波回路で検波され、その出力をＣＰＵで読み取り、偶数フレーム毎にイメージセンサーから出力されたＩＲ画素の信号検波結果のみを用いて、次の奇数フレームのシャッタースピードがＣＰＵにより時間フィルターを介して決定される。
【００７２】
また偶数フレームの背景光露光時間の画素信号は奇数フレームに出力され、可視光を受光するＲＧＢ画素の信号がＩＳＰ回路のＡＥ検波回路で検波され、その出力をＣＰＵで読み取り、奇数フレーム毎にイメージセンサーから出力された可視光画素の信号検波結果のみを用いて、次の偶数フレームのシャッタースピードがＣＰＵにより時間フィルターを介して決定される。
【００７３】
このようにして、６０ｆｐｓのイメージセンサーを用いて、３０ｆｐｓの照射赤外光撮像と３０ｆｐｓの背景光カラー撮像のあたかも２台のカメラを設置したかのごとく、各々独立してＡＥ制御を実現するものである。
【００７４】
次に、照射赤外光露光時間に被写体からのコヒーレントランダムスペックルパターンの反射光として受光されたＩＲ画素信号は、予め格納されたスペックルパターンのリファレンスと照合しそのアドレスずれから、距離画像演算回路で演算され、距離画像に変換して出力される。
【００７５】
なお、本実施形態では、背景光に赤外光成分が圧倒的に多い等のより距離画像精度が要求される場合においては、照射赤外光露光時間のＩＲ画素の信号レベルから前記背景光露光時間のＩＲ画素の信号を各々の露光時間比を加味して、同一露光時間のレベルとなるように補正した後に減算回路によって減算した結果を後段の距離画像演算処理部に入力することにより、背景光の８５０ｎｍ近傍の赤外光成分のノイズを抑圧し、高精度な距離画像演算を実現することが出来る。
【００７６】
次に、背景光露光時間に被写体からの反射光として受光されたＲＧＢ画素信号は、カラーカメラ処理部により、ホワイトバランスや輪郭強調処理等の処理されたカラー画像として出力される。
【００７７】
なお、本実施形態では、背景光に赤外光成分が圧倒的に多い等の厳しい条件で、アプリケーションとしてより高色再現性が求められる場合には、背景光露光時間の各々のＲＧＢ画素の信号レベルから前記背景光露光時間のＩＲ画素の信号を各々の画素に設置されたフィルターと２バンド光学フィルターの総合特性としての８５０ｎｍ近傍の赤外光透過率を加味して、同一の透過率レベルとなるようにＲＧＢ画素の各々とＩＲ画素の透過率比を補正する。
【００７８】
その後、減算回路によって減算した結果を後段のカラーカメラ処理部に入力することにより、背景光の８５０ｎｍ近傍の赤外光成分のノイズを抑圧し、より高色再現・高画質な撮像装置を実現することができる。
【００７９】
（第３の実施形態）
本発明の第３の実施形態に係る撮像装置の構成を図９に示す。
【００８０】
図９より、本実施形態に係る撮像装置には、８５０ｎｍの赤外光照射レーザーが設置され、照射光に粗面フィルターを設置することにより、被写体にコヒーレントランダムスペックルパターンによる多数の斑点パターンが照射される。
【００８１】
その反射光を光学レンズ、可視光波長領域と８５０ｎｍ近傍の近赤外波長領域を透過し、上述した図２に示す分光透過率を有する２バンド光学フィルターを介してイメージセンサー（固体撮像装置）に結像された画像を電気信号に変換する。また、図９のイメージセンサーは、ＣＣＤイメージセンサー（固体撮像装置）である。
【００８２】
一方、赤外光照射を行わない時間は、背景光照明による被写体からの反射光を同じ光学レンズと２バンド光学フィルターを介して同じイメージセンサーに結像された画像を電気信号に変換する。
【００８３】
また、イメージセンサーから出力された信号はアナログフロントエンド（ＡＦＥ）を介してデジタル信号に変換される。デジタル化された信号は、後段のＩＳＰ内のカメラ前処理部でキズ補正等を施され、またここでＡＥ検波が施される。また、輪郭強調や色調整等のカメラカラー処理が施されるカラーカメラ処理部、赤外光画素からのコヒーレントランダムスペックルパターンとリファレンスパターンを比較して距離を演算する距離画像演算処理部が設置されている。
【００８４】
また、ＣＰＵは各ブロックのレジスタ設定等によりシステム全体の制御を行う。特に、本実施形態では、ＡＥ検波回路からの出力を、時間軸方向のフィルターを施して、イメージセンサーの可視光露光時間、赤外光露光時間の各々を独立に演算して、その情報をタイミングジェネレータ（ＴＧ）に伝え、ＴＧはイメージセンサーの駆動パルスを生成し、この時ＣＰＵから指令されたシャッタースピードになるように画素の信号電荷を排出する基板排出パルスのタイミングを生成し、可視光露光、赤外光露光共に自然なＡＥ制御を行うことが特徴である。
【００８５】
次に、図１０を用いて、本実施形態に係る撮像装置に搭載されるイメージセンサーの構成を説明する。
【００８６】
図１０より、本実施形態に係るイメージセンサーは、プログレッシブスキャン対応のインタライントランスファー方式であり、フォトダイオード（画素）７１、１画素あたり４ゲートの四相駆動の垂直転送部７２、二相水平転送部７３、電荷検出部７４、縦型オーバーフロードレイン（ＶＯＤ）７５とから構成される。
【００８７】
また、画素の信号電荷の読み出しゲートは四相の垂直転送部（Ｖ１〜Ｖ４）のＶ１ゲートが兼用した構成となっている。ここで重要なことはＩＲ画素の読み出しゲートと兼用した垂直転送部のゲートのみ独立配線とし、Ｖ５として新たに設置している。
【００８８】
なお、図１０では本発明の理解を容易とするため、ＶＯＤ７５は画素の紙面横方向に記載しているが、実際には画素のバルク方向の深部側（半導体基板の深さ方向）に構成されている。ＶＯＤの基板に接続されているＳｕｂ端子に高電圧が印加されると全画素の信号電荷は一括に基板に排出される構成となっている。
【００８９】
また各画素には図４に示すＲ、Ｇ、Ｂ、ＩＲのカラーフィルターが設置されている。
【００９０】
次に、図１１を用いて、本発明の実施形態に係る撮像装置、固体撮像装置の動作タイミングを説明する。
【００９１】
まず、垂直同期パルスＶＤは６０ＦＰＳであり、１フレーム内の前半が照射赤外撮像、後半が背景光による可視光撮像の場合について説明すると、第一フレームにおいて最初の転送部の基板排出パルスφＳｕｂ印加で全画素の信号電荷が排出され、φＳｕｂ印加終了により照射赤外光露光時間が開始され、同時に赤外レーザーが照射される。
【００９２】
背景光は点灯継続しているため被写体からの反射光は赤外光と可視光の双方を含んでいるが、２バンド光学フィルターと赤外光受光画素の可視光カットフィルターにより８５０ｎｍ近傍の反射光のみが赤外光受光画素により受光され光電変換が行われ、赤外光露光時間中画素に信号電荷が蓄積される。
【００９３】
次に、ＩＲ画素読み出しパルスφＶ５にＨレベルを印加することにより、赤外光を受光する画素の信号電荷が垂直転送部に読み出され、照射赤外光露光時間が終了する。同時に赤外光レーザー照射を停止する。本例では赤外光レーザー照射期間と照射赤外光露光時間を合致させているが、赤外光照射期間は側距露光時間８１を含んでおり、可視光露光時間８２を含まなければ機能上は差し支えない。
【００９４】
その後、図１０で示した垂直転送部７２、水平転送部７３、電荷検出部７４を介し、イメージセンサーより図１１で示すタイミング（測距受光時間０のイメージセンサー出力タイミング）８４で赤外光画素信号が出力され、後段での処理に移行する。
【００９５】
一方、ＩＲ画素の信号電荷読み出し後、必要な露光時間になるように、全画素に基板排出パルスφＳｕｂ印加で全画素の信号電荷が排出され、排出パルスφＳｕｂ印加終了により背景光露光時間が開始され、この時レーザー照射は停止しているため、被写体からの反射光は背景光の成分のみを含んでいる。
【００９６】
また、ＲＧＢの各々の画素には２バンド光学フィルターとＲＧＢフィルターにより、背景光が赤外光成分を含む場合はその一部の赤外光が、Ｒ、Ｇ、Ｂの各々の画素にＲ成分と前記一部の赤外光成分、Ｇ成分と前記一部の赤外光成分、Ｂ成分と前記一部の赤外光成分がＲ、Ｇ、Ｂの各々の画素で受光され、可視光露光時間中に蓄積される。
【００９７】
次に、第二フレーム始まりに全画素読み出しパルスφＶ１にＨレベルを印加することにより、可視光（ＲＧＢ）画素の信号電荷が垂直転送部に読み出され、背景光露光時間が終了する。
【００９８】
続いて、図１０で示した垂直転送部７２、水平転送部７３、電荷検出部７４を介し、イメージセンサーより、図１１に示すタイミング（可視光露光時間１のイメージセンサー出力タイミング）８５で可視光画素の信号が出力される。
【００９９】
この場合、ＩＲ画素の信号も出力中であるが、垂直転送部の空きパケットにＲＧＢ画素が収まるように垂直転送することで、Ｒ、Ｇ、Ｂ、ＩＲの各画素の信号電荷は垂直転送部内で混合することなく、タイミング８４およびタイミング８５のタイミングずれを生じながらも全画素独立に出力することが可能となる。
【０１００】
その後、フレーム単位で同様にイメージセンサーの動作が繰り返され、照射赤外光露光時間と背景光露光時間を１フレーム内において時分割に動作させることとなる。
【０１０１】
次に、イメージセンサーから出力された信号からＡＥ動作について説明する。
【０１０２】
まず、照射赤外光露光時間の画素信号はフレームの途中のタイミングから約１Ｖ期間かけて出力され、赤外光を受光するＩＲ画素の信号がＩＳＰ回路のＡＥ検波回路で検波され、その出力をＣＰＵで読み取り、ＩＲ画素の信号検波結果のみを用いて、次のフレームの照射赤外光露光時間のシャッタースピードがＣＰＵにより時間フィルターを介して決定される。
【０１０３】
また、背景光露光時間の画素信号はフレーム先頭から出力され、可視光を受光するＲＧＢ画素の信号がＩＳＰ回路のＡＥ検波回路で検波され、その出力をＣＰＵで読み取り、毎フレーム毎にイメージセンサーから出力された可視光画素の信号検波結果のみを用いて、次の背景光露光時間のシャッタースピードがＣＰＵにより時間フィルターを介して決定される。
【０１０４】
このようにして、６０ｆｐｓのイメージセンサーを用いているにも拘らず、６０ｆｐｓの照射赤外光撮像と６０ｆｐｓの背景光カラー撮像のあたかも２台のカメラを設置したかのごとく、各々独立してＡＥ制御を実現するものである。
【０１０５】
次に照射赤外光露光時間に被写体からのコヒーレントランダムスペックルパターンの反射光として受光されたＩＲ画素信号は、予め格納されたスペックルパターンのリファレンスパターンと照合しそのアドレスずれから、距離画像演算回路で演算され、距離画像に変換して出力される。
【０１０６】
次に背景光露光時間に被写体からの反射光として受光されたＲＧＢ画素信号は、カラーカメラ処理部により、ホワイトバランスや輪郭強調処理等の処理されたカラー画像として出力される。
【０１０７】
このようにして、６０ｆｐｓのイメージセンサーを用いているにも拘らず、６０ｆｐｓの照射赤外光撮像と６０ｆｐｓの背景光カラー撮像のあたかも２台のカメラを設置したかのごとく、各々独立して機能する赤外光による距離画像と可視光カラー画像を統合した一つのカメラシステムで実現するものである。
【０１０８】
なお、本実施形態は、ＩＲ画素と可視光画素の行選択配線を独立配線にすることにより、グローバルシャッターとグローバルリセット機能を備えたＭＯＳイメージセンサーを用いることもできる。
【０１０９】
（まとめ）
以上、図面を用いて説明したように、本発明の実施形態（第１〜第３の実施形態）に係る撮像装置は、赤外光パターン照射手段を備え、イメージセンサーの全面に可視域全体を透過させ、それに加え前記赤外光パターン照射の波長の近傍のみを透過させる２バンド透過型の光学フィルターを設置し、イメージセンサーには赤外光を受光する複数の画素と可視光を受光する複数の画素を設置し、全画素の信号電荷を同時に排出する排出手段を設置し、照射赤外光露光時間と背景光露光時間を時分割に行うことにより、画素の信号電荷の排出手段は全画素一括の単一の手段で行え、また各画素に設置する光学フィルターも単層の一般的な簡単な構造が採用でき、２バンド透過型の光学フィルターにより可視光と赤外光の光学的な混合を最小限に抑え、良好なカラー画像と高精度の距離画像が安価なシステムで実現することが出来る。
【０１１０】
また、前記照射赤外光露光時間と前記可視光露光時間を独立に制御する為に検波回路の出力を赤外光用ＡＥと可視光用ＡＥとで独立に分けて、各々独立にＡＥ制御すれば、夫々光源が異なるため大きく条件の異なる背景光露光時間の可視光を受光する画素信号レベルと照射赤外光露光時間の赤外光を受光する画素信号レベルを、夫々最適な受光時間に制御することが可能となり、あたかも２台の可視カメラと測距カメラが同時に動作しているように、より一層の可視画像撮像の高画質化と距離画像撮像の高精度化が図ることが出来る。
【０１１１】
また、可視光露光時間の開始を決定する全画素の蓄積電荷を排出する画素（ＰＤ）信号電荷排出パルス印加のタイミングから、前記可視光露光時間終了を決定する全画素の蓄積電荷を読み出す画素（ＰＤ）信号読み出しパルス印加のタイミングまでの期間については、少なくとも前記赤外光パターン照射を停止するものとすれば、赤外光の照射時間を最小限に短縮することで、電力及び発熱の低減を行うことが出来る。
【０１１２】
また、前記照射赤外光露光フレームの前記赤外光を受光する画素の信号出力から、前記背景光露光フレームの前記赤外光を受光する画素の信号出力を、各々の受光時間を加味して受光時間比分を補正して減算する回路を搭載すれば、照射赤外光露光フレームの前記赤外光を受光する画素に含まれる微小な背景光の赤外光成分も排除することが可能となり、より一層の距離画像撮像の高精度化を図ることが出来る。
【０１１３】
また、背景光露光フレームの各々の前記可視光を受光する画素の信号出力から、前記背景光露光フレームの同一単位配列内の前記赤外光を受光する画素の信号出力を、各々の画素の赤外光の分光透過率による感度を加味し、その比を補正して減算する回路を搭載すれば、背景光に赤外光成分が含まれる場合においても、２バンド光学フィルターで微小に透過する赤外光成分を前記背景光露光フレームの各々の前記可視光を受光する画素の信号出力から排除することが可能になり、可視画像のより一層の高色再現化を図ることが出来る。
【０１１４】
また、前記赤外光を受光する画素の信号電荷読み出しゲートと前記可視光を受光する画素の信号電荷読み出しゲートを独立に配線し、前記照射赤外光露光と前記背景光露光の時分割が１フレーム内で完結し、前記赤外光を受光する画素の信号電荷読み出しパルス印加で赤外光露光を終了し、前記可視光を受光する画素の信号電荷読み出しパルスで露光時間を終了すれば、イメージセンサーのフレームレートと同一のフレームレートで可視画像、距離画像共に得られることになり、システムの大幅な高速化を図ることが出来る。
【産業上の利用可能性】
【０１１５】
本発明は、赤外光照射パターンによる距離画像撮像とカラー撮像を一つのシステムで実現し、ジェスチャ認証等でのゲーム機や、人物認証等のサイネージ分野等の撮像装置に利用することができる。
【符号の説明】
【０１１６】
２１  フォトダイオード（画素）
２２  垂直転送部
２３  水平転送部
２４  電荷検出部
２５  縦型オーバーフロードレイン（ＶＯＤ）
７１  フォトダイオード（画素）
７２  垂直転送部、
７３  水平転送部、
７４  電荷検出部、
７５  縦型オーバーフロードレイン（ＶＯＤ）
１３１  赤外光露光時間
１３２  可視光露光時間
【図２】
2014207493.tif 000003
【図３】
2014207493.tif 000004
【図７】
2014207493.tif 000005
【図１０】
2014207493.tif 000006
【図１２】
2014207493.tif 000007
【図１３】
2014207493.tif 000008
【図１４】
2014207493.tif 000009
【図１】
2014207493.tif 000010
【図４】
2014207493.tif 000011
【図５】
2014207493.tif 000012
【図６】
2014207493.tif 000013
【図８】
2014207493.tif 000014
【図９】
2014207493.tif 000015
【図１１】
2014207493.tif 000016