(57)【要約】【課題】  本発明は、高感度かつ高精度な距離情報と高画質な画像情報を得ることが可能な撮像素子及び撮像装置を提供することを目的とする。【解決手段】  本発明に係る撮像素子は、互いに直交する行方向と列方向に配置された複数の画素を有する撮像素子であって、前記複数の画素は、前記行方向に並置された複数の光電変換部を有する測距画素を有し、Ｍ、Ｎを１以上の整数とするとき、Ｍ行毎に行方向に略半画素分ずらした位置に画素が配置され、かつＮ列を１周期とした配列で行方向にカラーフィルタが配置されており、列方向には２ＭＮ行を１周期とした配列でカラーフィルタが配置されていることを特徴とする。【選択図】  図２
2018207227.tif 000002
【特許請求の範囲】
【請求項１】
互いに直交する行方向と列方向に配置された複数の画素を有する撮像素子であって、
前記複数の画素は、
前記行方向に並置された複数の光電変換部を有する測距画素を有し、
Ｍ、Ｎを１以上の整数とするとき、Ｍ行毎に行方向に略半画素分ずらした位置に画素が配置され、かつＮ列を１周期とした配列で行方向にカラーフィルタが配置されており、列方向には２ＭＮ行を１周期とした配列でカラーフィルタが配置されていることを特徴とする撮像素子。
【請求項２】
前記Ｍは２であることを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記Ｎは４であることを特徴とする請求項１または２に記載の撮像素子。
【請求項４】
輝度信号を取得する画素のみを配列した輝度信号行と、輝度信号および色信号を取得する画素を配列した色信号行を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
【請求項５】
前記輝度信号行と前記色信号行を列方向に交互に配置したことを特徴する請求項４に記載の撮像素子。
【請求項６】
前記輝度信号行の画素はホワイト画素であり、前記色信号行は赤、緑、青のいずれかのカラーフィルタが配置されたカラー画素を有していることを特徴とする請求項４または５に記載の撮像素子。
【請求項７】
前記色信号行の画素はホワイト画素を有しており、１つの前記カラー画素は、平面視における行方向、列方向、斜め方向の全てにおいて、前記ホワイト画素と隣接していることを特徴とする請求項６に記載の撮像素子。
【請求項８】
前記測距画素は、行方向に並置された３つの光電変換部を有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
【請求項９】
前記色信号行に配置された前記測距画素は、前記３つの光電変換部のうち、中央の光電変換部の信号のみ読み出すことを特徴とする請求項８に記載の撮像素子。
【請求項１０】
前記色信号行に配置された前記測距画素は、前記３つの光電変換部の信号を加算した信号を読み出すことを特徴とする請求項８に記載の撮像素子。
【請求項１１】
前記複数の画素は、全て前記測距画素であることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像素子。
【請求項１２】
前記複数の画素の光電変換部は光電変換膜で構成されていることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像素子。
【請求項１３】
請求項１乃至１２のいずれか１項に記載の撮像素子と、
前記撮像素子に光学像を結像させる撮像光学系と、
前記撮像素子が有する前記複数の画素からの出力信号に基づいて撮像画像を生成する画像処理手段と、
前記撮像素子が有する前記測距画素からの出力信号に基づいて前記撮像画像に含まれる被写体の距離情報を求める測距手段と、を備えることを特徴とする撮像装置。
【請求項１４】
前記測距手段は、前記輝度信号行に配置された前記測距画素からの出力信号のみに基づいて測距を行うことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
移動体であって、
請求項１３または１４に記載の撮像装置と、
前記撮像装置が有する前記測距手段により求められた距離情報に基づいて前記移動体を制御する制御手段と、を備えることを特徴とする移動体。
【請求項１６】
前記移動体の情報を取得する情報取得手段を備え、
前記制御手段は、前記移動体の情報と前記距離情報とに基づいて、前記移動体の移動方向または移動速度を制御することを特徴とする請求項１５に記載の移動体。
【請求項１７】
前記制御手段は、前記移動体が障害物と衝突する可能性があると判定された場合に、前記移動体の移動方向または移動速度を制御することを特徴とする請求項１５又は１６に記載の移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子及び撮像装置に関し、特に、撮像面位相差方式によって距離を測定する撮像素子及び撮像装置に関する。
【背景技術】
【０００２】
ＣＭＯＳセンサやＣＣＤセンサ等の撮像素子を用いた撮像装置を、ロボットや自動車に搭載する場合、画像情報を取得する機能に加えて、関連する物体に対する距離情報を取得する機能が求められる。ここで、画像情報と同時に距離情報を取得する方法として、撮像面位相差方式と呼ばれる方法がある（特許文献１）。
【０００３】
撮像面位相差方式では、レンズ瞳における異なる領域（瞳領域）を通過した光束による視差画像の視差（像ズレ量）から、距離情報を取得する。ここで、撮像面位相差方式による測距精度は、撮像光学系の結像倍率が一定であれば、基線長と視差の検出分解能によって決まる。そして、視差の検出分解能は、撮像素子の画素サイズで決まり、画素サイズが小さくなるにしたがって視差の検出分解能は向上することとなる。よって、画素サイズを小さくすることで、高い測距精度が得られ、正確な距離情報を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５５０４８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、画素サイズを小さくすると、画素に入射する光量が減少し感度が低下する問題がある。さらに、感度低下によるノイズ量増加に起因して、取得した画像情報における色再現が最適化されていないという課題もある。特に、移動時の衝突回避や対象物の把持をより高精度に行うためには、距離情報だけでなく画像認識の精度向上が必要であり、より高画質な画像情報の取得も必要となっている。
【０００６】
本発明は、高感度かつ高精度な距離情報と高画質な画像情報を得ることが可能な撮像素子及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像素子は、互いに直交する行方向と列方向に配置された複数の画素を有する撮像素子であって、前記複数の画素は、前記行方向に並置された複数の光電変換部を有する測距画素を有し、Ｍ、Ｎを１以上の整数とするとき、Ｍ行毎に行方向に略半画素分ずらした位置に画素が配置され、かつＮ列を１周期とした配列で行方向にカラーフィルタが配置されており、列方向には２ＭＮ行を１周期とした配列でカラーフィルタが配置されていることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高感度かつ高精度な距離情報と高画質な画像情報を得ることが可能な撮像素子及び撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】各実施形態に係る撮像装置及び撮像素子の機能ブロック図である。
【図２】各実施形態に係る撮像素子のカラーフィルタの配置に関する図である。
【図３】各実施形態に係る撮像素子のカラーフィルタの配置に関する図である。
【図４】各実施形態に係る撮像素子の画素構造に関する図である。
【図５】各実施形態に係る距離検出信号に関する図である。
【図６】第２の実施形態に係る撮像素子のカラーフィルタの配置に関する図である。
【図７】第２の実施形態に係る撮像素子のカラーフィルタの配置に関する図である。
【図８】第３の実施形態に係る撮像装置を移動体に用いた場合のブロック図及びその動作の一例を示した図である。
【発明を実施するための形態】
【００１０】
以下、各図を用いて、本発明の実施形態における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付し、その繰り返しの説明は省略する。
【００１１】
（第１の実施形態）
本発明による撮像素子を用いた撮像装置の構成例を図１に示す。図１（ａ）において、撮像装置１００は、撮像光学系１０１、撮像素子１０２、撮像素子制御部１０３、画像処理部１０４、測距演算部１０５、制御部１０６、外部Ｉ／Ｆ１０７等で構成される。撮像の対象である被写界の光学像は、撮像光学系１０１によって撮像素子１０２上に結像される。本実施形態の撮像光学系１０１は焦点位置を変更するためのフォーカス機構、透過光量を調節するための絞り機構やＮＤフィルタ等の光学フィルタを挿抜する光量調節機構、焦点距離を変更するためのズーム機構等を含む。また、撮像光学系１０１を撮像装置１００から着脱可能な構成としてもよい。この場合には、撮像光学系１０１と撮像装置１００との間で制御情報や設定情報等の各種データを通信するための通信手段を設けることが好ましい。
【００１２】
撮像素子１０２は撮像光学系１０１による光学像を電気的信号に変換する機能を有し、撮像画像を生成するための撮像信号と被写体の距離情報を検出するための距離検出信号を含む画素信号を出力可能である。撮像素子１０２の詳細の構造や動作等の詳細は後述する。
【００１３】
撮像素子制御部１０３は、撮像素子１０２を駆動し、各画素から出力される光学像に応じた画素信号を読出し、制御部１０６に転送する。さらには、画素信号を適宜補正する補正手段を含む。例えば、撮像素子１０２の周辺領域における光量低下分の補正処理や、画素信号の欠陥における補間処理等がこれに含まれる。
【００１４】
画像処理部１０４は、制御部１０６に転送された画素信号に含まれる撮像信号に基づいてフレーム単位で現像処理を行い、撮像画像を生成する。撮像画像は静止画に限らずＨ．２６５等の所定の符号化方式を用いた動画像等であってもよい。なお、撮像画像の生成はフレーム単位でなくてもよく、複数のフレーム画像に係る撮像信号を用いて１フレーム分の撮像画像を生成してもよい。また、撮像画像の生成において距離検出信号も用いるようにしてもよい。
【００１５】
測距演算部１０５は、制御部１０６に転送された画素信号に含まれる距離検出信号に基づいて被写体の距離情報を求める。求める距離情報は画素毎であってもよいし、特定の領域ごとであってもよい。また、距離情報を求めるうえで距離検出信号に加えて、撮像信号も用いるようにしてもよい。
【００１６】
１０６は撮像装置１００全体を制御するための制御部である。制御部１０６は、各種演算と撮像装置１００全体を制御するＣＰＵを含む。当該ＣＰＵは、撮像装置１００全体を制御するために各構成要素を統括的に制御する。それと共に及び各種設定パラメータ等の設定を各構成要素に対して行う。また、ＣＰＵは、データを電気的に書き込み・消去可能なキャッシュメモリ等を含み、これに記録されたプログラムを実行する。なお、メモリは、ＣＰＵが実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。また、制御部１０６は、撮像素子１０２から出力される信号の解析や画像処理も行う。解析結果は画像情報として出力される。なお、画像情報は画像の解析結果であって、被写体の輝度や色だけではなく、物体（人体を含む）の有無及び特長、物体の位置／速度／加速度、特定被写体の検出結果等を含む。
【００１７】
画像処理部１０４にて生成した撮像画像を不図示のＬＣＤ等の表示部等に出力する。また、制御部１０６は画素信号より適切な露出条件量を算出し、撮像光学系１０１内部にある絞りやＮＤフィルタ、また、撮像素子１０２おけるシャッタスピード、さらに撮像素子制御部１０３でかけるゲインの値を制御する。なお、ここでいうシャッタスピードとは電子シャッタによる露光時間に相当する。制御部１０６は撮像素子１０２に電荷の蓄積開始タイミングと電荷の読み出しタイミング等を所定の同期信号に同期して指示を行い、各構成要素の制御を実行する。さらに、制御部１０６は演算結果や映像信号処理部１０３の出力信号を一時的に記憶するＲＡＭ及び、欠陥画素データや種々の調整値またはパラメータを記憶するＲＯＭも備えている。
【００１８】
１０７は外部Ｉ／Ｆであり、撮像した撮像画像や求めた測距情報等を外部に出力する。出力先としては外部の制御装置、レコーダー、外部解析装置（画像認識装置等）等がふくまれる。なお、他の撮像装置等の外部装置より各種データや画像信号等を入力することが可能である。あるいは、外部Ｉ／Ｆ１０７を介してコンピュータ又はインターネット経由することで、撮像装置１００は外部のコンピュータと接続し、必要な情報を取得することができる。なお、外部Ｉ／Ｆ１０７は有線による接続に限られず、無線ＬＡＮ等の所定の規格の無線接続であってもよい。
【００１９】
撮像素子１０２の光入射方向からの上面図を図１（ｂ）に示す。撮像素子１０２は、互いに直交する行方向および列方向に行列状に配置された複数の画素１１０を有する。画素１１０の断面図を図１（ｃ）に、上面図を図１（ｄ）に示す。構成として、光入射側から、マイクロレンズ１１１、カラーフィルタ１１２、配線部１１３、Ｓｉ基板１１７に形成された光電変換部１１４、光電変換部１１５、光電変換部１１６が配置されている。光電変換部１１４、光電変換部１１５、光電変換部１１６は行方向に並んで配置しおり、かつマイクロレンズ１１１を介して撮像光学系１０１の射出瞳と光学的に略共役な関係になっている。この構成により、撮像光学系１０１の瞳の異なる領域を通った光束による光学像を、光電変換部１１４、光電変換部１１５、光電変換部１１６を用いて取得することができる。つまり、各光電変換部のそれぞれより出力される画素信号はそれぞれ行方向の視差を有しており、これにより撮像面位相差方式により被写体の距離情報を取得することができる。なお、本実施形態において各光電変換部より取得されるそれぞれの信号は、距離検出信号に相当する。また、図１（ｄ）において、光電変換部１１５の縦方向の長さが他の光電変換部に対して短い。これは、実効的に撮像光学系１０１の絞り径を小さくすることに相当し、深度の深い像を取得するためである。なお、光電変換部１１５の縦方向の長さは他の光電変換部と同じであってもよい。
【００２０】
本実施形態において測距演算部１０５にて距離情報を求める場合には、光電変換部１１４と光電変換部１１６の出力信号を用いる。これにより、光電変換部を行方向に隣接してした場合に比べ、光電変換部の間隔を広くでき、基線長を長くできる。したがって、高精度に測距することができる。なお、像高位置や撮像光学系１０１の各条件によっては光電変換部１１５の信号を用いるようにしてもよいし、信号を取得する各光電変換部の組み合わせを画像取得ごとに変更するようにしてもよい。
【００２１】
また、画素１１０は、距離検出信号を取得可能な測距画素と同時に撮像信号を取得可能な撮像画素としても機能する。具体的には、撮像画像の生成には、光電変換部１１５の出力信号のみ、または光電変換部１１４、光電変換部１１５、光電変換部１１６の出力を加算した信号を用いる。これにより、前者の場合は被写界深度の深い画像が生成でき、後者の場合は高感度かつ解像度の高い撮像信号を生成することができる。加算動作は撮像素子１０２に設けた加算回路によって行うことで、撮像素子１０２から出力される信号量を低減することができる。この場合、測距演算部１０５で用いる距離検出信号は加算された撮像信号から演算して求めるようにしてもよい。なお、本実施形態において撮像画像の生成に用いる各信号は、撮像信号に相当する。
【００２２】
次に、画素１１０の配列、特にカラーフィルタの配列について詳細に説明する。本発明による撮像素子の画素配列およびカラーフィルタ配列の一例を図２に示す。画素１１０は、複数種類のカラーフィルタが設けられており、特定の色の波長帯域を透過するカラーフィルタを設けたカラー画素と全波長帯域を透過するカラーフィルタを設けたホワイト画素Ｗから構成される。カラー画素は、緑色の波長帯域を透過するカラーフィルタを設けた緑画素Ｇ、赤色の波長帯域を透過するカラーフィルタを設けた赤画素Ｒ、青色の波長帯域を透過するカラーフィルタを設けた青画素Ｂを含む。また、配置としては１つのカラー画素は、平面視における行方向、列方向、斜め方向の全てにおいて、ホワイト画素Ｗと隣接している。なお、ホワイト画素Ｗのカラーフィルタの透過波長帯域として赤外波長範囲を含むようにしてもよい。また、カラー画素としてＲＧＢ以外の色のカラーフィルタを設けるようにしてもよい。例えば、異なる緑の波長帯域として異なる波長帯域Ｇ１、Ｇ２をそれぞれ設けてもよい。
【００２３】
本実施形態の画素１１０は２行毎に行方向にずらして配置する。一例として図２に示した配置において、画素１１０の行方向の幅をＬとすると、ずらし量はＬ／２となる。これにより、撮像素子１０２は、画素をずらして配置しない場合に対して、撮像素子上に形成された光学像の行方向のサンプリング周期を２倍にすることができる。よって画素サイズを大きく維持したまま、視差の検出分解能を２倍に向上させることができる。そして、高感度と高精度な測距を両立することができる。特に２行毎に画素をずらして配置することで、トランジスタ等の画素回路を列方向の複数画素間で共用することが容易になり、回路を簡素化し、開口率を上げることができ、低ノイズ化、低消費電力化や高感度化ができるという効果もある。また、４列を１周期としてカラーフィルタを行方向に配列している。これにより、ホワイト画素Ｗなど透過波長帯域が広いカラーフィルタの画素を均一的に配置することができ、一般的なベイヤ配列の２列周期の場合に比べ、高感度化や高解像度化が可能になる。
【００２４】
また、カラーフィルタは図２に示す４列１６行を１周期の単位として、行方向および列方向に繰り返して配置する。このようにカラーフィルタを配置することによって、より高画質な画像が得られる理由を以下に詳細に説明する。なお、図２に示す配列は撮像素子１０２に含まれる配列の一部であり、本実施形態の撮像素子１０２は図２に示す周期性で繰り返す画素配列を有する。
【００２５】
図２に示すカラーフィルタ単位を行方向に２周期分配列した状態を図３（ａ）に示す。一方で異なるカラーフィルタ配列方法として、４列８行を１周期の単位として、行方向に２周期分、列方向に２周期分配列した状態を図３（ｂ）に示す。本実施形態の撮像素子１０２より出力される撮像信号に基づいて画像処理部１０４にて撮像画像を生成するための現像処理には補間処理が含まれる。これは、図２で示したように、各画素には特定の波長帯域の光のみを透過するカラーフィルタが配置されている。そのために、異なる帯域の光に基づく成分は隣接する画素から補間処理によって取得することとなる。
【００２６】
ここで、青画素Ｂの位置における赤色信号成分を、周囲の画素信号から補間する補間処理を考える。図３（ａ）および図３（ｂ）に示した例において、補間処理として青画素Ｂ１の位置における赤色信号成分を、周囲の赤画素Ｒ１〜Ｒ４の４画素の出力の単純平均または重み付け平均で求めることとする。同様に、青画素Ｂ２の位置における赤色信号成分は、周囲の赤画素Ｒ３〜Ｒ６の４画素の出力の単純平均または重み付け平均で求める。ここで、図３（ａ）に示すカラーフィルタ配列においては、青画素Ｂ１と青画素Ｂ２で、周囲の赤画素Ｒとの位置関係が同じである。
【００２７】
しかし、図３（ｂ）に示すカラーフィルタ配列では、青画素Ｂ１と青画素Ｂ２で周囲の赤画素Ｒとの位置関係が異なる。さらに、図３（ｂ）の青画素Ｂ２に関しては、周囲の赤画素Ｒ３〜６の重心位置からずれている。そのため、画素の色信号を補間処理する際に、補間に用いる画素の位置関係や重心位置がずれているため、同じ色の出力がされるべき領域で色むらが生じたり、被写体の境界部で色つきが生じたりする。つまり、図３（ａ）に示す本発明によるカラーフィルタ配列では、画素配列の周期性とカラー配列の周期性を高くすることができ、色再現性が高い高画質な撮像画像を得ることができる。
【００２８】
本実施形態では、図２に示すように、本実施形態の他の撮像素子１０２の画素配列はホワイト画素Ｗや緑画素Ｇなど輝度信号を取得する画素のみを配置した輝度信号取得行（輝度信号行）を列方向に配列している。さらに、輝度信号を取得する画素と赤青などのカラー画素も含み輝度信号と色信号を取得する画素を配置した色信号取得行（色信号行）も列方向に配列している。このように輝度信号のみを取得する画素行を設けることで、面内で高密度に輝度信号を取得することができ、解像度が高い高画質な画像取得ができる。また、輝度信号取得行と色信号取得行を交互に配置することで、より高密度に輝度信号と色信号を取得することができ、高解像度と高色再現を両立できる。特に、輝度信号を取得する画素をホワイト画素Ｗで構成し、色信号取得行に緑画素、青画素、赤画素のカラー画素を配置することで、高感度、高解像、高色再現な画像取得ができる。図２に示すように、各カラー画素をホワイト画素Ｗで囲むように配置することで、さらに高感度、高解像、高色再現な画像取得ができる。
【００２９】
次に、測距演算に用いる距離検出信号の生成方法について図５を用いて詳細に説明する。図２において、各行毎に視差毎の輝度信号列を作成する。ここで視差毎の輝度信号列とは、輝度信号取得行では、図５（ａ）に示す各画素の光電変換部１１４の出力信号列と光電変換部１１６の出力信号列が相当する。また、色信号取得行でも同様ではあるが、赤や青など色信号取得画素に相当する輝度信号を求める必要がある。具体的には、近接するホワイト画素Ｗや緑画素Ｇなどの輝度信号取得画素の輝度信号を用いて補間して生成する。
【００３０】
次に、行方向に位置がずれた輝度信号列を合成して、画素配列周期の倍の空間分解能を有する高解像輝度信号列を生成する。具体的には、図５（ｂ）に示すように輝度信号取得行１の輝度信号と色信号取得行２の輝度信号を行方向に交互に並べて高解像輝度信号列１を、同様に、輝度信号取得行２の輝度信号と色信号取得行３の輝度信号から高解像輝度信号列２を生成する。他の行についても、同様に高解像輝度信号列を生成する。そして、視差毎に求めた高解像輝度信号列を用いて、視差信号間の相関演算など公知の方法を用いて視差を算出する。この時、上述したように高解像度輝度信号列を生成する元となる画素をずらして配置することにより画素サイズの半分の分解能で像をより正確に得ることができる。そのため、視差を算出でき、高精度に測距することができる。なお、高解像度信号列を用いる場合には演算対象となるデータ量が多くなることから演算負荷が高くなる場合もある。このような場合には、高解像度信号列を生成する前に仮の視差を求め、求めた仮の視差を用いて高解像度信号列における演算の範囲を制限することも可能である。
【００３１】
なお、高解像輝度信号列を輝度信号取得行の出力信号のみに基づいて生成しても良い。具体的には、輝度信号取得行１の輝度信号と輝度信号取得行２の輝度信号を交互に並べて高解像輝度信号列１を生成する。同様に高解像輝度信号列２は、輝度信号取得行２の輝度信号と輝度信号取得行３の輝度信号から、あるいは輝度信号取得行３の輝度信号と輝度信号取得行４の輝度信号から生成する。これにより、色信号取得行の輝度信号列を生成するための補間処理などが不要となり、少ない演算量で高精度な測距が可能になる。なお、複数行の信号から高解像輝度信号列を生成したのちに視差を求める例を示したが、これに限られず、高解像度信号列を生成する前に視差を求め、求めた視差に基づいて高解像度の視差を演算するようにしてもよい。
【００３２】
ここで、測距演算に用いる高解像輝度信号列を輝度信号取得行の出力信号のみに基づいて生成する場合、色信号取得行の画素信号は撮像画像の生成にのみ使用する。よって色信号取得行に配置した測距画素については、光電変換部１１５の出力信号のみ、または光電変換部１１４、光電変換部１１５、光電変換部１１６の出力を加算した信号を読み出すようにしても良い。これにより、読出しや転送するデータ量を削減することができ、撮像素子駆動の高速化や低消費電力化ができる。また読出しや転送の回路が削減できることから、開口率を向上させ高感度化が図られることとなる。さらに、前者の場合は被写界深度の深い画像が生成でき、後者の場合は高感度かつ解像度の高い画像を生成することができる。
【００３３】
以上示したように、本発明によれば、画素を半画素ずらして配置した場合でも、画素配列の周期性とカラーフィルタ配列の周期性が高くでき、高感度かつ高精度な距離情報と高画質な画像を得ることができる。
【００３４】
本実施例では、図１（ｃ）に示すように、光電変換部１１４、光電変換部１１５、光電変換部１１６より光入射側に配線部１１３を設けた表面照射型の画素を用いたが、これに限定されるものではない。図４（ａ）に示すように光入射側と反対側に配線部１１３を設けた裏面照射型の画素構造を用いることにより、配線部での散乱による光損失や光電変換部の開口率低下を抑制することができ、光利用効率を向上させ、高感度な画像取得ができる。図４（ｂ）に示すように、光電変換部１１４、光電変換部１１５、光電変換部１１６としてＳｉ基板ではなく、有機材料または無機材料を用いた光電変換膜を用いても良い。光電変換膜を用いることにより、光電変換部を非常に薄く形成することができ、同一画素内および隣接画素間における隣接光電変換部間のクロストークを抑制することでき、高い測距精度と高画質、高感度を両立することができる。
【００３５】
画素は、図４（ｃ）に示す画素１２０のように、行方向に並置した２個の光電変換部１２１、光電変換部１２２で構成してもよく、光電変換部が３個の場合に比べ高感度化ができる。この時、撮像画像の生成には、いずれかの光電変換部の出力信号か、両方の光電変換部の出力を加算した信号を用いる。また図４（ｄ）に示す画素１２３のように、行方向と列方向に並置した４個の光電変換部１２４、光電変換部１２５、光電変換部１２６、光電変換部１２７で構成してもよい。この場合、列方向の視差画像も取得することができる。例えば、光電変換部１２４と光電変換部１２６の出力加算信号と光電変換部１２５と光電変換部１２７の出力加算信号で列方向の視差画像を取得することができる。これにより列方向にコントラスト変化が大きい被写体の測距精度を向上させることができる。
【００３６】
なお、撮像素子中の画素は、全て同じ構造である必要はなく、画素１１０、画素１２０、画素１２３などの測距画素や、１画素に１つの光電変換部を持つ通常の画素を含め、異なる構造の画素が混在していても良い。なお、撮像素子中の画素は、全て同じ構造をしていた方が、画素毎の特性ばらつきを抑えることができるため望ましいため、本実施例では、撮像素子１０２中の全ての画素１１０は測距画素にしている。ここで、異なる構造の画素が混在する場合には、撮像素子制御部１０３は、撮像素子１０２と積層構造で１つのパッケージ内に設けることが好ましい。これによって、複雑な駆動に対応することが可能となり、制御部１０６の負荷も低減することができる。
【００３７】
（第２の実施形態）
第１の実施形態では、２行毎に行方向に略半画素分ずらした位置に画素を配置し、かつ行方向に４列を１周期とし、列方向に１６行を１周期としてカラーフィルタを配置する例を示した。本発明はこれに限るものではなく、Ｍ、Ｎを１以上の整数とするとき、後述するカラーフィルタ配列で撮像素子を構成することにより、同様に高感度かつ高精度な距離情報と高画質な画像を得ることができる。Ｍ行毎に行方向に半画素分ずらした位置に画素を配置し、かつＮ列を１周期とした配列で行方向にカラーフィルタを配置する時に、列方向に２ＭＮ行を１周期とした配列でカラーフィルタを配置する。Ｎ列の周期で配置された画素に対して、半画素分のずらし量で１周期単位ずらすには、２Ｎ回のずらしが必要である。１回のずらしを、Ｍ行を１周期として行うため、周期性を保つためには、２ＭＮ行を１周期とした配列でカラーフィルタを配置すればよい。
【００３８】
図２とは異なる本発明によるカラーフィルタ配列を図６および図７を用いて説明する。図６（ａ）、（ｂ）はＭ＝２かつＮ＝２の場合であり、１周期単位を構成する８行分のカラーフィルタ配列を示す。図６（ａ）は輝度信号と色信号を取得する色信号取得行のみで構成され、赤、緑、青のいずれかのカラーフィルタが配置されたカラー画素Ｒ、Ｇ、Ｂで構成されている。図６（ｂ）はホワイト画素Ｗを配置した輝度信号取得行とカラー画素Ｒ、Ｇ、Ｂを配置した色信号取得行を交互に配置した構成である。図６（ｃ）はＭ＝３かつＮ＝２の場合であり、１周期単位を構成する１２行分のカラーフィルタ配列を示す。ホワイト画素Ｗを配置した輝度信号取得行とカラー画素Ｒ、Ｇ、Ｂを配置した色信号取得行を配置した構成である。輝度信号取得行を２行にし、かつ隣接した輝度信号取得行を行方向に半画素ずらして配置することで、高解像輝度信号列の生成を容易にしている。図６（ｄ）はＭ＝４かつＮ＝２の場合であり、１周期単位を構成する１６行分のカラーフィルタ配列を示す。図６（ｂ）と同様に、ホワイト画素Ｗを配置した輝度信号取得行とカラー画素Ｒ、Ｇ、Ｂを配置した色信号取得行を交互に配置した構成である。
【００３９】
図７は、Ｍ＝１の場合である。図７（ａ）、（ｂ）はＭ＝１かつＮ＝２の場合であり、１周期単位を構成する４行分のカラーフィルタ配列を示す。図７（ａ）は輝度信号と色信号を取得する色信号取得行のみで構成され、赤、緑、青のいずれかのカラーフィルタが配置されたカラー画素Ｒ、Ｇ、Ｂで構成されている。図７（ｂ）は緑画素Ｇを配置した輝度信号取得行とカラー画素Ｒ、Ｇ、Ｂを配置した色信号取得行を交互に配置した構成である。図７（ｃ）はＭ＝１かつＮ＝４の場合であり、１周期単位を構成する８行分のカラーフィルタ配列を示す。図２の場合と同様に、ホワイト画素Ｗを配置した輝度信号取得行とカラー画素Ｒ、Ｇ、Ｂおよびホワイト画素Ｗを配置した色信号取得行を交互に配置した構成である。
【００４０】
図６、図７に示したいずれの場合も、画素配列の周期性とカラー配列の周期性が高くでき、高感度かつ高精度な距離情報と高画質な画像を得ることができる。
【００４１】
なお、色信号を取得するカラー画素は、原色のカラーフィルタだけでなく、シアンやイエローのような補色系のフィルタでも良い。この場合、カラーフィルタの透過波長帯域が広がり、高感度な画像取得が可能になる。また、ずれ量も半画素分に限られない。例えば、ずれ量を１／３画素分や１／４画素分としてもよい。この場合はずれ量を１／Ｑ画素分とした場合に、列方向にＱ×ＭＮ行を１周期とした配列でカラーフィルタを配置することで同様の効果を得ることができる。
【００４２】
なお、第１の実施形態及び第２の実施形態におてい画素配列の例を説明したが、撮像素子１０２における画素配列は必ずしも単一種類でなくてもよい。例えば、ずらし量は共通で、撮像素子１０２の中心付近と周辺付近で画素配列（カラーフィルタの配列）を異ならせてもよい。また、第１の実施形態及び第２の実施形態で説明した複数の配列を組み合わせた配置としてもよい。
【００４３】
（第３の実施形態）
次に、撮像装置を移動体に搭載した場合のシステム構成について説明する。図８（ａ）は、撮像装置１００を移動体の一例である自動車５０に搭載した場合のシステム構成の一例を示す図である。撮像装置１００は、例えば、自動車５０のフロントガラスの内側上部に取り付けられて前方を所定の画角５９で撮像する。そして、撮像装置１００は、前述したように撮像画像に対して被写体認識処理を行い、前方（進行方向）に現れる各種の物体（通行人や車両等）を検出し、検出した物体に対する測距を行う。撮像装置１００の制御部１０６は、自動車５０が備える制御装置５５へ撮像画像（画像情報を含む）及び測距情報を提供する。なお、本実施形態において、撮像装置１００は測距演算部１０５を含まない構成としてもよい。この場合、撮像装置１００は制御装置５５に対して距離検出信号を提供し、制御装置５５にて測距演算を行うようにしてもよい。
【００４４】
自動車５０は、制御装置５５、車両情報取得装置５１、警報装置５２及び制動装置５３を備える。車両情報取得装置５１は、車速（移動速度）、ヨーレート、舵角（移動方向）、エンジンの回転速度、ギア段等の自動車５０の動的情報の少なくとも１つを車両情報として検知し、検知した車両情報を制御装置５５へ供給する。警報装置５２は、制御装置５５からの指令に従い、警報を鳴らす、カーナビゲーションシステム等の画面に警報情報を表示する、シートベルトやステアリングに振動を与える等により、ユーザに警告を行う。制動装置５３は、制御装置５５からの指令に従い、エンジンの回転速度制御やギアのシフト制御、ブレーキアシスト（ＡＢＳ、ＥＳＣ、自動ブレーキ等）、ハンドルアシスト（自動追従運転、車線逸脱防止等）等の各種の動作を行う。
【００４５】
制御装置５５は、車両情報取得装置５１から取得した車両情報と撮像装置１００から取得した所定の物体に対する距離情報に基づいて、警報装置５２と制動装置５３の動作を制御するコンピュータである。また、制御装置５５は、撮像装置１００の制御部１０６と通信を行い、制御部１０６に対してホストコンピュータとして機能する。つまり、制御装置５５は、制御部１０６に対して撮像画像と距離情報の取得と、取得した撮像画像と距離情報の制御装置５５への送信を指令する。なお、送信の指令及び、撮像画像と距離情報の取得は所定の時間間隔で実行される。当該時間間隔は車両情報取得装置５１が取得した車両情報に基づいて可変するようにしてもよい。また、制御装置５５からの送信の指令がない場合であっても、所定のイベントに連動して制御部１０６から割り込みを上げて、撮像画像等を取得するようにしてもよい。
【００４６】
図８（ｂ）は、自動車５０での動作制御の一例である衝突回避制御のフローチャートである。図８（ｂ）のフローチャートに示す処理のうち、ステップＳ１１，Ｓ１３〜Ｓ１４の処理は、自動車５０の制御装置５５による制御の下で、撮像装置１００の制御部１０６によって実行される。ステップＳ１２，Ｓ１５，Ｓ１６の処理は、自動車５０の制御装置５５によって実行される。
【００４７】
まず、ステップＳ１１にて、制御部１０６の制御により、撮像光学系１０１及び撮像素子１０２が撮像を行い、画像処理部１０４が撮像画像及び測距演算部１０５が測距情報を生成する。そして処理を次に進める。
【００４８】
ステップＳ１２において、制御装置５５は、車両情報取得装置５１から車両情報を取得する。そして処理を次に進める。
【００４９】
ステップＳ１３では、制御部１０６の制御により、ステップＳ１１で取得した画像情報に基づき画像処理部１０４が撮像画像に対して被写体認識処理を行う。具体的には、ステップＳ１３では、撮像画像におけるエッジの量や方向、濃度値、色、輝度値等の特徴量を解析することにより、車両や自転車、歩行者、車線、ガードレール、ブレーキランプ等（以下「対象物」という）が検出される。なお、被写体認識処理は、複数のフレーム画像に対して行ってもよいし、複数のフレーム画像のうちの一部（少なくとも１つのフレーム画像）に対して行ってもよい。そして処理を次に進める。
【００５０】
ステップＳ１４では、制御部１０６の制御下で、ステップＳ１１で取得した測距情報とステップＳ１３で検出した対象物とに基づいて測距演算部１０５が対象物の距離情報を演算する。そして処理を次に進める。
【００５１】
ステップＳ１５において制御装置５５は、ステップＳ１４で求められた距離情報に基づき、対象物までの距離が予め定められた設定距離内にあるか否か（設定距離内に対象物（＝障害物）が存在するか否か）を判定する。そして、制御装置５５は、設定距離内に対象物が存在する場合に、ステップＳ１２で取得した車両情報（特に移動速度及び移動方向）と対象物の位置及び対象物までの距離に基づき、設定距離内の対象物に対する衝突可能性の有無を判定する。なお、路面状況に関する情報の取得が可能な構成を有する自動車５０であれば、ステップＳ１５の処理では、路面情報（乾いた路面か濡れた路面か）に応じて設定距離を変える（濡れた路面であれば設定距離を長くする）ようにしてもよい。
【００５２】
制御装置５５は、衝突可能性がないと判定した場合（ステップＳ１５でＮＯ）、処理をステップＳ１１へ戻し、衝突可能性があると判定した場合（ステップＳ１５でＹＥＳ）、処理をステップＳ１６へ進める。
【００５３】
ステップＳ１６では、制御装置５５の制御下で、警報装置５２と制動装置５３による衝突回避動作を行う。衝突回避動作としては、警報装置５２による運転手に対する警報発令や、制動装置５３によるブレーキング、低速ギアへの移行、エンジン出力の抑制等が挙げられるが、これらに限定されるものではない。制御装置５５は、ステップＳ１６の後、処理をステップＳ１１へ戻す。以上のフローチャートに示す動作により、正確に対象物（障害物）を検知して、衝突回避或いは衝突時の被害軽減を図ることができる。
【００５４】
なお、ステップＳ１２の処理と、一連の処理であるステップＳ１１，Ｓ１３，１４の処理とは、上記の通りに行われてもよいし、並行して行われてもよい。また、ステップＳ１３とステップＳ１４の順番を入れ替えてもよい。その場合、まず、ステップＳ１４では、制御部１０６の制御下で、ステップＳ１１で取得した視差画像に基づいて測距演算部１０５が距離情報を各画素で演算して距離画像（デプスマップ）を生成する。そして、ステップＳ１３では、制御部１０６の制御下で、ステップＳ１１で取得した撮像画像とステップＳ１４で生成した距離画像とに基づいて画像処理部１０４が対象物を検出する。なお、デフォーカス量や対象物までの距離を求める方法は、周知であるため、ここでの説明を省略する。
【００５５】
ここでは、撮像装置１００が取得した画像情報と距離情報に基づく衝突回避動作について説明した。しかし、これに限定されず、先行車への自動追従制御や車線内中央の走行維持制御、車線逸脱防止制御は、ステップＳ１５での判定基準が異なるだけであり、図８（ｂ）のフローチャートに従う同様の手法によって実現することができる。
【００５６】
上記の自動車５０のシステム構成では、撮像装置１００は自動車５０の車両前方のみに装着されているが、撮像装置１００を車両後方の撮像が可能な位置に取り付けて、画像情報及び距離情報を自動車５０の後退時の運転支援に用いることもできる。また、撮像装置１００が取得した画像情報と距離情報は、運転支援に限らず、自律運転にも適用が可能である。更に、撮像装置１００は、自動車（乗用車、トラック、バス、特殊車両、自動二輪車等を含む）限らず、画像情報と距離情報に基づく動作制御が可能な各種の移動体、例えば、船舶や鉄道車両、航空機（ドローン含む）或いは産業用ロボット等への適用が可能である。加えて、撮像装置１００は、移動体に搭載される用途に限られることなく定点カメラとしても用いることができ、例えば、交差点監視システム、高度道路交通システム（ＩＴＳ）等の広く物体認識を利用するシステムに適用することができる。
【００５７】
なお、自動車５０のシステム構成において、撮像装置１００の撮像光学系１０１及び撮像素子１０２以外の各部の機能を自動車５０の制御装置５５に持たせた構成としても構わない。つまり、撮像装置１００の光学系及び撮像素子と制御系とを分離した構成として、制御系の機能を制御装置５５の機能に統合したシステム構成としてもよい。
【符号の説明】
【００５８】
１００  撮像装置
１０１  撮像光学系
１０２  撮像素子
１０３  撮像素子制御部
１０４  画像処理部
１０５  測距演算部
１０６  制御部
１０７  外部Ｉ／Ｆ
【図１】
2018207227.tif 000003
【図２】
2018207227.tif 000004
【図３】
2018207227.tif 000005
【図４】
2018207227.tif 000006
【図５】
2018207227.tif 000007
【図６】
2018207227.tif 000008
【図７】
2018207227.tif 000009
【図８】
2018207227.tif 000010