(57)【要約】【課題】カラー画像と共に高精度な単色画像を取り出すことが可能な固体撮像素子を提供すること【解決手段】第１の波長領域の光を受光する受光画素と、第２の波長領域の光を受光する受光画素と、第３の波長領域の光を受光する受光画素とを、それぞれ複数含む第１の受光画素群と、互いに共通する波長領域の光を受光する複数の受光画素を含む第２の受光画素群とが同一面に配置され、前記第２の受光画素群に含まれる受光画素の数が、前記第１の受光画素群に含まれる受光画素の数よりも多い固体撮像素子。【選択図】図１
2014107665.tif 000002
【特許請求の範囲】
【請求項１】
第１の波長領域の光を受光する受光画素と、第２の波長領域の光を受光する受光画素と、第３の波長領域の光を受光する受光画素とを、それぞれ複数含む第１の受光画素群と、
互いに共通する波長領域の光を受光する複数の受光画素を含む第２の受光画素群とを備え、
前記第２の受光画素群に含まれる受光画素の数が、前記第１の受光画素群に含まれる受光画素の数よりも多い、
固体撮像素子。
【請求項２】
請求項１に記載の固体撮像素子であって、
前記第１の受光画素群に含まれる受光画素および前記第２の受光画素群に含まれる受光画素は、行列状に配置され、
前記第１の受光画素群に含まれる受光画素は、前記行列における行方向と列方向の双方に関して、前記第２の受光画素群に含まれる受光画素を所定数ずつ間に挟んで等間隔で配置される、
固体撮像素子。
【請求項３】
請求項１または２に記載の固体撮像素子であって、
前記第１の受光画素群と前記第２の受光画素群は、同一チップ上に配置される、
固体撮像素子。
【請求項４】
請求項１から３のいずれか１項に記載の固体撮像素子であって、
前記第２の受光画素群に含まれる受光画素は、自然光、可視光、または赤外光を受光する受光画素である、
固体撮像素子。
【請求項５】
請求項１から４のいずれか１項に記載の固体撮像素子と、
前記第１の受光画素群に含まれる受光画素の出力に基づきカラー画像を生成し、前記第２の受光画素群に含まれる受光画素の出力に基づき単色画像を生成する画像処理装置と、
を備える撮像システム。
【請求項６】
請求項５に記載の撮像システムであって、
前記カラー画像を表示する表示部を備え、
前記第１の受光画素群に含まれる受光画素数は、前記表示部が有する表示画素数と等しい、
撮像システム。
【請求項７】
請求項５または６に記載の撮像システムを備える車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子、撮像システム、および車両に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラが普及している。これらのカメラには、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサやＣＣＤ（Charge  Coupled  Device）イメージセンサなどの固体撮像素子が使用されている。
これに関連し、ＣＭＯＳイメージセンサ内に別目的に使用する画素を備える撮像装置が知られている（例えば、特許文献１参照）。この撮像装置は、行列状に配置された複数の画素の一部を、焦点検出画素として用いている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０５６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
固体撮像素子によって得られる画像には、異なる色の光の組み合わせにより生成されるカラー画像と、同じ色で輝度のみが異なる光の組み合わせにより生成される単色画像が存在する。特許文献１に記載の装置では、画素の大半をカラーの撮像画素として用いると共に、残りの画素を焦点検出画素としており、それ以外の用途に用いることを意図していない。従って、特許文献１に記載の装置では、高精度な単色画像を生成することができない。
【０００５】
本発明は、このような事情を考慮してなされたものであり、カラー画像と共に高精度な単色画像を取り出すことが可能な固体撮像素子を提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明の一態様は、第１の波長領域の光を受光する受光画素と、第２の波長領域の光を受光する受光画素と、第３の波長領域の光を受光する受光画素とを、それぞれ複数含む第１の受光画素群と、互いに共通する波長領域の光を受光する複数の受光画素を含む第２の受光画素群とを備え、前記第２の受光画素群に含まれる受光画素の数が、前記第１の受光画素群に含まれる受光画素の数よりも多い固体撮像素子である。
【発明の効果】
【０００７】
本発明の一態様によれば、カラー画像と共に高精度な単色画像を取り出すことが可能な固体撮像素子を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】一実施形態の固体撮像素子３を利用したカメラ１の機能構成を示すブロック図である。
【図２】固体撮像素子３をレンズ部２の方向から見た場合の構成要素を模式的に示す図である。
【図３】複数の受光画素３３の断面図の一例である。
【図４】受光画素３３の回路構成例である。
【図５】カメラ１が利用される場面を例示した図（その１）である。
【図６】カラー画像生成部１１２が、カラー画素の出力したデータを抽出するために行う処理の流れを示すフローチャートの一例である。
【図７】カラー画像生成部１１２が、カラー画素の出力したデータを抽出するために行う処理の流れを示すフローチャートの他の例である。
【図８】カメラ１が出力した画像データＯＤから、画像データＯＤと同サイズの単色画像ＭＩと、画像データＯＤの１／２のサイズのカラー画像ＣＩが生成される様子を模式的に示す図である。
【図９】カメラ１が利用される場面を例示した図（その２）である。
【図１０】カメラ１が利用される場面を例示した図（その３）である。
【発明を実施するための形態】
【０００９】
以下、図面を参照し、本発明の固体撮像素子、撮像システム、および車両の実施形態について説明する。
【００１０】
［カメラ１の構成］
図１は、一実施形態の固体撮像素子３を利用したカメラ１の機能構成を示すブロック図である。図１に示すように、カメラ１は、レンズ部２と、固体撮像素子３と、Ａ／Ｄ変換器４と、バッファメモリ５と、制御部６と、それらを収容する筐体７とを備える。
【００１１】
レンズ部２は、一または複数のレンズが組み合わされたもの（光学レンズ系）であり、カメラ１の外部からの入射光を固体撮像素子３に集光する。固体撮像素子３は、例えばＣＭＯＳイメージセンサである。固体撮像素子３は、例えば行列状に配置された複数の受光画素３３（後述）を備える。複数の受光画素３３は、例えば同一チップ上に配置されてもよいし、略同一平面をなす複数のチップ上に配置されてもよい。固体撮像素子３の各受光画素３３が出力したアナログ信号は、ＣＤＳ（Correlated  Double  Sampling）などを介してＡ／Ｄ変換器４に入力される。Ａ／Ｄ変換器４は、入力されたアナログ信号をデジタル信号に変換してバッファメモリ５に格納する。バッファメモリ５に格納されたデジタル信号は、例えばフレーム毎の画像データとしてカメラ１の外部に出力される。制御部６は、例えば、固体撮像素子３の各画素の電荷出力タイミング、Ａ／Ｄ変換器４の変換タイミング、バッファメモリ５からデータが読みだされて外部に出力されるタイミングなどを制御する。
【００１２】
図２は、固体撮像素子３をレンズ部２の方向から見た場合の構成要素を模式的に示す図である。図２に示すように、固体撮像素子３は、垂直走査回路３１と、水平走査回路３２と、行列状に配置された複数の受光画素３３とを備える。受光画素３３内におけるＲ、Ｇ、Ｂ、Ｈという表記は、各受光画素３３が有するカラーフィルタの種類、またはカラーフィルタの有無を示している。Ｒが付された受光画素３３（以下、受光画素３３（Ｒ））は、赤色を透過するカラーフィルタを有し、赤色の波長領域の光を受光する。Ｇが付された受光画素３３（以下、受光画素３３（Ｇ））は、緑色を透過するカラーフィルタを有し、緑色の波長領域の光を受光する。Ｂが付された受光画素３３（以下、受光画素３３（Ｂ））は、青色を透過するカラーフィルタを有し、青色の波長領域の光を受光する。また、Ｈが付された受光画素３３（以下、受光画素３３（Ｈ））は、カラーフィルタを有さず、広い範囲の波長領域の光（自然光に近い光）を受光する。なお、各受光画素３３が赤外光を遮断する特性を有してもよいし、受光画素３３（Ｈ）のみが赤外光を遮断する特性を有していなくてもよい。以下、受光画素３３（Ｒ）、受光画素３３（Ｇ）、受光画素３３（Ｂ）をカラー画素と総称し、受光画素３３（Ｈ）を単色画素と称することがある。
【００１３】
上記のように、単色画素は、自然光の輝度に近い光など、画素間で互いに共通する波長領域の光を受光する。これによって、単色画素の出力から、センシングや測定などの用途に好適に用いられる単色画像を生成することが可能となる。なお、単色画素は、単色画素間で共通する任意の色のカラーフィルタを備えてもよい。この場合、単色画素間で共通する色のカラーフィルタは、カラー画素のカラーフィルタよりも薄い色のものであると好適である。
【００１４】
受光画素３３は、例えば、横１２８０×縦９６０画素程度の画素数で行列状に配置される。受光画素３３のうちカラー画素は、水平方向と垂直方向の双方に関して、単色画素を１個ずつ間に挟んで等間隔で配置される。ここで、水平方向とは、行列状に並べられた受光画素３３の行方向を意味し、垂直方向とは、行列状に並べられた受光画素３３の列方向を意味する。
【００１５】
図２において、複数の受光画素３３の配列は、一番上の行については、受光画素３３（Ｇ）と受光画素３３（Ｒ）が受光画素３３（Ｈ）を挟んで水平方向に交互に配置される。その下の行については全て、受光画素３３（Ｈ）が水平方向に配置される。またその下の行については、受光画素３３（Ｂ）と受光画素３３（Ｇ）が受光画素３３（Ｈ）を挟んで水平方向に交互に配置される。さらにその下の行については全て、受光画素３３（Ｈ）が水平方向に配置される。以下この繰り返しである。このようにＲ、Ｇ、Ｂのカラー画素は、例えば奇数行、偶数列に配置されている。係る配置において、受光画素３３全体の数が、横１２８０×縦９６０すなわち１，２２８，８００画素であれば、受光画素３３のうちカラー画素は、横６４０×縦４８０すなわち３０７，２００画素となる。この結果、単色画素の数は９２１，６００画素となり、カラー画素の数よりも多くなる。なお、本実施例の固体撮像素子３では、カラー画素が等間隔になるように配置されていればよく、一番上の行の開始画素の種類や、単色画素のみとなる行の順番については任意に決定することができる。
【００１６】
図３は、複数の受光画素３３の断面図の一例である。図３は、複数の受光画素３３を、例えば図２におけるＡ―Ａ面で切断した場合の断面図である。受光画素３３（Ｒ）、受光画素３３（Ｇ）、受光画素３３（Ｂ）、受光画素３３（Ｈ）は、それぞれ、マイクロレンズ３３Ａと、フィルタ部３３Ｂと、フォトダイオード３３Ｃとを備える。各受光画素３３のマイクロレンズ３３Ａは、レンズ部２を介して固体撮像素子３に入射する光を、フィルタ部３３Ｂに集光する。カラー画素のフィルタ部３３Ｂは、自らが受光する波長領域に応じたカラーフィルタを備える。一方、単色画素のフィルタ部３３Ｂは、例えば透明な部材で形成される。フォトダイオード３３Ｃは、マイクロレンズ３３Ａおよびフィルタ部３３Ｂを介して入射する光量に応じた電荷を生成して出力する。
【００１７】
また、複数の受光画素３３の下層部（マイクロレンズ３３Ａと反対側の外縁部）には、配線層３４が形成され、フォトダイオード３３Ｃの出力を、例えば水平走査回路３２に伝達する。なお、固体撮像素子３は、図３に示す裏面型の固体撮像素子に限らず、表面型の固体撮像素子であっても構わない。表面型の固体撮像素子とは、フォトダイオード３３Ｃと配線層３４の関係が図３とは逆のものをいう。また、図３では、受光画素の主要な構成要素のみ示したが、複数の受光画素３３は、図３に示す構成要素に加えて、絶縁膜や平坦化膜などを有しても構わない。
【００１８】
図４は、受光画素３３の回路構成例である。図４に示すように、受光画素３３は、フォトダイオードＰＤ（図３のフォトダイオード３３Ｃに相当する）と、フローティングディフュージョン（浮遊拡散層）ＦＤ（キャパシタの役割を果たす）と、転送トランジスタＴＸと、増幅トランジスタＳＦと、選択トランジスタＳＥＬと、リセットトランジスタＲＳＴとを備える。トランジスタＴＸ、ＳＦ、ＳＥＬ、ＲＳＴは、例えば、ＮＭＯＳ（Negative  channel  MOS；エヌモス）トランジスタである。また、図４において、ＶＤＤは電源電位であり、ＴＤは定電流源、ＶＬは垂直信号線である。
【００１９】
転送トランジスタＴＸは、制御信号φＴＸのハイレベル期間にオンし、光電変換によりフォトダイオードＰＤに蓄積された電荷をフローティングディフュージョンＦＤに転送する。フローティングディフュージョンＦＤは、フォトダイオードＰＤから転送された電荷を受け取って、この電荷を電圧に変換する。増幅トランジスタＳＦのドレインは電源電位ＶＤＤに接続され、ゲートはフローティングディフュージョンＦＤに接続され、ソースは選択トランジスタＳＥＬのドレインに接続される。増幅トランジスタＳＦは、ソースフォロアの増幅トランジスタであって、フローティングディフュージョンＦＤの電圧に応じた信号を増幅して出力する。選択トランジスタＳＥＬのソースは、垂直信号線ＶＬに接続されている。
選択トランジスタＳＥＬは、制御信号φＳＥＬのハイレベル期間にオンし、増幅トランジスタＳＦのソースを垂直信号線ＶＬに接続する。定電流源ＴＤは、垂直信号線ＶＬに対応する受光画素３３の選択トランジスタＳＥＬがオンされたときに、当該垂直信号線ＶＬに電流を流す。リセットトランジスタＲＳＴは、制御信号φＲＳＴのハイレベル期間（電源電位ＶＤＤの期間）にオンし、フローティングディフュージョンＦＤの電圧をリセットする。
【００２０】
水平方向に並ぶ複数の受光画素３３の転送トランジスタＴＸのゲートは、共通に接続され、転送トランジスタＴＸのゲートには、転送トランジスタＴＸを制御する制御信号φＴＸが垂直走査回路３１（図２）から供給される。水平方向に並ぶ複数の複数の受光画素３３の選択トランジスタＳＥＬのゲートは、共通に接続され、選択トランジスタＳＥＬのゲートには、選択トランジスタＳＥＬを制御する制御信号φＳＥＬが垂直走査回路３１から供給される。水平方向に並ぶ複数の受光画素３３のリセットトランジスタＲＳＴのゲートは、共通に接続され、リセットトランジスタＲＳＴのゲートには、リセットトランジスタＲＳＴを制御する制御信号φＲＳＴが垂直走査回路３１から供給される。水平走査回路３２（図２）は、１つの水平走査期間に各列の垂直信号線ＶＬに出力された信号から選択された所望の信号を順次、垂直信号線ＶＬに出力し、次いでＡ／Ｄ変換器４（図１）に供給する。
【００２１】
以上のような構成および機能を有するカメラ１は、例えば以下のような用途に利用することができる。
［利用例（その１）］
図５は、カメラ１が利用される場面を例示した図（その１）である。図５に示すように、カメラ１は、例えば車両１００の後端部１００Ａに取り付けられ、車両１００の後方を撮像する。車両１００には、例えば、画像処理装置１１０と、モニタ１２０と、車線維持制御装置１３０とが搭載される。図５において、ＡＲ１は、カメラ１の撮像領域を示している。
【００２２】
画像処理装置１１０は、例えば、カラー画像生成部１１２と、単色画像生成部１１４と、道路区画線認識部１１６とを備える。カラー画像生成部１１２は、カメラ１が出力した画像データからカラー画素の出力したデータを抽出し、抽出したデータに基づきカラー画像を生成する。なお、カメラ１が出力するデータの形式は、受光画素３３の種類に依存せず、単に受光画素３３の配列順に並ぶものであってもよいし、予めカラー画素の出力したデータが、単色画素の出力したデータと区別されていてもよい。
【００２３】
図６は、カラー画像生成部１１２が、カラー画素の出力したデータを抽出するために行う処理の流れを示すフローチャートの一例である。ここでは、カメラ１が出力した画像データにおける各画素の座標を（Ｘ，Ｙ）、座標（Ｘ，Ｙ）において受光した光量を示す輝度値をＧ（Ｘ，Ｙ）と定義する。また、生成するカラー画像における各画素の座標を（ｘ，ｙ）、座標（ｘ，ｙ）において表示される光量を示す輝度値をｇ（ｘ，ｙ）と定義する。また、図６のフローチャートは、図２に示すように、カラー画素が奇数行、偶数列に配置されていることを前提とする。
【００２４】
まず、カラー画像生成部１１２（図５）は、パラメータＸ、Ｙ、ｘ、ｙの初期値を、例えば１に設定し、パラメータＸの最大値Ｘｍａｘと、パラメータＹの最大値Ｙｍａｘを設定する（ステップＳ１００）。前述のように、受光画素３３が横１２８０×縦９６０画素で配置される場合、Ｘｍａｘは１２８０に設定され、Ｙｍａｘは９６０に設定される。
次に、カラー画像生成部１１２は、パラメータＹが偶数であるか否かを判定する（ステップＳ１０２）。パラメータＹが偶数である場合、カラー画像生成部１１２は、パラメータＹを１増加させ（ステップＳ１０４）、パラメータＹがＹｍａｘを超えたか否かを判定する（ステップＳ１０６）。パラメータＹがＹｍａｘを超えた場合、カラー画像生成部１１２は、図６のフローチャートの処理を終了する。ステップＳ１０２でパラメータＹが偶数であると判定された場合、またはステップＳ１０６でパラメータＹがＹｍａｘを超えないと判定された場合、カラー画像生成部１１２は、パラメータＸが奇数であるか否かを判定する（ステップＳ１０８）。パラメータＸが奇数である場合、カラー画像生成部１１２は、パラメータＸを１増加させる（ステップＳ１１０）。
次に、カラー画像生成部１１２は、座標（Ｘ，Ｙ）の輝度値Ｇ（Ｘ，Ｙ）を、カラー画像の座標（ｘ，ｙ）における輝度値ｇ（ｘ，ｙ）としてメモリ等（図示せず）に格納する（ステップＳ１１２）。ここで、カラー画像生成部１１２は、輝度値Ｇ（Ｘ，Ｙ）に所定の係数を乗じるなどの補正を行って輝度値ｇ（ｘ，ｙ）を決定してもよい。そして、カラー画像生成部１１２は、パラメータＸおよびパラメータｘをそれぞれ１増加させ（ステップＳ１１４）、パラメータＸがＸｍａｘを超えたか否かを判定する（ステップＳ１１６）。パラメータＸがＸｍａｘを超えない場合、カラー画像生成部１１２は、ステップＳ１０２の処理に戻る。一方、パラメータＸがＸｍａｘを超えた場合、カラー画像生成部１１２は、パラメータＸおよびｘを共に１に設定し、パラメータＹおよびｙをそれぞれ１増加させ（ステップＳ１１８）、ステップＳ１０２の処理に戻る。
【００２５】
なお、図２とは逆に、カラー画素が偶数行、奇数列に配置されている場合、図６とは異なる処理が行われる。図７は、カラー画像生成部１１２が、カラー画素の出力したデータを抽出するために行う処理の流れを示すフローチャートの他の例である。
まず、カラー画像生成部１１２は、パラメータＸ、Ｙ、ｘ、ｙの初期値を、例えば１に設定し、パラメータＸの最大値Ｘｍａｘと、パラメータＹの最大値Ｙｍａｘを設定する（ステップＳ２００）。
次に、カラー画像生成部１１２は、パラメータＹが奇数であるか否かを判定する（ステップＳ２０２）。パラメータＹが奇数である場合、カラー画像生成部１１２は、パラメータＹを１増加させる（ステップＳ２０４）。次に、カラー画像生成部１１２は、パラメータＸが偶数であるか否かを判定する（ステップＳ２０６）。パラメータＸが偶数である場合、カラー画像生成部１１２は、パラメータＸを１増加させる（ステップＳ２０８）。
次に、カラー画像生成部１１２は、座標（Ｘ，Ｙ）の輝度値Ｇ（Ｘ，Ｙ）を、カラー画像の座標（ｘ，ｙ）における輝度値ｇ（ｘ，ｙ）としてメモリ等に格納する（ステップＳ２１０）。ここで、カラー画像生成部１１２は、輝度値Ｇ（Ｘ，Ｙ）に所定の係数を乗じるなどの補正を行って輝度値ｇ（ｘ，ｙ）を決定してもよい。そして、カラー画像生成部１１２は、パラメータＸおよびパラメータｘをそれぞれ１増加させ（ステップＳ２１２）、パラメータＸがＸｍａｘを超えたか否かを判定する（ステップＳ２１４）。パラメータＸがＸｍａｘを超えない場合、カラー画像生成部１１２は、ステップＳ１０２の処理に戻る。一方、パラメータＸがＸｍａｘを超えた場合、カラー画像生成部１１２は、パラメータＸおよびｘを共に１に設定し、パラメータＹおよびｙをそれぞれ１増加させ（ステップＳ２１６）、パラメータＹがＹｍａｘを超えたか否かを判定する（ステップＳ２１８）。パラメータＹがＹｍａｘを超えない場合、カラー画像生成部１１２は、ステップＳ１０２の処理に戻る。一方、パラメータＹがＹｍａｘを超えた場合、カラー画像生成部１１２は、図７のフローチャートの処理を終了する。
【００２６】
図５の説明に戻る。単色画像生成部１１４は、例えば、画像データ全体（カラー画素の出力したデータと単色画素の出力したデータの双方を含む）に基づき、単色画像を生成する。カラー画像は、ＬＣＤ（Liquid Crystal Display）などの表示装置に表示させるのに適しているが、センシングや測定に用いられる場面では、単色画像の方がむしろ好適な場合がある。例えば、後述するように、道路上の白線の位置などを認識する場合、複数の画素における輝度の分布などに応じて白線認識が行われるため、輝度の濃淡のみで構成される単色画像を用いた方が、高精度にセンシングを行うことができる場合がある。
【００２７】
ここで、単色画像生成部１１４は、カラー画素の出力したデータについては、例えば、カラーフィルタの種類を考慮せずに輝度のみを採用し、単色画素の出力したデータと同じものとして扱ってよい。この場合、単色画像生成部１１４は、カラー画素の出力したデータについて、カラーフィルタの存在による輝度低下分を考慮し、輝度を一定程度上昇させる補正などを行ってもよい。また、これに限らず、単色画像生成部１１４は、単色画素の出力したデータのみに基づいて単色画像を生成しても構わない。この場合、単色画像生成部１１４は、カラー画素の出力する部分については、例えば、欠落しているものとして扱い、周辺画素から補間を行ってよい。
【００２８】
図８は、カメラ１が出力した画像データＯＤから、画像データＯＤと同サイズの単色画像ＭＩと、画像データＯＤの縦横１／２のサイズのカラー画像ＣＩが生成される様子を模式的に示す図である。
前述のように、受光画素３３は、例えば、横１２８０×縦９６０画素程度の画素数で同一面上に配置され、受光画素３３のうちカラー画素は、水平方向と垂直方向の双方に関して、単色画素を１個ずつ間に挟んで等間隔で配置される。このため、受光画素３３が、横１２８０×縦９６０画素である場合、カラー画像は、横６４０×縦４８０画素となり、ＶＧＡ（Video  Graphics  Array）を採用するモニタに、好適に使用される。ここで、固体撮像素子３において間隔を置いて配列されたカラー画素が、そのままの配列で凝縮されることにより、ベイヤ型の画素配列によってカラー画像が生成されることになる。この結果、視認しやすいカラー画像が生成される。
【００２９】
カラー画像生成部１１２により生成されたカラー画像は、例えばモニタ１２０に出力され、モニタ１２０によって車室内の運転者に表示される。モニタ１２０は、例えば車両１００のインストルメントパネル前面部など、運転者によって視認しやすい位置に取り付けられる。モニタ１２０は、例えばＬＣＤであり、ナビゲーションシステムなどの他の車載システムと共用されてよい。カメラ１によって車両後方を撮像したカラー画像がモニタ１２０に表示されることによって、運転者は、車両後方の障害物などを、シートや後部トランク越しに直接視認するよりも容易に認識することができる。
【００３０】
一方、単色画像生成部１１４によって生成された単色画像は、例えば、道路区画線認識部１１６による道路区画線認識に使用される。道路区画線とは、道路に描画された白線や黄線、ボッツドッツやキャッツアイなどを含む。道路区画線認識部１１６は、単色画像の一部の領域における道路区画線とアスファルトのコントラストを利用して、画像における道路区画線領域を認識し、車両と道路区画線との位置関係を算出する。道路区画線領域の認識は、種々の手法によって行われる。例えば、道路区画線認識部１１６は、単色画像下部の所定領域において、水平方向に隣接する画素との輝度差が閾値以上である点を抽出し、抽出した点のうち垂直方向に直線状に並んだものを、道路区画線の輪郭と認識する。また、これに限らず、道路区画線認識部１１６は、モルフォロジー演算などを用いて道路区画線を認識してもよい。
【００３１】
道路区画線認識部１１６は、更に、画像における道路区画線の位置に対して所定の変換マップを適用するなどの処理を行い、道路区画線に対する車両の相対位置（道路区画線情報）を算出して車線維持制御装置１３０に出力する。道路区画線情報は、例えば、左右の道路区画線の中心に対する車両重心の乖離（オフセット）、道路区画線の延在方向に対して車両の進行方向のなす角度（ヨー角）などの情報を含む。車線維持制御装置１３０は、入力された道路区画線情報を用いてステアリング制御などを行い、車両１００が走行車線内を走行できるように支援する。
【００３２】
なお、図５に示す利用例において、カラー画像生成部１１２や単色画像生成部１１４がカメラ１の機能であってもよいし、画像処理装置１１０が車線維持制御装置１３０に統合されてもよい。
【００３３】
［利用例（その２）］
図９は、カメラ１が利用される場面を例示した図（その２）である。図９に示すように、カメラ１は、例えば車両１００の左右のサイドミラー付近の箇所１００Ｂ、１００Ｃに取り付けられ（カメラ１がサイドミラーに置き換えられてもよい）、車両１００の斜め後方を撮像する。車両１００には、例えば、画像処理装置１１０と、モニタ１２０と、警報制御装置１４０とが搭載される。
【００３４】
画像処理装置１１０は、例えば、カラー画像生成部１１２と、単色画像生成部１１４と、物体認識部１１８とを備える。カラー画像生成部１１２および単色画像生成部１１４の機能については、利用例（その１）と同様であるため、説明を省略する。カラー画像生成部１１２により生成されたカラー画像は、例えばモニタ１２０に表示される。これによって、運転者は、視線を左右に大きく振ることなく、車両の斜め後方に存在する物体を認識することができる。
【００３５】
物体認識部１１８は、単色画像生成部１１４の生成した単色画像を用いて、車両１００の斜め後方に存在する物体を認識し、物体情報を警報制御装置１４０に出力する。車両１００の斜め後方に存在する物体のうち、運転者が警戒を要するものとしては、後方から車両１００以上の速度で接近する車両や、車両１００が右左折を行う場合に車両の斜め後方に存在する自転車やバイクなどが挙げられる。物体認識部１１８は、例えば、単色画像のうち輝度が閾値以上である領域を後方車両のヘッドランプの光と認識し、当該領域の占めるサイズが所定以上である場合に、後方車両が接近していることを示す情報（物体情報）を警報制御装置１４０に出力する。また、物体認識部１１８は、パターンマッチング処理によって認識された自転車やバイクのサイズが閾値以上である場合に、自転車やバイクが存在することを示す情報（物体情報）を警報制御装置１４０に出力する。警報制御装置１４０は、スピーカやブザーを制御して、運転者に物体の存在を報知する。
【００３６】
［利用例（その３）］
図１０は、カメラ１が利用される場面を例示した図（その３）である。図１０に示すように、カメラ１は、フロントガラスの上端部、ルームミラーの裏面側などに取り付けられ、車両１００の前方を撮像する。カメラ１は、図１に示す構成要素に加えて、カラー画像生成部１２と、単色画像生成部１４と、カラー画像記録部１６とを備える。カラー画像生成部１２は、バッファメモリ５（図１）に格納された画像データからカラー画素の出力したデータを抽出し、抽出したデータに基づきカラー画像を生成する。また、単色画像生成部１４は、バッファメモリ５に格納された画像データ全体に基づき、単色画像を生成する。カラー画像生成部１２や単色画像生成部１４が行う処理の内容は、利用例（その１）、（その２）におけるカラー画像生成部１１２や単色画像生成部１１４が行う処理と同様であってよい。
【００３７】
カラー画像生成部１２によって生成されたカラー画像は、カラー画像記録部１６によって記録される。カラー画像記録部１６は、ＨＤＤ（Hard  Disk  Drive；ハードディスク・ドライブ装置）やＳＳＤ（Solid  State  Drive；ソリッドステイト・ドライブ装置）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read-Only  Memory）などの不揮発性メモリを備える。これによって、利用例（その３）のカメラ１は、いわゆるドライブレコーダとして機能することができる。
【００３８】
一方、単色画像生成部１４によって生成された単色画像は、道路区画線認識部１１６を備える画像処理装置１１０に出力される。道路区画線認識部１１６は、利用例（その１）と同様に道路区画線認識を行い、道路区画線に対する車両の相対位置（道路区画線情報）を算出して車線維持制御装置１３０に出力する。車線維持制御装置１３０は、入力された道路区画線情報を用いてステアリング制御などを行い、車両１００が走行車線内を走行できるように支援する。
【００３９】
［まとめ］
以上説明した固体撮像素子３は、単色画素の数がカラー画素よりも多いため、カラー画像と共に高精度な単色画像を取り出すことができる。この結果、単色画像を利用する装置は、高精度にセンシング（道路区画線認識や物体認識など）を行うことができる。
【００４０】
また、固体撮像素子３は、単色画素とカラー画素を１チップ上に配置して単色画像とカラー画像を取り出すため、単色画素とカラー画素とを別々のチップ上に配置して単色画像とカラー画像を取り出すものに比して、コストやサイズを低減することができる。また、固体撮像素子３を利用したカメラ１は、単色画像を得るためのカメラとカラー画像を得るためのカメラを別々に備える場合に比して、コストやサイズを低減することができる。
【００４１】
また、固体撮像素子３は、カラー画素を、水平方向と垂直方向の双方に関して、単色画素を１個ずつ間に挟んで等間隔で配置しているため、高精度なカラー画像を取り出すことができる。カラー画素が等間隔で並んでいない場合、カラー画素を凝縮してカラー画像を生成すると、カラー画像にジャギーなどの虚像が現れる場合がある。これに対し、本実施形態の固体撮像素子３は、水平方向と垂直方向の双方に関してカラー画素を等間隔で配置しているため、このような不都合が生じるのを抑制することができる。
【００４２】
すなわち、固体撮像素子３は、同一視野を適度な解像度でカラー表示する目的と、さらに高解像度でセンシングする目的とを一つの撮像素子で両立させることができる。
特に、カラー表示するモニタの表示画素数とカラー画素の数が等しい場合に、固体撮像素子３は、カラー画像を表示するのに必要なデータを過不足なく出力することができ、カラー画素よりも多い単色画素の出力を用いて高解像度でセンシングを行わせることができる。前述のように、固体撮像素子３を利用したカメラは、車両に搭載されて利用されることがあるが、車両に搭載されるモニタは、画素数が限定的であることが多い。このため、モニタの画素数に比して全体の画素数が多い固体撮像素子を使用するのであれば、モニタの表示画素数分にカラー画素を割り当て、余剰の画素を単色画素とすることで、適度な解像度でのカラー表示と、高解像度なセンシングを両立させることができる。
【００４３】
［ハードウェア構成等］
前述した実施形態における画像処理装置１１０、車線維持制御装置１３０、警報制御装置、並びにカメラ１は、内部にコンピュータシステムを有している。「コンピュータシステム」は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＡＭ（Random  Access  Memory）等のメモリ装置、ＲＯＭ（Read  Only  Memory）、ＨＤＤ、ＳＳＤ等の記憶装置、記憶媒体を装着可能なドライブ装置、周辺機器等のハードウェアを含む。
そして、前述したカラー画像生成部１２、単色画像生成部１４、カラー画像記録部１６、カラー画像生成部１１２、単色画像生成部１１４、道路区画線認識部１１６、物体認識部１１８などの動作の過程は、例えば、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、上記各機能部の処理が、全てプログラムを実行することによって行われる必要は無く、一部の機能部は、ＩＣ（Integrated  Circuit）やＬＳＩ（Large  Scale  Integration）などのハードウェアによって実現されてもよい。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光ディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるＨＤＤ等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【００４４】
［変形等］
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００４５】
例えば、上記実施形態では、カメラ１が車両に搭載される利用例のみ示したが、本発明の固体撮像素子は、カラー画像と単色画像を取り出す必要性のある場面であれば、如何なる場面においても好適に利用することができる。
また、上記実施形態では、単色画素は、自然光を受光する受光画素であるものとしたが、単色画素は、赤外光のみを透過するフィルタを備え、赤外光を受光する受光画素であってもよい。この場合、カメラ１の出力する画像データに基づき生成される単色画像は、赤外光画像となり、夜間におけるセンシングや測定に有益なものとなる。
【００４６】
また、上記実施形態では、カラー画素は、水平方向と垂直方向の双方に関して、単色画素を１個ずつ間に挟んで等間隔で配置されるものとしたが、カラー画素は、水平方向と垂直方向の双方に関して、単色画素をｎ個ずつ間に挟んで等間隔で配置されるものとしてもよい。ここで、ｎは、正の整数である。例えば、カラー画素を縦６４０×横４８０画素とし、カラー画素を２画素飛ばしで配置する場合、総ピクセル数は縦１９２０×横１４４０画素となる。こうすれば、単色画像に高い解像度が要求される場合に、より多くの画素を単色画素に割り当て、高精度にセンシングや測定を行わせることができる。
また、上記実施形態では、固体撮像素子３はＣＭＯＳイメージセンサであるものとしたが、ＣＣＤイメージセンサであってもよい。
また、上記実施形態では、カラー画素は、原色系の色要素（Ｒ、Ｇ、Ｂ）のカラーフィルタを有するものとしたが、補色系の色要素（Ｍｇ（マゼンタ）、Ｇ、Ｃｙ（シアン）、Ｙｅ（イエロー）のカラーフィルタを有してもよい。
【符号の説明】
【００４７】
１‥カメラ、２‥レンズ部、３‥固体撮像素子、４‥Ａ／Ｄ変換器、５‥バッファメモリ、６‥制御部、７‥筐体、１２‥カラー画像生成部、１４‥単色画像生成部、１６‥カラー画像記録部、３１‥垂直走査回路、３２‥水平走査回路、３３‥受光画素、３３（Ｒ）、３３（Ｇ）、３３（Ｂ）‥カラー画素、３３（Ｈ）‥単色画素、３３Ａ‥マイクロレンズ、３３Ｂ‥フィルタ部、３３Ｃ‥フォトダイオード、３４‥配線層、１００‥車両、１１０‥画像処理装置、１１２‥カラー画像生成部、１１４‥単色画像生成部、１１６‥道路区画線認識部、１１８‥物体認識部、１２０‥モニタ、１３０‥車線維持制御装置
【図１】
2014107665.tif 000003
【図２】
2014107665.tif 000004
【図３】
2014107665.tif 000005
【図４】
2014107665.tif 000006
【図５】
2014107665.tif 000007
【図６】
2014107665.tif 000008
【図７】
2014107665.tif 000009
【図８】
2014107665.tif 000010
【図９】
2014107665.tif 000011
【図１０】
2014107665.tif 000012