(57)【要約】【課題】物体検知に優れており、加えて色再現性も良好な撮像装置を提供すること。【解決手段】撮像装置１００は、撮像素子部１２０において任意のＧ画素について必ず水平方向及び垂直方向に隣接する１つ以上の他のＧ画素が存在する画素配列を採用することでＧ画素の高解像度化を図り、画像処理部１３０においてこの画素配列によるＧ画素に基づいて抽出した輪郭と辞書データとを用いてＲ画素及びＢ画素を推定する。【選択図】図７
2017228833.tif 000002
【特許請求の範囲】
【請求項１】
マトリクス状に配列されたＲＧＢ画素からなる映像信号を出力する撮像素子部であって、前記マトリクス状の配列は、任意のＧ画素について必ず水平方向及び垂直方向に隣接する１つ以上の他のＧ画素が存在する配列である、撮像素子部と、
Ｒ画素、Ｇ画素、Ｂ画素それぞれについて、補間処理を施す第１の画像処理部と、
前記Ｇ画素に基づいて抽出した輪郭と辞書データとを比較することにより前記映像信号に含まれる物体に対応する前記辞書データ中の物体を特定し、特定した前記辞書データ中の物体の映像データを用いて、前記Ｒ画素及び前記Ｂ画素を推定する第２の画像処理部と、
を具備する撮像装置。
【請求項２】
前記第１の画像処理部は、前記撮像素子部から出力されたＲＧＢ画素を用いた比重補間を行うことにより前記撮像素子部の各セルに対応する位置のＲＧＢ画素を生成するとともに、当該比重補間によって生成したＲＧＢ画素を用いた隣接補間を行うことによりＲＧＢ画素を増加させてＲＧＢ画素を高精細化する、
請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像素子を用いてカラー画像を得る撮像装置に関する。
【背景技術】
【０００２】
撮像装置では、一般に、撮像レンズを通して形成された光学像をＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子で受光することでカラー画像を得るようになっている。
【０００３】
撮像素子部の色配列としては、できるだけＤＲ（ダイナミックレンジ）広くし、かつ、自然な色再現性ができるように、ベイヤー配列が採用されていることが多い。ベイヤー配列は、ＲＧＢそれぞれの解像度を低下させることなく、かつ、画素補間を行うのに適した色配列となっている。ベイヤー配列、及びベイヤー配列を用いた場合の画像処理については、例えば特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭５６−１４９１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ベイヤー配列は、色再現性もしくは色解像度を重視した配列であり、例えば車載カメラのように物体の検知が重要視される用途には必ずしも適しているとは限らない。
【０００６】
本開示の一態様は、物体検知に優れており、加えて色再現性も良好な撮像装置を提供する。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る撮像装置は、
マトリクス状に配列されたＲＧＢ画素からなる映像信号を出力する撮像素子部であって、前記マトリクス状の配列は、任意のＧ画素について必ず水平方向及び垂直方向に隣接する１つ以上の他のＧ画素が存在する配列である、撮像素子部と、
Ｒ画素、Ｇ画素、Ｂ画素それぞれについて、補間処理を施す第１の画像処理部と、
前記Ｇ画素に基づいて抽出した輪郭と辞書データとを比較することにより前記映像信号に含まれる物体に対応する前記辞書データ中の物体を特定し、特定した前記辞書データ中の物体の映像データを用いて、前記Ｒ画素及び前記Ｂ画素を推定する第２の画像処理部と、
を具備する。
【発明の効果】
【０００８】
本開示の一態様によれば、任意のＧ画素について必ず水平方向及び垂直方法に隣接する１つ以上の他のＧ画素が存在する配列としたことにより、Ｇ画素を用いた物体検知が向上し、さらに、Ｇ画素に基づいて抽出した輪郭と辞書データとを用いてＲ画素及びＢ画素を推定したことにより、色再現性も良好な映像を得ることができる。
【０００９】
本開示の一態様における更なる利点及び効果は、明細書及び図面から明らかにされる。かかる利点及び／又は効果は、いくつかの実施形態並びに明細書及び図面に記載された特徴によってそれぞれ提供されるが、１つ又はそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【００１０】
【図１】ベイヤー配列を示す図
【図２】各画素の補間の様子を示す図
【図３】実施の形態のＲＧＢ画素の配列を示す図
【図４】比重補間の様子を示す図
【図５】隣接補間による高精細化処理の様子を示す図
【図６】隣接補間（高精細化補間）の例を図
【図７】実施の形態に係る撮像装置の全体構成を示すブロック図
【図８】実施の形態による補間処理及び特徴抽出処理の説明に供する図
【図９】実施の形態による補間処理及び特徴抽出処理の説明に供する図
【発明を実施するための形態】
【００１１】
＜本開示の色配列＞
実施の形態を説明する前に、本開示で用いる色配列について説明する。
【００１２】
従来は、撮像素子の用途の汎用性（あらゆる用途で使えること）を考慮して、色再現性を重視したベイヤー配列が一般的に採用されている。ベイヤー配列は、図１に示したように、２×２の４画素を基本構成として、その内２画素がＧであり１画素がＲ、１画素がＢの構成となっている。このとき、Ｒ画素の位置のＧ画素はＲ画素から直接生成することはできず、周辺画素を用いた計算によりＧ画素を生成している。同様に、Ｂ画素の位置のＧ画素はＢ画素から直接生成することはできず、周辺画素を用いた計算によりＧ画素を生成している。図２は、Ｇ画素、Ｂ画素、Ｒ画素の補間の様子を示したものであり、図中の太文字が補間された画素である。この補間はいわゆる隣接補間である。
【００１３】
このように、例えば撮像素子では水平１９２０画素、垂直１０８０画素のセンサであったとしても、Ｇ画素は水平９６０画素、垂直１０８０画素、Ｒ画素及びＢ画素はそれぞれ水平９６０画素、垂直５４０画素であり、ＲＧＢ合計で水平１９２０画素、垂直１０８０画素あるにすぎず、上述したような補間によってＲＧＢそれぞれが水平１９２０画素、垂直１０８０画素となるようにしている。このとき、Ｇ画素がＲ画素及びＢ画素の２倍とされている理由は、Ｇ画素が画質の解像度に大きく寄与しており、逆にＲ画素、Ｂ画素は高周波画素を必要としなくても、見た目上違和感の無い解像感や色再現性を得ることができるからである。
【００１４】
しかし、このようなベイヤー配列は自然な色再現性も考慮した自然な映像で撮影することを目的に考えられた配列であり、車載用途に適した配列とは言いがたい。車載カメラによって得られる、標識、信号機、車線、案内板、横断歩道、停止線、ブロック、路側帯、路肩、自動車、自転車、オートバイ等の映像は、車載カメラ特有の映像であり、これらの限定された映像では色再現性は特に重要ではなく、逆にＧ信号の解像度及びＤＲ（ダイナミックレンジ）が重要である。このことは、車載用カメラの映像としては、汎用性を重視したベイヤー配列の画素が必ずしも効率良く使われているとは言いがたく、逆に言えばベイヤー配列はＲ画素やＢ画素が多い分、Ｇ画素の解像度が低減している配列と言うこともできる。
【００１５】
そこで、本開示では、図３に示したように、相対的にＲ画素及びＢ画素の比率を少なくし、Ｇ画素を増やした配列を採用する。このような色配列は、撮像素子を構成する各画素の前面（被写体側）の色フィルターの配置を変更することで実現できる。図３のマトリクス状の配列は、任意のＧ画素について必ず水平方向及び垂直方法に隣接する１つ以上の他のＧ画素が存在する配列である。このような配列を採用することにより、少ない画素数でＧ画素の高解像度化を実現できる。
【００１６】
本開示では、図３に示すような画素配列に対して、比重補間及び隣接補間を施すことにより、各画素を補間する。図４は比重補間の様子を示すものであり、図５は隣接補間の様子を示すものである。
【００１７】
図４に示した比重補間においては、Ｇ−Ｒ−Ｇと配列された画素における中間のＧ画素の値（図中の○で囲まれたＧ画素の値）を左右のＧ画素の平均値を取ることにより求める。つまり、図中の○で囲まれたＧ画素の値＝（左Ｇの値＋右Ｇの値）／２により生成する。一方で、例えば図４に示したＢ−Ｇ−Ｇ−Ｇ−Ｂと配列した画素におけるＢ画素のように、隣接したＢ画素が無い場合には、近傍のＢ画素の距離を比重係数として比重計算を行うことによりＢ画素を補間する。例えば、図中の○で囲まれた左から２番目のＢ画素の値＝（左Ｂの値×３＋右Ｂの値×１）／４により生成する。
【００１８】
図５に示した隣接補間は、高精細化補間処理に相当する。図５の高精細化補間処理では、画素間の画素を隣接補間と同様に補間することで、本来存在しない画素データを作り出す。これにより、ＲＧＢそれぞれの画素数を増大させて、高精細化を実現する。例えば図５に示したように、２画素×２画素＝４画素のＧ画素がある場合、物理的には存在しない水平方向及び垂直方向の中間画素を隣接画素の平均値を用いて生成する。例えば図５の○で囲まれたＧ画素の値＝（左Ｇの値＋右Ｇの値）／２により生成する。また、□で囲まれたＧ画素の値＝（左Ｇの値＋右Ｇの値）／２により生成する。△で囲まれたＧ画素の値＝（○で囲まれたＧ画素の値＋□で囲まれたＧ画素の値）／２により生成する。このようにして２画素×２画素のＧデータから、３画素×３画素のＧデータを生成することで、高精細化を実現できる。
【００１９】
図６は、本実施の形態で行う隣接補間（高精細化補間）のさらなる説明に供する図である。図６Ａは各画素の輝度信号レベルを示す。図６ＡのＡの列は、撮像素子で得られた画素（つまり実際に存在する画素）の輝度信号レベルを示す。高精細化補間処理では、図６ＡのＢの列で示したように、単純に、（１０＋９４）／２＝５２、（９４＋１７８）／２＝１３６のような隣接画素の平均により補間画素の輝度信号レベルを求めてもよい。この計算は、図６Ｂの実線上の点を求めることに相当する。また、コントラストを強調するために、図６ＡのＣの列で示したような補間（コントラスト強調補間）を行ってもよい。このコントラスト強調補間は、図６Ｂの点線上の点を求めることに相当する。さらに、輪郭を強調するために、図６ＡのＤの列で示したような補間（輪郭強調補間）を行ってもよい。この輪郭強調補間は、図６Ｂの一点鎖線上の点を求めることに相当する。図からも分かるように、輪郭強調補間は、アンダーシュート又はオーバーシュート処理を行いながら行われる。
【００２０】
本開示の撮像装置によれば、例えば、９６０×５４０画素のＧデータから、１９２０画素×１０８０画素のＧデータを生成することができる。また、Ｒデータ及びＢデータは、水平方向の２４０画素と、垂直方向の１３５画素から、水平方向９６０画素×垂直方向５４０画素を生成することができる。
【００２１】
これらのことから、通常の２画素×２画素のベイヤー配列を基本にした水平１９２０画素×垂直１０８０画素と比較して、本開示の方法を用いると、例えば車載用途の撮像素子のように画素数が水平方向９６０画素×垂直方向５４０画素と少なくても、水平１９２０画素×垂直１０８０画素と同等の性能を確保できる。よって、撮像素子のチップサイズが同じであれば、セルサイズ（面積）は４倍になる。これにより、２段露出を広くすることができる。
【００２２】
＜実施の形態＞
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
【００２３】
図７は、実施の形態に係る撮像装置１００の全体構成を示す概略図である。
【００２４】
撮像装置１００は、撮像光学系１１０と、撮像素子部１２０と、画像処理部１３０と、データ転送部１４０と、を有する。
【００２５】
撮像素子部１２０は、図３に示したような色配列の映像信号を出力するようになっている。つまり、撮像素子部１２０は、撮像素子を構成する各画素の前面（被写体側）の色フィルターの配置が図３に示したようになっている。
【００２６】
画像処理部１３０は、第１〜第４処理部１３１〜１３４を有する。第１処理部１３１は、モアレ除去、ノイズ除去、光量補正、階調補正、色補正及び上述した画素補間等の処理を行う。第２処理部１３２は、特徴抽出及び動きベクトル算出を行う。第３処理部１３３は、歪曲補正、ガンマ補正及びエッジ補正を行う。第４処理部１３４はデータの圧縮伸張処理を行う。
【００２７】
ここで、撮像光学系１１０に設けられたレンズ群は、縮小された映像を撮像素子部１２０の撮像素子（センサ）上に結像させる。このとき、光の空間周波数が高い場合には、センサが矩形形状であることに起因してモアレが発生するので、撮像光学系１１０には高周波成分をカットするローパスフィルターや可視光（380nm−780nm）以外の光をカットするUV-IRカットフィルターが設けられ、撮像素子部１２０ではこれらのフィルターを透過した光が受光される。
【００２８】
撮像素子部１２０による光電変換により得られた信号は、ＲＧＢ方式やＹＵＶ方式等の映像信号に展開され、この映像信号に対して画像処理部１３０による画像処理が行われる。以下の実施の形態では、ＲＧＢ方式の信号に対する処理について説明するが、ＹＵＶ方式の信号についても同様の処理を行うことができる。
【００２９】
先ず、第１処理部１３１において、モアレ周波数を除去する処理や、低照度時の電気信号ノイズ成分を除去する処理、像高による光量低下を補正する処理、階調補正等が行われる。さらに、本開示の撮像装置１００では、第１処理部１３１において、上述した比重補間及び隣接補間を行うことで映像データを整える。このとき、物体検知のことを考慮して、コントラスト強調補間やエッジ強調補間を含む高解像度処理を行うとよい。
【００３０】
次に、第２処理部１３２が、Ｒ信号、Ｇ信号、Ｂ信号の特徴を抽出しながらＲＧＢ信号を生成する。
【００３１】
本開示の撮像装置１００は、第１処理部１３１における補間処理及び第２処理部１３２における特徴抽出処理に特徴があるので、図８を用いて、これらの処理について説明する。
【００３２】
先ず、ステップＳ１、Ｓ２、Ｓ３において、それぞれ、Ｂ信号映像データ、Ｇ信号映像データ、Ｒ信号映像データに対して、上述したような補間処理を施す。
【００３３】
次に、ステップＳ４、Ｓ５、Ｓ６において、それぞれ、Ｂ信号の特徴、Ｇ信号の特徴、Ｒ信号の特徴を抽出する。例えばエッジを利用して輪郭を抽出する。このとき、本実施の形態では、辞書データを用いて特徴の補完を行いながら特徴抽出を行う。具体的に説明する。先ず、抽出したＧの特徴と、あらかじめ学習済の辞書データとを比較し、辞書データの中に同様の映像があった場合には、その映像を参照することにより、特徴映像を補完するとよい。
【００３４】
さらに、中間色を補完する。具体的には、Ｇの特徴抽出した箇所に対して中間色であればどの程度ＲもしくはＢの色を加えていくかを考え、ＢやＲの特徴抽出データがＧの特徴抽出データから存在しない箇所に特徴データがあれば、Ｇの解像度と同様の特性を持たせた特徴抽出データから映像を出力する。
【００３５】
このような処理は、例えば車載用カメラのように撮影映像が限定されている場合に有効である。例えば、車載用カメラであれば、辞書データに標識の画像を格納しておくことで、どのような色が必要か分かり、特徴抽出したＧ信号に基づいてＢ及びＲを補完できる。また、車載用カメラの用途を考えた場合、車線は白色か黄色であるとした学習データがあれば、他の色を考慮する必要はない。また、青色の案内板があったとしても、青色の色再現性（色の正確さ）は求められることはなく、記載されている白色の文字が判読できることが重要である。白色はＧ色での特徴抽出によって高周波画像に再現可能である。また、案内板であることを検知できれば、文字が白色である可能性が極めて高いので、文字を白色にすることは容易である。
【００３６】
ステップＳ７では、Ｂ−Ｇ信号（つまりＢとＧとの間の色差信号）の特徴を抽出する。ステップＳ８では、Ｒ−Ｇ信号（つまりＲとＧとの間の色差信号）の特徴を抽出する。
【００３７】
ステップＳ９では、ステップＳ５で抽出したＧ信号の特徴から辞書データを用いてＢ信号を生成する。また、ステップＳ９では、ステップＳ７で抽出したＢ−Ｇ信号の特徴から辞書データを用いてＢ信号を生成する。このようにして、辞書データと高解像度のＧ信号とを用いて、エッジ及び中間色が再現されたＢ信号を得ることができる。
【００３８】
同様に、ステップＳ１０では、ステップＳ５で抽出したＧ信号の特徴から辞書データを用いてＲ信号を生成する。また、ステップＳ１０では、ステップＳ８で抽出したＲ−Ｇ信号の特徴から辞書データを用いてＲ信号を生成する。このようにして、辞書データと高解像度のＧ信号とを用いて、エッジ及び中間色が再現されたＲ信号を得ることができる。
【００３９】
換言すれば、ステップＳ９及びステップＳ１０における処理は、Ｇ信号と辞書データとを用いてＲ信号及びＢ信号についての着色処理を行っていると言うことができる。
【００４０】
ステップＳ１１では、ステップＳ５、Ｓ９、Ｓ１０で得たＧ信号、Ｂ信号及びＲ信号を合成することで、ＲＧＢ映像信号を生成する。
【００４１】
図８の処理をより具体的に説明すると以下の通りである。
【００４２】
本開示の撮像装置１００は、特徴抽出において、各物体に分類された映像データと、あらかじめ学習しておいた辞書データと比較することで、映像データ中に、自動車、オートバイ、歩行者、信号機、中央分離帯、横断歩道、歩道、白線、停止線、各種標識等が存在するかを判定する。映像データ中に辞書データに対応する物体が存在すると判定したならば、辞書データに基づいて、その映像データがＲＧＢのどの色で構成されているべきかが分かる。
【００４３】
本実施の形態では、Ｇ信号に基づく高解像度の映像信号と、辞書データとから物体の形状を判断し、さらに辞書データに基づいて、その物体形状中にＲ信号、Ｂ信号がどの程度含まれているか（光強度がどの程度含まれているか）を求める。これにより、図３に示したような、相対的にＲ画素及びＢ画素の比率を少なくし、Ｇ画素を増やした配列から、Ｒ画素及びＢ画素を的確に推定して、色再現性の良いＲＧＢ信号を得ることができる。
【００４４】
＜実施の形態の効果＞
以上説明したように、本実施の形態によれば、撮像素子部１２０において図３に示したような任意のＧ画素について必ず水平方向及び垂直方法に隣接する１つ以上の他のＧ画素が存在する画素配列を採用することでＧ画素の高解像度化を図り、この画素配列によるＧ画素に基づいて抽出した輪郭と辞書データとを比較することにより映像信号に含まれる物体に対応する辞書データ中の物体を特定し、特定した辞書データ中の物体の映像データを用いて、Ｒ画素及びＢ画素を推定するようにしたことにより、撮像素子の画素数が少なくても辞書データを有効活用して、色再現性の優れたＲＧＢ映像を形成することができる。この結果、物体検知に優れており、加えて色再現性も良好な撮像装置を実現できる。
【００４５】
また、本実施の形態によれば、補間処理によって、撮像素子の画素数以上（水平２倍×垂直２倍＝４倍）の検知解像度を得るようにしているので、物理的画素数を少なくても、高解像度の画像を生成することができる。この結果、画素数不足による物体の検知エラーを抑制できる。
【００４６】
＜他の実施の形態＞
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、開示の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【００４７】
上述の実施の形態では、図８に示したように、補間処理（ステップＳ１、Ｓ２、Ｓ３）を行った後に、ＲＧＢ各信号の特徴抽出処理及びＲＧＢ各信号の生成処理（ステップＳ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１０）を行った場合について述べたが、図９に示すように、ＲＧＢ各信号の特徴抽出処理及びＲＧＢ各信号の生成処理（ステップＳ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８、Ｓ９、Ｓ１０）を行った後に、補間処理（ステップＳ１、Ｓ２、Ｓ３）を行うようにしてもよい。
【００４８】
また、上述の実施の形態では、ＲＧＢ方式の撮像装置について説明したが、ＹＵＶ方式の撮像装置に適用することもできる。その場合、上述の説明におけるＧをＹに置き換え、ＢをＵに置き換え、ＲをＶに置き換えればよい。
【００４９】
＜まとめ＞
本開示の撮像装置は、マトリクス状に配列されたＲＧＢ画素からなる映像信号を出力する撮像素子部であって、前記マトリクス状の配列は、任意のＧ画素について必ず水平方向及び垂直方向に隣接する１つ以上の他のＧ画素が存在する配列である、撮像素子部と、Ｒ画素、Ｇ画素、Ｂ画素それぞれについて、補間処理を施す第１の画像処理部と、前記Ｇ画素に基づいて抽出した輪郭と辞書データとを比較することにより前記映像信号に含まれる物体に対応する前記辞書データ中の物体を特定し、特定した前記辞書データ中の物体の映像データを用いて、前記Ｒ画素及び前記Ｂ画素を推定する第２の画像処理部と、を具備する。
【００５０】
また、本開示の撮像装置において、前記第１の画像処理部は、前記撮像素子部から出力されたＲＧＢ画素を用いた比重補間を行うことにより前記撮像素子部の各セルに対応する位置のＲＧＢ画素を生成するとともに、当該比重補間によって生成したＲＧＢ画素を用いた隣接補間を行うことによりＲＧＢ画素を増加させてＲＧＢ画素を高精細化する。
【産業上の利用可能性】
【００５１】
本開示の撮像装置は、物体検知に優れており、加えて色再現性も良好であるといった効果を有し、例えば車載の撮像装置に好適である。
【符号の説明】
【００５２】
１００  撮像装置
１１０  撮像光学系
１２０  撮像素子部
１３０  画像処理部
【図１】
2017228833.tif 000003
【図２】
2017228833.tif 000004
【図３】
2017228833.tif 000005
【図４】
2017228833.tif 000006
【図５】
2017228833.tif 000007
【図６】
2017228833.tif 000008
【図７】
2017228833.tif 000009
【図８】
2017228833.tif 000010
【図９】
2017228833.tif 000011