(57)【要約】【課題】偽色を抑制し、高品位の画像を生成する。【解決手段】撮像装置は、複数の第１の画素における輝度値に基づき、複数の第２の画素における輝度補間値を生成する第１の補間部と、第１の補間部により生成された複数の第２の画素における輝度補間値と、複数の第１の画素における輝度値との差の絶対値が所定値以下となる、複数の第２の画素を選択する選択部と、選択部によって選択された複数の第２の画素における色値に基づき、所定の第１の画素における一の色成分に対応する色補間値を生成する第２の補間部とを備える。【選択図】  図５
2020088464.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１の画素および複数の第２の画素を備え、前記複数の第１の画素は前記複数の第２の画素よりも感度が高いとともに輝度値を出力し、前記複数の第２の画素は複数色のうちの一の色成分を含む色値を出力する画素部と、
前記複数の第１の画素における前記輝度値に基づき、前記複数の第２の画素における輝度補間値を生成する第１の補間部と、
前記第１の補間部により生成された前記複数の第２の画素における前記輝度補間値と、所定の前記第１の画素における前記輝度値との差の絶対値が所定値以下となる、前記複数の第２の画素を選択する選択部と、
前記選択部によって選択された前記複数の第２の画素における前記色値に基づき、前記所定の第１の画素における色補間値を生成する第２の補間部とを備えることを特徴とする撮像装置。
【請求項２】
前記画素部は、前記一の色成分とは異なる他の色成分を含む色値を出力する複数の第３の画素を備え、
前記第１の補間部は、前記複数の第１の画素における前記輝度値に基づき、前記複数の第３の画素における輝度補間値を生成し、
前記選択部は、前記複数の第２の画素を選択しない場合、前記第１の補間部により生成された前記複数の第３の画素における前記輝度補間値と、前記所定の第１の画素における前記輝度値との差の絶対値が所定値以下となる、前記複数の第３の画素を選択し、
前記第２の補間部は、前記選択部によって選択された前記複数の第３の画素における前記色値に基づき、前記所定の第１の画素における前記色補間値を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択部によって選択された前記複数の第２の画素および前記複数の第３の画素のそれぞれの数を計数する画素計数部をさらに備えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の第２の画素が前記選択部によって選択されなかった場合、前記所定の第１の画素を特定するアドレス情報を出力することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記第２の補間部は、前記選択部によって選択された前記複数の第２の画素における前記輝度補間値から、前記所定の第１の画素における前記輝度補間値を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記色値、前記色補間値、前記輝度値、および前記輝度補間値を合成し、色画像を生成する色合成部をさらに備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第１の補間部は、前記複数の第１の画素の前記輝度値の平均値を前記複数の第２の画素の前記輝度値とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１の補間部は、前記複数の第１の画素から前記第２の画素までの距離に応じた重み付け係数で前記複数の第１の画素の前記輝度値の平均値を算出し、前記平均値を前記第２の画素の前記輝度値とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の第１の画素は、前記複数の第２の画素の分光感度特性よりも広い半値幅の分光感度特性を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記複数の第１の画素は白画素である請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記複数の第２の画素は、赤画素、緑画素、青画素のいずかであることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記複数の第１の画素の数は前記複数の第２の画素の数の３倍以上であることを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記複数の第２の画素のそれぞれは前記複数の第１の画素に囲まれていることを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
複数の第１の画素および複数の第２の画素を備え、前記複数の第１の画素は前記複数の第２の画素よりも感度が高いとともに輝度値を出力し、前記複数の第２の画素は複数色のうちの一の色成分を含む色値を出力する画素部を備える固体撮像素子からの信号を処理する画像処理装置であって、
前記複数の第１の画素における前記輝度値に基づき、前記複数の第２の画素における輝度補間値を生成する第１の補間部と、
前記第１の補間部により生成された前記複数の第２の画素における前記輝度補間値と、所定の前記第１の画素における前記輝度値との差の絶対値が所定値以下となる、前記複数の第２の画素を選択する選択部と、
前記選択部によって選択された前記複数の第２の画素における前記色値に基づき、前記所定の第１の画素における色補間値を生成する第２の補間部とを備えることを特徴とする画像処理装置。
【請求項１５】
複数の第１の画素および複数の第２の画素を備える画素部において、前記複数の第１の画素は前記複数の第２の画素よりも感度が高いとともに輝度成分を含む輝度値を出力し、前記複数の第２の画素は複数色のうちの一の色成分を含む色値を出力し、
前記複数の第１の画素における前記輝度値に基づき、前記複数の第２の画素における輝度補間値を生成し、
前記複数の第２の画素における前記輝度補間値と、所定の前記第１の画素における前記輝度値との差の絶対値が所定値以下となる、前記複数の第２の画素を選択し、
選択された前記複数の第２の画素における前記色値に基づき、前記所定の第１の画素における色補間値を生成することを特徴とする画像処理方法。
【請求項１６】
請求項１乃至１３のいずれか１項に記載の撮像装置を備えた移動体であって、
前記撮像装置の前記画素部から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて前記移動体を制御する制御手段と
を有することを特徴とする移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｒ）イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサなどの撮像装置においては、２次元状に配置された複数の光電変換素子上に、赤（Ｒ）、緑（Ｇ）、青（Ｂ）などのカラーフィルタが例えばベイヤ配列に従って形成されている。近年、ＲＧＢなどの色画素に加えて、可視光の全波長を透過するフィルタを備えたＷ画素を有する画素配列が提案されている。Ｗ画素を有する画素配列の色画素はベイヤ配列における色画素よりも少ない。このため、Ｗ画素を有する画素配列においては偽色が発生しやすくなる。このような問題に対して、特許文献１に記載の技術は、Ｗ画素の情報を参照することで、輝度が近似した面を検出し、検出された面単位で色補間を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８８３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１においては、面単位で補間が行われるため、例えば被写体のエッジにおける偽色が生じるという課題が生じていた。
【課題を解決するための手段】
【０００５】
本発明の一態様に係る撮像装置は、複数の第１の画素および複数の第２の画素を備え、前記複数の第１の画素は前記複数の第２の画素よりも感度が高いとともに輝度値を出力し、前記複数の第２の画素は複数色のうちの一の色成分を含む色値を出力する画素部と、前記複数の第１の画素における前記輝度値に基づき、前記複数の第２の画素における輝度補間値を生成する第１の補間部と、前記第１の補間部により生成された前記複数の第２の画素における前記輝度補間値と、所定の前記第１の画素における前記輝度値との差の絶対値が所定値以下となる、前記複数の第２の画素を選択する選択部と、前記選択部によって選択された前記複数の第２の画素における前記色値に基づき、前記所定の第１の画素における色補間値を生成する第２の補間部とを備える。
【０００６】
本発明の他の態様に係る画像処理装置は、複数の第１の画素および複数の第２の画素を備え、前記複数の第１の画素は前記複数の第２の画素よりも感度が高いとともに輝度成分を含む輝度値を出力し、前記複数の第２の画素は複数色のうちの一の色成分を含む色値を出力する画素部を備える固体撮像素子からの信号を処理する画像処理装置であって、前記複数の第１の画素における前記輝度値に基づき、前記複数の第２の画素における輝度補間値を生成する第１の補間部と、前記第１の補間部により生成された前記複数の第２の画素における前記輝度補間値と、所定の前記第１の画素における前記輝度値との差の絶対値が所定値以下となる、前記複数の第２の画素を選択する選択部と、前記選択部によって選択された前記複数の第２の画素における前記色値に基づき、前記所定の第１の画素における色補間値を生成する第２の補間部とを備える。
【０００７】
本発明のさらに他の態様に係る画像処理方法は、複数の第１の画素および複数の第２の画素を備える画素部において、前記複数の第１の画素は前記複数の第２の画素よりも感度が高いとともに輝度値を出力し、前記複数の第２の画素は複数色のうちの一の色成分を含む色値を出力し、前記複数の第１の画素における前記輝度値に基づき、前記複数の第２の画素における輝度補間値を生成し、前記複数の第２の画素における前記輝度補間値と、所定の前記第１の画素における前記輝度値との差の絶対値が所定値以下となる、前記複数の第２の画素を選択し、選択された前記複数の第２の画素における前記色値に基づき、前記所定の第１の画素における前記一の色成分に対応する色補間値を生成する。
【発明の効果】
【０００８】
本発明によれば、偽色を抑制し、高品位の画像を生成することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態における撮像装置のブロック図である。
【図２】第１実施形態における固体撮像素子のブロック図である。
【図３】第１実施形態における固体撮像素子の画素および列増幅部の回路図である。
【図４】第１実施形態における画素部のカラーフィルタの模式図である。
【図５】第１実施形態における信号処理部のブロック図である。
【図６】第１実施形態における補間処理を説明するための図である。
【図７Ａ】第１実施形態における計算領域の画素ブロックを表す図である。
【図７Ｂ】第１実施形態における輝度補間後の画素ブロックを表す図である。
【図７Ｃ】第１実施形態におけるアドレス情報の一例の図である。
【図８Ａ】第１実施形態におけるＲ値の補間処理を説明するための図である。
【図８Ｂ】第１実施形態におけるＧ値の補間処理を説明するための図である。
【図８Ｃ】第１実施形態におけるＢ値の補間処理を説明するための図である。
【図８Ｄ】第１実施形態におけるｉＷｒ値の補間処理を説明するための図である。
【図８Ｅ】第１実施形態におけるｉＷｇ値の補間処理を説明するための図である。
【図８Ｆ】第１実施形態におけるｉＷｂ値の補間処理を説明するための図である。
【図９】第２実施形態における信号処理部のブロック図である。
【図１０Ａ】第２実施形態における計算領域の画素ブロックを表す図である。
【図１０Ｂ】第２実施形態におけるアドレス情報の一例の図である。
【図１１Ａ】第２実施形態におけるＲ値の補間処理を説明するための図である。
【図１１Ｂ】第２実施形態におけるＧ値の補間処理を説明するための図である。
【図１１Ｃ】第２実施形態におけるＢ値の補間処理を説明するための図である。
【図１１Ｄ】第２実施形態におけるｉＷｒ値の補間処理を説明するための図である。
【図１１Ｅ】第２実施形態におけるｉＷｇ値の補間処理を説明するための図である。
【図１１Ｆ】第２実施形態におけるｉＷｂ値の補間処理を説明するための図である。
【図１２】第３実施形態における信号処理部のブロック図である。
【図１３】第４実施形態における信号処理方法を表すフローチャートである。
【図１４】第５実施形態における撮像システムのブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら各実施形態の撮像装置について説明する。
［第１の実施形態］
図１は、本実施形態に係る撮像装置のブロック図である。撮像装置は静止画、動画等を取得する装置であり、例えばデジタルスチルカメラ、デジタルカムコーダ、監視カメラ、スマートフォン、車載カメラ等である。撮像装置１は、バリア１ａ、レンズ１ｂ、絞り１ｃ、固体撮像素子２、信号処理部３、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４、メモリ５、外部Ｉ／Ｆ部６、記録媒体Ｉ／Ｆ部７、記録媒体８、タイミング発生部９を有する。
【００１１】
固体撮像素子２は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどであって、被写体１０１から発せられた光学像１０２を電気信号に変換し、後段の信号処理部３へ出力する。レンズ１ｂは被写体１０１の光学像１０２を固体撮像素子２に結像させる。絞り１ｃは、レンズ１ｂを経て、固体撮像素子２に結像される光学像１０２の光量を調整する。レンズ１ｂを保護するバリア１ａは必要に応じて配置される。
【００１２】
信号処理部３はデジタル信号処理回路を有し、固体撮像素子２から出力される信号に対して各種の補正、圧縮を行い、画像データを出力する。固体撮像素子２から出力される信号がアナログ信号である場合、信号処理部３はアナログ／デジタル変換（Ａ／Ｄ変換）回路をデジタル信号処理部の前段に備え得る。なお、信号処理部３は固体撮像素子２に設けられても良く、また撮像装置１の外部のコンピュータに設けられても良い。
【００１３】
ＣＰＵ４は予め定められた制御プログラムに従って撮像装置１の全体の動作を制御する。制御プログラムはメモリ５に書き込まれていてもよく、また、撮像装置１の外部から供給されてもよい。メモリ５は、画像データを一時的に記憶するためのフレームメモリ、上述の制御プログラムを記憶する不揮発性メモリなどを含み得る。外部Ｉ／Ｆ（インターフェース）部６は外部のコンピュータ、画像処理装置、ネットワーク等と通信するための回路である。記録媒体Ｉ／Ｆ部７は記録媒体８への記録または読出しを行うためのインターフェースである。記録媒体８は、半導体メモリ、光磁気記録媒体等であって、撮像装置１に着脱可能または内蔵され得る。タイミング発生部９は固体撮像素子２、信号処理部３にクロック信号、同期信号などのタイミング信号を出力する。なお、タイミング信号は撮像装置１の外部から供給されても良い。
【００１４】
図２は本実施形態における固体撮像素子２のブロック図である。固体撮像素子２は、複数の画素２１が行列状に配された画素部２０、垂直走査回路２２、列増幅部２３、水平走査回路２４、出力部２５を有する。画素部２０は行列状に配置された複数の画素２１を備え、それぞれの画素２１は光電変換素子ＰＤを備える。各画素２１には、カラー画像を生成するためのカラーフィルタが設けられている。カラーフィルタは光電変換素子ＰＤに対して被写体からの光が入射される側に配置され、色強度を表す画素信号が画素２１から出力され、画素信号に基づきカラー画像が生成される。光電変換素子ＰＤは照射された光に応じた電荷を生じさせ、画素２１は電荷に基づく電圧を出力する。垂直走査回路２２は、画素２１のトランジスタを導通状態（オン）または非導通状態（オフ）に制御するための制御信号を供給する。画素部２０は、画素２１から画素信号を読出すために垂直信号線２０６を有する。画素２１から垂直信号線２０６に転送された画素信号は画素列毎に読出される。水平走査回路２４は各画素列の増幅器に接続されたスイッチと、該スイッチをオンまたはオフに制御するための制御信号を供給する。出力部２５はバッファアンプ、差動増幅器などから構成され、列増幅部２３からの画素信号を固体撮像素子２の外部の信号処理部３に出力する。出力された画素信号は信号処理部３によって、アナログ／デジタル変換、入力データの補正などの処理が行われる。なお、固体撮像素子２はアナログ／デジタル変換の機能を備えても良い。
【００１５】
図３は本実施形態における固体撮像素子２の画素２１、列増幅部２３の回路図である。ここでは、説明を容易にするため、列増幅部２３のうちの１列分の回路と、１つの画素２１とが示されている。画素２１は光電変換素子ＰＤ、浮遊拡散容量ＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を備える。なお、画素２１は、複数の光電変換素子ＰＤが浮遊拡散容量ＦＤ、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を共有する構成を備えていても良い。また、トランジスタＭ２〜Ｍ４はＮチャネルＭＯＳに限定されず、ＰチャネルＭＯＳによって構成されても良い。
【００１６】
光電変換素子ＰＤはフォトダイオードなどから構成され、照射された光を電子（電荷）に光電変換する。転送トランジスタＭ１のゲートには信号ＴＸが供給され、信号ＴＸがハイレベルになると、転送トランジスタＭ１は光電変換素子ＰＤに発生した電荷を浮遊拡散容量ＦＤに転送する。浮遊拡散容量ＦＤは、転送トランジスタＭ１のドレイン端子を兼ねており、転送トランジスタＭ１を介して光電変換素子ＰＤから転送される電荷を保持可能である。リセットトランジスタＭ２のゲートには信号ＲＥＳが供給され、信号ＲＥＳがハイレベルになると、リセットトランジスタＭ２は浮遊拡散容量ＦＤの電圧をリセット電圧ＶＤＤにリセットする。転送トランジスタＭ１とリセットトランジスタＭ２を同時にオンにさせることにより、光電変換素子ＰＤの電子がリセットされる。増幅トランジスタＭ３のゲートは、浮遊拡散容量ＦＤに接続される。
【００１７】
増幅トランジスタＭ３のソースは、選択トランジスタＭ４を介して列ごとに共通の垂直信号線２０６のノードＰＤＯＵＴに電気的に接続され、ソースフォロアを構成する。選択トランジスタＭ４のゲートには信号ＳＥＬが印加され、信号ＳＥＬがハイレベルとなると、垂直信号線２０６と増幅トランジスタＭ３が電気的に接続される。これにより、選択された画素２１から画素信号が読み出される。
【００１８】
画素２１に供給される信号ＴＸ、信号ＲＥＳ、信号ＳＥＬは垂直走査回路２２から出力される。垂直走査回路２２はこれらの信号レベルを制御することによって、画素２１を行単位で走査する。電流源２０７は垂直信号線２０６を介して画素２１に電流を供給し、垂直信号線２０６は信号ＰＬによって駆動されるスイッチＳＷ０を介して列増幅部２３に接続されている。
【００１９】
列増幅部２３は、列増幅器２３１、入力容量Ｃ０、帰還容量Ｃ１、Ｃ２、スイッチＳＷ１〜ＳＷ７、容量ＣＴＮ、ＣＴＳを有する。列増幅器２３１は反転入力ノード、非反転入力ノード、出力ノードを備える差動増幅回路から構成されている。列増幅器２３１の反転入力ノードはスイッチＳＷ０、入力容量Ｃ０を介して垂直信号線２０６に電気的に接続され、非反転入力ノードには基準電圧ＶＲＥＦが印加されている。反転入力ノードと出力ノードとは並列接続された３つの帰還回路を介して互いに接続されている。第１の帰還回路は直列に接続されたスイッチＳＷ１および帰還容量Ｃ１から構成され、第２の帰還回路は直列に接続されたスイッチＳＷ２および帰還容量Ｃ２から構成され、第３の帰還回路はスイッチＳＷ３から構成されている。スイッチＳＷ１〜ＳＷ３のオン、オフを適宜制御することにより、列増幅器２３１の増幅率を変更することができる。すなわち、スイッチＳＷ１のみがオンとなると、増幅率はＣ０／Ｃ１となり、スイッチＳＷ２のみがオンとなると、増幅率はＣ０／Ｃ２となる。また、スイッチＳＷ１、ＳＷ２がオンとなると、増幅率はＣ０／（Ｃ１＋Ｃ２）となり、スイッチＳＷ３のみがオンとなると、列増幅器２３１はボルテージフォロアとして動作する。スイッチＳＷ１〜ＳＷ３は信号φＣ〜φＣ２によってそれぞれ制御される。
【００２０】
列増幅器２３１の出力ノードは、信号φＣＴＮによって制御されるスイッチＳＷ４を介して容量ＣＴＮに接続されている。同様に、列増幅器２３１の出力ノードは、信号φＣＴＳによって制御されるスイッチＳＷ５を介して容量ＣＴＳに接続されている。浮遊拡散容量ＦＤのリセット時において、スイッチＳＷ４がオン、スイッチＳＷ５がオフとなり、リセット時の画素信号（Ｎ信号）が容量ＣＴＮにサンプルホールドされる。光電変換された電荷が浮遊拡散容量ＦＤに転送された後、スイッチＳＷ４がオフ、スイッチＳＷ５がオンとなり、光電変換された電荷に基づく画素信号（Ｓ信号）が容量ＣＴＳにサンプルホールドされる。
【００２１】
容量ＣＴＮはスイッチＳＷ６を介して出力部２５の第１入力ノードに接続され、容量ＣＴＳはスイッチＳＷ７を介して出力部２５の第２入力ノードに接続されている。水平走査回路２４が各列の信号φＨｎを順にハイレベルとすることにより、水平走査が行われる。すなわち、信号φＨｎがハイレベルとなると、スイッチＳＷ６は容量ＣＴＮに保持されたＮ信号を出力部２５の第１入力ノードに出力し、スイッチＳＷ７は容量ＣＴＳに保持されたＳ信号を出力部２５の第２入力ノードに出力する。
【００２２】
出力部２５は差動増幅回路から構成されており、入力されたＳ信号、Ｎ信号の差分を増幅および出力することにより、リセット時のノイズ成分が除去された画素信号を出力する。なお、Ｎ信号、Ｓ信号をアナログ／デジタル変換した後に、相関二重サンプリングを行っても良い。
【００２３】
図４は本実施形態における画素部のカラーフィルタの模式図である。図４（Ａ）は、本実施形態におけるカラーフィルタ配列の一例を表している。図４（Ａ）には４×４の１６画素のブロックのみが示されているが、画素部には複数の画素ブロックが含まれる。図４（Ａ）において、画素部２０は、カラーフィルタ２１ｒを備えたＲ画素、カラーフィルタ２１ｇを備えたＧ画素、カラーフィルタ２１ｂを備えたＢ画素、クリアフィルタ２１ｗを備えたＷ画素を有する。赤画素（Ｒ画素）、緑画素（Ｇ画素）、青画素（Ｂ画素）、白画素（Ｗ画素）は所定の配列に従って配置され、Ｒ画素、Ｇ画素、Ｂ画素の色画素（第２、第３の画素）の周囲には８個のＷ画素（第１の画素）が配置されている。すなわち、それぞれの色画素の上下、左右、斜めの各方向にはＷ画素が隣接して配置されている。４×４の１６画素のうち、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の個数比で各画素が配置されている。この配置はＲＧＢＷ１２配列と称される。ＲＧＢＷ１２配列においては、Ｗ画素の比率が全画素の３／４を占めている。すなわち、ＲＧＢＷ１２配列は、第１の画素群としてＷ画素を有し、第２の画素群として色画素（ＲＧＢ画素）を有している。第１の画素群のＷ画素の総和は第２の画素群の色画素の総和の３倍以上（２倍より多い）であり、第１の画素は第２の画素よりも感度が高い。すなわち、第１の画素群は第２の画素群に比べてより多くの輝度情報（解像度情報）を有している。また、第１の画素群は、第２の画素群の分光感度特性よりも広い半値幅の分光感度特性を有する。
【００２４】
図４（Ｂ）は本実施形態におけるカラーフィルタ配列の他の例を表している。４×４の１６画素のうち、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：４の個数比で各画素が配置されている。また、図示されていないが、Ｒ画素、Ｇ画素、Ｂ画素の加法混色の色画素に代えて、シアン画素（Ｃｙ画素）、マゼンタ画素（Ｍｇ画素）、イエロ画素（Ｙｅ画素）の減法混色の色画素を用いてもよい。また、Ｗ画素に代えて、輝度成分を含む画素信号を出力可能なＧ画素、Ｙｅ画素を第１の画素として用いてもよい。本実施形態における固体撮像素子２はベイヤ配列を有する固体撮像素子に比べて感度を高くすることができる。Ｗ画素は、可視波長域に加えて光電変換素子ＰＤが検知しうる波長域において感度を有し得る。なお、固体撮像素子２には、有効な画素以外に、オプティカルブラック画素、光電変換部を有さないダミー画素などのように画像を出力しない画素が含まれ得る。但し、これらのオプティカルブラック画素、ダミー画素は第１の画素、第２の画素には含まれない。
【００２５】
上述したカラーフィルタを備える固体撮像素子２において、各画素からは特定の色成分（情報）の信号が出力される。後述する信号処理部３は、他の色成分の信号を補間処理によって生成することにより、高精細のカラー画像を生成する。例えば、Ｒ画素はＧ、Ｂの情報を有していないが、Ｒ画素の近傍に位置するＧ画素およびＢ画素の値に基づき、Ｒ画素の位置におけるＧ、Ｂの画素値を推定することができる。
【００２６】
図５は本実施形態における信号処理部（信号処理装置）のブロック図である。信号処理部３は、前段処理部３１０、輝度補間部（第１の補間部）３２０、補間画素選択部３３０、色補間部（第２の補間部）３６０、色合成処理部（色合成部）３７０を備える。固体撮像素子２からの画素信号は前段処理部３１０に入力される。ここでは、固体撮像素子２はＲＧＢＷ１２配列を有するものとして説明するが、他の画素配列を用いても良い。以下、信号処理部３を構成する各部を順に説明する。
【００２７】
（前段処理部）
前段処理部３１０は画素信号のオフセット補正、ゲイン補正を含む様々な補正を実行する。固体撮像素子２から出力された画素信号がアナログ信号である場合には、Ａ／Ｄ変換を前段処理部３１０で実施してもよい。前段処理部３１０は、入力された画素信号Ｄｉｎのオフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正等を適宜実施して、補正後の出力Ｄｏｕｔを生成する。この処理は、典型的には以下の式（１）で表わされる。
【数１】
2020088464.tif 000003
【００２８】
この補正は様々な回路単位で行い得る。例えば、画素毎に補正を行ってもよく、さらには、列増幅器、アナログデジタル変換部（ＡＤＣ）、出力増幅器のそれぞれの回路毎に補正を行ってもよい。補正を行うことで、いわゆる固定パターンノイズが低減され、より高品質な画像を得ることができる。また、絞り値、シャッタスピード、距離の値ととともに、画像のゲイン値も保存される。各画素における出力ＤｏｕｔはＲＧＢＷ画像として前段処理部３１０から出力され、メモリ５または信号処理部３のバッファメモリに保持される。
【００２９】
（輝度補間部）
輝度補間部３２０は、前段処理部３１０から出力された信号において、色画素における輝度補間値（ｉＷ値）を生成する。図６は図４（Ａ）に示されたＲＧＢＷ１２配列における補間処理を説明するための図である。図６において、４×４の各画素は行（縦方向）および列（横方向）で表され、「？」はＲＧＢの色画素におけるＷ値が不明であることを示している。すなわち、Ｒ画素（１，１）、Ｇ画素（３，１）、Ｇ画素（１，３）、Ｂ画素（３，３）のＷ値は不明である。輝度補間部３２０は、色画素のＷ値を補間により生成する。以下、補間されたＷ値をｉＷと表記し、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれにおいて補間されたＷ値をｉＷｒ、ｉＷｇ、ｉＷｂと表記する。例えば、Ｂ画素（３，３）のｉＷｂ（３，３）はＢ画素（３，３）の周囲のＷ画素（２，２）、（３，２）、（４，２）、（２，３）、（４，３）、（２，４）、（３，４）、（４，４）の平均値として式（２）に従い求められる。
【数２】
2020088464.tif 000004
【００３０】
Ｒ画素のｉＷｒ、Ｇ画素のｉＷｇも同様に周囲の８個のＷ画素のＷ値の平均として求められる。また、補間対象の色画素からの距離に応じて、補間に用いるＷ画素の値に重み付け係数を乗じ、平均値を算出してもよい。なお、バイリニア法、バイキュービック法などのように縦、横、斜めの輝度値の変化の方向を検出して、変化率の少ない方向の画素の平均を求めてもよい。ＲＧＢＷ１２配列においては、解像度情報を得るためのＷ画素が多いため、方向性検出の精度が向上し、空間周波数の高い被写体においても高精度な補間が可能となる。このようにして、輝度補間部３２０は、色画素において補間により生成されたｉＷｒ、ｉＷｇ、ｉＷｂの各値とＷ画素のＷ値とを含む輝度画像ｉｍＷを出力する。
【００３１】
ＲＧＢＷ１２配列においては、解像度情報を得るためのＷ画素が多いため、ベイヤ配列等の他のカラーフィルタ配列と比較して、空間周波数の高い情報を取得することができる。したがって、色画素におけるＷ値の補間を高精度に行うことが可能となる。Ｗ値の補間の精度を高めることにより、画像の解像度を向上させるとともに、後段の補間画素選択部の処理を高精度に行うことができる。
【００３２】
（補間画素選択部）
補間画素選択部３３０は、色画素における輝度補間値ｉＷを用いて色補間に使用する色画素を選択し、選択された色画素のアドレスを出力する。以下、図７Ａ、図７Ｂ、図７Ｃを参照しながら補間画素選択部３３０における処理を説明する。
【００３３】
図７Ａは本実施形態における計算領域の画素ブロックを表している。後述する補間処理、デモザイク処理は計算領域毎に実行され、計算領域は例えば９×９画素から構成され得る。図７Ａにおける画素ブロックにおいて、ハッチングが施された領域Ａには赤色光が入射し、他の領域Ｂには白色光が入射していると仮定する。また、太線で囲まれたＷ画素（６，５）は補間対象画素を示しており、Ｗ画素（６，５）におけるＲ、Ｇ、Ｂの色値が補間によって生成される。ここで比較例として、９×９画素の計算領域内に存在する色画素を選択し、選択された色画素の平均値を補間値とする処理を説明する。Ｗ画素（６，５）におけるＲ値を補間するため、９個のＲ画素（１，１）、（１，５）、（１，９）、（５，１）、（５，５）、（５，９）、（９，１）、（９，５）、（９，９）が選択されたとする。９画素のうち、Ｒ画素（１，１）、（１，５）、（１，９）、（５，１）、（９，１）は赤色光が入射する領域Ａに存在している。一方、補間対象のＷ画素（６，５）は白色光が入射する領域Ｂに存在している。白色の領域Ｂに存在するＷ画素（６，５）に対して、赤色の領域Ａに存在するＲ画素に基づく補間がなされた場合、色にじみの現象が生じ得る。例えば、被写体のエッジ付近において白色領域が赤くにじむような現象が発生してしまう。ここで、補間対象からの距離による重みに基づいて平均処理を行うことも考えられる。しかしながら、この場合においても、色補間に用いられるＲ画素は赤色光が入射する領域Ａに存在することから、色にじみの現象が発生し得る。本実施形態における補間画素選択部３３０は、以下に詳述する処理により、上述の課題を解決している。
【００３４】
図７Ｂは本実施形態における輝度補間後の画素ブロックを表している。補間画素選択部３３０は、補間対象のＷ画素（６，５）が存在する領域Ｂ内において色画素を選択することで、上述した色にじみの現象を回避している。すなわち、補間画素選択部３３０は、計算領域内に存在する色画素において、補間に用いる色画素を輝度値に基づき選択している。次式に示されるように、補間画素選択部３３０は補間対象のＷ画素の輝度値Ｗ（６，５）および輝度補間値ｉＷ（ｉ，ｊ）の差の絶対値（差分）と、所定の閾値ｔｈとの比較に基づき、画素（ｉ，ｊ）を補間に用いるか否かを判定する。
【００３５】
｜Ｗ（６，５）−ｉＷ（ｉ，ｊ）｜＞ｔｈ  ・・・（３）
上式が真のとき、すなわち輝度値の差分が閾値よりも大きいとき、画素（ｉ，ｊ）は補間に用いられないと判定される。また、上式が偽のとき、すなわち輝度値の差分が閾値以下であるとき、画素（ｉ，ｊ）は補間に用いられると判定される。閾値ｔｈは予め定められた固定値であってもよく、補間対象画素の周囲の画素値に基づき動的に決定されても良い。また、閾値ｔｈは、画素値のランダムノイズよりも大きな値であることが好ましい。
【００３６】
撮像画像において、色変化と輝度変化との間には相関があるため、輝度変化に基づき被写体の色のエッジを推定し得る。補間画素選択部３３０は、輝度値の差分に基づき補間対象となる色画素を選択することにより、色変化が少ない画素同士において色補間を行っている。すなわち、輝度値の差分が大きい場合には、２つの画素の色が異なると判断し得る。一方、輝度値の差分が小さい場合には、画素間における色が同じであると判断し得る。補間画素選択部３３０は、補間処理を行う計算領域に含まれるすべての色画素に対して上述の判断を行い、選択された画素のアドレス情報を出力する。図７Ｃは、選択された画素のアドレス情報の一例を表している。アドレス情報において、補間のために選択された色画素は「１」で表され、選択されない色画素は「０」で表されている。図７Ｃのアドレス情報において、白色の領域Ｂに位置する色画素は補間に用いる画素に選択され、「１」で表されている。一方、赤色の領域Ａに位置する色画素は補間に用いられないため、「０」で表されている。アドレス情報は、Ｗ画素のそれぞれについて生成され、色補間部３６０に出力される。
【００３７】
（色補間部）
色補間部３６０は、各画素に対して色補間値ｉＲ、ｉＧ、ｉＢ、輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂの各値を補間処理によって生成する。色補間部３６０には、前段処理部３１０から出力されたＲＧＢＷ画像、輝度補間部３２０から出力された輝度画像ｉｍＷ、補間画素選択部３３０から出力されたアドレス情報が入力される。色補間部３６０は、補間画素選択部３３０からのアドレス情報によって指定された画素を用いて補間処理を行う。図７Ｃに示されたアドレス情報は、補間に用いる画素として１６個の画素（３，３）、（３，５）、（３，７）、（３，９）、（５，３）、（５，５）、（５，７）、（５，９）、（７，３）、（７，５）、（７，７）、（７，９）、（９，３）、（９，５）、（９，７）、（９，９）を示している。例えば、図８Ａに示されるように、補間対象のＷ画素（６，５）における色補間値ｉＲは、４個のＲ画素（５，５）、（５，９）、（９，５）、（９，９）を用いた補間により求められる。すなわち、ｉＲ値（６，５）は式（４）に従い、輝度画像ｉｍ（ｉ，ｊ）のうちの選択された４画素の平均値によって求められる。
【数３】
2020088464.tif 000005
【００３８】
同様に、Ｗ画素（６，５）における色補間値ｉＧは、Ｇ画素（３，５）、（３，９）、（５，３）、（５，７）、（７，５）、（７，９）、（９，３）、（９，７）を用いた補間により求められる（図８Ｂ）。Ｗ画素（６，５）における色補間値ｉＢは、選択されたＢ画素（３，３）、（３，７）、（７，３）、（７，７）を用いた補間により求められる（図８Ｃ）。
【００３９】
色補間部３６０は、さらにＷ画素（６，５）における輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂを輝度画像ｉｍＷを用いて補間により生成する。輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂは上述したように、色画素においてＷ画素を参照することにより生成される。例えば、図８Ｄに示されたように、画素（６，５）における輝度補間値ｉＷｒは、アドレス情報によって指定された画素のうちの画素（５，５）、（５，９）、（９，５）、（９，９）を補間に用いることで求められる。すなわち、輝度補間値ｉＷｒ（６，５）は式（５）に従い輝度画像ｉｍＷ（ｉ，ｊ）の平均値として算出される。
【数４】
2020088464.tif 000006
【００４０】
同様に、Ｗ画素（６，５）における輝度補間値ｉＷｇは、画素（３，５）、（３，９）、（５，３）、（５，７）、（７，５）、（７，９）、（９，３）、（９，７）における輝度補間値ｉＷｇを用いた補間により求められる（図８Ｅ）。さらに、Ｗ画素（６，５）における輝度補間値ｉＷｂは、画素（３，３）、（３，７）、（７，３）、（７，７）における輝度補間値ｉＷｂを用いた補間により求められる（図８Ｆ）。以上の処理により、各画素がＲ、Ｇ、Ｂ、ｉＷｒ、ｉＷｇ、ｉＷｂの各値を有する画像情報が出力される。
【００４１】
上述の説明においては、補間値は複数の画素値を単純平均することによって算出されているが、補間対象画素からの距離に応じた重み付け平均によって算出されてもよい。例えば、補間対象画素に近い画素ほど、重み付け係数を大きくしてもよい。また、ガウシアン分布に従い重み付け係数を決定してもよい。さらに、補間処理の計算領域は９×９画素に限定されず、被写体に応じて計算領域を動的に変化させてもよい。
【００４２】
（色合成処理部）
色合成処理部３７０は、色補間値ｉＲ、ｉＧ、ｉＢ、輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂ、色値Ｒ、Ｇ、Ｂ、輝度値Ｗを合成し、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれを生成する。例えば、画素（６，５）におけるＲ、Ｇ、Ｂの各値は、以下の式（６）、（７）、（８）から算出され得る。
【数５】
2020088464.tif 000007
【数６】
2020088464.tif 000008
【数７】
2020088464.tif 000009
式（６）、（７）、（８）の右辺第１項は、輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂを用いてＲ、Ｇ、Ｂの色比を正規化した値を示している。右辺第１項の色比と右辺第２項のＷ値とを乗算することにより、Ｒ、Ｇ、Ｂの各画素値が求められる。色合成処理部３７０は計算領域の全画素について上述の処理を繰り返し実行し、デモザイクされたＲ画像、Ｇ画像、Ｂ画像からなるカラー画像を出力する。
【００４３】
以上、詳述したように、本実施形態においては、補間対象の所定のＷ画素の輝度値との差の絶対値が所定値以下となる輝度値を有する色画素が選択され、選択された色画素に基づき色補間が行われる。補間対象のＷ画素との輝度値の差の絶対値が小さい色画素を用いて色補間を行うことで、被写体のパターンに応じた色補間が可能となる。これにより、例えば被写体のエッジ部などにおいて色にじみなどの偽色を抑制することが可能となり、高画質の画像を提供することが可能となる。
【００４４】
また、本実施形態における色補間処理は、１フレームの画像の画素間において行われ、複数のフレーム間の処理を要しない。このため、フレームメモリを設ける必要がなく、信号処理部をＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのハードウェアへ実装することが容易となる。
【００４５】
［第２の実施形態］
続いて、第２の実施形態における撮像装置を説明する。本実施形態における撮像装置は、色補間のための色画素が選択されなかった場合における例外処理を実行可能である。以下、第１実施形態と異なる点を中心に説明する。
【００４６】
図９は本実施形態における信号処理部のブロック図である。信号処理部３は、前段処理部３１０、輝度補間部３２０、補間画素選択部３３０、色補間部３６０、色合成処理部３７０に加えて、さらに補間画素カウント部（画素計数部）３４０を備える。補間画素カウント部３４０は、補間画素選択部３３０によって選択された画素数をカウントし、Ｒ、Ｇ、Ｂの色画素に対応したカウント値Ｒ＿ｃｏｕｎｔ、Ｇ＿ｃｏｕｎｔ、Ｂ＿ｃｏｕｎｔを出力する。Ｒ、Ｇ、Ｂのカウント値のいずれかが「０」であった場合、すなわち、補間に用いられる色画素が選択されなかった場合には、色補間部３６０は例外処理を実行する。例外処理は、計算領域内の他の色画素の色値を平均する処理であってもよい。
【００４７】
本実施形態における撮像装置の処理を具体例とともに説明する。例えば、図１０Ａに示された計算領域において、ハッチングが施された領域Ｃには黒の被写体が投影され、領域Ｄには白い被写体が投影されていると仮定する。ここで、補間対象のＷ画素（６，５）について選択された色画素、すなわちＷ画素（６，５）の輝度値との差分が閾値ｔｈ以下である色画素は、Ｒ画素（１，５）、（５，５）、（９，５）、Ｇ画素（３，５）、（７，５）である。この場合、補間画素選択部３３０によって生成されるアドレス情報は図１０Ｂのようになる。図１０Ｂにおいて、領域Ｃの色画素はいずれも補間画素として選択されないため、「０」で表されている。補間画素カウント部３４０は、アドレス情報に基づき、補間対象の色画素をカウントする。Ｒ画素、Ｇ画素、Ｂ画素のそれぞれのカウント値は以下のようになる。
Ｒ＿ｃｏｕｎｔ＝３
Ｇ＿ｃｏｕｎｔ＝２
Ｂ＿ｃｏｕｎｔ＝０
【００４８】
Ｂ画素は計算領域には存在しないため、色補間部３６０はＢ画素に基づきＷ画素（６，５）のＢ値を補間することはできない。この場合、色補間部３６０は例外処理を実行し、Ｂ画素以外のＲ画素およびＧ画素の平均値をＷ画素（６，５）の色補間値ｉＢとして生成する。これにより、色補間値が生成されなくなることを回避することができる。
【００４９】
図１１Ａ〜図１１Ｆは、図１０Ａに示された計算領域の画素ブロックにおける補間処理を表す。図１１Ａに示されるように、補間対象のＷ画素（６，５）におけるＲ値は、３個のＲ画素（１，５）、（５，５）、（９，５）を用いた補間により求められる。同様に、Ｗ画素（６，５）におけるＧ値は、Ｇ画素（３，５）、（７，５）を用いた補間により求められる（図１１Ｂ）。Ｗ画素（６，５）におけるＢ値は、Ｂ画素（３，３）、（３，７）、（７，３）、（７，７）を用いることなく（図１１Ｃ）、例外処理によりＲ画素、Ｇ画素を用いた補間により求められる（図１１Ａ、図１１Ｂ）。色補間部３６０は、さらにＷ画素（６，５）における輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂを輝度画像ｉｍＷを用いて補間により生成する。輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂは上述したように、色画素において補間により生成される。例えば、図１１Ｄに示されたように、画素（６，５）における輝度補間値ｉＷｒは、アドレス情報によって指定された輝度補間値ｉＷｒ（１，５）、（５，５）、（９，５）を補間に用いることで求められる。同様に、Ｗ画素（６，５）における輝度補間値ｉＷｇは、画素（３，５）、（７，５）における輝度補間値ｉＷｇを用いた補間により求められる（図１１Ｅ）。さらに、画素（６，５）における輝度補間値ｉＷｂは、画素（３，３）、（３，７）、（７，３）、（７，７）における輝度補間値ｉＷｂを用いずに（図１１Ｆ）、例外処理により輝度補間値ｉＷｒ、ｉＷｇを用いた補間により求められる（図１１Ｄ、図１１Ｅ）。以上の処理により、各画素がＲ、Ｇ、Ｂ、ｉＷｒ、ｉＷｇ、ｉＷｂの各値を有する画像情報が出力される。色合成処理部３７０は、Ｒ、Ｇ、Ｂ、ｉＷｒ、ｉＷｇ、ｉＷｂの各値およびＷ値を色合成することによりＲ画像、Ｇ画像、Ｂ画像を生成する。
【００５０】
以上述べたように、本実施形態によれば、計算領域内に補間に用いられる色画素が選択されない場合においても、色補間が可能となり、カラー画像を生成することができる。なお、例外処理は、上述の例に限定されず、補間対象画素の色値を推定し得る処理であればその種類を問わない。
【００５１】
［第３の実施形態］
続いて、第３の実施形態における撮像装置を説明する。本実施形態における撮像装置は、第２実施形態におけるカウント値を用いて偽色を検出可能である。以下、第１実施形態と異なる点を中心に説明する。
【００５２】
図１２は本実施形態における信号処理部のブロック図である。信号処理部３は、前段処理部３１０、輝度補間部３２０、補間画素選択部３３０、色補間部３６０、色合成処理部３７０、補間画素カウント部３４０に加えてさらに、偽色検出部３５０を備える。偽色検出部３５０は、補間画素カウント部３４０の出力結果を用いて偽色判定を行う。
【００５３】
上述した第２の実施形態において、補間画素選択部３３０によって色画素が選択されなかった場合、計算領域のすべての色画素を用いた補間が行われる。このように、他の色画素を用いて補間を行うと、偽色が発生することがある。本実施形態においては、偽色検出部３５０は、補間画素カウント部３４０のカウント値が「０」になったことを検出し、このカウント値に対応する補間対象画素の偽色情報を出力する。偽色情報は、偽色が生じ得る画素のアドレス（座標）をマップ形式で表したアドレス情報であり得る。例えば、図１０Ｂにおいて、Ｗ画素（６，５）に対応するカウント値Ｂ＿ｃｏｕｎｔは「０」となるため、Ｗ画素（６，５）の座標がアドレス情報に書き込まれる。
【００５４】
本実施形態によれば、カラー画像とともに偽色情報を出力することにより、例えば画像認識において偽色が発生している画素を避けて処理することができ、偽色による誤認識を避けることが可能である。また、フレーム間処理などの他の画像処理を実行し、偽色を低減してもよい。
【００５５】
［第４の実施形態］
図１３は本実施形態における画像処理方法を表すフローチャートであって、第１〜第３の実施形態における信号処理部３の概略動作を表している。以下、第１〜第３実施形態における構成を参照しながら、図１３のフローチャートを説明する。
【００５６】
ステップＳ１０１において、信号処理部３の前段処理部３１０は固体撮像素子２から出力された画素信号においてオフセット補正、ゲイン補正を含む様々な補正を実行し、Ｒ、Ｇ、Ｂ画素のそれぞれ色値とＷ画素のＲＧＢＷ画像を出力する。
【００５７】
ステップＳ１０２において、輝度補間部３２０は色画素のそれぞれにおける輝度補間値（ｉＷ値）を生成する。上述したように、色画素におけるｉＷ値は、色画素の周囲のＷ画素のＷ値に基づき補間され得る。輝度値の補間においては、Ｗ画素の単純平均を用いてもよく、補間対象となる色画素とＷ画素との距離に応じた重み付け平均を用いてもよい。
【００５８】
ステップＳ１０３において、補間画素選択部３３０は、補間対象のＷ画素の輝度値Ｗおよび色画素の輝度補間値ｉＷの差の絶対値（差分）と、所定の閾値ｔｈとの差分を算出する。色画素の輝度補間値ｉＷとの差分が閾値ｔｈ以下である場合（ステップＳ１０４でＮＯ）、補間画素選択部３３０は当該色画素を補間のために選択する。色画素の輝度補間値ｉＷとの差分が閾値を超えた場合、当該色画素と補間対象のＷ画素との色成分が異なると推定され得る。すなわち、補間対象のＷ画素の輝度値との差分が閾値ｔｈ以下となる色画素が計算領域に存在しない場合（ステップＳ１０４でＹＥＳ）、補間画素選択部３３０は他の色成分の色画素を選択する（ステップＳ１０５）。例えば、差分が閾値ｔｈ以下となるＲ画素が計算領域に存在しない場合には、補間画素選択部３３０は他の色画素として例えばＢ画素、Ｇ画素を選択する。
【００５９】
ステップＳ１０６において、補間画素選択部３３０は選択された色画素を示すアドレス情報を生成する。アドレス情報には、補間対象のＷ画素毎に、選択された色画素の座標およびカウント値（Ｒ＿ｃｏｕｎｔ、Ｇ＿ｃｏｕｎｔ、Ｂ＿ｃｏｕｎｔ）が含まれる。カウント値がゼロまたは小さい場合、輝度差が大きい色画素を用いた補間がなされ、偽色が発生し得る。従って、カウント値を参照することにより、偽色が生じ得る画素を特定することができる。
【００６０】
ステップＳ１０７において、色補間部３６０は、計算領域の各画素に対して色補間値ｉＲ、ｉＧ、ｉＢ、輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂの各値を補間処理によって生成する。色補間部３６０には、前段処理部３１０から出力されたＲＧＢＷ画像、輝度補間部３２０から出力された輝度画像ｉｍＷ、補間画素選択部３３０から出力されたアドレス情報が入力される。色補間部３６０は、補間画素選択部３３０からのアドレス情報によって指定された画素を用いて補間処理を行う。
【００６１】
ステップＳ１０８において、色合成処理部３７０は、色補間値ｉＲ、ｉＧ、ｉＢ、輝度補間値ｉＷｒ、ｉＷｇ、ｉＷｂ、色値Ｒ、Ｇ、Ｂ、輝度値Ｗを合成し、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれを生成する。これにより、ＲＧＢＷ画像からデモザイクされた色画像、すなわち、Ｒ画像、Ｇ画像、Ｂ画像が出力される（ステップＳ１０９）。
【００６２】
［第５の実施形態］
本発明の第５実施形態による撮像システム及び移動体について、図１４を用いて説明する。図１４は、本実施形態による撮像システム及び移動体の構成例を示す図である。
【００６３】
図１４（ａ）は、車載カメラに関する撮像システム２０００の一例を示したものである。撮像システム２０００は、第１〜第４の実施形態に記載の撮像装置１を備える。撮像システム２０００は、撮像装置１により取得された複数の画像データに対し、画像処理を行う画像処理部２０３０と、撮像装置１により取得された複数の画像データから視差（視差画像の位相差）の取得を行う視差算出部２０４０を有する。画像処理部２０３０は、第１〜第４の実施形態において説明した撮像装置１における信号処理部３の一部または総ての機能を備えていてもよい。また、撮像システム２０００は、取得された視差に基づいて対象物までの距離を取得する距離計測部２０５０と、取得された距離に基づいて衝突可能性があるか否かを判定する衝突判定部２０６０とを有する。
【００６４】
ここで、視差算出部２０４０、距離計測部２０５０は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部２０６０はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ、ＡＳＩＣ等によって実現されてもよいし、これらの組合せによって実現されてもよい。
【００６５】
撮像システム２０００は、車両情報取得装置２３１０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム２０００は、衝突判定部２０６０での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ２４１０が接続されている。すなわち、制御ＥＣＵ２４１０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム２０００は、衝突判定部２０６０での判定結果に基づいて、ドライバーへ警報を発する警報装置２４２０とも接続されている。例えば、衝突判定部２０６０の判定結果として衝突可能性が高い場合、制御ＥＣＵ２４１０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置２４２０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
【００６６】
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム２０００で撮像する。図１４（ｂ）に、車両前方（撮像範囲２５１０）を撮像する場合の撮像システム２０００を示した。車両情報取得装置２３１０は、撮像システム２０００を動作させ撮像を実行させるように指示を送る。第１〜第４の実施形態の撮像装置１を用いることにより、本実施形態の撮像システム２０００は、測距の精度をより向上させることができる。
【００６７】
以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
【００６８】
［他の実施形態］
以上、本発明に係る撮像装置を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜修正および変形することを妨げるものではない。例えば、上述の第１〜第４の実施形態の構成を組み合わせることも可能である。また、ＲＧＢＷ画素配列に代えて、シアン画素、マゼンタ画素、イエロ画素の減法混色の色画素を用いてもよい。第２の画素としての色画素は複数色のうちのいずれかの色成分を含む色値を出力可能であれば、その種類を問わない。また、Ｗ画素に代えて、Ｇ画素、Ｙｅ画素を用いてもよい。すなわち、第１の画素は第２の画素よりも感度が高く、より多くの色成分を含む輝度値を出力可能であればその種類を問わない。
【００６９】
撮像装置は必ずしも固体撮像素子を備えなくても良く、固体撮像素子から出力された画像信号を処理するコンピュータなどの画像処理装置であっても良い。この場合、撮像装置は画素信号からのＲＡＷデータを入力し、上述の処理を実行することができる。また、固体撮像素子が信号処理部を備えることにより、固体撮像素子が上述の処理を実行しても良い。
【符号の説明】
【００７０】
１  撮像装置
２  固体撮像素子
３  信号処理部
２０  画素部
３１０  前段処理部
３２０  輝度補間部
３３０  補間画素選択部
３４０  補間画素カウント部
３５０  偽色検出部
３６０  色補間部
３７０  色合成処理部
２０００  撮像システム
【図１】
2020088464.tif 000010
【図２】
2020088464.tif 000011
【図３】
2020088464.tif 000012
【図４】
2020088464.tif 000013
【図５】
2020088464.tif 000014
【図６】
2020088464.tif 000015
【図７Ａ】
2020088464.tif 000016
【図７Ｂ】
2020088464.tif 000017
【図７Ｃ】
2020088464.tif 000018
【図８Ａ】
2020088464.tif 000019
【図８Ｂ】
2020088464.tif 000020
【図８Ｃ】
2020088464.tif 000021
【図８Ｄ】
2020088464.tif 000022
【図８Ｅ】
2020088464.tif 000023
【図８Ｆ】
2020088464.tif 000024
【図９】
2020088464.tif 000025
【図１０Ａ】
2020088464.tif 000026
【図１０Ｂ】
2020088464.tif 000027
【図１１Ａ】
2020088464.tif 000028
【図１１Ｂ】
2020088464.tif 000029
【図１１Ｃ】
2020088464.tif 000030
【図１１Ｄ】
2020088464.tif 000031
【図１１Ｅ】
2020088464.tif 000032
【図１１Ｆ】
2020088464.tif 000033
【図１２】
2020088464.tif 000034
【図１３】
2020088464.tif 000035
【図１４】
2020088464.tif 000036