(57)【要約】  撮像装置１４は撮像素子２０と画像処理部２２とを有する。撮像素子２０の受光面上に各画素に対応して少なくとも１種のカラーフィルタと特定のフィルタとを配置する。特定のフィルタは両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する。画像処理部２２は画像信号における特定のフィルタを配置した画素が生成した信号成分に基づいて特定の光源の照射状態を検出する。特定の光源は太陽光と異なる。
2016084385.tif 000002
【特許請求の範囲】
【請求項１】
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、
前記撮像素子から取得する画像信号における、前記特定のフィルタを配置した画素が生成した信号成分に基づいて、前記撮像素子の撮像範囲に照射される太陽光と異なる特定の光源の照射状態を検出する画像処理部とを備える
撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記特定の波長域は、Ｈ２Ｏ、Ｏ２、Ｏ３の少なくともいずれか１種によって吸収される波長域である
撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって
前記少なくとも１種のカラーフィルタは、Ｒフィルタ、Ｇフィルタ、およびＢフィルタであり、
前記Ｒフィルタ、前記Ｇフィルタ、前記Ｂフィルタ、および前記特定のフィルタをそれぞれ１つ有する単位配列が、２次元状に周期的に配置される
撮像装置。
【請求項４】
請求項１から３のいずれか１項に記載の撮像装置であって、
前記特定の光源が点灯している情報を取得する入力部を、さらに備える
撮像装置。
【請求項５】
請求項４に記載の撮像装置であって、
前記画像処理部は、前記特定の光源が点灯している情報を取得するときに、前記特定の光源の実際の照射状態を検出する
撮像装置。
【請求項６】
請求項４または５に記載の撮像装置であって
前記画像処理部は、前記画像信号に基づいて特定の物体を検出可能であり、前記特定の光源が点灯している情報を取得するときに、前記照射状態の検出として、前記特定の物体が検出された領域における前記特定のフィルタを配置した画素を検出し、該検出した画素の信号成分に基づいて、前記特定の光源の照射方向および光量の少なくとも一方を調整する指令を作成する、
撮像装置。
【請求項７】
請求項１から６のいずれか１項に記載の撮像装置であって、
前記画像処理部によって所定の画像処理が施された画像信号を出力する出力部を、さらに備え、
前記所定の処理は、少なくとも一部の領域の前記特定のフィルタを配置した画素が生成した信号成分に基づいて該一部の領域の画像を生成する処理を含む
撮像装置。
【請求項８】
請求項７に記載の撮像装置であって、
前記所定の処理は、前記特定のフィルタを配置した画素以外の画素が生成する信号成分が閾値を超える画素によって形成される領域の画像を、該領域内の前記特定のフィルタを配置した画素が生成した信号成分に基づいて、該領域の画像を生成する処理を含む
撮像装置。
【請求項９】
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、
前記撮像素子の少なくとも前記カラーフィルタを配置した画素による第１撮像画像の明るさが所定の基準未満であるか否かを判定し、前記第１撮像画像の明るさが所定の基準以上であると判定されたときに、前記特定のフィルタを配置した画素のみによる第２撮像画像を取得する画像処理部とを備える
撮像装置。
【請求項１０】
請求項９に記載の撮像装置であって、
前記画像処理部は、
前記第１撮像画像の明るさが所定の基準未満であると判定されたときに、前記特定の波長域の光を発する特定の光源の駆動を停止させ、
前記第１撮像画像の明るさが所定の基準以上であると判定されたときに、前記光源の駆動を開始させる
撮像装置。
【請求項１１】
請求項９または１０に記載の撮像装置であって、
前記画像処理部は、
前記第１撮像画像の明るさが所定の基準値未満であると判定されたときに、前記第１撮像画像を用いて物体検出処理を実行し、
前記第１撮像画像の明るさが所定の基準値以上であると判定されたときに、前記第２撮像画像を用いて物体検出処理を実行する
撮像装置。
【請求項１２】
請求項１１に記載の撮像装置であって、
前記画像処理部は、前記物体検出処理の結果に基づいて、車両内の対象者が特定状態であると判定されたときに、前記対象者に対する警告を行う
撮像装置。
【請求項１３】
請求項９乃至１２の何れか一項に記載の撮像装置であって、
前記特定の波長域は、Ｈ２Ｏ、Ｏ２の少なくともいずれか１種によって吸収される波長域である
撮像装置。
【請求項１４】
請求項９乃至１３の何れか一項に記載の撮像装置であって
前記少なくとも１種のカラーフィルタは、Ｒフィルタ、Ｇフィルタ、およびＢフィルタであり、
前記Ｒフィルタ、前記Ｇフィルタ、前記Ｂフィルタ、および前記特定のフィルタをそれぞれ１つ有する単位配列が、２次元状に周期的に配置される
撮像装置。
【請求項１５】
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、前記撮像素子から取得する画像信号における、前記特定のフィルタを配置した画素が生成した信号成分に基づいて、前記撮像素子の撮像範囲に照射される太陽光と異なる特定の光源の照射状態を検出する画像処理部とを有する撮像装置と、
前記特定の光源とを備える
車両。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１４年１１月２７日に日本国に特許出願された特願２０１４−２４０３５６の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
【技術分野】
【０００２】
本発明は、撮像装置および車両に関するものである。
【背景技術】
【０００３】
カラー画像の撮像以外の機能を得るため、撮像素子におけるカラーフィルタ配列の一部に、特定の波長域のフィルタを配置した撮像装置が提案されている。例えば、虹彩の撮像に適した波長域のフィルタを撮像素子に配置し、虹彩の撮像時には、当該フィルタを配置した画素のみによって撮像を行うことが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４４２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在、撮像装置は多様な用途に用いられており、用途に応じた特殊な機能を発揮することが求められている。しかし、特許文献１に開示されたカメラでは、必ずしも、用途に応じた特殊な機能を発揮することはできなかった。【０００６】
本発明の目的は、用途に応じて、特定の機能を発揮し得る撮像装置および車両を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る撮像装置は、
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、
前記撮像素子から取得する画像信号における、前記特定のフィルタを配置した画素が生成した信号成分に基づいて、前記撮像素子の撮像範囲に照射される太陽光と異なる特定の光源の照射状態を検出する画像処理部とを備える。【０００８】
また、本発明の一実施形態に係る撮像装置は、
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、
前記撮像素子の少なくとも前記カラーフィルタを配置した画素による第１撮像画像の明るさが所定の基準未満であるか否かを判定し、前記第１撮像画像の明るさが所定の基準以上であると判定されたときに、前記特定のフィルタを配置した画素のみによる第２撮像画像を取得する画像処理部とを備える。【０００９】
また、本発明の一実施形態に係る車両は、
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、前記撮像素子から取得する画像信号における、前記特定のフィルタを配置した画素の信号成分に基づいて、前記撮像素子の撮像範囲に照射される太陽光以外の特定の光源の照射状態を検出する画像処理部とを有する撮像装置と
前記特定の光源とを備える。
【発明の効果】
【００１０】
本発明の実施形態に係る撮像装置および車両によれば、用途に応じて、特定の機能を発揮し得る。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る撮像装置を有する車両における、多様な機器の配置を示す配置図である。
【図２】太陽光の分光放射スペクトルである。
【図３】図１の撮像装置の概略構成を示す機能ブロック図である。
【図４】図３の撮像素子の受光面を覆うカラーフィルタのフィルタ配列を示す配列図である。
【図５】図３の画像処理部が実行する、特定の光源の異常検出処理を説明するためのフローチャートである。
【図６】図３の画像処理部が実行する、後続する物体への光の照射の有無の判別処理を説明するためのフローチャートである。
【図７】図３の画像処理部が実行する、特定の画像処理を説明するためのフローチャートである。
【図８】本発明の第２実施形態に係る撮像装置を有する車両における、多様な機器の配置を示す配置図である。
【図９】図８の撮像装置の概略構成を示す機能ブロック図である。
【図１０】図８の画像処理部が実行する、動作モード決定処理を説明するためのフローチャートである。
【図１１】図８の画像処理部の、対象者の状態を監視する動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した撮像装置の実施形態について、図面を参照して説明する。
【００１３】
（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置の車両（移動体）への配置を示す概略的な側面図である。車両１０は、表示部１１、ランプＥＣＵ１２、特定の光源１３、および撮像装置１４を含んで、構成される。撮像装置１４と表示部１１およびランプＥＣＵ１２とは、専用線またはＣＡＮなどの車載ネットワークを介して情報および信号を伝達可能である。また、ランプＥＣＵ１２と特定の光源１３とも、専用線またはＣＡＮなどの車載ネットワークを介して情報および信号を伝達可能である。
【００１４】
表示部１１は、運転者が視認可能な位置に設けられる。ランプＥＣＵ１２は、車両１０の任意の位置に設けられる。特定の光源１３は、例えばテールランプ１５、ブレーキランプ１６、バックアップランプ１７、および方向指示ランプ１８を含み、車両１０の後方に設けられる。撮像装置１４は、車両１０の外部の被写体を撮像可能となる位置、例えば車両１０の後方外部の被写体をそれぞれ撮像可能となるように、それぞれ車両１０の後方に設けられる。
【００１５】
表示部１１は、例えば液晶ディスプレイであり、多様な画像を表示する。本実施形態では、表示部１１は、撮像装置１４から取得する画像信号に相当する画像を表示する。
【００１６】
ランプＥＣＵ１２は、運転者による操作入力に対応して、車両１０の多様な種類のランプを駆動する。本実施形態においては、ランプＥＣＵ１２は、例えば、運転者がランプスイッチをＯＮにする操作入力を行うときに、テールランプ１５を点灯させる。また、本実施形態において、ランプＥＣＵ１２は、運転者がブレーキペダルを踏込む操作入力を行うときに、ブレーキランプ１６を点灯させる。また、本実施形態において、ランプＥＣＵ１２は、シフトレバーをリバースのポジションに配置する操作入力を行うときに、バックアップランプ１７を点灯させる。また、本実施形態において、ランプＥＣＵ１２は、運転者がウィンカーレバーをいずれかの方向に回転させる操作入力を行うときに、方向指示ランプ１８を点灯させる。また、ランプＥＣＵ１２は、テールランプ１５、ブレーキランプ１６、バックアップランプ１７および方向指示ランプ１８それぞれが点灯している情報を撮像装置１４に送信する。また、ランプＥＣＵ１２は、後述するように撮像装置１４から取得する後続の車両に関する情報に基づいて、テールランプ１５の光量および照射方向の調整を行う。
【００１７】
テールランプ１５、ブレーキランプ１６、バックアップランプ１７、および方向指示ランプ１８は、ランプＥＣＵ１２の制御に基づいて、点灯および消灯する。テールランプ１５、ブレーキランプ１６、バックアップランプ１７、および方向指示ランプ１８は、例えば白熱電球を光源として有し、太陽光の放射スペクトルにおいて、両側に隣接する波長域よりも分光放射照度が低い特定の波長域の光を少なくとも含む光を発する。特定の波長域は、図２に示すように、例えば、Ｏ３によって吸収される３２０ｎｍ以下の波長域、Ｈ２０またはＯ２によって吸収される７５０ｎｍ以上７６０ｎｍ以内の波長域、９３０ｎｍ以上９７０ｎｍ以内の波長域、１１００ｎｍ以上１１７０ｎｍ以内の波長域などである。
【００１８】
撮像装置１４は、被写体を撮像する。また、撮像装置１４は、撮像した被写体に基づいて、特定の光源１３の照射状態を検出する。また、撮像装置１４は、撮像した被写体の画像に所定の画像処理を施し、表示部１１に出力する。以下に、撮像装置１４の上述の機能を、撮像装置１４の構成とともに詳細に説明する。
【００１９】
図３に示すように、撮像装置１４は、光学系１９、撮像素子２０、入力部２１、画像処理部２２、出力部２３を有する。
【００２０】
光学系１９は、所望の光学特性、例えば焦点距離、焦点深度、画角などを有するように、少なくとも１枚のレンズを含む光学素子によって構成される。光学系１９は、被写体像を撮像素子２０に結像させる。
【００２１】
撮像素子２０は、例えばＣＭＯＳ撮像素子またはＣＣＤ撮像素子であり、受光面に結像した被写体を撮像して、画像信号を生成する。撮像素子２０の受光面上には、２次元状に複数の画素が配置され、各画素は受光量に応じた画素信号を生成する。１フレームの画像信号は、受光面を構成する各画素が生成する画素信号によって構成される。
【００２２】
各画素は、少なくとも１種のカラーフィルタおよび特定のフィルタのいずれかによって覆われる。本実施形態において、少なくとも１種のカラーフィルタは、例えばＲフィルタ、Ｇフィルタ、およびＢフィルタである。少なくとも１種のカラーフィルタは他の可視光域のフィルタであってもよい。特定のフィルタは、上述の特定の光源１３が発する光に含まれる、上述の特定の波長域を透過域として有する。図４に示すように、Ｒフィルタ（符号“Ｒ”参照）、Ｇフィルタ（符号“Ｇ”参照）、Ｂフィルタ（符号“Ｂ”参照）、特定のフィルタ（符号“Ｓ”参照）をそれぞれ１つずつ有する単位配列ＵＡが２次元状に周期的に配置される。ただし、フィルタの配列はこのような配列に限定されない。例えば、特定のフィルタを含む単位配列ＵＡが、ベイヤー配列の行方向および列方向の一部において置換されるように、配置されてもよい。
【００２３】
入力部２１は、ランプＥＣＵ１２から、テールランプ１５、ブレーキランプ１６、バックアップランプ１７、および方向指示ランプ１８それぞれが点灯している情報を取得する。
【００２４】
画像処理部２２は、例えばＤＳＰまたは特定のプログラムを読込むことにより特定の機能を実行する汎用のＣＰＵである。画像処理部２２は、撮像素子２０から画像信号を取得する。画像処理部２２は、画像信号に、ホワイトバランス処理、色補間処理などの前段処理を施す。また、画像処理部２２は、前段処理を施した画像信号に、さらに輪郭強調処理などの後段処理を施す。また、画像処理部２２は、後述するように、画像信号すなわち撮像素子の撮像範囲に照射される特定の光源１３の照射状態を検出する。また、画像処理部２２は、後述するように、前段処理を施した画像信号に、特定の画像処理を、後段処理に含めて、施す。
【００２５】
出力部２３は、画像処理部２２が、前段処理および後段処理を含む所定の画像処理が施された画像信号を表示部１１に出力する。また、出力部２３は、特定の光源１３の照射状態の検出に基づいて画像処理部２２が生成した情報を、表示部１１およびランプＥＣＵ１２の少なくとも一方に出力する。
【００２６】
次に、本実施形態において、画像処理部２２が行う特定の光源１３の照射状態の検出および特定の画像処理の実施について、詳細に説明する。特定の光源１３の照射状態の検出は、特定の光源１３の実際の照射状態の検出、すなわち特定の光源１３の異常検出、および後続する物体への光の照射の有無の判別を含み、以下において、別々に説明する。
【００２７】
画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３が点灯している情報を取得するときに、特定の光源１３の異常検出を行う。
【００２８】
まず、画像処理部２２は、撮像素子２０から取得する画像信号の中で、特定の波長域の光量に相当する信号成分、例えば特定のフィルタが配置された画素が生成した信号成分を抽出する。信号成分を抽出する画素は、画像を構成する全画素であってもよいし、特定の光源１３から放射される光が照射されると想定される領域内の画素であってもよい。
【００２９】
画像処理部２２は、抽出した信号成分の信号強度、すなわち特定の光源１３の実際の照射光量が十分に大きいときは特定の光源１３は平常であると判別し、信号強度が小さいときに特定の光源１３に異常が発生していると判別する。具体的には、画像処理部２２は、特定の光源１３の点灯時および消灯時における特定のフィルタを配置した画素の信号成分を比較、例えば両者の比を閾値と比較することによって、特定の光源１３の異常判別を行う。または、画像処理部２２は、例えば抽出した信号成分の信号強度の平均値を閾値と比較し、当該平均値が閾値を超えるときに平常であって、閾値以下であるときに異常が発生していると判別してもよい。
【００３０】
画像処理部２２は、特定の光源１３に異常が発生していると判別すると、当該特定の光源１３に異常があることを報知する画像、例えば撮像素子２０から取得した画像にメッセージを重畳した画像を生成する。画像処理部２２は、出力部２３を介して当該報知する画像を表示部１１に出力し、表示部１１に表示させる。
【００３１】
画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３の中で、例えばテールランプ１５が点灯している情報を取得するときに、後続する物体、例えば車両への光の照射の有無の判別を行う。まず、特定の光源１３の異常判別と同様に、画像処理部２２は、撮像素子２０から取得する画像信号の中で、特定の波長域の光量に相当する信号成分、例えば特定のフィルタが配置された画素が生成した信号成分を抽出する。
【００３２】
画像処理部２２は、抽出した信号成分の中で、信号強度が閾値を越える信号成分を抽出し、対応する画素の画像全体の中の位置座標を算出する。画像処理部２２は、画像全体に対して公知の物体認識を行ない、他の車両の検出を行う。画像処理部２２は、検出された車両が占める領域と、算出された位置座標とが重なるか否かを判別する。
【００３３】
画像処理部２２は、検出された車両の位置座標と、算出された位置座標すなわち特定の波長域の光の光量が大きな位置とが重なるときに、テールランプ１５からの光の照射方向を鉛直下方に下げる指令、または光量を低下させる指令を生成する。画像処理部２２は、出力部２３を介して当該指令をランプＥＣＵ１２に出力し、テールランプ１５からの光の照射方向および光量の少なくとも一方を調整させる。
【００３４】
画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３の中で、例えばバックアップランプ１７が点灯している情報を取得するときに、特定の画像処理を実施する。まず、画像処理部２２は、特定の波長域以外の信号成分、たとえばＲＧＢ信号成分に基づく輝度が閾値を超える画素を抽出する。次に、画像処理部２２は、抽出した画素により所定の大きさ（所定の画素数）を超える領域を形成するか否かを判別する。
【００３５】
さらに、画像処理部２２は、所定の大きさを超える領域を形成する画素に対してはＲＧＢの信号成分を用いずに特定の波長域の信号成分、すなわち特定のフィルタを配置した画素が生成した信号成分のみを用いてモノクロ画像を作成する。さらに、画像処理部２２は、他の画素においては、通常と同様にカラー画像を作成し、当該カラー画像とモノクロ画像とを結合した画像を画像信号として生成する。画像処理部２２は、出力部２３を介して当該画像信号を表示部１１に出力し、表示部１１に表示させる。
【００３６】
次に、本実施形態において画像処理部２２が実行する、特定の光源１３の異常検出処理について、図５を用いて説明する。画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３が点灯している情報を取得するときに、特定の光源１３の異常検出処理を開始する。
【００３７】
ステップＳ１００において、画像処理部２２は、画像信号から、特定の波長域の光量に相当する信号成分を抽出する。信号成分を抽出すると、プロセスはステップＳ１０１に進む。
【００３８】
ステップＳ１０１では、画像処理部２２は、ステップＳ１００において抽出した信号成分の信号強度を平均化する。また、以前のフレームの画像信号に対して既に信号強度の平均化を行っていた場合には、画像処理部２２は、平均化した信号強度を、以前のフレームの画像信号においての平均化した信号強度と平均化する。信号強度の平均化を終えると、プロセスはステップＳ１０２に進む。
【００３９】
ステップＳ１０２では、画像処理部２２は、ステップＳ１０２において平均化した信号強度を画像処理部２２が有するメモリに格納する。メモリに格納すると、プロセスはステップＳ１０３に進む。
【００４０】
ステップＳ１０３では、画像処理部２２は、ランプＥＣＵ１２から特定の光源１３を消灯する情報を取得しているか否かを判別する。消灯する情報を取得していないときには、プロセスはステップＳ１００に戻る。消灯する情報を取得しているときには、プロセスはステップＳ１０４に進む。
【００４１】
ステップＳ１０４では、画像処理部２２は、画像信号から、特定の波長域の光量に相当する信号成分を抽出する。信号成分を抽出すると、プロセスはステップＳ１０５に進む。
【００４２】
ステップＳ１０５では、画像処理部２２は、ステップＳ１０４において抽出した信号成分の信号強度を平均化する。信号強度の平均化を終えると、プロセスはステップＳ１０６に進む。
【００４３】
ステップ１０６では、画像処理部２２は、ステップＳ１０２においてメモリに格納した点灯時の信号強度の平均値を、ステップＳ１０５において算出した消灯時の信号強度の平均値で割った比率と、閾値とを比較する。当該比率が閾値以上であるときには、ステップＳ１０７をスキップして、特定の光源１３の以上検出処理を終了する。当該比率が閾値未満であるときには、プロセスはステップＳ１０７に進む。
【００４４】
ステップＳ１０７では、画像処理部２２は、特定の光源１３に異常があることを報知する画像を生成する。さらに、画像処理部２２は、出力部２３を介して当該画像を表示部１１に出力する。画像の出力後、特定の光源１３の異常検出処理を終了する。
【００４５】
次に、本実施形態において画像処理部２２が実行する、後続する物体への光の照射の有無の判別処理について、図６を用いて説明する。画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３が点灯している情報を取得するときに、後続する物体への光の照射の有無の判別処理を開始する。
【００４６】
ステップＳ２００において、画像処理部２２は、画像信号から、特定の波長域の光量に相当する信号成分を抽出する。信号成分を抽出すると、プロセスはステップＳ２０１に進む。
【００４７】
ステップＳ２０１では、画像処理部２２は、ステップＳ２００において抽出した信号成分の中で閾値を越える信号成分をさらに抽出する。信号成分をさらに抽出すると、プロセスはステップＳ２０２に進む。
【００４８】
ステップＳ２０２では、画像処理部２２は、ステップＳ２０１において抽出した信号成分に対応する画素の位置座標を算出する。位置座標の算出後、プロセスはステップＳ２０３に進む。
【００４９】
ステップＳ２０３では、画像処理部２２は、画像全体に対して物体認識を行う。物体認識後、プロセスはステップＳ２０４に進む。
【００５０】
ステップＳ２０４では、画像処理部２２は、ステップＳ２０３において実行した物体認識により、画像内に車両が含まれるか否かを判別する。車両が含まれるときには、プロセスはステップＳ２０５に進む。車両が含まれないときには、後続する物体への光の照射の有無の判別処理を終了する。
【００５１】
ステップＳ２０５では、画像処理部２２は、車両が占める領域と、ステップＳ２０２において算出した画素の位置座標が重なるか否かを判別する。重なるときには、プロセスはステップＳ２０６に進む。重ならないときには、後続する物体への光の照射の有無の判別処理を終了する。
【００５２】
ステップＳ２０６では、画像処理部２２は、テールランプ１５からの光の照射方向を鉛直下方に下げる指令、または光量を低下させる指令を生成する。さらに、画像処理部２２は、出力部２３を介して当該指令をランプＥＣＵ１２に出力する。指令の出力後、後続する物体への光の照射の有無の判別処理を終了する。
【００５３】
次に、本実施形態において画像処理部２２が実行する、特定の画像処理について、図７を用いて説明する。画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３が点灯している情報を取得するときに、特定の画像処理を開始する。
【００５４】
ステップＳ３００において、画像処理部２２は、ＲＧＢ信号成分を用いて、各画素における輝度を算出する。全画素の輝度を算出すると、プロセスはステップＳ３０１に進む。
【００５５】
ステップＳ３０１では、画像処理部２２は、画像信号から、輝度が閾値を越える画素を抽出する。画素を抽出すると、プロセスはステップＳ３０２に進む。
【００５６】
ステップＳ３０２では、画像処理部２２は、ステップＳ３０１において抽出した画素が所定の大きさを超える領域を形成するか否かを判別する。所定の大きさを超える領域を形成しないときには、プロセスはステップＳ３０３に進む。所定の大きさを超える領域を形成するときには、プロセスはステップＳ３０４に進む。
【００５７】
ステップＳ３０３では、画像処理部２２は、画像信号の全領域に対して、ＲＧＢ信号成分のみを用いて、カラー画像を生成する。また、画像処理部２２は、生成したカラー画像に対して、後段処理を施して、表示部１１に出力する。カラー画像の出力後、特定の画像処理を終了する。
【００５８】
ステップＳ３０４では、画像処理部２２は、画像信号の、ステップＳ３０２において判別された領域内において、特定の波長域の信号成分のみを用いてモノクロ画像を生成する。モノクロ画像の生成後、プロセスはステップＳ３０５に進む。
【００５９】
ステップＳ３０５では、画像処理部２２は、画像信号の、ステップＳ３０２において判別された領域外において、ＲＧＢ信号成分のみを用いてカラー画像を生成する。カラー画像の生成後、プロセスはステップＳ３０６に進む。
【００６０】
ステップＳ３０６では、画像処理部２２は、ステップＳ３０４において生成したモノクロ画像と、ステップＳ３０５において生成したカラー画像とを結合する。画像処理部２２は、結合した画像に後段処理を施し、表示部１１に出力する。結合した画像の出力後、特定の画像処理を終了する。
【００６１】
以上のような構成の第１実施形態の撮像装置１４によれば、特定のフィルタを配置した画素の信号成分に基づいて、特定の光源１３の照射状態を検出する。したがって、太陽光が十分に照射される屋外においても、肉眼では困難な、特定の光源１３の照射状況を検出可能である。それゆえ、車両１０のように特定の光源１３から光が照射されることのある被写体を撮像するという用途に応じて、被写体が太陽光により明るく照らされるときに特定の光源１３の照射状態を検出するという特定の機能を発揮し得る。
【００６２】
また、本実施形態の撮像装置によれば、撮像装置１４が入力部２１を有するので、特定のフィルタが配置された画素を用いた処理（特定の光源１３の異常検出処理、後続する物体への光の放射の有無の判別処理、特定の画像処理）に対して、開始条件を付与し得る。開始条件を付与することにより、特定のフィルタが配置された画素を用いた処理の、不必要な実行を抑制でき、その結果、消費電力を低減し得る。
【００６３】
また、本実施形態の撮像装置によれば、特定の光源１３から光を照射しているときに、特定のフィルタが配置された画素の信号成分に基づいて、特定の光源１３の実際の照射状態、言い換えると異常の発生の有無を検出する。したがって、日中のように明るい環境下においても、カラー画像では視認の困難な特定の画像を用いて、特定の光源１３の異常を検出し得る。
【００６４】
また、本実施形態の撮像装置によれば、特定の光源１３から光を照射しているとき、後続の車両に当該光が照射されているかを判別し、照射されているときに照射方向などを調整するので、後続の車両の乗員に知覚させる眩しさが抑制され得る。
【００６５】
また、本実施形態の撮像装置によれば、特定のフィルタを配置した画素以外の画素が生成する信号成分が閾値を超える画素においては特定のフィルタを配置した画素が生成する信号成分を用いて画像を生成する。したがって、例えば、トンネル内において撮像した画像において、暗い場所用の露光調整などによりトンネル外部の被写体が白飛びしてしまう場合においても、太陽光の明るさが抑制される一方で特定の光源１３により適度に特定の波長域の光が照射されるので、トンネル外部の被写体を視認可能に再現し得る。
【００６６】
（第２実施形態）
次に、図８を参照して、本発明の第２実施形態に係る撮像装置１４０の車両１０への配置について説明する。以下、同一の構成については同一の符号を付し、説明は省略する。
【００６７】
車両１０は、ランプＥＣＵ１２０と、特定の光源１３０と、撮像装置１４０と、を備える。撮像装置１４０とランプＥＣＵ１２０とは、専用線またはＣＡＮなどの車載ネットワークを介して情報および信号を伝達可能である。また、ランプＥＣＵ１２０と光源１３０とも、専用線またはＣＡＮなどの車載ネットワークを介して情報および信号を伝達可能である。
【００６８】
ランプＥＣＵ１２０は、車両１０の任意の位置に設けられる。光源１３０は、例えば車両１０のダッシュボード２４０に配置され、運転者などの対象者２５０の顔に光を照射可能である。後述するように、光源１３０は特定の波長域の光を発する。撮像装置１４０は、例えば車両１０のダッシュボード２４０に配置され、光源１３０からの光が照射された対象者２５０の顔を撮像可能である。具体的には、撮像装置１４０の視野内に、車両１０内で対象者２５０の顔が存在し得る比較的広い領域が含まれるように、撮像装置１４０が車両１０に配置される。
【００６９】
ランプＥＣＵ１２０は、後述するように撮像装置１４０から取得する情報に基づいて、光源１３０を点灯させる。ここで光源１３０を点灯させるときは、ランプＥＣＵ１２０は、後述するように撮像装置１４０から取得する同期信号に基づいて、撮像装置１４０による撮像タイミングと同期して光源１３０を点灯させる。好適には、ランプＥＣＵ１２０は、後述するように撮像装置１４０が第１動作モードで動作するときに、光源１３０を消灯させたままにし、撮像装置１４０が第２動作モードで動作するときに、光源１３０を点灯させる。また、ランプＥＣＵ１２０は、上述した第１実施形態と同様に、光源１３０が点灯している情報を撮像装置１４０に送信してもよい。
【００７０】
光源１３０は、例えばＬＥＤなどであって、所定の波長帯域の光を発する。本実施形態において、光源１３０は、Ｏ３によって吸収される３２０ｎｍ以下の波長域、Ｈ２０またはＯ２によって吸収される７５０ｎｍ以上７６０ｎｍ以内の波長域、９３０ｎｍ以上９７０ｎｍ以内の波長域、または１１００ｎｍ以上１１７０ｎｍ以内の波長域などの光を発するランプである。光源１３０は、例えば画角が調整されたレンズを含む照明光学系を備えてもよい。発せられる光の波長域および指向性は、任意のものを採用可能である。好適には、光源１３０は、赤外帯域のうち、７５０ｎｍ以上７６０ｎｍ以内の波長域、９３０ｎｍ以上９７０ｎｍ以内の波長域、または１１００ｎｍ以上１１７０ｎｍ以内の波長域などの光を発する赤外光ランプである。
【００７１】
撮像装置１４０は、対象者２５０の顔を撮像して撮像画像を生成する。また、撮像装置１４０は、撮像画像に基づいて、対象者２５０の状態を判定する。好適には、撮像装置１４０は、対象者２５０が特定の状態であると判定されたときに、対象者２５０に対する警告を行う。以下に、撮像装置１４０の上述の機能を、撮像装置１４の構成とともに詳細に説明する。
【００７２】
図９に示すように、撮像装置１４０は、光学系１９０と、撮像素子２０と、入力部２１０と、画像処理部２２０と、出力部２３０と、を有する。
【００７３】
光学系１９０は、所望の光学特性、例えば焦点距離、焦点深度、画角などを有するように、少なくとも１枚のレンズを含む光学素子を有する。光学系１９０は、被写体像を撮像素子２０に結像させる。撮像光学系１９０は、光源１３０からの照明光の照射先からの反射光を取込可能となるように、撮像装置１４０の筐体に配置される。本実施形態において、光学系１９０は、照明光が照射された対象者２５０の顔を含む被写体の像を結像可能である。
【００７４】
撮像素子２０は、上述した第１実施形態と同一であるため、説明は省略する。
【００７５】
入力部２１０は、後述するように画像処理部２２０が第２動作モードで動作するときに、ランプＥＣＵ１２０から、光源１３０が点灯している情報を取得する。
【００７６】
画像処理部２２０は、例えばＤＳＰまたは特定のプログラムを読込むことにより特定の機能を実行する汎用のＣＰＵである。画像処理部２２０は、撮像素子２０によって生成された画像信号（以下、「撮像画像」ともいう。）に対する種々の画像処理、および撮像装置１４０全体の動作制御を行う。例えば、画像処理部２２０は、撮像のタイミングを示す同期信号を生成し、出力部２３０を介してランプＥＣＵ１２０へ出力する。また画像処理部２２０は、撮像素子２０の動作を制御して、周期的に、例えば６０ｆｐｓで被写体を撮像させる。
【００７７】
本実施形態において、画像処理部２２０は、後述するように第１動作モードまたは第２動作モードで動作する。
【００７８】
（動作モード決定処理）
まず、動作モードを第１動作モードまたは第２動作モードに決定するための動作モード決定処理について説明する。
【００７９】
はじめに画像処理部２２０は、撮像素子２０から撮像画像（第１撮像画像）を取得する。ここで第１撮像画像は、少なくともカラーフィルタが配置された画素による撮像画像であって、例えばカラー画像である。続いて画像処理部２２０は、第１撮像画像に、露出調整処理、ホワイトバランス処理、および色補間処理などの第１前段処理を施す。また画像処理部２２０は、第１前段処理が施された第１撮像画像に、さらに輪郭強調処理などの後段処理を施す。
【００８０】
続いて画像処理部２２０は、第１前段処理および後段処理が施された第１撮像画像の明るさが所定の基準未満であるか否かを判定する。ここで所定の基準の明るさは、例えば第１撮像画像が白飛びするなど、後述する物体検出処理において第１撮像画像上の対象者２５０の顔の検出精度が一定程度低下する明るさである。具体的には、画像処理部２２０は、抽出された信号成分の信号強度、すなわち外光として車両１０内に差し込む太陽光の照射光量が所定の閾値未満であるときに、第１撮像画像の明るさが基準未満であると判定する。所定の閾値は、例えば実験またはシミュレーションによって予め決定可能である。
【００８１】
抽出された信号成分の信号強度が所定の閾値未満であると判定されたときに、すなわち第１撮像画像の明るさが所定の基準未満であると判定されたときに、画像処理部２２０は、動作モードを第１動作モードに決定する。また画像処理部２２０は、光源１３０の駆動停止要求を、出力部２３０を介してランプＥＣＵ１２０に出力する。行動停止要求を取得したランプＥＣＵ１２０は、光源１３０を消灯させたままにする。
【００８２】
一方、抽出された信号成分の信号強度が所定の閾値以上であると判定されたときに、すなわち第１撮像画像の明るさが所定の基準以上であると判定されたときに、画像処理部２２０は、動作モードを第２動作モードに決定する。また画像処理部２２０は、光源１３０の駆動開始要求を、出力部２３０を介してランプＥＣＵ１２０に出力する。駆動開始要求を取得したランプＥＣＵ１２０は、上述した同期信号に基づく光源１３０の点灯を開始させる。
【００８３】
（第１動作モード）
次に、第１動作モードにおける画像処理部２２０の動作について説明する。
【００８４】
はじめに画像処理部２２０は、撮像素子２０から撮像画像を取得する。続いて画像処理部２２０は、撮像画像に、露出調整処理、ホワイトバランス処理、および色補間処理などの第１前段処理を施す。また画像処理部２２０は、第１前段処理が施された撮像画像に、さらに輪郭強調処理などの後段処理を施す。ここで第１撮像画像は、上述した動作モード決定処理において生成された第１撮像画像が用いられてもよい。
【００８５】
続いて画像処理部２２０は、カラー画像である第１撮像画像を用いて物体検出処理を実行する。物体検出処理には、例えばパターンマッチングを用いる手法、または撮像画像上の特徴点を抽出する手法など、任意の手法が採用可能である。また第１動作モードにおける物体検出処理には、例えばカラー画像に対応するアルゴリズムが用いられてもよい。以下、物体検出処理によって、対象者２５０の顔、目、および瞳孔（以下、単に「対象者２５０の顔」ともいう。）が検出されるものとして説明する。
【００８６】
続いて画像処理部２２０は、第１撮像画像上の対象者２５０の検出結果に基づいて、対象者２５０に対する警告を行う。例えば、第１撮像画像上の対象者２５０の眼または瞳孔が所定時間連続して（連続する所定数のフレームに亘って）検出できなかった場合には、対象者２５０がよそ見運転または居眠り運転をしている状態（特定状態）である蓋然性が高い。対象者２５０が特定状態であると判定されたときに、画像処理部２２０は警告を行う。警告の実行は、例えば撮像装置１４０に備えられるスピーカを介した警告音の発生、または車両１０に備えられたスピーカを介して警告音を発生させるための警告信号の出力などを含む。
【００８７】
（第２動作モード）
次に、第２動作モードにおける画像処理部２２０の動作について説明する。
【００８８】
はじめに画像処理部２２０は、撮像素子２０から第１撮像画像を取得する。続いて画像処理部２２０は、撮像素子２０から取得した第１撮像画像の中で、特定のフィルタが配置された画素が生成した画素信号のみを抽出して、第２撮像画像を取得する。第２撮像画像は、例えばモノクロ画像である。続いて画像処理部２２０は、第２撮像画像に、露出調整処理などの第２前段処理を施す。また画像処理部２２０は、第２前段処理が施された第２撮像画像に、さらに輪郭強調処理などの後段処理を施す。
【００８９】
続いて画像処理部２２０は、モノクロ画像である第２撮像画像を用いて物体検出処理を実行する。物体検出処理には、例えばパターンマッチングを用いる手法、または撮像画像上の特徴点を抽出する手法など、任意の手法が採用可能である。また第２動作モードにおける物体検出処理には、例えばモノクロ画像に対応するアルゴリズムが用いられてもよい。以下、物体検出処理によって、対象者２５０の顔、目、および瞳孔（以下、単に「対象者２５０の顔」ともいう。）が検出されるものとして説明する。
【００９０】
続いて画像処理部２２０は、第２撮像画像上の対象者２５０の検出結果に基づいて、対象者２５０に対する警告を行う。例えば、第２撮像画像上の対象者２５０の眼または瞳孔が所定時間連続して（連続する所定数のフレームに亘って）検出できなかった場合には、対象者２５０がよそ見運転または居眠り運転をしている状態（特定状態）である蓋然性が高い。対象者２５０が特定状態であると判定されたときに、画像処理部２２０は警告を行う。警告の実行は、例えば撮像装置１４０に備えられるスピーカを介した警告音の発生、または車両１０に備えられたスピーカを介して警告音を発生させるための警告信号の出力などを含む。ここで、第２動作モードにおいて対象者２５０の状態を判定するアルゴリズムと、上述した第１動作モードにおいて対象者２５０の状態を判定するアルゴリズムと、が異なってもよい。
【００９１】
また画像処理部２２０は、第２動作モードによる動作の実行中に、上述した第１実施形態と同様にして、光源１３０の異常検出を行ってもよい。
【００９２】
出力部２３０は、画像処理部２２０が生成した、光源１３０の駆動停止要求および駆動開始要求をランプＥＣＵ１２０に出力する。また出力部２３０は、画像処理部２２０が生成した警告信号を、例えば車両１０に備えられたＥＣＵなどに出力する。
【００９３】
次に、図１０を参照して、上述した動作モード決定処理を実行する画像処理部２２０の動作について説明する。動作モード決定処理は、撮像素子２０が撮像画像を生成する各フレームにおいて実行されてもよく、一部のフレームにおいて間欠的に実行されてもよい。
【００９４】
ステップＳ４００において、画像処理部２２０は、撮像素子２０から第１撮像画像を取得する。また画像処理部２２０は、第１撮像画像に対して第１前段処理および後段処理を施す。その後、プロセスはステップＳ４０１に進む。
【００９５】
ステップＳ４０１では、画像処理部２２０は、第１撮像画像の明るさが所定の基準未満であるか否かを判定する。明るさが基準未満であると判定されたときには、プロセスはステップＳ４０２に進む。一方、明るさが基準以上であると判定されたときには、プロセスはステップＳ４０４に進む。
【００９６】
ステップＳ４０２では、画像処理部２２０は、動作モードを第１動作モードに決定する。その後、プロセスはステップＳ４０３に進む。
【００９７】
ステップＳ４０３では、画像処理部２２０は、出力部２３０を介して、光源１３０の駆動停止要求をランプＥＣＵ１２０に出力して、動作モード決定処理を終了する。
【００９８】
ステップＳ４０４では、画像処理部２２０は、動作モードを第２動作モードに決定する。その後、プロセスはステップＳ４０５に進む。
【００９９】
ステップＳ４０５では、画像処理部２２０は、出力部２３０を介して、光源１３０の駆動開始要求をランプＥＣＵ１２０に出力する。その後、動作モード決定処理が終了する。
【０１００】
次に、図１１を参照して、第１動作モードまたは第２動作モードにおける画像処理部２２０の動作について説明する。
【０１０１】
ステップＳ５００において、画像処理部２２０は、撮像画像を取得する。具体的には、第１動作モードにおいて、画像処理部２２０は、カラー画像である第１撮像画像を取得し、第１前段処理および後段処理を施す。一方、第２動作モードにおいて、画像処理部は、モノクロ画像である第２撮像画像を取得し、第２前段処理および後段処理を施す。その後、プロセスはステップＳ５０１に進む。
【０１０２】
ステップＳ５０１では、画像処理部２２０は、撮像画像を用いて物体検出処理を実行する。ここで画像処理部２２０は、第１動作モードと第２動作モードとで、異なるアルゴリズムによって物体検出処理を行ってもよい。その後、プロセスはステップＳ５０２に進む。
【０１０３】
ステップＳ５０２では、画像処理部２２０は、物体検出処理による対象者２５０の顔の検出結果に基づいて、対象者２５０の状態を判定する。その後、プロセスはステップＳ５０３に進む。
【０１０４】
ステップＳ５０３に示すように、対象者２５０が特定状態（例えば、よそ見運転または居眠り運転をしている状態）であると判定されたときに、プロセスはステップＳ５０４に進む。一方、対象者２５０が特定状態ではないと判定されたときに、プロセスはステップＳ５００に戻る。
【０１０５】
ステップＳ５０４では、画像処理部２２０は、対象者２５０に対する警告を行う。
【０１０６】
以上のような構成の第２実施形態の撮像装置１４０によれば、少なくともカラーフィルタを配置した画素による第１撮像画像の明るさが所定の基準以上であると判定されたときに、特定のフィルタを配置した画素のみによる第２撮像画像を取得する。したがって、太陽光などの外光の光量が大きく、例えば第１撮像画像が白飛びするような場合に、太陽光の分光放射照度が低い特定の波長域の光による第２撮像画像が取得されるので、例えば撮像画像を用いた物体検出処理の検出精度が向上可能である。
【０１０７】
また、撮像装置１４０は、第１撮像画像の明るさが所定の基準未満であると判定されたときに、すなわち第１動作モードで動作するときに、光源１３０の駆動を停止させる。したがって、第２動作モードで動作するときのみ光源１３０を駆動させればよいので、光源１３０の消費電力および発熱が低減可能である。
【０１０８】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【０１０９】
例えば、上述した第１実施形態において、撮像装置１４は車両１０の後方の風景を撮像可能に設けられるが、撮像方向は車両１０の後方に限定されない。例えば、撮像装置１４が車両１０の前方の被写体を撮像可能に設けてもよい。このような場合、例えば、特定の光源１３の点灯の有無に関わらず、上述の特定の画像処理を施すことにより、肉眼でも眩しく見え得るトンネル外部の被写体の輪郭が鮮明に表示され得る。
【符号の説明】
【０１１０】
１０  車両
１１  表示部
１２、１２０  ランプＥＣＵ
１３、１３０  特定の光源
１４、１４０  撮像装置
１５  テールランプ
１６  ブレーキランプ
１７  バックアップランプ
１８  方向指示ランプ
１９、１９０  光学系
２０  撮像素子
２１、２１０  入力部
２２、２２０  画像処理部
２３、２３０  出力部
２４０  ダッシュボード
２５０  対象者
ＵＡ  単位配列
【図１】
2016084385.tif 000003
【図２】
2016084385.tif 000004
【図３】
2016084385.tif 000005
【図４】
2016084385.tif 000006
【図５】
2016084385.tif 000007
【図６】
2016084385.tif 000008
【図７】
2016084385.tif 000009
【図８】
2016084385.tif 000010
【図９】
2016084385.tif 000011
【図１０】
2016084385.tif 000012
【図１１】
2016084385.tif 000013
【国際調査報告】
2016084385.tif 000014
2016084385.tif 000015