(57)【要約】【課題】簡易な方法で外乱光の影響を受けずに操縦者の顔を撮像することができる、撮像装置を提供することにある。【解決手段】撮像装置は、上記操縦席の前方から上記操縦者に向けて光を照射する発光手段と、上記操縦席の前方から当該操縦席方向を撮像する撮像手段とを備える。また、上記発光手段が照射する光は、少なくともアイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）の光を含み、上記撮像手段は、上記アイセーフ波長帯の光に対して感度が高いことを特徴とする。【選択図】図１
2010193346.tif 000002
【特許請求の範囲】
【請求項１】
移動体の操縦席に着席した当該移動体の操縦者を撮像する撮像装置であって、
前記操縦席の前方から前記操縦者に向けて光を照射する発光手段と、
前記操縦席の前方から当該操縦席方向を撮像する撮像手段とを備え、
前記発光手段が照射する光は、少なくともアイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）の光を含み、
前記撮像手段は、前記アイセーフ波長帯の光に対して感度が高いことを特徴とする、撮像装置。
【請求項２】
前記発光手段は、前記アイセーフ波長帯の光のみを照射することを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記撮像手段は、前記アイセーフ波長帯の光のうち、水によって吸収される波長の光に対して感度のピークを有することを特徴とする、請求項２に記載の撮像装置。
【請求項４】
前記撮像装置は、前記撮像手段が撮像した画像を用いて前記操縦者の顔の特徴点を検出する処理手段をさらに備える、請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、より特定的には、移動体に搭載され、当該移動体の操縦者の顔を撮像する撮像装置に関する。
【背景技術】
【０００２】
近年、車両に当該車両のドライバーを撮影するカメラを備え、上記カメラによって撮影されたドライバーの顔画像を用いて上記ドライバーの状態を検出し、当該検出されたドライバーの状態に応じて車両を制御する車両制御システムが開発されている。このような装置の一例として、例えば特許文献１に開示されている装置がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２９０７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に開示されている装置は、ドライバーの顔を撮像するため、当該ドライバーの前方にＣＣＤカメラが設置されている。また、ＣＣＤカメラがドライバーを撮像するときの照明として、上記ＣＣＤカメラとともに、赤外線ＬＥＤ（Light Emitting Diode）が設置されている。
【０００５】
ところで、上記特許文献１に開示されているような装置において、上記ＣＣＤカメラの照明として、赤外領域の波長の光を照射する赤外線ＬＥＤが一般的に用いられている。また、上記装置のＣＣＤカメラは、赤外線ＬＥＤを照明として利用しているため、赤外線領域の波長の光に対して感度の高いものが用いられている。これによって、例えば、可視光ＬＥＤを上記ＣＣＤカメラの照明として用いたときと比べて、ドライバーに眩しさを感じさせることがなく、当該ドライバーの顔を撮像することができるようになっている。
【０００６】
しかしながら、赤外線領域の波長の光の一部は、太陽光に含まれる光であるため、上述したような、赤外線領域の波長の光に対して感度の高いＣＣＤカメラでドライバーの顔を撮像すると、太陽光の影響を受けて撮像画像に陰影ができることがある。そのため、例えば、撮像画像からドライバーの顔の特徴点を検出する処理を行う場合、画像処理が難しくなり、ドライバーの顔の特徴点を正確に検出することができないといった問題点があった。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、簡易な方法で外乱光の影響を受けずに操縦者の顔を撮像することができる、撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記のような目的を達成するために、発明は以下の特徴を有している。すなわち、第１の発明は、移動体の操縦席に着席した当該移動体の操縦者を撮像する撮像装置である。上記撮像装置は、上記操縦席の前方から上記操縦者に向けて光を照射する発光手段と、上記操縦席の前方から当該操縦席方向を撮像する撮像手段とを備える。また、上記発光手段が照射する光は、少なくともアイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）の光を含み、上記撮像手段は、上記アイセーフ波長帯の光に対して感度が高い、すなわち、他の波長帯の光と比べて相対的に感度が高いことを特徴とする。
【０００９】
第２の発明は、上記第１の発明において、上記発光手段は、上記アイセーフ波長帯の光のみを照射することを特徴とする。
【００１０】
第３の発明は、上記第２の発明において、上記撮像手段は、上記アイセーフ波長帯の光のうち、水によって吸収される波長の光に対して感度のピークを有することを特徴とする。
【００１１】
第４の発明は、上記第１乃至第３のいずれか１の発明において、上記撮像装置は、上記撮像手段が撮像した画像を用いて上記操縦者の顔の特徴点を検出する処理手段をさらに備える。
【発明の効果】
【００１２】
上記第１の発明によれば、例えば、上記撮像装置を車両に設置し、当該車両のドライバーの顔を撮像する場合、車両の窓から入射する太陽光が、ドライバーの顔に当たり、撮像された画像におけるドライバーの顔が白くなりすぎたり、ドライバーの顔の一部に陰影が生じることがない。したがって、簡易な方法で外乱光の影響を受けずに操縦者の顔を撮像することができる。
【００１３】
上記第２の発明によれば、人の目の網膜までは到達せず、目に安全な光とされているアイセーフ波長帯の光を撮像手段の照明としているため、カメラの照明として用いられている一般的な赤外線ＬＥＤに比べ、人の目に対して、より安全性が高い。
【００１４】
上記第３の発明によれば、上記撮像手段は、上記アイセーフ波長帯の光のうち、水によって吸収される波長の光に対して感度のピークを有するので、より外乱光の影響を受けずに撮像画像を得ることができる。
【００１５】
上記第４の発明によれば、例えば、撮像画像からドライバーの顔の特徴点を検出する処理を行う場合、精度よく画像処理を行うことができるようになり、ドライバーの顔の特徴点を正確に検出することができる。
【図面の簡単な説明】
【００１６】
【図１】地球表面での太陽放射エネルギーの波長と強さの関係を示した図
【図２】一実施形態に係る撮像装置を含むドライバーサポーシステムの一例を示すブロック図
【図３】カメラ２の設置位置の一例を示した図
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明の一実施形態に係る撮像装置の構成について説明する。
【００１８】
まず、本実施形態に係る撮像装置が、車両（具体的には、乗用車）に搭載される場合を想定して、当該撮像装置の概要について説明する。
【００１９】
車両の車室内に設置されたカメラによって、当該車両のドライバーの顔を撮像し、ドライバーの顔画像を得る場合、当該顔画像は周囲の明るさによって影響を受けることがある。具体的には、例えば、車両の窓から入射する太陽光が、当該車両のドライバーの顔に当たり、撮像された画像におけるドライバーの顔が白くなりすぎたり、ドライバーの顔の一部に陰影が生じることがある。そして、上記ドライバーの顔を車両の車室内に設置されたカメラによって撮像した場合、得られる顔画像にも一部に陰影が生じる。
【００２０】
そのため、当該撮像された顔画像を用いて、ドライバーの顔の特徴点（口、鼻孔、目など）を検出しようとする場合、上記顔画像から、例えば、エッジの抽出する処理を行う場合、精度良くエッジ点の抽出等を行うことができない問題が生じる。
【００２１】
ここで、地球表面での太陽放射エネルギーの波長と強さの関係を示す。図１は、地球表面での太陽放射エネルギーの波長と強さの関係を示した図である。図１に示すように、太陽光には、可視光（おおよそ０．４μｍ〜０．８μｍ）と赤外線領域の光（おおよそ０．８μｍ〜１μｍ）とが主に含まれる。また、おおよそ１．４μｍ〜２．６μｍの波長の光は、アイセーフ波長帯の光と言われ、人の目の網膜までは到達せず、目に安全な光とされている。また、図１からもわかるように、アイセーフ波長帯の光は、太陽光に含まれる可視光や赤外線領域の光と比べ、地表面に到達し難い光である。
【００２２】
また、アイセーフ波長帯の光のうち、特に図１の斜線で示した領域は、大気中の水分（Ｈ2Ｏ）などにより吸収されるエネルギーを示している。そのため、図１において、波長１．４μｍ付近、１．９μｍ付近、おおよそ２．４μｍ〜２．６μｍ付近の光は、単位波長あたりの放射エネルギーが、ほぼ０になり、地表面には殆ど届かない。
【００２３】
そこで、本実施形態に係る撮像装置は、アイセーフ波長帯の光をカメラの照明とし、当該波長帯の光に対して感度の高いカメラを用いることにより、外乱光の影響を受けずに上記車両のドライバーの顔を撮像できるようにするものである。
【００２４】
図２は、本発明の一実施形態に係る撮像装置を含むドライバーサポーシステムの一例を示すブロック図である。なお、以下の説明では、上記撮像装置を含むドライバーサポートシステム（ＤＳＳ（Driver Support System））が、車両（具体的には、乗用車）に搭載される場合を想定して説明する。
【００２５】
図２において、ドライバーサポートシステムは、赤外線ＬＥＤ１、カメラ２と、ドライバモニタＥＣＵ（Electronic Control Unit）３と、車両制御ＥＣＵ４と備えている。また、車両制御ＥＣＵ４には、各種安全装置５が接続されている。
【００２６】
赤外線ＬＥＤ１は、後述するカメラ２がドライバーの顔を撮像するときの照明として用いられる。また、赤外線ＬＥＤ１は、運転席に着席したドライバーの顔に向けて赤外線を照射できるように、例えば、図３に示すように、運転席に着席したドライバーの顔を正面から光を照射できる位置に設置される。なお、赤外線ＬＥＤ１の設置位置は、図３に示す位置に限られない。つまり、車両の車室内において、運転席に着席したドライバーの顔に向けて赤外線を照射できるように、赤外線ＬＥＤ１が設置されればよい。なお、赤外線ＬＥＤ１は、請求項に記載の発光手段の一例に相当する。
【００２７】
また、赤外線ＬＥＤ１は、少なくともアイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）を含む光を照射し、より好ましくは、アイセーフ波長帯の光のみを照射する。なお、アイセーフ帯波長の光を照射することのできる赤外線ＬＥＤ１は、当業者の周知技術を用いることにより実現可能である。
【００２８】
カメラ２は、ドライバーの顔を撮像する。また、カメラ２は、運転席に着席したドライバーの顔を正面から撮像できる位置に設置される。図３は、カメラ２の設置位置の一例を示した図である。図３に示すように、カメラ２は、赤外線ＬＥＤ１と同様に、運転席に着席したドライバーの顔を正面から撮像できるように、例えば、上記車両のステアリングコラム上に設置される。なお、図３に示すカメラ２の設置位置は一例であり、例えば、上記車両のメータフード内、メータパネル内などにカメラ２を設置してもかまわない。また、カメラ２は、所定時間間隔でドライバーの顔を正面から撮像する。そして、カメラ２は、撮像した画像をドライバモニタＥＣＵ３へ出力する。
【００２９】
また、カメラ２は、赤外線ＬＥＤ１が照射する光に対して十分な感度を有し、当該赤外線ＬＥＤ１が照射した光を利用してドライバーの顔を撮像する。例えば、赤外線ＬＥＤ１が、アイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）の光を照射する場合、カメラ２は、当該アイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）の光に対して感度を有するものを用いる。つまり、カメラ２は、赤外線ＬＥＤ１が照射する光の波長に対応した感度を有するカメラである。具体的には、カメラ２において、当該カメラ２の光電面材質を適宜選択することにより、所望の分光感度特性を得ることができる。例えば、カメラ２の感光素子として、ＩｎＧａＡｓイメージセンサーを用いることによってアイセーフ波長帯領域においても撮像することが可能になる。なお、カメラ２は、請求項に記載の撮像手段の一例に相当する。
【００３０】
ドライバモニタＥＣＵ３は、メインマイクロコンピュータ（以下メインマイコンと称す）３１、サブマイクロコンピュータ（以下サブマイコンと称す）３２、および顔画像パターン格納部３３等を備えている。ドライバモニタＥＣＵ３には、上述したドライバーの顔画像を撮像するカメラ２と、赤外線ＬＥＤ１と、後述する車両制御ＥＣＵ４とが接続されている。なお、ドライバモニタＥＣＵ３は請求項に記載の処理手段の一例に相当する。
【００３１】
メインマイコン３１は、ＣＰＵ（中央演算装置）およびメモリ等で構成される。また、メインマイコン３１は、カメラ２が撮像した画像から、ドライバーの顔向きの検出を主に行う。例えば、メインマイコン３１は、カメラ２が撮像した画像の所定方向（例えば、縦方向）にソーベルフィルタ処理を施す。そして、メインマイコン３１は、処理後のソーベル画像内における輝度の差を用いて、当該ソーベル画像内から縦方向のエッジ点を抽出する処理を行い、ソーベル画像から抽出した縦方向のエッジ点を用いて、当該ソーベル画像におけるドライバーの顔の幅を算出する処理を行う。その後、メインマイコン３１は、算出された顔の幅と顔画像パターン格納部３３に格納されている顔画像パターンとを用いて、撮像画像におけるドライバーの目、鼻、および口の位置（顔部品位置）を推定し、当該推定された目、鼻、口の位置に基づいて顔画像に対する顔の中心線からドライバーの顔向きや顔幅を検出する。そして、メインマイコン３１は、当該トライバーの顔向きや顔幅を示す情報を後述する車両制御ＥＣＵ４に出力する。
【００３２】
サブマイコン３２は、ＣＰＵおよびメモリ等で構成される。また、サブマイコン３２は、カメラ２が撮像した画像から、ドライバーの目の瞬きの回数、閉眼時間、上瞼と下瞼との距離など、ドライバーの顔の特徴点を検出する。そして、サブマイコン３２は、それらドライバーの顔の特徴点を示す情報を後述する車両制御ＥＣＵ４に出力する。
【００３３】
例えば、サブマイコン３２は、カメラ２が撮像した画像からドライバーの鼻孔を探す。このとき、サブマイコン３２は、例えば、メインマイコン３１から取得した顔幅を示すデータと、顔画像パターン格納部３３に格納されている顔画像パターンとを用いて、上記撮像画像において鼻孔が存在していると予想される範囲を設定し、鼻孔を検出する。そして、サブマイコン３２は、当該検出されたドライバーの鼻孔の位置を基準として、上記画像における目の位置を推定する。その後、サブマイコン３２は、目のエッジラインを抽出する処理を行い、ドライバーの上瞼と下瞼との距離等を示す情報を車両制御ＥＣＵ４に出力する。
【００３４】
顔画像パターン格納部３３は、読み書き可能な記憶媒体で構成され、上述したように、メインマイコン３１およびサブマイコン３２が、上記撮像画像からドライバーの顔の特徴点を検出するための、人物の顔画像パターンを示す情報が記憶されている。具体的には、顔画像パターンは、顔の大きさ、目の位置や大きさ、口の位置や大きさ、鼻の位置や大きさ等の様々なパターンを含んでいる。また、顔画像パターンは、様々な人物の顔部品のテンプレート画像（例えば、口のテンプレート画像）を含んでいる。なお、顔画像パターン格納部３３に記憶されている顔の情報は、例えば上記車両のユーザーの書き換え作業によって、適宜情報が更新されてもよい。
【００３５】
車両制御ＥＣＵ４は、ドライバモニタＥＣＵ３から出力される情報（顔向きや角度、上瞼と下瞼との距離など）に基づいて、ドライバーの状態を判断する。具体的には、車両制御ＥＣＵ４は、「ドライバーはわき見をしている」、「ドライバーは居眠りをしている（目を閉じている）」などのドライバーの状態を判断する。さらに、車両制御ＥＣＵ４は、判断したドライバーの状態に基づいて、上記車両に搭載されている各種安全装置５の動作を制御して適切な措置を講じる。
【００３６】
例えば、車両制御ＥＣＵ４は、ドライバモニタＥＣＵ３から出力される情報に基づいて、「ドライバーはわき見をしている」、「ドライバーは居眠りをしている（目を閉じている）」と判断した場合、各種安全装置５を制御して、警告や表示等によりドライバーに対して注意喚起を行う。さらに、車両制御ＥＣＵ４は、ドライバーが行うブレーキ操作をアシストして障害物との衝突を回避するなどの、いわゆるプリクラッシュ制御も行う。なお、車両制御ＥＣＵ４が各種安全装置５に対して行う、これら動作は一例である。つまり、車両制御ＥＣＵ４は、ドライバモニタＥＣＵ３から出力される情報に基づいて、ドライバーの状態を判断し、当該ドライバーの状態に応じた指示を各種安全装置５に対して行う。
【００３７】
このように、本実施形態に係る撮像装置によれば、赤外線ＬＥＤ１は、太陽光に含まれる可視光や赤外線領域の光と比べ、地表面に到達し難い光であるアイセーフ波長帯の光を照射する。また、カメラ２は、当該赤外線ＬＥＤ１が照射する光に対して十分な感度を有している。そのため、赤外線ＬＥＤ１とカメラ２とを用いて、ドライバーの顔を撮像した場合、外乱光の影響を受けることなく、ドライバーの顔画像を得ることができる。
【００３８】
そして、上記顔画像からドライバーの顔の特徴点を検出する処理を行う場合、精度よく画像処理を行うことができるようになり、ドライバーの顔の特徴点を正確に検出することができる。
【００３９】
また、従来、カメラの照明として用いられている赤外線ＬＥＤは、可視光領域に近い波長の光を含むため、可視光領域に近い波長の光によって赤外線ＬＥＤが赤く見えることがあった。しかしながら、本実施形態に係る撮像装置の赤外線ＬＥＤ１は、可視光領域の波長から遠い、アイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）の光をカメラ２の照明としているため、赤外線ＬＥＤが赤く見えるようなことがなくなる。したがって、ドライバーは、監視されているような圧迫感や不快感を受けることがなくなる。
【００４０】
さらに、赤外線ＬＥＤ１は、人の目の網膜までは到達せず、目に安全な光とされているアイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）の光をカメラ２の照明としているため、カメラの照明として用いられている従来の赤外線ＬＥＤに比べ、人の目に対して、より安全性が高い。
【００４１】
なお、アイセーフ波長帯の光のうち、特に図１において、単位波長あたりの放射エネルギーがほぼ０になる、波長１．４μｍ付近、１．９μｍ付近、おおよそ２．４μｍ〜２．６μｍ付近の光は太陽から放たれている光であるが、実際は地表面には殆ど届かない光である。したがって、波長１．４μｍ付近、１．９μｍ付近、おおよそ２．４μｍ〜２．６μｍ付近の光をカメラの照明とし、当該領域の光に対してのみ感度を有するカメラを用いれば、外乱光の影響をより受けずに、ドライバーの顔画像を得ることができる。
【００４２】
例えば、上述した、少なくともアイセーフ波長帯を含む光を照射する（アイセーフ波長帯の光のみを照射してもよい）赤外線ＬＥＤ１をカメラ２の照明として用いる。そして、図１において、単位波長あたりの放射エネルギーがほぼ０になる、波長１．４μｍ付近、１．９μｍ付近、おおよそ２．４μｍ〜２．６μｍ付近の光に対して感度のピーク有するカメラを用いればよい。
【００４３】
具体的には、上述した、アイセーフ波長帯（おおよそ１．４μｍ〜２．６μｍ）の光に対して感度を有するカメラ２の前に、波長１．４μｍ付近、１．９μｍ付近、おおよそ２．４μｍ〜２．６μｍ付近の光以外の光をカットする、カットフィルタを設置することにより、当該領域の光に対してのみ感度を有するカメラとすることができる。
【００４４】
なお、上述した実施形態では、上記撮像装置が車両に設置される例を説明したが、特に車両に限られるものではない。例えば、航空機や船舶、鉄道車両などの移動体に対して上記撮像装置を適用し、上記移動体の操縦席前方に赤外線ＬＥＤ１とカメラ２とを設置し、カメラ２により撮像された画像から、上記移動体の操縦者の顔の特徴点を精度よく検出することもできる。
【００４５】
上述した実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって、本願の効果を奏する範囲において任意の構成を採用することが可能である。
【産業上の利用可能性】
【００４６】
本発明に係る撮像装置は、簡易な方法で外乱光の影響を受けずに操縦者の顔を撮像することができる特徴を有し、移動体に搭載され、当該移動体の操縦者の顔を撮像する撮像装置等として有用である。
【符号の説明】
【００４７】
１    赤外線ＬＥＤ
２    カメラ
３    ドライバモニタＥＣＵ
３１  メインマイコン
３２  サブマイコン
３３  顔画像パターン格納部
４    車両制御ＥＣＵ
５    各種安全装置
【図１】
2010193346.tif 000003
【図２】
2010193346.tif 000004
【図３】
2010193346.tif 000005