(57)【要約】【課題】外界の環境を判別することができる顔画像撮像装置を提供する。【解決手段】差分画像（ｐｘ−ｐｚ）を画像ＥＣＵ３０へ繰り返し出力する際、その出力回数が所定回数となった場合には、外乱光の影響が除去されていない明顔画像ｐｘを画像ＥＣＵ３０に出力する。これにより、画像ＥＣＵ３０では、差分画像（ｐｘ−ｐｚ）に加えて出力された明顔画像ｐｘから、車外の環境（昼か夜か）が判別可能となる。【選択図】図６
2008305203.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の顔画像を繰り返し撮像するカメラと、
前記乗員の顔を照射する投光器と、
前記投光器の点灯・消灯、及び点灯時における光量の少なくとも一方を制御して、前記乗員の顔に照射される光の照射状態を調整する投光制御装置と、
前記投光制御装置による照射状態の調整に同期した顔画像が撮像されるように、前記カメラの撮像タイミングを制御する撮像制御装置と、
前記投光器の光を主とする照射状態のときに前記カメラが撮像した明顔画像と、前記乗員の周囲の環境光を主とする照射状態のときに前記カメラが撮像した環境光顔画像と、の輝度の差分を取った差分画像を生成する差分画像生成手段と、
前記差分画像生成手段の生成した差分画像を繰り返し出力する画像出力手段と、を備え、
前記画像出力手段は、
前記明顔画像及び前記環境光顔画像の少なくとも一方の顔画像について出力する条件を満たしたかどうか判定する出力条件判定手段を備え、
前記出力条件判定手段によって条件を満たしたと判定された場合に、前記差分画像に加えて、前記明顔画像及び前記環境光顔画像の少なくとも一方の顔画像を出力することを特徴とする顔画像撮像装置。
【請求項２】
前記画像出力手段の出力した差分画像と前記明顔画像及び前記環境光顔画像の少なくとも一方の顔画像とに基づいて、前記乗員の眠気の有無を判定する眠気判定手段を備えることを特徴とする請求項１記載の顔画像撮像装置。
【請求項３】
車両の乗員の顔画像を繰り返し撮像するカメラと、
前記乗員の顔を照射する投光器と、
前記投光器の点灯・消灯、及び点灯時における光量の少なくとも一方を制御して、前記乗員の顔に照射される光の照射状態を調整する投光制御装置と、
前記投光制御装置による照射状態の調整に同期した顔画像が撮像されるように、前記カメラの撮像タイミングを制御する撮像制御装置と、
前記投光器の光を主とする照射状態のときに前記カメラが撮像した明顔画像と、前記乗員の周囲の環境光を主とする照射状態のときに前記カメラが撮像した環境光顔画像と、の輝度の差分を取った差分画像を生成する差分画像生成手段と、
前記差分画像生成手段の生成した差分画像を繰り返し出力する画像出力手段と、を備え、
前記画像出力手段は、
前記明顔画像及び前記環境光顔画像の少なくとも一方の顔画像上の輝度値について出力する条件を満たしたかどうか判定する出力条件判定手段を備え、
前記出力条件判定手段によって条件を満たしたと判定された場合に、前記差分画像に加えて、前記輝度値を出力することを特徴とする顔画像撮像装置。
【請求項４】
前記所定領域は、前記明顔画像及び前記環境光顔画像の少なくとも一方の顔画像において、前記乗員の顔の映し出された領域であることを特徴とする請求項３記載の顔画像撮像装置。
【請求項５】
前記画像出力手段の出力した差分画像と前記輝度値とに基づいて、前記乗員の眠気の有無を判定する眠気判定手段を備えることを特徴とする請求項３又は４記載の顔画像撮像装置。
【請求項６】
前記出力条件判定手段は、前記差分画像を出力するタイミングとなった場合、前記差分画像の出力回数が所定回数となった場合、及び、前記差分画像を入力する入力装置からの出力指令が発せられた場合、のいずれかの場合に条件を満たしたと判定することを特徴とする請求項１〜５のいずれか１項に記載の顔画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の顔画像の撮像に好適な顔画像撮像装置に関する。
【背景技術】
【０００２】
従来、外乱光に影響されない顔画像を抽出する技術が提案されている（例えば、特許文献１参照。）。この特許文献１に記載のものは、光源を点灯した明撮影画像と、光源を点灯しない暗撮影画像から差分画像を求め、人が存在する場合にその人物の顔マスクを作成し、背景を除去して差分画像から顔画像を抽出する。
【特許文献１】特開２００７−２５７５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
運転者の眠気を検出するために顔画像を用いる場合、外乱光の影響が除去された顔画像からは外界の環境が把握できない。従って、運転者が目を細めている場合、太陽光が差し込むために目を細めているのか、あるいは眠気によって目を細めているのかの判別が困難である。
【０００４】
本発明は、上記の問題を鑑みてなされたもので、その目的は、外界の環境を判別することができる顔画像撮像装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するためになされた請求項１に記載の顔画像撮像装置は、
車両の乗員の顔画像を繰り返し撮像するカメラと、
乗員の顔を照射する投光器と、
投光器の点灯・消灯、及び点灯時における光量の少なくとも一方を制御して、乗員の顔に照射される光の照射状態を調整する投光制御装置と、
投光制御装置による照射状態の調整に同期した顔画像が撮像されるように、カメラの撮像タイミングを制御する撮像制御装置と、
投光器の光を主とする照射状態のときにカメラが撮像した明顔画像と、乗員の周囲の環境光を主とする照射状態のときにカメラが撮像した環境光顔画像と、の輝度の差分を取った差分画像を生成する差分画像生成手段と、
差分画像生成手段の生成した差分画像を繰り返し出力する画像出力手段と、を備え、
画像出力手段は、
明顔画像及び環境光顔画像の少なくとも一方の顔画像について出力する条件を満たしたかどうか判定する出力条件判定手段を備え、
出力条件判定手段によって条件を満たしたと判定された場合に、差分画像に加えて、明顔画像及び環境光顔画像の少なくとも一方の顔画像を出力することを特徴とする。
【０００６】
明顔画像や環境光顔画像において、画像全体の輝度が高い場合には、太陽光が車室内に直接差し込んでいる、または反射光として入射しているものと推定できるため、外界が昼間であると判別できる。一方、明顔画像や環境光顔画像において、画像の明るさがおおよそ均一の場合、または環境光画像において全体が暗い場合には、外界が夜間であると判別できる。このように、差分画像に加えて出力する、外乱光の影響が除去されていない明顔画像や環境光顔画像から外界の環境（昼か夜か）が判別可能となる。
【０００７】
請求項２に記載の顔画像撮像装置では、画像出力手段の出力した差分画像と明顔画像及び環境光顔画像の少なくとも一方の顔画像とに基づいて、乗員の眠気の有無を判定する眠気判定手段を備えることを特徴とする。
【０００８】
上述したように、明顔画像や環境光顔画像において、画像の全体が明るい場合には外界が昼間であると判別できるが、このときに生成された差分画像から、運転者が目を細めていることが明らかな場合で、さらにその明るさの程度から閾値を超えた明るさが観測される場合には、太陽光が車室内に差し込むために運転者は目を細めていると判定することができる。
【０００９】
一方、明顔画像や環境光顔画像において、画像の明るさがおおよそ均一、または環境光画像において全体が暗い場合には外界が夜間であると判別できるため、このときに生成された差分画像から運転者が目を細めていることが明らかな場合には、眠気によって目を細めている（眠気が有る）と判定することができる。ただし、夜間においても対向車のヘッドライトが眩しくて目を細める場合もあるが、このような場合には、環境光顔画像の輝度または輝度分布から対向車のヘッドライトのためにドライバは目を細めているかどうか判定すればよい。
【００１０】
請求項３に記載の顔画像撮像装置は、
車両の乗員の顔画像を繰り返し撮像するカメラと、
乗員の顔を照射する投光器と、
投光器の点灯・消灯、及び点灯時における光量の少なくとも一方を制御して、乗員の顔に照射される光の照射状態を調整する投光制御装置と、
投光制御装置による照射状態の調整に同期した顔画像が撮像されるように、カメラの撮像タイミングを制御する撮像制御装置と、
投光器の光を主とする照射状態のときにカメラが撮像した明顔画像と、乗員の周囲の環境光を主とする照射状態のときにカメラが撮像した環境光顔画像と、の輝度の差分を取った差分画像を生成する差分画像生成手段と、
差分画像生成手段の生成した差分画像を繰り返し出力する画像出力手段と、を備え、
画像出力手段は、
明顔画像及び環境光顔画像の少なくとも一方の顔画像上の所定領域の輝度値について出力する条件を満たしたかどうか判定する出力条件判定手段を備え、
出力条件判定手段によって条件を満たしたと判定された場合に、差分画像に加えて、輝度値を出力することを特徴とする。
【００１１】
明顔画像や環境光顔画像において、画像の一部の領域が他の領域に比べて明るい場合、前記一部の領域の輝度値が高く、前記他の領域の輝度値は低い値を示す。このように、双方の領域の輝度値には変化が見られることから、太陽光が車室内に差し込んでいるものと推定できるため、外界が昼間であると判別できる。一方、明顔画像と環境光顔画像の画像の明るさがおおよそ均一の場合には、前記双方の輝度値に変化が見られず、外界が夜間であると判別できる。このように、差分画像に加えて出力する、外乱光の影響が除去されていない所定領域の輝度値から外界の環境（昼か夜か）が判別可能となる。
【００１２】
請求項４に記載のように所定領域は、明顔画像及び環境光顔画像の少なくとも一方の顔画像において、乗員の顔の映し出された領域であることが好ましい。乗員の顔に太陽光が照射しているのかどうかの判別が容易になるからである。
【００１３】
請求項５に記載の顔画像撮像装置では、画像出力手段の出力した差分画像と輝度値とに基づいて、乗員の眠気の有無を判定する眠気判定手段を備えることを特徴とする。
【００１４】
上述したように、前記双方の領域の輝度値に変化が見られるのであれば外界が昼間であると判別できるが、このときに生成された差分画像から運転者が目を細めていることが明らかな場合には、太陽光が車室内に差し込むために運転者は目を細めていると判定することができる。
【００１５】
一方、前記双方の領域の輝度値に変化が見られないのであれば外界が夜間であると判別できるため、このときに生成された差分画像から運転者が目を細めていることが明らかな場合には、眠気によって目を細めている（眠気が有る）と判定することができる。ただし、夜間においても対向車のヘッドライトが眩しくて目を細める場合もあるが、このような場合には、環境光顔画像の輝度または輝度分布から対向車のヘッドライトのためにドライバは目を細めているかどうか判定すればよい。
【００１６】
請求項６に記載の顔画像撮像装置では、出力条件判定手段は、差分画像を出力するタイミングとなった場合、差分画像の出力回数が所定回数となった場合、及び、差分画像を入力する入力装置からの出力指令が発せられた場合、のいずれかの場合に条件を満たしたと判定することを特徴とする。
【００１７】
これにより、外乱光の影響が除去されていない明顔画像及び環境光顔画像の少なくとも一方の顔画像、あるいは、その顔画像上の所定領域の輝度値を出力すべきかどうかの判定が可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について図面を用いて説明する。本実施形態では、本発明の顔画像撮像装置を用いて、車両の運転者の顔画像を撮像する場合について説明する。
【００１９】
（第１の実施形態）
図１は、本実施形態の顔画像撮像装置の全体構成を示すブロック図である。図１に示すように、顔画像撮像装置は、カメラ１０、カメラ１０と一体となって構成されるカメラ装置２０、画像ＥＣＵ３０、投光制御回路４０、投光器５０によって構成される。
【００２０】
カメラ１０は、図２に示すように、車両の運転者（乗員）の顔画像を撮像するために用いられ、車室内のインストルメントパネル付近に配置される。このカメラ１０は、高速撮像が可能なイメージャを採用しているため、約３００マイクロ秒の撮像時間で、約３０マイクロ秒毎の撮像時間間隔での撮像が可能となっている。
【００２１】
図１に示すカメラ装置２０は、画像メモリ２１及び信号処理回路２２を備えている。画像メモリ２１は、カメラ１０で撮像した画像の画像情報を記憶するためのメモリである。信号処理回路２２は、画像メモリ２１に記憶した画像情報を読み出して、後述する差分画像生成処理を実行した後、その差分画像生成処理によって生成された差分画像などの画像情報を画像ＥＣＵ３０へ出力する。
【００２２】
画像ＥＣＵ３０は、画像処理回路３１及び撮像制御回路３２を備えている。画像処理回路３１は、カメラ装置２０から出力された画像情報を入力し、この画像情報から運転者の顔の部位を検出したり、運転者の視線を検出したりするための画像処理を実行する。撮像制御回路３２は、投光制御回路４０による照射状態の調整に同期して、カメラ１０の撮像タイミングを制御するほか、カメラ１０の露光時間や出力ゲインなどについても制御する。
【００２３】
投光制御回路４０は、図２、図３に示すように、カメラ１０と並列に配置された投光器５０の点灯・消灯や点灯時における光量（光の強さ）を調整するものである。投光制御回路４０は、カメラ１０の撮像タイミングと同期して、運転者の顔に照射される光の照射状態を調整する。
【００２４】
図３に示すように、投光器５０は、複数の光源（中心波長が８５０〜９５０ｎｍ程度である近赤外光、あるいは赤外光を照射できるもの）を備えており、その複数の光源は、乗員の顔の縦方向に並んで配置され、運転者の顔に光源からの光を照射する。
【００２５】
次に、顔画像撮像装置の動作について説明する。図４は、カメラ１０の撮像タイミング、投光器５０の点灯タイミング、及びカメラ１０で撮像された顔画像から生成される差分画像の出力タイミングを並べたものである。顔画像撮像装置は、先ず、運転者の顔に照射される光の照射状態が投光器５０の光を主とする照射状態（実際には、投光器５０の光だけでなく、運転者の周囲の環境光（太陽光やその反射光など）も含む。）であるときの明顔画像ｐｘをカメラ１０で撮像する（図５（ａ））。なお、明顔画像ｐｘの撮像時間は約３００マイクロ秒とする。明顔画像ｐｘの撮像が終了すると、その画像情報が画像メモリ２１に一時的に記憶される。
【００２６】
続いて、明顔画像ｐｘの撮像終了から約３０マイクロ秒後に、運転者の顔に照射される光の照射状態が運転者の周囲の環境光を主とする照射状態（投光器５０の光量が微少となるように調整して同時に照射してもよい。）であるときの環境光顔画像ｐｚをカメラ１０で撮像する（図５（ｂ））。この環境光顔画像ｐｚの撮像時間については、明顔画像ｐｘの撮像時間と同様に約３００マイクロ秒とする。環境光顔画像ｐｚの撮像が終了すると、その画像情報が画像メモリ２１に一時的に記憶される。
【００２７】
なお、カメラ１０は、高速連続撮像が可能なイメージャを採用している。従って、上記のように時分割で顔画像を撮像しても、その間の運転者の自発的な動きや車両の振動に伴う運転者の動きによる各顔画像間における運転者の位置ずれはほとんど影響されない。また、明顔画像ｐｘ、環境光顔画像ｐｚにおける環境光の時間的変化についても、各撮像タイミングのタイムラグが極めて短いため、その環境光の変化についても補償される。
【００２８】
このように、明瞳孔顔画像ｐｘ、及び環境光顔画像ｐｚが撮像されると、信号処理回路２２では、画像メモリ２１に一時的に記憶された明顔画像ｐｘ、及び環境光顔画像ｐｚの画像情報を用いて、これらの顔画像の輝度の差分を取ることで差分画像を生成する（差分画像生成処理）。
【００２９】
この差分画像は、明顔画像ｐｘと環境光顔画像ｐｚの各々の画像上の対応する画素位置の輝度値について、明顔画像ｐｘの輝度値から環境光顔画像ｐｚの輝度値の差分を取ることで得られる。ここで、差分画像の生成について詳しく説明する。
【００３０】
先ず、明顔画像ｐｘは、運転者の顔に照らされる光の主成分が投光器５０からの照射光であるときに撮像された顔画像であるので、投光器５０からの光が十分に届いている運転者の顔部分の輝度値が高く、顔の周辺の背景においては、投光器５０からの光が運転者の顔領域に比べてあまり届いていないため、その反射像をカメラ１０で撮影した時の輝度値は相対的に低くなる。
【００３１】
また、環境光画像ｐｚは、運転者の顔に照らされる光の主成分が環境光であるときに撮像された顔画像である。従って、この環境光画像ｐｚは、明顔画像ｐｘと比較すると、運転者の顔部分の輝度値が低く、顔の周辺すなわち顔に比べて遠方に存在する物体などの背景の輝度値は投光器５０の影響度が低いため同等程度を示すことになる。
【００３２】
また、西日などの太陽光が車室内に差し込んで運転者の顔を照射する場合においても、明顔画像ｐｘと環境光顔画像ｐｚは、投光器５０からの照射光が照射される運転者の顔部分の輝度値の方がさらにが大きくなるので、明顔画像ｐｘの輝度値から環境光顔画像ｐｚの輝度値の差分を取ることで、図５（ｃ）に示すように、輝度値の異なる部分が強調された差分画像（ｐｘ−ｐｚ）を生成することが可能となる。よって、太陽光などの環境光（外乱光）の影響を取り除いた差分画像（ｐｘ−ｐｚ）が生成できる。
【００３３】
このように、差分画像（ｐｘ−ｐｚ）が生成されると、信号処理回路２２では、この画像情報を約３３ミリ秒毎に画像ＥＣＵ３０に出力する。その際、本実施形態では、差分画像（ｐｘ−ｐｚ）の出力回数が所定回数となる毎に明顔画像ｐｘを撮像し、その撮像した、環境光（外乱光）の影響が除去されていない明顔画像ｐｘを画像ＥＣＵ３０に出力する。これにより、画像ＥＣＵ３０では、外乱光の影響が除去されていない明顔画像ｐｘから車両の外界の環境（昼か夜か）が判別可能となる。
【００３４】
すなわち、明顔画像ｐｘにおいて、画像全体が明るい場合には、太陽光が車室内に直接差し込んでいる、または反射光として入射しているものと推定できるため、外界が昼間であると判別できる。一方、明顔画像ｐｘにおいて、画像の明るさがおおよそ均一の場合には、外界が夜間であると判別できるからである。
【００３５】
次に、差分画像を生成する差分画像生成処理について、図６に示すフローチャートを用いて説明する。先ず、図６に示すステップＳ１では撮像制御回路３２を起動し、ステップＳ２では、差分画像（ｐｘ−ｐｚ）の出力回数をカウントするカウンタをスタートさせる（ステップＳ１２から移行した場合にはリスタートさせる。）。
【００３６】
ステップＳ３では明顔画像ｐｘを撮像し、その撮像した画像情報を画像メモリ２１に記憶する。ステップＳ４では、環境光顔画像ｐｚを撮像し、その撮像した画像情報を画像メモリ２１に記憶する。ステップＳ５では、明顔画像ｐｘと環境光顔画像ｐｚの各々の画像上の対応する画素位置の輝度値について、明顔画像ｐｘの輝度値から環境光顔画像ｐｚの輝度値の差分を取ることで差分画像（ｐｘ−ｐｚ）を生成する。
【００３７】
ステップＳ６では、ステップＳ５にて生成した差分画像（ｐｘ−ｐｚ）を画像ＥＣＵ３０に出力する。ステップＳ７では、画像メモリ２１をリセットして、記憶した画像情報を消去する。ステップＳ８では、カウンタをカウントアップ（１回加算）する。ステップＳ９では、カウンタのカウントが所定回数に達したか否かを判定する。このステップＳ９にて肯定判定した場合にはステップＳ１０へ処理を進め、否定判定した場合にはステップＳ３へ処理を移行して、上述した処理を繰り返し実行する。
【００３８】
ステップＳ１０では、ステップＳ３と同様に、明顔画像ｐｘを撮像し、その撮像した画像情報を画像メモリ２１に記憶する。ステップＳ１１では、ステップＳ１０で撮像した明顔画像ｐｘの画像情報を画像ＥＣＵ３０に出力する。ステップＳ１２では、カウンタのカウントをリセットして、ステップＳ２へ処理を移行する。そして、上述した処理を繰り返し実行する。
【００３９】
以上のように、差分画像（ｐｘ−ｐｚ）を画像ＥＣＵ３０へ繰り返し出力する際、その出力回数が所定回数となった場合には、外乱光の影響が除去されていない明顔画像ｐｘを画像ＥＣＵ３０に出力する。これにより、画像ＥＣＵ３０では、差分画像（ｐｘ−ｐｚ）に加えて出力された明顔画像ｐｘから、外界の環境（昼か夜か）が判別可能となる。
【００４０】
（変形例１）
本実施形態では、差分画像（ｐｘ−ｐｚ）の出力回数が所定回数になる毎に明顔画像ｐｘを撮像しているが、環境光顔画像ｐｚを撮像して画像ＥＣＵ３０に出力するようにしてもよい。環境光顔画像ｐｚは、明顔画像ｐｘと同様に外乱光の影響が除去されていない画像であるので、環境光顔画像ｐｚからも車両の外界の環境（昼か夜か）が判別可能であるからである。
【００４１】
（変形例２）
本実施形態の画像ＥＣＵ３０は、差分画像（ｐｘ−ｐｚ）に加えて出力された明顔画像ｐｘから、外界の環境（昼か夜か）が判別することが可能であるが、差分画像（ｐｘ−ｐｚ）と明顔画像ｐｘに基づいて、運転者の眠気の有無を判定するようにしてもよい。
【００４２】
上述したように、明顔画像ｐｘや環境光顔画像ｐｚにおいて、画像の一部の領域が他の領域に比べて明るい場合には外界が昼間であると判別できるが、このときに生成された差分画像（ｐｘ−ｐｚ）から運転者が目を細めていることが明らかな場合には、太陽光が車室内に差し込むために運転者は目を細めていると判定することができるからである。
【００４３】
一方、明顔画像ｐｘや環境光顔画像ｐｚにおいて、画像の明るさがおおよそ均一の場合には外界が夜間であると判別できるため、このときに生成された差分画像（ｐｘ−ｐｚ）から運転者が目を細めていることが明らかな場合には、運転者は眠気によって目を細めている（眠気が有る）と判定することができるからである。
【００４４】
なお、変形例１のように、環境光顔画像ｐｚを撮像して画像ＥＣＵ３０に出力する場合には、差分画像（ｐｘ−ｐｚ）と環境光顔画像ｐｚに基づいて、運転者の眠気の有無を判定するようにしてもよい。
【００４５】
（変形例３）
本実施形態は、図６のステップＳ９において、差分画像（ｐｘ−ｐｚ）の出力回数が所定回数に達したことを条件とし、この条件を満たした場合に明顔画像ｐｘを撮像して画像ＥＣＵ３０に出力するものであるが、差分画像（ｐｘ−ｐｚ）を出力するタイミングとなることを条件とし、この条件を満たした場合に明顔画像ｐｘ及び環境光顔画像ｐｚの少なくとも一方を撮像して画像ＥＣＵ３０に出力するようにしてもよい。つまり、差分画像（ｐｘ−ｐｚ）の出力とともに、常時、明顔画像ｐｘ及び環境光顔画像ｐｚの少なくとも一方を撮像して画像ＥＣＵ３０に出力するようにしてもよい。
【００４６】
また、差分画像（ｐｘ−ｐｚ）を入力する入力装置である画像ＥＣＵ３０から、差分画像（ｐｘ−ｐｚ）の出力指令がカメラ装置２０に対して発せられたことを条件とし、この条件を満たした場合に明顔画像ｐｘ及び環境光顔画像ｐｚの少なくとも一方を撮像して画像ＥＣＵ３０に出力するようにしてもよい。これにより、外乱光の影響が除去されていない明顔画像ｐｘ及び環境光顔画像ｐｚの少なくとも一方の画像情報を出力すべきかどうかの判定が可能となる。
【００４７】
（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態の顔画像撮像装置は、差分画像（ｐｘ−ｐｚ）の出力に加えて、外乱光の影響が除去されていない明顔画像ｐｘを画像ＥＣＵ３０に出力するものである。
【００４８】
これに対し、本実施形態の顔画像撮像装置では、差分画像（ｐｘ−ｐｚ）の出力に加えて、明顔画像ｐｘをそのものを出力するのではなく、明顔画像ｐｘの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上、または所定の複数のポイントにおける輝度値を出力する点で異なる。
【００４９】
明顔画像ｐｘや環境光顔画像ｐｚにおいて、画像の一部の領域が他の領域に比べて明るい場合、前記一部の領域の輝度値が高く、前記他の領域の輝度値は低い値を示す。従って、この両方の領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値には変化が見られることから、太陽光が車室内に差し込んでいるものと推定できるため、外界が昼間であると判別できる。
【００５０】
一方、明顔画像ｐｘや環境光顔画像ｐｚにおいて、画像の明るさがおおよそ均一の場合には、前記軸上の輝度値に変化が見られず、外界が夜間であると判別できる。このように、差分画像に加えて出力する、外乱光の影響が除去されていない所定領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値から外界の環境（昼か夜か）が判別可能となる。
【００５１】
図７は、太陽光が車室内に差し込み、その差し込んだ太陽光が運転者の顔に照射されたときに撮像された明顔画像ｐｘである。このような明顔画像ｐｘでは、運転者の顔の映し出された領域を通る縦軸及び横軸の輝度値に変化が見られる。従って、運転者の顔の映し出された領域を通る縦軸及び横軸の輝度値から外界が昼間であると判別できる。一方、前記軸上の輝度値に変化が見られないのであれば、外界が夜間であると判別できる。
【００５２】
従って、差分画像（ｐｘ−ｐｚ）に加えて出力する、外乱光の影響が除去されていない明顔画像ｐｘ上の運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値から外界の環境（昼か夜か）が判別可能となる。
【００５３】
なお、運転者の顔に太陽光が照射しているのかどうかの判別を容易にするため、前記縦軸及び横軸の少なくとも一方の軸は、明顔画像ｐｘの運転者の顔の映し出された領域を通ることが好ましい。さらには、運転者の顔の映し出された領域のほぼ中心を通ることがさらに好ましい。車室内に差し込む太陽光が運転者の顔に近いほど、運転者は目をより細めるからである。
【００５４】
また、明顔画像ｐｘの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値に限らず、この運転者の顔の映し出された領域内の所定の複数のポイント（画素）における輝度値を出力するようにしてもよい。
【００５５】
図８に、本実施形態の顔画像撮像装置における差分画像生成処理を示す。図８のフローチャートは、図６に示した第１の実施形態の差分画像生成処理に対し、ステップＳ１０１が加えられている。ステップＳ１０１では、明顔画像ｐｘの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値を抽出する。ステップＳ１１では、ステップＳ１０１で抽出した輝度値を画像ＥＣＵ３０へ出力する。
【００５６】
なお、ステップＳ１０１では、初回の処理では、運転者の顔の映し出された領域が特定されていないため、明顔画像ｐｘの中心を通る縦軸及び横軸の少なくとも一方の軸上の輝度値を抽出することとし、初回以降の処理では、画像ＥＣＵ３０から運転者の顔の映し出された領域に関する情報を取得し、その取得した情報を元に、明顔画像ｐｘの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸を設定し、その設定した軸上の輝度値を抽出するとよい。
【００５７】
（変形例４）
本実施形態では、差分画像（ｐｘ−ｐｚ）の出力回数が所定回数になる毎に明顔画像ｐｘを撮像しているが、環境光顔画像ｐｚを撮像して、その環境光顔画像ｐｚの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値を画像ＥＣＵ３０に出力するようにしてもよい。環境光顔画像ｐｚは、明顔画像ｐｘと同様に外乱光の影響が除去されていない画像であるので、環境光顔画像ｐｚからも車両の外界の環境（昼か夜か）が判別可能である。
【００５８】
（変形例５）
本実施形態の画像ＥＣＵ３０は、差分画像（ｐｘ−ｐｚ）に加えて出力された明顔画像ｐｘの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値から、外界の環境（昼か夜か）が判別することが可能であるが、差分画像（ｐｘ−ｐｚ）と明顔画像ｐｘ明顔画像ｐｘの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値に基づいて、運転者の眠気の有無を判定するようにしてもよい。
【００５９】
上述したように、明顔画像ｐｘや環境光顔画像ｐｚの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値に変化が見られるのであれば外界が昼間であると判別できるが、このときに生成された差分画像（ｐｘ−ｐｚ）から運転者が目を細めていることが明らかな場合には、太陽光が車室内に差し込むために運転者は目を細めていると判定することができるからである。
【００６０】
一方、明顔画像ｐｘや環境光顔画像ｐｚの運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値に変化が見られないのであれば、外界が夜間であると判別できるため、このときに生成された差分画像（ｐｘ−ｐｚ）から運転者が目を細めていることが明らかな場合には、運転者は眠気によって目を細めている（眠気が有る）と判定することができるからである。
【００６１】
（変形例６）
本実施形態は、図８のステップＳ９において、差分画像（ｐｘ−ｐｚ）の出力回数が所定回数となったことを条件とし、この条件を満たした場合に明顔画像ｐｘを撮像し、その撮像した明顔画像ｐｘ上の運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値を画像ＥＣＵ３０に出力するものであるが、差分画像（ｐｘ−ｐｚ）を出力するタイミングとなることを条件とし、この条件を満たした場合に明顔画像ｐｘ及び環境光顔画像ｐｚの少なくとも一方を撮像して、明顔画像ｐｘ及び環境光顔画像ｐｚ上の運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値を画像ＥＣＵ３０に出力するようにしてもよい。つまり、差分画像（ｐｘ−ｐｚ）の出力とともに、常時、明顔画像ｐｘ及び環境光顔画像ｐｚの少なくとも一方を撮像して、明顔画像ｐｘ及び環境光顔画像ｐｚ上の運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値を画像ＥＣＵ３０に出力するようにしてもよい。
【００６２】
また、差分画像（ｐｘ−ｐｚ）を入力する入力装置である画像ＥＣＵ３０から、差分画像（ｐｘ−ｐｚ）の出力指令がカメラ装置２０に対して発せられたことを条件とし、この条件を満たした場合に明顔画像ｐｘ及び環境光顔画像ｐｚの少なくとも一方を撮像し、明顔画像ｐｘ及び環境光顔画像ｐｚ上の運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値を画像ＥＣＵ３０に出力するようにしてもよい。これにより、外乱光の影響が除去されていない明顔画像ｐｘ及び環境光顔画像ｐｚの少なくとも一方の顔画像上の運転者の顔の映し出された領域を通る縦軸及び横軸の少なくとも一方の軸上の輝度値を出力すべきかどうかの判定が可能となる。
【図面の簡単な説明】
【００６３】
【図１】顔画像撮像装置の全体構成を示すブロック図である。
【図２】車室内におけるカメラ１０と投光器５０の配置を示した図である。
【図３】運転者からみたカメラ１０の光軸と投光器５０の位置関係を示した図である。
【図４】カメラ１０の撮像タイミング、投光器５０の点灯タイミング、及びカメラ１０で撮像された差分画像の出力タイミングを示した図である。
【図５】（ａ）〜（ｃ）は、明顔画像ｐｘ、環境光顔画像ｐｚ、差分画像（ｐｘ−ｐｚ）を示した図である。
【図６】第１実施形態における、差分画像生成処理の動作を説明するためのフローチャートである。
【図７】明顔画像ｐｘの運転者の顔の映し出された領域を通る縦軸及び横軸の輝度値の変化を示した図である。
【図８】第２実施形態における、差分画像生成処理の動作を説明するためのフローチャートである。
【符号の説明】
【００６４】
１０  カメラ
２０  カメラ装置
２１  画像メモリ
２２  信号処理回路
３０  画像ＥＣＵ
３１  画像処理回路
３２  撮像制御回路
４０  投光制御回路
５０  投光器
【図１】
2008305203.tif 000003
【図２】
2008305203.tif 000004
【図３】
2008305203.tif 000005
【図４】
2008305203.tif 000006
【図５】
2008305203.tif 000007
【図６】
2008305203.tif 000008
【図７】
2008305203.tif 000009
【図８】
2008305203.tif 000010