(57)【要約】【課題】  良好な瞳孔画像が得られなくなると、エラーや誤判断の可能性が有ることを運転者に知らせることができる瞳孔位置検出装置を提供すること。【解決手段】  瞳孔位置検出装置において、カメラユニット１は、カメラユニット１の異常を検出するエラー処理回路１３と、エラー処理回路１３で異常を検出すると、瞳孔位置検出に影響させずに、撮像する画像を異常が生じたことを示す異常画像にするLED点灯タイミング制御回路１４を備え、監視処理ユニット２は、異常画像から異常が生じたことを判断するエラー監視部２５を備えた。【選択図】        図１
2009183325.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の顔を明瞳孔画像と暗瞳孔画像に撮像する撮像手段と、
撮像した明瞳孔画像と暗瞳孔画像から画像処理により瞳孔位置を検出する画像処理手段を備えた瞳孔位置検出装置において、
前記撮像手段は、
前記撮像手段の異常を検出する異常検出手段と、
前記異常検出手段で異常を検出すると、瞳孔位置検出に影響させずに、撮像する画像を異常が生じたことを示す異常画像にする異常処理手段と、
を備え、
前記画像処理手段は、
前記異常画像から異常が生じたことを判断する異常判断手段を備えた、
ことを特徴とする瞳孔位置検出装置。
【請求項２】
請求項１に記載の瞳孔位置検出装置において、
車両運転者の瞳孔位置の検出の有無から運転への集中低下を判断して警報する運転者監視手段と、
異常を判断すると、前記警報とともに異常が生じているため警報が誤警報の可能性があることを知らせる異常表示手段と、
を備えた、
ことを特徴とする瞳孔位置検出装置。
【請求項３】
請求項１又は請求項２に記載の瞳孔位置検出装置において、
前記撮像手段は、
明瞳孔画像を撮像する際に用いる第１光源と、
暗瞳孔画像を撮像する際に用いる第２光源と、
所定の撮像タイミングに応じて前記第１光源と前記第２の光源を制御する光源制御手段と、
を備え、
前記異常処理手段は、
所定の周期で第１光源及び第２光源を非点灯にする、
ことを特徴とする瞳孔位置検出装置。
【請求項４】
請求項３に記載の瞳孔位置検出装置において、
前記異常検出手段は、
前記第１光源及び前記第２光源の温度を検出する、
ことを特徴とする瞳孔位置検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、瞳孔位置検出装置の技術分野に属する。
【背景技術】
【０００２】
従来では、検出器の軸上にある照明を利用して作成した画像と、検出器の軸外にある照明を利用して作成した画像との差分画像により目の瞳孔を強調した画像を得て、被験者の目が閉じているかどうかを検出している例えば、特許文献１参照。）。
【特許文献１】特開２００４−２６１５９８号公報（第２−２２頁、全図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来において、車両の運転者の瞳孔位置を検出する場合、運転者に直射日光あるいはヘッドライトなど強力な光が照射されるような状況下でも明瞳孔画像を得るためには、より強力な光源が必要となる。この光源として赤外線ＬＥＤを使用する場合、ＬＥＤの出力を高めるとＬＥＤの温度上昇により故障する可能性が大きくなってしまうものであった。
【０００４】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、良好な瞳孔画像が得られなくなると、エラーや誤判断の可能性が有ることを運転者に知らせることができる瞳孔位置検出装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明では、車両の運転者の顔を明瞳孔画像と暗瞳孔画像に撮像する撮像手段と、撮像した明瞳孔画像と暗瞳孔画像から画像処理により瞳孔位置を検出する画像処理手段を備えた瞳孔位置検出装置において、前記撮像手段は、前記撮像手段の異常を検出する異常検出手段と、前記異常手段で異常を検出すると、瞳孔位置検出に影響させずに、撮像する画像を異常が生じたことを示す異常画像にする異常処理手段と、を備え、前記画像処理手段は、前記異常画像から異常が生じたことを判断する異常判断手段を備えた、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、良好な瞳孔画像が得られなくなると、エラーや誤判断の可能性が有ることを運転者に知らせることができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の瞳孔位置検出装置を実現する実施の形態を、請求項１，２，３，４に係る発明に対応する実施例１に基づいて説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は実施例１の瞳孔位置検出装置のブロック構成を示す図である。
実施例１の瞳孔位置検出装置は、カメラユニット１と監視処理ユニット２を備えている。
カメラユニット１は、カメラ１１、同期信号検出回路１２、エラー処理回路１３、LED点灯タイミング制御回路１４、第１LED１５、第２LED１６、温度センサ１７を備えている。
【０００９】
カメラ１１は、車両の運転者の目を含む顔の画像を撮像する。設置構造については、後述する。
同期信号検出回路１２は、カメラ１１から出力される画像信号の同期信号を検出する。例えばＮＴＳＣ方式に関する同期信号の検出を行う。
エラー処理回路１３は、温度センサ１７により検出された温度に基づいて、所定のエラーを生じさせるよう支持する出力を行う。
LED点灯タイミング制御回路１４は、所定のタイミングで第１LED１５、第２LED１６を駆動するよう駆動出力を行う。
【００１０】
第１LED１５は、明瞳孔画像を生じさせるよう、カメラ１１の撮像する光軸線に近い角度から発光を行うLEDである。設置構造については後述する。
第２LED１６は、暗瞳孔画像を生じさせるよう、カメラ１１の撮像する光軸から離れた角度から発光を行うLEDである。設置構造については後述する。
温度センサ１７は、第１LED１５及び第２LED１６の温度を検出し、検出結果をエラー処理回路１３へ出力する。
【００１１】
監視処理ユニット２は、カメラI/F２１、画像処理回路２２、運転者監視部２３、警報表示器２４、エラー監視部２５、エラー表示器２６を備えている。
カメラI/F２１は、カメラ１１で撮像された画像を情報として取り込むためのインターフェースである。
画像処理回路２２は、カメラ１１で撮像された画像を処理する。実施例１では、明瞳孔画像と暗瞳孔画像の差分画像を作成し、瞳孔位置の検出を行う画像処理を行う。
運転者監視部２３は、画像処理回路２２の処理結果から、瞳孔位置が検出できるかどうかにより運転者の運転への集中度を監視する。
【００１２】
警報表示器２４は、運転者への注意喚起等を行う警報表示を行う。設置構造については、後述する。
エラー監視部２５は、画像処理結果が所定のエラーであるかどうかを判断する。
エラー表示器２６は、光量不足等の検出エラーが生じていることの表示を行う。表示器としては、警報表示器２４と共用されるものとし、設置構造については車両メータ６の一部として設けられる液晶表示(LCD)を例とする。
【００１３】
図２は実施例１の瞳孔位置検出装置のカメラユニットの構造説明図である。
カメラユニット１には、図２に示すように、カメラ１１、第１LED１５、第２LED１６が配置される。
カメラ１１の四方周囲の四箇所には、カメラ１１と非常に近い光軸で発光する第１LED１５ａ〜１５ｄを設ける。
そして、カメラ１１から離れた四箇所には、カメラ１１とは離れた角度の光軸で発光する第２LED１６ａ〜１６ｄを設ける。
【００１４】
図３は実施例１の瞳孔位置検出装置のカメラ配置の説明図である。
カメラユニット１のカメラ１１は、図３に示すように、インストパネル３の手前側の車両メータ６の一部に組み込むようにし、ステアリングホイール４の内部から運転者ｈの顔を撮像する構造である。
また、カメラユニット１のカメラ１１をステアリングコラム上に配置する構造であってもよい。
【００１５】
作用を説明する。
[エラー処理]
図４に示すのは、実施例１の瞳孔位置検出装置の監視処理ユニット２で実施されるエラー処理の流れを示すフローチャートで、以下各ステップについて説明する。
【００１６】
ステップＳ１では、画像処理回路２２によるカメラ１１で撮像した画像を処理することにより瞳孔位置を検出する。
【００１７】
ステップＳ２では、瞳孔の検出がないかどうかを判断し、瞳孔の検出がないならばステップＳ３へ進み、瞳孔を検出したならばステップＳ１へ戻る。
【００１８】
ステップＳ３では、瞳孔検出なしのフレーム周期を測定し、ステップＳ４へ進む。
【００１９】
ステップＳ４では、第１エラーのフレーム周期かどうかを判断し、第１エラーのフレーム周期ならばステップＳ５へ進み、第１エラーのフレーム周期でなければステップＳ７へ進む。
【００２０】
ステップＳ５では、第１エラーのフレーム周期が一定期間継続したかどうかを判断し、一定期間継続したならばステップＳ６へ進み、一定期間継続しないならばステップＳ１へ戻る。
【００２１】
ステップＳ６では、第１エラーが生じていることをエラー表示器２６に表示する。
【００２２】
ステップＳ７では、第２エラーのフレーム周期かどうかを判断し、第２エラーのフレーム周期ならばステップＳ８へ進み、第２エラーのフレーム周期でなければステップＳ１へ戻る。
【００２３】
ステップＳ８では、第２エラーのフレーム周期が一定期間継続したかどうかを判断し、一定期間継続したならばステップＳ９へ進み、一定期間継続しないならばステップＳ１へ戻る。
【００２４】
ステップＳ９では、第２エラーが生じていることをエラー表示器２６に表示する。
【００２５】
次に、作用を説明する。
[画像によりエラーを伝達し表示する作用]
（瞳孔位置検出作用）
図５は実施例１における明瞳孔画像と暗瞳孔画像の差分画像により瞳孔位置の検出を行う状態の説明図である。
実施例１の瞳孔位置検出装置では、カメラユニット１により、図２に説明したように、運転者の顔をカメラ１１で撮像する際に、カメラ１１の光軸に非常に近い角度の第１LED１５（１５ａ〜１５ｄ）により発光を行い、光源の光を瞳孔で反射させた画像である明瞳孔画像を撮像する（図５(a)参照）。
さらに、運転者の顔をカメラ１１で撮像する際に、カメラ１１の光軸から離れた角度の第２LED１６（１６ａ〜１６ｄ）により発光を行い、光源の光を瞳孔に反射させない画像である暗瞳孔画像を撮像する（図５(b)参照）。
【００２６】
さらに説明する。
実施例１のカメラユニット１のカメラ１１ではＮＴＳＣ方式により運転者の顔の撮像を行う。ＮＴＳＣ方式では、画像の水平走査線を１本置きに飛ばしながら表示するインターレスを行う。そのため、撮像画像は、インターレスではＯＤＤ（奇数）フィールドのフレーム画像とＥＶＥＮ（偶数）フィールドのフレーム画像で構成されることになる。
【００２７】
実施例１のカメラユニット１では、このＯＤＤフィールド、ＥＶＥＮフィールドに、第１LED１５（１５ａ〜１５ｄ）による発光と、第２LED１６（１６ａ〜１６ｄ）による発光を割り付ける。
【００２８】
なお、このＯＤＤフィールドとＥＶＥＮフィールドのフレーム画像は、フレーム同期信号ごとに得られることになる。そのため、このフレーム同期信号で区分けして得られる、あるフレーム画像と次のフィールドのフレーム画像の差分画像を画像処理回路２２で処理すると、明瞳孔画像と暗瞳孔画像の差分画像を生成したことになる。この２つの画像の時間差は、微小であるために、瞳孔が光る、光らないのみが強調された画像を得る。さらに、目の間隔などからの特定処理を行い、瞳孔位置の検出を行う（ステップＳ１）。
【００２９】
（運転者監視作用）
実施例１の瞳孔位置検出装置では、瞳孔位置の検出ができるか、検出ができないかを判断し、運転者の瞳孔位置の検出ができないことが所定回数、カウントされることにより、運転者を監視する。
運転者の瞳孔位置の検出ができないことが継続した場合は、眠気により運転者の運転への注意が低下していると運転者監視部２３で判断して、警報表示器２４で警告を行う。
【００３０】
（第１のエラー検出、表示作用）
図６は実施例１の瞳孔位置検出装置において第１のエラーの発生時における第１LEDの駆動信号、第２LEDの駆動信号、フレーム同期信号、第１エラー出力のタイムチャートである。図７は実施例１の瞳孔位置検出装置の第１エラー表示例を示す説明図である。
実施例１の瞳孔位置検出装置では、例えば、第１LED１５、第２LED１６を発熱を考慮すると継続して高い出力で発光できないほど、撮像に不適な外光状態が続いているような場合であって、第１LED１５、第２LED１６のその発光量では、瞳孔検出が困難な場合に、第１エラー（システムエラー）とする。
【００３１】
この第１エラーの発生の判断は、エラー処理回路１３が、カメラ１１の出力を得ることで判断する。そして、第１エラー状態と判断すると、そのことをLED点灯タイミング制御回路１４へ出力する。
すると、第１エラー時の処理として、LED点灯タイミング制御回路１４は、所定の周期で、第１LED１５、第２LED１６を発光させないようにする。
図６を参照して説明すると、フレーム同期信号（図６(c)参照）に同期してＯＤＤフィールド、ＥＶＥＮフィールドに別れ、第１LED１５の通常時の駆動信号は図６(a)の実線１００と点線２００のようになる。一方、第２LED１６の通常時の駆動信号は図６(b)の実線１００と点線２００のようになる。
なお、フレーム同期信号は、通常の画像処理より低速周期でよいため、周期の例として１ｓを挙げておく。
【００３２】
そして、第１エラー時には、図６(a),(b)の点線２００で示す駆動信号部分を駆動しないようにする。カメラユニット１では、同期信号ごとにＯＤＤフィールド、ＥＶＥＮフィールドで撮像が行われているため、所定周期ごとに駆動しない部分を設けても瞳孔位置検出への影響はない。
このように、所定周期で第１LED１５、第２LED１６を発光させないことは、監視処理ユニット２のエラー監視部２５では、ステップＳ２〜Ｓ５の処理により、図６(d)に示すように、第１エラー出力があったと判断する。
そして、図７に示すように、「System Error」を車両メータ６に設けたエラー表示器２６に表示する。
【００３３】
そのため、この第１エラー表示と運転監視における警報表示とが同時に表示されていることにより、運転者は、運転監視のエラー出力であることを認識し、装置故障ではないことを認識する。
実施例１では、この第１エラーの表示を行うことによって、運転者監視による警報を、誤警報の防止を考慮しすぎることなく、充分に行うようにし、運転者監視の機能を発揮させる。
また、装置性能への要求を厳しすぎないようにするため、普及を考慮してコストを抑制した瞳孔位置検出装置にする。
【００３４】
（第２のエラー検出、表示作用）
図８は実施例１の瞳孔位置検出装置において第２のエラーの発生時における第１LEDの駆動信号、第２LEDの駆動信号、フレーム同期信号、第２エラー出力のタイムチャートである。図９は実施例１の瞳孔位置検出装置の第２エラー表示例を示す説明図である。
実施例１の瞳孔位置検出装置では、第１LED１５、第２LED１６の温度を温度センサ１７で検出している。この温度が予め設定している値に達すると、発熱異常の状態であり、この状態の第１LED１５、第２LED１６のその発光量では、瞳孔検出が困難な場合に、第２エラー（LEDエラー）とする。
【００３５】
この第２エラーの発生の判断は、エラー処理回路１３が、温度センサ１７の出力を得ることで判断する。そして、第２エラー状態と判断すると、そのことをLED点灯タイミング制御回路１４へ出力する。
すると、第２エラー時の処理として、LED点灯タイミング制御回路１４は、第１エラーの時とは異なる所定の周期で、第１LED１５、第２LED１６を発光させないようにする。
図８を参照して説明すると、フレーム同期信号（図８(c)参照）に同期してＯＤＤフィールド、ＥＶＥＮフィールドに別れ、第１LED１５の通常時の駆動信号は図８(a)の実線１００と点線２００のようになる。一方、第２LED１６の通常時の駆動信号は図８(b)の実線１００と点線２００のようになる。
【００３６】
そして、第２エラー時には、図８(a),(b)の点線２００で示す駆動信号部分を駆動しないようにする。カメラユニット１では、同期信号ごとにＯＤＤフィールド、ＥＶＥＮフィールドで撮像が行われているため、所定周期ごとに駆動しない部分を設けても瞳孔位置検出への影響はない。
このように、所定周期で第１LED１５、第２LED１６を発光させないことは、監視処理ユニット２のエラー監視部２５では、ステップＳ２、Ｓ３、Ｓ７、Ｓ８の処理により、図８(d)に示すように、第２エラー出力があったと判断する。
そして、図９に示すように、「LED Error」を車両メータ６に設けたエラー表示器２６に表示する。
【００３７】
そのため、この第２エラー表示と運転監視における警報表示とが同時に表示されていることにより、運転者は、運転監視のエラー出力であることを認識し、装置故障ではないことを認識する。
実施例１では、この第２エラーの表示を行うことによって、運転者監視による警報を、誤警報の防止を考慮しすぎることなく、充分に行うようにし、運転者監視の機能を発揮させる。
また、装置性能への要求を厳しすぎないようにするため、普及を考慮してコストを抑制した瞳孔位置検出装置にする。
また、このように第１エラー、第２エラーの表示を行うことにより、装置の状態がよくない場合には、整備等を促すことになり、瞳孔位置検出装置をより良好な状態で使用されるようにし、良好な運転支援を行うことができる。
例えば、第２エラーが頻繁に発生する場合にはLEDの出力低下が考えられる。
【００３８】
また、この第１エラー、第２エラーは、カメラユニット１から監視処理ユニット２へ専用の信号により伝達されるのではなく、本来運転者監視のために行う瞳孔位置検出において、明瞳孔画像、暗瞳孔画像をデータとして送る信号線により伝達される。車両メータ６の近傍のインストパネルでは、カメラ１１の画像データを送信するための配線以外を設けることは非常にスペース的に負担である。
実施例１の瞳孔位置検出装置では、コストやこのような配線の取り回しを考慮したものとなる。
【００３９】
次に、効果を説明する。
実施例１の瞳孔位置検出装置にあっては、下記に列挙する効果を得ることができる。
【００４０】
(1)車両の運転者の顔を明瞳孔画像と暗瞳孔画像に撮像するカメラユニット１と、撮像した明瞳孔画像と暗瞳孔画像から画像処理により瞳孔位置を検出する監視処理ユニット２を備えた瞳孔位置検出装置において、カメラユニット１は、カメラユニット１の異常を検出するエラー処理回路１３と、エラー処理回路１３で異常を検出すると、瞳孔位置検出に影響させずに、撮像する画像を異常が生じたことを示す異常画像にするLED点灯タイミング制御回路１４を備え、監視処理ユニット２は、異常画像から異常が生じたことを判断するエラー監視部２５を備えたため、良好な瞳孔画像が得られなくなると、エラーや誤判断の可能性が有ることを運転者に知らせることができる。
【００４１】
(2)上記(1)において、車両運転者の瞳孔位置の検出の有無から運転への集中低下を判断して警報する運転者監視部２３と、異常を判断すると、警報とともに異常が生じているため警報が誤警報の可能性があることを知らせるエラー表示器２６を備えたため、運転者監視による警報を、誤警報の防止を考慮しすぎることなく、充分に行うようにし、運転者監視の機能を発揮させることができる。
【００４２】
(3)上記(1)又は(2)において、カメラユニット１は、明瞳孔画像を撮像する際に用いる第１LED１５と、暗瞳孔画像を撮像する際に用いる第２LED１６と、所定の撮像タイミングに応じて第１LED１５と第２LED１６を制御するLED点灯タイミング制御回路１４を備え、所定の周期で第１LED１５及び第２LED１６を非点灯にするため、非点灯により瞳孔検出ができない画像を敢えて所定周期で発生させることにより、異常発生の情報伝達を確実に行うことができる。
【００４３】
(4)上記(3)において、温度センサ１７は、第１LED１５及び第２LED１６の温度を検出するため、明瞳孔画像、暗瞳孔画像を発生させる光源の異常を検出することにより、出力低下により瞳孔位置検出が良好に行えなくなった際に、速やかに運転者に知らせることにより、運転監視を良好に行うことができる。
【００４４】
以上、本発明の瞳孔位置検出装置を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００４５】
例えば、実施例１では、第１エラーをシステムエラーとし、第２エラーを光源の発熱温度エラーとしたが、他のエラーであってもよく、さらに複数のエラーであってもよい。
【図面の簡単な説明】
【００４６】
【図１】実施例１の瞳孔位置検出装置のブロック構成を示す図である。
【図２】実施例１の瞳孔位置検出装置のカメラユニットの構造説明図である。
【図３】実施例１の瞳孔位置検出装置のカメラ配置の説明図である。
【図４】実施例１の瞳孔位置検出装置の監視処理ユニット２で実施されるエラー処理の流れを示すフローチャートである。
【図５】実施例１における明瞳孔画像と暗瞳孔画像の差分画像により瞳孔位置の検出を行う状態の説明図である。
【図６】実施例１の瞳孔位置検出装置において第１のエラーの発生時における第１LEDの駆動信号、第２LEDの駆動信号、フレーム同期信号、第１エラー出力のタイムチャートである。
【図７】実施例１の瞳孔位置検出装置の第１エラー表示例を示す説明図である。
【図８】実施例１の瞳孔位置検出装置において第２のエラーの発生時における第１LEDの駆動信号、第２LEDの駆動信号、フレーム同期信号、第２エラー出力のタイムチャートである。
【図９】実施例１の瞳孔位置検出装置の第２エラー表示例を示す説明図である。
【符号の説明】
【００４７】
１  カメラユニット
１１  カメラ
１２  同期信号検出回路
１３  エラー処理回路
１４  LED点灯タイミング制御回路
１５  第１LED
１５ａ〜１５ｄ  第１LED
１６  第２LED
１６ａ〜１６ｄ  第２LED
１７  温度センサ
２  監視処理ユニット
２１  カメラI/F
２２  画像処理回路
２３  運転者監視部
２４  警報表示器
２５  エラー監視部
２６  エラー表示器
３  インストパネル
４  ステアリングホイール
６  車両メータ
５  シート
１００  実線部分
２００  点線部分
ｈ  運転者
【図１】
2009183325.tif 000003
【図２】
2009183325.tif 000004
【図３】
2009183325.tif 000005
【図４】
2009183325.tif 000006
【図５】
2009183325.tif 000007
【図６】
2009183325.tif 000008
【図７】
2009183325.tif 000009
【図８】
2009183325.tif 000010
【図９】
2009183325.tif 000011