(57)【要約】【課題】運転者が各車載機器を注視したことを確実に検出できる注視検出装置及びその輻輳制御方法を提供する。【解決手段】本発明の注視検出装置は、赤外光を発光する赤外線ＬＥＤと、赤外線ＬＥＤの赤外光の反射光に基いて運転者の目を撮像する赤外線カメラと、赤外線カメラが撮像した目の画像に基づき、運転者が赤外線カメラを注視しているか否かを判定する注視判定部と、によって形成される注視検出装置が複数の車載機器のそれぞれに設けられ、車載機器は、運転者に対して赤外光を発光し、当該発光期間内に運転者を撮像し、撮像した情報に基づいて運転者が注視しているか否かを検出するように動作すると共に、複数の車載機器からの赤外光の発光期間が重ならないように、複数の車載機器が輻輳制御される。【選択図】図５
2020059325.tif 000002
【特許請求の範囲】
【請求項１】
赤外光を発光する赤外線ＬＥＤと、前記赤外線ＬＥＤの赤外光の反射光に基いて運転者の目を撮像する赤外線カメラと、前記赤外線カメラが撮像した目の画像に基づき、運転者が前記赤外線カメラを注視しているか否かを判定する注視判定部と、によって形成される注視検出装置が複数の車載機器のそれぞれに設けられ、
前記車載機器は、運転者に対して赤外光を発光し、当該発光期間内に運転者を撮像し、撮像した情報に基づいて運転者が注視しているか否かを検出するように動作すると共に、前記複数の車載機器からの前記赤外光の発光期間が重ならないように、複数の車載機器が輻輳制御されることを特徴とする注視検出装置。
【請求項２】
前記車載機器のそれぞれは、前記赤外線カメラのカメラＩＤと総台数とを記憶しており、
前記輻輳制御は、
前記カメラＩＤがゼロの車載機器が、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、前記赤外線カメラの総台数に応じた時間だけ前記発光を停止するよう制御し、
カメラＩＤがゼロ以外の車載機器が、前記同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように制御することを特徴とする請求項１に記載の注視検出装置。
【請求項３】
前記注視判定部が運転者の注視を検出した時、運転者の目の瞬きを検出する瞬き検出部がさらに設けられ、前記瞬き検出部が、検出した瞬きに応じて車載機器の動作を制御することを特徴とする請求項１に記載の注視検出装置。
【請求項４】
前記車載機器が照明機器であり、運転者の右目と左目の瞬きに応じて、点灯と滅灯が行われることを特徴とする請求項３に記載の注視検出装置。
【請求項５】
前記車載機器がオーディオ機器であり、運転者の右目と左目の瞬きに応じて、音量が調整されることを特徴とする請求項３に記載の注視検出装置。
【請求項６】
前記車載機器が冷暖房機器であり、運転者の右目と左目の瞬きに応じて、室内温度が調整されることを特徴とする請求項３に記載の注視検出装置。
【請求項７】
赤外光を発光する赤外線ＬＥＤと、前記赤外線ＬＥＤの赤外光の反射光に基いて運転者の目を撮像する赤外線カメラと、前記赤外線カメラが撮像した目の画像に基づき、運転者が前記赤外線カメラを注視しているか否かを判定する注視判定部と、によって形成される注視検出装置が複数の車載機器のそれぞれに設けられており、前記注視検出装置を輻輳制御する方法であって、
カメラＩＤがゼロの車載機器が、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、前記赤外線カメラの総台数に応じた時間だけ前記発光を停止するよう制御するステップと、
カメラＩＤがゼロ以外の車載機器が、前記同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように制御するステップと、により、
前記複数の車載機器の赤外光の発光時期が重ならないよう制御することを特徴とする注視検出装置の輻輳制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注視検出装置及びその輻輳制御方法に係り、より詳しくは、運転者が車載機器を注視したことを確実に検出できる注視検出装置及び複数の車載機器の赤外光の発光期間が重ならないよう制御できる輻輳制御方法に関する。
【背景技術】
【０００２】
図６は、従来の運転席前方にモニターカメラが設置された例である。従来は、運転席の前方にモニタカメラ４８を設置し、撮像範囲４９内の運転者５０の顔を撮像し、瞳孔の動きをトレースして、運転者の視線がどこに向けられているか判定している。しかしながら、図７に示すように、車載機器が運転席の左右端にあるような場合、運転者５０の視線がどの車載機器を注視しているかを判定することは、瞳孔が必ずしも正面にはなく、判定が難しい場合があった。
【０００３】
例えば、右ハンドルの運転者が左右のドアミラーを見る時、右のドアミラーへの視線と、左のドアミラーへの視線は、平面視で約１４０の角度があり、１台のモニタカメラでは、視線の角度検出が困難な状況にあって、数台のカメラが必要となる。また、運転者が注視した車載装置の制御パネルを運転席正面の表示画面に表示し、運転者がタッチパネルで指示を出すなどが考えられるが、そのためには、各車載機器の制御パネルの機能をＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）の通信ラインで、表示画面の位置まで配線する必要がある。
【０００４】
車載機器の例として、室内灯は車の天井に設置され、点灯点滅のスイッチが備えられるが、運転者が操作するには、手の届きにくい位置にある。また、オーディオ機器は、操作パネルが運転席正面に備えられるが、音量のアップダウンには手を伸ばして操作する必要がある。冷暖房機器の操作パネルも運転席正面に備えられるが、温度を低くしたい場合など、手を伸ばして操作する必要がある。室内灯の点灯や点滅など簡単な操作は、運転者が座ったままで、手を使わずに指示できることが望まれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１０５４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、運転者が車載機器を注視したことを確実に検出できる注視検出装置及びその輻輳制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明による注視検出装置は、赤外光を発光する赤外線ＬＥＤと、前記赤外線ＬＥＤの赤外光の反射光に基いて運転者の目を撮像する赤外線カメラと、前記赤外線カメラが撮像した目の画像に基づき、運転者が前記赤外線カメラを注視しているか否かを判定する注視判定部と、によって形成される注視検出装置が複数の車載機器のそれぞれに設けられ、前記車載機器は、運転者に対して赤外光を発光し、当該発光期間内に運転者を撮像し、撮像した情報に基づいて運転者が注視しているか否かを検出するように動作すると共に、前記複数の車載機器からの前記赤外光の発光期間が重ならないように、複数の車載機器が輻輳制御されることを特徴とする。
【０００８】
前記車載機器のそれぞれは、前記赤外線カメラのカメラＩＤと総台数とを記憶しており、前記輻輳制御は、前記カメラＩＤがゼロの車載機器が、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、前記赤外線カメラの総台数に応じた時間だけ前記発光を停止するよう制御し、カメラＩＤがゼロ以外の車載機器が、前記同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように制御することを特徴とする。
【０００９】
前記注視判定部が運転者の注視を検出した時、運転者の目の瞬きを検出する瞬き検出部がさらに設けられ、前記瞬き検出部が、検出した瞬きに応じて車載機器の動作を制御することを特徴とする。
【００１０】
前記車載機器が照明機器であり、運転者の右目と左目の瞬きに応じて、点灯と滅灯が行われることを特徴とする。
【００１１】
前記車載機器がオーディオ機器であり、運転者の右目と左目の瞬きに応じて、音量が調整されることを特徴とする。
【００１２】
前記車載機器が冷暖房機器であり、運転者の右目と左目の瞬きに応じて、室内温度が調整されることを特徴とする。
【００１３】
本発明による注視検出装置の輻輳制御方法は、赤外光を発光する赤外線ＬＥＤと、前記赤外線ＬＥＤの赤外光の反射光に基いて運転者の目を撮像する赤外線カメラと、前記赤外線カメラが撮像した目の画像に基づき、運転者が前記赤外線カメラを注視しているか否かを判定する注視判定部と、によって形成される注視検出装置が複数の車載機器のそれぞれに設けられており、前記注視検出装置を輻輳制御する方法であって、カメラＩＤがゼロの車載機器が、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、前記赤外線カメラの総台数に応じた時間だけ前記発光を停止するよう動作するステップと、カメラＩＤがゼロ以外の車載機器が、前記同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように動作するステップと、により、前記複数の車載機器の赤外光の発光時期が重ならないよう制御することを特徴とする。
【発明の効果】
【００１４】
本発明の注視検出装置によれば、
（１）複数の車載機器のそれぞれに注視検出装置を設け、注視検出装置の赤外線ＬＥＤと赤外線カメラで撮像した目の画像に基づき、運転者が発光した車載装置の赤外線カメラを注視しているか否か判定する注視判定部を設けたので、運転者の注視を確実に検出できる。各車載機器が運転者の左右方向に設置されていても、車載機器は、運転者の正面の画像で注視していることを検出でき、モニターカメラ１台で視線を検出する従来の方法に比較して、確実な検出ができる。
（２）複数の車載機器の赤外光の発光期間が重ならないよう輻輳制御を行なったので、車載機器の間で赤外光の発光が重なることはなく、撮像の際、他の車載機器の発光で過度な照明となることがない。
【００１５】
輻輳制御は、車載機器のそれぞれが赤外線カメラのカメラＩＤと総台数と、を記憶しており、カメラＩＤがゼロの車載機器は、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、赤外線カメラの総台数に応じた時間だけ発光を停止するよう動作し、カメラＩＤがゼロ以外の車載機器は、同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように動作するので、車載機器の間で赤外光の発光が重ならないようにできる。
【００１６】
瞬き検出部をさらに設け、瞬き検出部は、注視判定部が運転者の注視を検出した時、運転者の目の瞬きを検出し、検出した瞬きに応じて操作部が車載機器の動作を制御するようにしたので、目で車載機器の制御ができる。運転者の注視を確認した上での制御なので、誤って動作させることがないようにできる。
【００１７】
運転者の右目と左目の瞬きで、室内灯の点灯と滅灯を行うので、ハンドルから手を離す必要がなく、指示が容易に出せる。
【００１８】
運転者の右目と左目の瞬きで、オーディオ機器の音量の調整を行うので、ハンドルから手を離す必要がなく、指示が容易に出せる。
【００１９】
運転者の右目と左目の瞬きで、冷暖房機器の温度を調節するので、ハンドルから手を離す必要がなく、指示が容易に出せる。
【００２０】
本発明の注視検出装置の輻輳制御方法によれば、カメラＩＤがゼロの車載機器は、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、赤外線カメラの総台数に応じた時間だけ発光を停止するよう動作するステップと、カメラＩＤがゼロ以外の車載機器は、同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように動作するステップと、を備えたので、車載機器の間で赤外光の発光が重ならないようにできる。
【図面の簡単な説明】
【００２１】
【図１】本発明による注視検出装置を搭載した車載機器が複数設置される例である。
【図２】注視検出装置の構成を示す図である。
【図３】運転者が車載機器の赤外線カメラを注視している画像と、注視していない画像の例を示す図である。
【図４】車室内の異なる位置に配置された車載機器の例である。
【図５】各車載機器の赤外光の発光期間と発光停止期間を示す図である。
【図６】従来の運転席前方にモニターカメラが設置された例である。
【図７】従来のモニターカメラが撮像した画像の例である。
【発明を実施するための形態】
【００２２】
以下、添付の図面を参照して、本発明の注視検出装置及び注視検出装置の輻輳制御方法を説明する。
【実施例】
【００２３】
図１は、本発明による注視検出装置１０を搭載した車載機器１００が複数設置される例である。車載機器１００は、車載機器Ａ、車載機器Ｂ、車載機器Ｃで示す。ここでは車載機器Ａ〜Ｃの３台としたが、台数はこれに限るものではない。具体例としては、車載機器Ａが室内灯で、車載機器Ｂがオーディオ機器で、車載機器Ｃが冷暖房機器とすることができる。各車載機器には、赤外線ＬＥＤ１、赤外線カメラ２を含む注視検出装置１０が搭載される。すなわち、車載機器１００に赤外線カメラ２を搭載し、運転者が車載機器１００の赤外線カメラ２を注視していることを、撮像した画像から検出する。
【００２４】
図２は、注視検出装置１０と車載機器１００の関係を示す図である。注視検出装置１０は、赤外線ＬＥＤ１、赤外線カメラ２、注視判定部３、制御部５、同期信号検出部１１、発光制御部１２、及び瞬き検出部４を備える。車載機器１００は、機器本体（図示は省略）の制御を行なう操作部１３を備える。赤外線ＬＥＤ１から赤外光が発光されると、運転者５０の目の網膜に反射して、撮像される。目を赤外線カメラ２で撮像し、画像処理により瞳孔の位置を把握できる。運転者５０が赤外線カメラを注視しているか否かを判定する注視判定部３を備える。網膜で反射して光って撮像されるので、車載機器１００を注視しているか否かが容易に判定できる。また、瞬き検出部４では、運転者の目の状態、特に瞼の動きを検出する。操作部１３は、運転者５０の瞼の動きから、車載機器１００の操作が指示されたとして車載機器１００の対象部位を操作する。発光制御部１２は、制御部５の制御で、タイマーで所定時間の発光を行なう。赤外光の発光は、各車載機器で同時に発光することがないように同期信号検出部１１で同期され、所定の時間経過後に発光される。
【００２５】
図３は、運転者５０が車載機器１００の赤外線カメラ２を注視している画像と、注視していない画像の例を示す図である。「ＯＮ」は、運転者の顔の画像から目が赤外線カメラ２を注視している場合で、「ＯＦＦ」は、目が赤外線カメラ２を注視していない場合を示す。
【００２６】
図４は、車室内に搭載される車載機器１００の例である。白の四角形が赤外線カメラ２の位置とする。次のような操作ができる。左サイドドアミラー２１と、右サイドドアミラー２２は、サイドミラーの角度の調整を行なう。冷暖房機器２４は、室内温度のアップやダウンを行なう。オーディオ機器２３は、音量のアップやダウンを行なう。バックミラー２５は、角度調節を行なう。室内灯２６は、室内灯の点灯や滅灯を行なう。メーター表示輝度２７は、メーターの表示輝度を上げるもので、通常は輝度が低く省エネにできる。ステアリングスイッチの照明輝度２８は、輝度制御を行なう。窓の開閉ボタン２９は、窓の昇降または下降を行なう。自動運転ボタン３０は、自動運転開始と終了を行なう。なお、メータフードの上に設けた監視カメラ３１は、運転者の監視を行ない、運転中に数秒間のわき見運転をしていることを検出した場合、警告を出す。室内灯の点灯や滅灯、オーディオ機器の音量のアップやダウン、冷暖房機器２の温度調整は、頻繁に使用するので、目の瞬きで調整する対象として好適である。例として、右目の瞬きでアップ、左目の瞬きでダウンの指示とすることができる。目で指示を出せるので、通信線が不要である。
【００２７】
図５は、各車載機器の赤外光の発光期間と発光停止期間を示す図である。縦軸は、車載機器Ａ、車載機器Ｂ及び車載機器Ｃの３つとした。横軸は時間である。車載機器Ａ〜Ｃには、注視検出装置１０が搭載される。車載機器Ａ〜Ｃは、赤外光の発光と、発光停止を繰り返す。図５に示すように、車載機器Ａの発光期間８ａと、車載機器Ｂの発光期間８ｂと、車載機器Ｃの発光期間８ｃは互いに重ならないように制御される。ここで車載機器Ａが親であり、同期制御を行なう制御権を有しているとする。同期信号６は、１０ビットの信号からなる。１ビットは８００μｓとする。１０ビットでは８ｍｓ（＝８００μｓ×１０）となる。発光期間８を２０ｍｓとすると、車載機器Ａ〜Ｃの発光が一巡する時間は約６８ｍｓ（＝２０ｍｓ×３＋８ｍｓ）となる。発光した時、発光した車載装置の赤外線カメラ２で運転者５０の顔を撮像するので、各車載機器は６８ｍｓに１回の間隔で運転者の顔を観察するものとなる。
【００２８】
図５に示すように、同期信号６は、先頭６ビットがヘッダーで、所定のビットパターンからなる。次の３ビットがカメラＩＤのコードの例で、０００〜１１１までの８つを使用できる。車載機器の台数に応じて、カメラＩＤのビット数を増やすことができる。ここでは車載機器ＡのカメラＩＤが０００、車載機器ＢのカメラＩＤが００１、車載機器ＣのカメラＩＤが０１０とする。カメラＩＤが０００の車載機器Ａが、親であり同期制御を行なうとする。次の１ビットが停止ビットで同期信号の終了を示す。車載機器Ａ〜Ｃは、不揮発性のメモリに、自分のカメラＩＤのコードと、車両内に設置される赤外線カメラ２の総台数を記憶している。総台数は、車載機器が３台の場合、２（全台数−１）として記憶される。
【００２９】
図５に示すように、同期信号６は、車載機器Ａから赤外光で発光される。車載機器Ｂ、Ｃは、図２の同期信号検出部１１で同期信号６を検出する。車載機器Ｂは、同期信号６を検出すると、２０ｍｓ間だけ赤外光の発光を停止する。これを図５の発光停止期間９ｂで示す。その後、２０ｍｓ間の発光を行なう。車載機器Ｃは、同期信号６を検出すると、４０ｍｓ間だけ赤外光の発光を停止する。これを図５の発光停止期間９ｃで示す。その後２０ｍｓ間の発光を行なう。車載機器Ａは、同期信号６を発光後、２０ｍｓ間だけ発光し、その後の４０ｍｓは赤外光の発光を停止する。発光停止の全時間は、メモリに記憶している総台数に基づき制御する。これを図５の発光停止期間９ａで示す。その後、再び、同期信号６を発光する。これによれば、赤外光の発光が、車載機器Ａ〜Ｃで重なることがない。２０ｍｓの発光は、運転者の目を撮像し露光時間も十分にとれる。
【００３０】
１つの車載機器１００は、この場合、６８ｍｓに１回の間隔で運転者の顔を観察できるので、瞼の動きも検出できる。瞬き（ウィンク）は極めて短い時間で行なわれるが、運転者がその車載機器を注視した時、瞼の開閉を観察することで、瞬きを検出できる。操作の種類を増やすには、例えば、手のジェスチャーを加えてもよい。
【産業上の利用可能性】
【００３１】
本発明は、運転者が車載機器を注視したことを確実に検出できる注視検出装置あるいは注視検出装置の輻輳制御方法として好適である。
【符号の説明】
【００３２】
１    赤外線ＬＥＤ
２    赤外線カメラ
３    注視判定部
４    瞬き検出部
５    制御部
６    同期信号
７    同期信号の送信
８    発光期間
８ａ    車載機器Ａの発光期間
８ｂ    車載機器Ｂの発光期間
８ｃ    車載機器Ｃの発光期間
９    発光停止期間
９ａ    車載機器Ａの発光停止期間
９ｂ    車載機器Ｂの発光停止期間
９ｃ    車載機器Ｃの発光停止期間
１０    注視検出装置
１１    同期信号検出部
１２    発光制御部
１３    操作部
２１    左サイドドアミラー
２２    右サイドドアミラー
２３    オーディオ機器
２４    冷暖房機器
２５    バックミラー
２６    室内灯
２７    メーター表示輝度
２８    ステアリングスイッチの照明輝度
２９    窓の開閉ボタン
３０    自動運転ボタン
３１    ハンドル高さ調整
４７    視線の方向
４８    モニターカメラ
４９    撮像範囲
５０    運転者
１００    車載機器
Ａ〜Ｃ    車載機器
【図１】
2020059325.tif 000003
【図２】
2020059325.tif 000004
【図３】
2020059325.tif 000005
【図４】
2020059325.tif 000006
【図５】
2020059325.tif 000007
【図６】
2020059325.tif 000008
【図７】
2020059325.tif 000009