(57)【要約】【課題】必要最低限のタイミングで警告を発することができる警告装置を提供する。【解決手段】警告装置１は、撮像装置２と、撮像装置２により撮像された前方光景９０のうち赤色光を発する赤色領域を検出する特定領域検出部５２と、運転者の視線位置を検出する視線位置検出部５３と、視線位置と特定領域とを基準座標７０に変換することにより視線位置と特定領域との一致を判断する第１の判断と、第１の判断に基づいて運転者が特定領域を見ているか否かを判断する第２の判断とを行う判断部５４と、第２の判断において運転者が特定領域を見ていないと判断された場合に警告を出力する警告出力部４とを備える。【選択図】図３
2019114118.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部により取得された画像のうち少なくとも特定の色の光を発する特定領域を検出する特定領域検出部と、
ユーザの視線位置を検出する視線位置検出部と、
前記視線位置検出部により検出された前記視線位置と前記特定領域検出部により検出された前記特定領域とに基づいて、前記ユーザが前記特定領域を見ているか否かのユーザ認識判断を行う判断部と、
前記ユーザ認識判断において前記ユーザが前記特定領域を見ていないと判断された場合に警告を出力する警告出力部と
を備える、警告装置。
【請求項２】
前記ユーザ認識判断には、前記視線位置検出部により検出された前記視線位置が前記特定領域検出部により検出された前記特定領域に含まれるか否かを判断する第１の判断が含まれる、請求項１に記載の警告装置。
【請求項３】
前記第１の判断は、前記視線位置検出部により検出された前記視線位置と前記特定領域検出部により検出された前記特定領域とを所定の基準座標に対応付けることにより行われる、請求項２に記載の警告装置。
【請求項４】
前記撮像部により取得された画像を前記基準座標に変換する画像変換部と、
前記視線位置を前記基準座標に変換する視線位置変換部と
をさらに備え、
前記第１の判断では、前記基準座標に変換された前記視線位置が前記基準座標に変換された前記特定領域に含まれるか否かが判断される、請求項３に記載の警告装置。
【請求項５】
前記基準座標により規定される基準領域が一定の広さを有する複数のブロックに区分けされており、
前記第１の判断では、前記基準領域における前記視線位置と前記基準領域における前記特定領域とが前記複数のブロックのうち同一ブロックであるときに、前記視線位置が前記特定領域に含まれると判断される、請求項３又は４に記載の警告装置。
【請求項６】
前記複数のブロックのうち少なくとも１つが、前記ユーザと前記特定領域との相対距離の変化の大きさに基づいて他のブロックと相違する広さに形成されている、請求項５に記載の警告装置。
【請求項７】
前記撮像部により取得された画像のうち、前記特定の色の光を発し、かつ、前記ユーザとの前記相対距離が変化する領域を特定領域とし、
前記特定領域が前記複数のブロックのうち広いブロックに含まれるように前記基準領域が区分けされる、請求項６に記載の警告装置。
【請求項８】
前記ユーザ認識判断には、前記第１の判断において前記視線位置が前記特定領域に含まれないと判断された回数が所定時間内に所定の閾値に達した場合に前記ユーザが前記特定領域を見ていないと判断する第２の判断が含まれる、請求項２から７のいずれか一項に記載の警告装置。
【請求項９】
請求項１から８のいずれか一項に記載の警告装置を備える、自動車。
【請求項１０】
画像を取得し、
取得された前記画像のうち特定の色の光を発する特定領域を検出し、
ユーザの視線位置を検出し、
検出された前記視線位置と検出された前記特定領域とに基づいて、前記ユーザが前記特定領域を見ているか否かを判断し、
前記ユーザが前記特定領域を見ていないと判断された場合に警告を出力する、警告方法。
【請求項１１】
コンピュータに、
画像を取得させ、
取得された前記画像のうち特定の色の光を発する特定領域を検出させ、
ユーザの視線位置を検出させ、
検出された前記視線位置と検出された前記特定領域とに基づいて、前記ユーザが前記特定領域を見ているか否かの判断を実行させ、
前記ユーザが前記特定領域を見ていないと判断した場合に警告を出力させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、警告装置、自動車、警告方法、及びプログラムに係り、特に自動車に搭載される警告装置に関するものである。
【背景技術】
【０００２】
従来、このような警告装置として、信号が青に変わった際に警告を発することで、赤信号で停車している運転者に自動車の発進を促すものが知られている（例えば、特許文献１参照）。しかしながら、このような警告装置では、信号が変わる度に警告が発せられるため、該警告に運転者が煩わしさを感じたり、ひいては、運転者が警告に麻痺してしまい警告としての用を成さなくなってしまうおそれがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１２３１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、このような従来技術の問題点に鑑みてなされたもので、必要最低限のタイミングで警告を発することができる警告装置を提供することを第１の目的とする。
【０００５】
また、本発明は、安全かつ快適に運転することができる自動車を提供することを第２の目的とする。
【０００６】
また、本発明は、必要最低限のタイミングで警告を発することができる警告方法を提供することを第３の目的とする。
【０００７】
さらに、本発明は、コンピュータに、必要最低限のタイミングで警告を発生させるプログラムを提供することを第４の目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、必要最低限のタイミングで警告を発することができる警告装置が提供される。この警告装置は、撮像部と、上記撮像部により取得された画像のうち少なくとも特定の色の光を発する特定領域を検出する特定領域検出部と、ユーザの視線位置を検出する視線位置検出部と、判断部とを備える。この判断部は、上記視線位置検出部により検出された上記視線位置と上記特定領域検出部により検出された上記特定領域とに基づいて、上記ユーザが上記特定領域を見ているか否かのユーザ認識判断を行う。また、この警告装置は、上記ユーザ認識判断において上記ユーザが上記特定領域を見ていないと判断された場合に警告を出力する警告出力部を備える。
【０００９】
このような警告装置によれば、特定の色の光を発する特定領域とユーザの視線位置とに基づくユーザ認識判断においてユーザが特定領域を見ていないと判断された場合に警告が出力される。したがって、警告のタイミングが必要最低限になり、ユーザが警告に煩わしさを感じたり、警告に麻痺してしまうことが効果的に抑制される。
【００１０】
なお、上記ユーザ認識判断には、上記視線位置検出部により検出された上記視線位置が上記特定領域検出部により検出された上記特定領域に含まれるか否かを判断する第１の判断が含まれることが好ましい。この場合、上記第１の判断は、上記視線位置検出部により検出された上記視線位置と上記特定領域検出部により検出された上記特定領域とを所定の基準座標に対応付けることにより行われることがさらに好ましい。そして、所定の基準座標への対応付けを行うために、この警告装置は、上記撮像部により取得された画像を上記基準座標に変換する画像変換部と、上記視線位置を上記基準座標に変換する視線位置変換部とをさらに備えてもよい。この場合、上記第１の判断では、上記基準座標に変換された上記視線位置が上記基準座標に変換された上記特定領域に含まれるか否かが判断されることが好ましい。このような構成により、ユーザ認識判断のアルゴリズム構築が容易になる。
【００１１】
また、この警告装置では、上記基準座標により規定される基準領域が一定の広さを有する複数のブロックに区分けされていることが好ましい。この場合、上記第１の判断では、上記基準領域における上記視線位置と上記基準領域における上記特定領域とが上記複数のブロックのうち同一ブロックであるときに、上記視線位置が上記特定領域に含まれると判断される。このような構成により、ユーザが特定領域を見ているにも関わらず警告が出力される誤作動が生じることが効果的に抑制される。
【００１２】
なお、上記複数のブロックのうち少なくとも１つが、上記ユーザと上記特定領域との相対距離の変化の大きさに基づいて他のブロックと相違する広さに形成されていてもよい。また、この場合、上記撮像部により取得された画像のうち、上記特定の色の光を発し、かつ、上記ユーザとの上記相対距離が変化する領域を特定領域とし、上記特定領域が上記複数のブロックのうち広いブロックに含まれるように上記基準領域が区分けされてもよい。このような構成により、ユーザと特定領域との相対距離が変化する場合に上記誤作動が生じることが効果的に抑制される。
【００１３】
ところで、上記ユーザ認識判断には、上記第１の判断に基づいて上記ユーザが上記特定領域を見ているか否かを判断する第２の判断が含まれることが好ましい。そして、この第２の判断では、例えば、上記第１の判断において上記視線位置が上記特定領域に含まれないと判断された回数が所定時間内に所定の閾値に達した場合に上記ユーザが上記特定領域を見ていないと判断されてもよい。なお、上記第２の判断では、他の例として、上記第１の判断において、上記視線位置が上記特定領域に含まれるとの判断が所定時間内において連続的に所定回数行われなかった場合に、上記ユーザが上記特定領域を見ていないと判断することも可能である。このような構成により、ユーザ認識判断をより正確に行うことが可能になる。
【００１４】
ここで、上記特定の色の光は赤色光であってもよい。このような構成により、警告装置が自動車に搭載された場合に、運転者に赤信号の認識を促す警告を必要最低限のタイミングで出力することが可能となる。
【００１５】
本発明の第２の態様によれば、安全かつ快適に運転することができる自動車が提供される。この自動車は、上記警告装置を備えている。なお、この自動車は、所定の基準座標により規定される基準領域を画定するフロントガラスをさらに備えてもよい。フロントガラスの座標を基準座標とした場合、ユーザ認識判断のアルゴリズム構築が容易になり得る。
【００１６】
本発明の第３の態様によれば、必要最低限のタイミングで警告を発することができる警告方法が提供される。この警告方法によれば、まず画像を取得し、取得された上記画像のうち特定の色の光を発する特定領域を検出する。また、ユーザの視線位置を検出する。そして、検出された上記視線位置と検出された上記特定領域とに基づいて、上記ユーザが上記特定領域を見ているか否かを判断する。そして、上記ユーザが上記特定領域を見ていないと判断された場合に警告を出力する。
【００１７】
本発明の第４の態様によれば、コンピュータに、必要最低限のタイミングで警告を発生させるプログラムが提供される。このプログラムは、コンピュータに、画像を取得させ、取得された上記画像のうち特定の色の光を発する特定領域を検出させる。また、コンピュータに、ユーザの視線位置を検出させ、検出された上記視線位置と検出された上記特定領域とに基づいて、上記ユーザが上記特定領域を見ているか否かの判断を実行させる。そして、上記ユーザが上記特定領域を見ていないと判断した場合に警告を出力させる。
【発明の効果】
【００１８】
本発明によれば、特定領域とユーザの視線位置とに基づくユーザ認識判断においてユーザが特定領域を見ていないと判断された場合に警告が出力されるため、警告のタイミングを必要最低限にすることができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の一実施形態における警告装置を示すブロック図である。
【図２】図２は、図１に示される警告装置を搭載した自動車の車内の一部を模式的に示す図である。
【図３】図３は、図１に示される警告装置の機能構成の一例を示すブロック図である。
【図４】図４は、図３に示される警告装置の基準座標を示す概略図である。
【図５】図５は、図３に示される警告装置の判断過程を示すフローチャートである。
【図６】図６は、図３に示される警告装置の赤色光検出座標及び判断部における判断処理を示す概略図である。
【図７Ａ】図７Ａは、図３に示される警告装置の視線位置検出座標及び判断部における判断処理を示す概略図である。
【図７Ｂ】図７Ｂは、図３に示される警告装置の視線位置検出座標及び判断部における判断処理を示す概略図である。
【図８】図８は、図６に示される基準座標の変形例を示す概略図である。
【発明を実施するための形態】
【００２０】
以下、本発明に係る警告装置の実施形態について図１から図８を参照して詳細に説明する。なお、図１から図８において、同一又は相当する構成要素には、同一の符号を付して重複した説明を省略する。また、図１から図８においては、各構成要素の縮尺や寸法が誇張されて示されている場合や一部の構成要素が省略されている場合がある。
【００２１】
図１は本発明の一実施形態における警告装置１を示すブロック図、図２は警告装置１を搭載した自動車の車内の一部を模式的に示す図である。本実施形態では、図２に示すように、警告装置１は自動車８０に搭載されており、赤信号９２で停車している運転者（ユーザ）が赤信号９２を見ていない場合に、赤信号９２を見るように促す信号警告装置として使用される。なお、この警告装置１の用途は信号警告装置に限られるものではなく、また、自動車への搭載に限定されるものでもない。
【００２２】
ところで、図２に示すように、運転者が前方車両９３のテールランプ９４Ａ，９４Ｂ（停止ランプ）を見ている場合には、前方車両９３の停止を認識しているため、間接的に赤信号を認識しているといえる。したがって、運転者が赤信号９２を見ていないがテールランプ９４Ａ，９４Ｂを見ている場合に、「運転者が赤信号を見ていない」と判断することは妥当でない。本実施形態では、この点を考慮して、前方車両９３のテールランプ９４Ａ，９４Ｂも赤信号９２に準ずるものと扱い、赤信号９２及びテールランプ９４Ａ，９４Ｂを合わせて赤色領域（特定領域）として判断するように構成される。
【００２３】
図１及び図２に示すように、警告装置１は、運転者（図示せず）が操縦する自動車８０の例えばダッシュボード８１に配置される撮像装置２（撮像部）と、同様にダッシュボード８１などに配置される視線位置検出装置３（視線位置検出部）と、所定の警告（音）を生成して出力する（発生させる）警告出力部４と、警告出力部４が所定のタイミングで警告を出力するように警告装置１を制御する主制御部５とを備えている。
【００２４】
図１及び図２に示すように、撮像装置２は、レンズ部２Ａと撮像素子２Ｂとを有しており、撮像素子２Ｂによって運転者の前方光景９０（すなわち、自動車８０のフロントガラス８２に対して運転者の反対側の光景）を撮像する。より具体的には、撮像装置２は自動車８０が赤信号９２などで停車した際に前方光景９０を撮像するように構成されており、この前方光景９０には、信号機９１の赤信号９２や前方車両９３の赤色テールランプ９４Ａ，９４Ｂ（停止ランプ）等が含まれる。
【００２５】
視線位置検出装置３は、既知の方法により運転者の視線位置を検出する。本実施形態の例では、この視線位置検出装置３は、角膜検出法により運転者の視線位置を検出するものであり、例えば、図２に示すように、カメラ３Ａ及び近赤外線ＬＥＤ３Ｂを有している。より具体的には、この視線位置検出装置３は、カメラ３Ａによって運転者の目の瞳孔を撮像するととともに、近赤外線ＬＥＤ３Ｂによって運転者の目に近赤外線を照射して角膜での反射を検出する。そして、瞳孔と角膜反射との位置関係に基づいて運転者の視線位置を検出するように構成されている。なお、本実施形態では、この視線位置検出装置３によって、例えばカーナビゲーションに対する視線入力の位置が検出される。
【００２６】
警告出力部４は、運転者が赤信号９２を認識していないときに、主制御部５からの指令（駆動信号）に基づいて所定の警告音を出力し、運転者や搭乗者に対して赤信号９２の認識を促す。なお、警告は音に限定されるものではなく、光や振動等であってもよい。
【００２７】
図１に示すように、主制御部５は、ＣＰＵ（Central Processing Unit）６と、ＲＯＭ（Read Only Memory）７と、ＲＡＭ（Random Access Memory）８とを備えている。ＲＯＭ７は、後述する警告処理を警告装置１に実行させるためのプログラムや後述する基準座標のデータなどを格納している。ＣＰＵ６は、ＲＯＭ７に格納されているプログラムやデータを読み出し、上記警告処理を実行する。ＲＡＭ８は、ＣＰＵ６のワークエリアである。このような構成により、この主制御部５は、プログラムを実行するためのコンピュータとして機能する。この主制御部５は、例えば、自動車８０の電子制御ユニット（ＥＣＵ）の一部として構成されてもよいし、カーナビゲーションシステムやスマートフォンなどの外付け装置の中に含まれてもよい。
【００２８】
ＲＯＭ７等に格納された上記プログラムは、警告出力部４に所定のタイミングで警告音を発生させるために、主制御部５（コンピュータ）に以下の警告処理を実行させる。換言すれば、主制御部５は、上記プログラムに基づいて以下の警告処理を実行する。すなわち、（１）撮像装置２の撮像素子２Ｂによって取得された前方光景９０（図２参照）の画像を所定の基準座標に変換して（対応付けて）変換後画像を生成すると共に、該変換後画像のうち赤信号９２やテールランプ９４Ａ，９４Ｂ等からなる赤色領域（特定領域）を検出し、また、（２）視線位置検出装置３により検出された運転者の視線位置を上記基準座標に変換し（対応付け）、そして、（３）基準座標に変換された視線位置と基準座標に変換された赤色領域とに基づいて運転者が赤色領域を見ているか（認識しているか）の判断をすることにより、警告出力部４に警告音を発生させる。本実施形態において、この基準座標は、自動車８０のフロントガラス８２の座標に対応している。以下、本明細書において、上記（３）、すなわち、運転者が赤色領域などの特定領域を見ているか（認識しているか）の判断を「ユーザ認識判断」と言うことがある。
【００２９】
図３は、このような主制御部５の機能構成の一例を示すブロック図である。図３に示すように、上記警告処理を実行するために、主制御部５は、画像変換部５１と、特定領域検出部５２と、視線位置変換部５３と、判断部５４と、警告出力制御部５５とを有している。
【００３０】
図３に示すように、画像変換部５１は、撮像装置２の撮像素子２Ｂ及び特定領域検出部５２に接続されており、撮像素子２Ｂを介して撮像された前方光景９０のデータを取得する。また、画像変換部５１は、ＲＯＭ７等に格納されている基準座標のデータを読み出し、所定のアルゴリズムに基づいて前方光景９０のデータを基準座標に変換して変換後画像を生成する。そして、この変換後画像のデータをＲＡＭ８などに格納する。
【００３１】
例えば、本実施形態では、撮像装置２はフロントガラス８２の全体を通して前方光景９０を撮影可能な画角を有している。画像変換部５１は、この撮像装置２によって撮影された前方光景９０のデータを、運転者がフロントガラス８２を通して見えると推定される画像、すなわち基準座標を有する画像に変換する。なお、この変換アルゴリズムは、撮像装置２からフロントガラス８２までの距離、撮像装置２からユーザ（運転者）の顔（あるいは運転席のヘッドレストの位置）までの距離、あるいは、ユーザ（運転者）の顔からフロントガラス８２までの距離などに基づいて構築することができる。
【００３２】
ここで、図４は、上記基準座標を示す概略図である。図４に示すように、基準座標７０は、Ｘ座標及びＹ座標によって表される。このＸ座標は、図２に示すように、自動車８０の車幅方向に対応する座標であり、Ｙ座標は、フロントガラス８２においてＸ座標に垂直な方向に対応する座標である。すなわち、基準座標７０はフロントガラス８２のＸＹ座標から構成されており、一方で、フロントガラス８２は基準座標７０により規定される基準領域７１を画定している。この基準領域７１は、略同一面積からなる複数のブロック７２に区分けされている。本実施形態の例では、基準領域７１は、４行（Ａ〜Ｄ行）かつ８列（Ｐ〜Ｗ列）の３２個のブロック７２に区分けされている。なお、基準領域７１のうちＣ行は、フロントガラス８２上、運転者の目が位置する高さにおおよそ相当している。
【００３３】
なお、本明細書において、例えば、Ａ行Ｐ列のブロック（図４において左上端に位置するブロック）を特定するときはブロック７２ＡＰと記載する。すなわち、区分けされた各ブロック７２の一つを特定する場合は、符号「７２」にそのブロックの行と列とを併記して記載するものとする。なお、このような区分け（ブロック）の数は適宜変更できることは言うまでもない。
【００３４】
図３に戻って、特定領域検出部５２は、画像変換部５１及び判断部５４に接続されており、上記変換後画像のデータを画像変換部５１から読み出して解析する。より具体的には、特定領域検出部５２は、変換後画像を解析して赤信号９２やテールランプ９４Ａ，９４Ｂ等からなる赤色領域（特定領域）を検出し、検出した赤色領域が上記複数のブロック７２のうちどのブロックに含まれるかを特定して特定光検出座標を生成する。そして、生成した特定光検出座標のデータをＲＡＭ８などに格納する。後に再び言及するが、図６は、このような特定光検出座標７３を示している。
【００３５】
図３に示すように、視線位置変換部５３は、視線位置検出装置３及び判断部５４に接続されており、視線位置検出装置３から運転者の視線位置データを読み出す。また、読み出した視線位置データを基準座標７０に変換すると共に、運転者の視線位置が上記複数のブロック７２のうちどのブロックに含まれるかを特定して視線位置検出座標を生成する。そして、生成した視線位置検出座標のデータをＲＡＭ８などに格納する。後に再び言及するが、図７Ａ及び図７Ｂは、このような視線位置検出座標７４を示している。
【００３６】
例えば、本実施形態では、上記視線位置変換部５３によって、カーナビゲーションに対する運転者の視線位置データがフロントガラス８２における運転者の視線位置データ（すなわち、基準座標における視線位置データ）に変換される。
【００３７】
図３に示すように、判断部５４は、特定領域検出部５２、視線位置変換部５３、及び警告出力制御部５５などに接続されており、第１の判断と第２の判断とを含む上記ユーザ認識判断を実行する。すなわち、この判断部５４は、特定領域検出部５２から上記特定光検出座標７３のデータを読み出し、また、視線位置変換部５３から上記視線位置検出座標７４のデータを読み出す。そして、読み出した特定光検出座標７３と視線位置検出座標７４とを対比することにより、赤色領域と運転者の視線位置とが基準座標７０において一致するか否かの第１の判断を行う。また、この第１の判断に基づいて、運転者が赤色領域を見ているか否かの第２の判断を行う。より具体的には、判断部５４は、内部にカウンタＣを有しており、このカウンタＣを用いて上記第２の判断を行う。運転者が赤色領域を見ていないと判断した場合には、信号を生成して該信号を警告出力制御部５５に出力する。
【００３８】
図３に示すように、警告出力制御部５５は、判断部５４及び警告出力部４に接続されている。この警告出力制御部５５は、判断部５４からの信号を入力すると、この信号に基づいて所定の駆動信号を生成し、該駆動信号を警告出力部４に出力する。
【００３９】
次に、警告装置１が上記警告処理を行うプロセスの一例について詳細に説明する。この警告処理プロセスでは、例えば、図５に示されるように、ステップＳ１〜Ｓ１０が実行される。なお、以下に述べる警告処理プロセスは例示的なものであり、他のステップからなる警告処理プロセスを構成してもよいことは言うまでもない。
【００４０】
まず、図２に示すように、前方の信号機９１が赤になることにより、運転者は自動車８０を停止させる。本実施形態における警告処理プロセスでは、自動車が停止した時点が図５の「スタート」となる。このスタート時点における前方光景９０には、図２に示すように、信号機９１の赤信号９２と前方車両９３の２つのテールランプ９４Ａ，９４Ｂ（停止ランプ）とからなる赤色領域（特定領域）が存在している。主制御部５は、自動車が停止したことを検知すると、撮像装置２及び視線位置検出装置３に信号を出力して撮像装置２及び視線位置検出装置３を動作させる。本実施形態では、上記スタート時点において、運転者は前方車両９３のテールランプ９４Ｂを見ているものとする。
【００４１】
（ステップＳ１）
撮像装置２は、主制御部５からの信号を入力すると、レンズ部２Ａ及び撮像素子２Ｂによって前方光景９０を撮像する。画像変換部５１は、撮像素子２Ｂから前方光景９０のデータを取得すると、ＲＯＭ７から図４に示す基準座標７０のデータを読み出し、撮像した前方光景９０を基準座標７０に変換して（対応付けて）変換後画像を生成する。そして、画像変換部５１は、生成した変換後画像のデータを特定領域検出部５２に出力する。
【００４２】
特定領域検出部５２は、画像変換部５１から変換後画像のデータを入力すると、この変換後画像の中から上記赤色領域を特定（検出）する。ここで、図２の前方光景９０において、テールランプ９４Ａは、運転者の目の位置と略同一の高さかつフロントガラス８２のＸ方向における中央部からやや−Ｘ方向（左側）にずれた位置に存在している。また、テールランプ９４Ｂは、運転者の目の位置と略同一の高さかつフロントガラス８２のＸ方向における中央部からやや右側にずれた位置に存在している。また、赤信号９２は、フロントガラス８２の上縁部近傍かつＸ方向においてテールランプ９４Ａとほぼ同じ位置に存在している。このようなテールランプ９４Ａ，９４Ｂ及び赤信号９２は、図４に示す基準座標７０に変換すると、それぞれ、ブロック７２ＣＲ、ブロック７２ＣＴ、及びブロック７２ＡＲに位置することとなる。
【００４３】
したがって、特定領域検出部５２は、上記のような位置に存在する赤色領域（テールランプ９４Ａ，９４Ｂ及び赤信号９２）を変換後画像から検出すると、図６に示すように、赤色領域としてブロック７２ＣＲ（テールランプ９４Ａ）、ブロック７２ＣＴ（テールランプ９４Ｂ）、及びブロック７２ＡＲ（赤信号９２）が特定された特定光検出座標７３を生成する。特定領域検出部５２は、この特定光検出座標７３のデータを判断部５４に出力する。
【００４４】
（ステップＳ２）
視線位置検出装置３は、主制御部５からの信号を入力すると、カメラ３Ａ及び近赤外線ＬＥＤ３Ｂ（図２参照）によって運転者の視線位置を検出する。そして、この視線位置のデータを視線位置変換部５３に出力する。
【００４５】
視線位置変換部５３は、視線位置検出装置３から視線位置のデータを入力すると、ＲＯＭ７から図４に示す基準座標７０のデータを読み出し、運転者の視線位置を基準座標７０に変換する（対応付ける）。そして、視線位置変換部５３は、変換後の視線位置が属するブロック７２を特定し、この特定されたブロックを基準座標７０における視線位置として定める。
【００４６】
すなわち、視線位置変換部５３は、図５の「スタート」時点において運転者がテールランプ９４Ｂを見ていたことを検出すると、図７Ａに示すように、テールランプ９４Ｂが属するブロック７２ＣＴを基準座標７０における運転者の視線位置と特定し、視線位置検出座標７４を生成する。そして、この視線位置検出座標７４のデータを判断部５４に出力する。
【００４７】
なお、他の実施形態では、上記ステップＳ１とステップＳ２との順番を入れ替えてもよい。
【００４８】
）  判断部５４は、特定領域検出部５２から特定光検出座標７３のデータを入力し、視線位置変換部５３から視線位置検出座標７４のデータを入力すると、第１の判断及び第２の判断を含むユーザ認識判断を以下のように実行する。
【００４９】
（ステップＳ３（第１の判断））
すなわち、判断部５４は、視線位置検出座標７４における視線位置（ブロック７２ＣＴ）が、特定光検出座標７３における赤色領域（ブロック７２ＡＲ，７２ＣＲ，７２ＣＴ）と一致するか否かを判断する（第１の判断）。
【００５０】
（ステップＳ４）
上述したように、運転者は、図５のスタート時点において前方車両９３のテールランプ９４Ｂを見ている。すなわち、判断部５４が入力した視線位置検出座標７４は、図７Ａに示すものであり、ブロック７２ＣＴが視線位置として特定されている。図６に示すように、このブロック７２ＣＴは、特定光検出座標７３の赤色領域７２ＡＲ，７２ＣＲ，７２ＣＴのうちの一つである。したがって、判断部５４は、赤色領域に視線位置が含まれていると判断する。そして、この場合、判断部５４は、警告処理プロセスをステップＳ１の前にリターンさせる。なお、このケースでは上述のカウンタＣの値は変わらない。
【００５１】
上記リターンにより、再び（２回目の）ステップＳ１〜Ｓ３が実行される。ここで、上記リターン後かつ２回目のステップＳ２の前に、運転者が目の高さを変えずにフロントガラス８２の右端８２Ａ（図２参照）をよそ見したものとする。
【００５２】
（ステップＳ２（２回目））
視線位置変換部５３は、この２回目のステップＳ２において、運転者の視線位置を再び基準座標７０に変換する。上述のように、運転者は、フロントガラス８２の右端８２Ａをよそ見している。したがって、視線位置変換部５３は、図７Ｂに示すように、変換前の視線位置に対応するブロック７２ＣＷを基準座標７０における視線位置と特定し、新たな視線位置検出座標７４を生成する。そして、この新たな視線位置検出座標７４のデータを判断部５４に出力する。
【００５３】
（ステップＳ３（２回目））
２回目のステップＳ２の後、判断部５４は、運転者の視線位置が赤色領域に含まれるか否か再び判断する（第１の判断）。
【００５４】
（ステップＳ５）
ここで、上述のように、２回目のステップＳ２では、図７Ｂに示す視線位置検出座標７４が生成されており、この視線位置検出座標７４における視線位置はブロック７２ＣＷである。このブロック７２ＣＷは、図６に示す特定光検出座標７３の赤色領域７２ＡＲ，７２ＣＲ，７２ＣＴのいずれにも該当しない。したがって、判断部５４は、赤色領域に視線位置が含まれていないと判断する。
【００５５】
（ステップＳ６）
そして、判断部５４は、赤色領域に視線位置が含まれていないと判断することにより、上述のカウンタＣを１つ増加させる。
【００５６】
（ステップＳ７（第２の判断））
その後、判断部５４は、カウンタＣの値が所定の閾値Ｎに達しているか否かを判断する（第２の判断）。例えば、閾値Ｎの値が「５」である場合、上記ステップＳ６後のカウンタＣの値はまだ「１」であり、閾値Ｎに達していない。この場合、判断部５４は、警告処理プロセスをステップＳ１の前の状態にリターンさせ、３度目のステップを実行する。
【００５７】
（ステップＳ８（第２の判断））
判断部５４は、このような処理を所定時間の間繰り返す。そして、該所定時間内にカウンタＣの値が所定の閾値Ｎ（例えば「５」）に達した場合、判断部５４は、運転者が赤色領域７２ＡＲ，７２ＣＲ，７２ＣＴを見ていないと判断する。すなわち、運転者は赤信号９２を見ていないし、赤信号９２を見ているに等しいと判断し得る前方車両９３のテールランプ９４Ａ，９４Ｂも見ていないと判断する（第２の判断）。そして、この場合、判断部５４は、信号を生成して該信号を警告出力制御部５５に出力する。
【００５８】
なお、本実施形態では、上記所定時間（「１回目の所定時間」）が経過した際にカウンタＣが閾値Ｎに達していない場合、時間カウントはリセットされるが、カウンタＣの値は維持されるように構成されている。したがって、１回目の所定時間が経過した後、２回目の所定時間における１回目のステップＳ１が実行される。そして、判断部５４は、２回目の所定時間内にカウンタＣが閾値Ｎに達したときに「運転者が赤信号９２を見ていない」と判断する。ただし、必ずしもこのように構成する必要はなく、１回目の所定時間が経過した際にカウンタＣの値が閾値Ｎに達していない場合、時間カウントと共にカウンタＣの値をリセットするようにしてもよい。
【００５９】
（ステップ９）
警告出力制御部５５は、判断部５４からの信号を入力すると、所定の駆動信号を生成して警告出力部４に出力する。そして、警告出力部４は、該駆動信号に基づいて警告音を出力する。
【００６０】
（ステップ１０）
警告出力部４が上記警告音を出力すると、主制御部５は、判断部５４のカウンタＣの値及び上記時間カウントをリセットする。そして、再び時間カウントが開始され、すなわち、２回目の時間カウントが開始され、１回目のステップＳ１が再び実行される。
【００６１】
上記ステップＳ１〜Ｓ１０からなる警告処理プロセスは、自動車８０の停車状態が解除されるまで実行される。そして、自動車８０の停車状態が解除されたとき、主制御部５が上記警告処理プロセスを終了させる。
【００６２】
以上のように、本実施形態における警告装置１によれば、判断部５４が、上記ユーザ認識判断を行った上で、該ユーザ認識判断において運転者が赤信号を見ていないと判断された場合に警告が出力されるようになっている。より具体的には、運転者の視線位置が赤色領域に含まれる否かの第１の判断をした上で、「含まれない」との判断の回数が所定時間内に閾値に達した場合に、「運転者が赤信号を見ていない」と判断（第２の判断）され、そして、該第２の判断において「運転者が赤信号を見ていない」と判断された場合に警告が出力されるようになっている。したがって、警告を発するタイミングが必要最低限になり、その結果、運転者が警告に煩わしさを感じたり、警告に麻痺したりすることが効果的に抑制される。そのため、このような警告装置１を搭載した自動車８０によれば、運転者は、安全かつ快適にドライブすることができる。
【００６３】
ところで、運転者が赤色領域を見ている場合でも、運転者の視線位置が僅かに動いてしまうことも有り得る。したがって、このような場合に「運転者が赤信号を見ていない」と判断されることは妥当でない。本実施形態では、複数のブロックに区分けされた基準領域によって視線検出座標及び特定光検出座標が生成されるため、視線位置の変動が僅かな場合には、視線位置は赤色領域のブロックに含まれたままである。したがって、運転者が赤色領域を見ているにも関わらず警告が発せられてしまうことが効果的に抑制される。
【００６４】
また、本実施形態では、赤色領域と視線位置との双方がフロントガラス８２のＸＹ座標（基準座標７０）に変換されるため、赤色領域と視線位置との対比が行いやすい。したがって、ユーザ認識判断のアルゴリズムを容易に構成し得る。
【００６５】
これまで本発明の好ましい実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。例えば、以下のような他の実施形態を構成してもよい。
【００６６】
上述の実施形態では、自動車が赤信号で停車している場合に警告装置が動作する例を説明したが、他の実施形態では、自動車の走行時にも警告装置が動作するように構成してもよい。この場合には、運転者の自動車は走行中であるため、運転者と例えば信号との相対距離が変化することとなる。そのため、基準座標における信号の位置が経時的に変化してしまい、運転者が信号を見ているのにもかかわらず判断部が「見ていない」と判断する誤作動が生じるおそれがある。そこで、このような問題を回避するために、例えば図８に示すように、運転者の目の高さ（Ｃ行）よりも上方のブロック１７２をブロック７２よりも大きくした基準座標１７０を生成してもよい。これにより、信号の位置が基準座標において経時的に変化した場合でも、この位置変化は同一ブロック内の変化となるため、上記誤作動が生じることが抑制される。また、走行中は運転者と信号との相対距離が経時的に変化するため、赤色光源（例えば、赤信号）の位置が撮影画像上で変化することが考えられる。そのため、自動車の走行時に警告装置を動作させる実施形態では、上方の（大きな）複数のブロック１７２のうち、撮影画像上でその位置が変化するような赤色光源を含むブロックを特定領域としてもよい。このような構成により、上記誤作動をより効果的に抑制することができる。
【００６７】
また、上述の実施形態では、自動車のフロントガラス８２の座標（ＸＹ座標）を基準座標とした例を説明したが、他の実施形態では、撮像装置２のカメラ座標を基準座標にしてもよい。この実施形態では、カメラ座標そのものが基準座標になるため、画像変換部５１を必ずしも設ける必要はない。なお、この実施形態では、視線位置変換部によって視線位置をカメラ座標に変換する（対応付ける）ことにより、視線位置と特定領域との一致の判断（第１の判断）がされる。また、別の実施形態では、視線位置検出装置が運転者のフロントガラス８２上の視線位置を検出するように構成してもよい。このような構成によれば、検出された視線位置をそのまま基準座標にすることが可能となる。
【００６８】
また、上述の実施形態では、特定領域に視線位置が含まれないと判断された回数に基づいて警告を発する例を説明したが、他の実施形態では、特定領域に視線位置が含まれると判断された回数に基づいて警告を発するように構成してもよい。このような実施形態におけるユーザ認識判断では、特定領域に視線位置が含まれるとの判断（第１の判断）が所定時間内において連続的に所定回数されない場合に、ユーザが特定領域を見ていない（第２の判断）と判断してもよい。
【００６９】
また、上述の実施形態では、ユーザ（運転者）が赤色光（赤信号）を認識していない場合に警告を発する例を説明したが、他の実施形態では、赤色光以外の他の色の光をユーザが認識していない場合に警告を出力するように構成してもよい。そして、このような実施形態では、他の色の光を発する領域（例えば、青色の光を発する領域（青色領域））が特定領域となる。また、別の実施形態では、停車中と走行中とで特定領域として判断する色を変化させてもよい。たとえば、停車中は青信号（青色領域）が認識されないときに警告を発し、走行中は赤信号（赤色領域）が認識されていないときに警告を発するようにしてもよい。
【００７０】
また、他の実施形態では、主制御部がＣＰＵに加えて他のプロセッサを含むように構成してもよい。この場合、当該他のプロセッサが、上記機能構成（すなわち、画像変換部、特定領域検出部、視線位置変換部、判断部、及び警告出力制御部等）の一部または全てとして機能するようにしてもよい。
【００７１】
また、他の実施形態では、ＲＯＭ７等に記憶されているプログラムは、データ配信用のサーバのＨＤＤ（Hard Disk Drive）に記憶され、ネットワークを介してカーナビゲーションシステムやスマートフォンなどの電子機器に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blu-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体にプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされたプログラムが本実施例と同等の構成の電子機器にインストールされた場合、上述の実施形態と同等の効果が得られる。
【００７２】
なお、本明細書において使用した用語「下」、「上」、「上方」、「下方」、その他の位置関係を示す用語は、図示した実施形態との関連において使用されているのであり、装置の相対的な位置関係によって変化するものである。
【符号の説明】
【００７３】
１        警告装置
２        撮像装置（撮像部）
２Ａ      レンズ部
２Ｂ      撮像素子
３        視線位置検出装置（視線位置検出部）
３Ａ      カメラ
３Ｂ      近赤外線ＬＥＤ
４        警告出力部
５        主制御部（コンピュータ）
６        ＣＰＵ
７        ＲＯＭ
８        ＲＡＭ
５１      画像変換部
５２      特定領域検出部
５３      視線位置変換部
５４      判断部
５５      警告出力制御部
７０，１７０        基準座標
７１      基準領域
７２，１７２        ブロック
７３      特定光検出座標
７４      視線位置検出座標
８０      自動車
８１      ダッシュボード
８２      フロントガラス
９０      前方光景
９１      信号機
９２      赤信号
９３      前方車両
９４Ａ，９４Ｂ        テールランプ
【図１】
2019114118.tif 000003
【図２】
2019114118.tif 000004
【図３】
2019114118.tif 000005
【図４】
2019114118.tif 000006
【図５】
2019114118.tif 000007
【図６】
2019114118.tif 000008
【図７Ａ】
2019114118.tif 000009
【図７Ｂ】
2019114118.tif 000010
【図８】
2019114118.tif 000011