(57)【特許請求の範囲】
【請求項１】
運転者の視線の方向を検出する視線方向検出手段と、
前記運転者の視線の方向が安定しているときの前記運転者の視線の方向に基づいて前記運転者の上下方向および左右方向の脇見を検出し、前記運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出手段と
を含む脇見検出装置。
【請求項２】
前記脇見検出手段は、前記運転者の視線の方向が安定していない場合、前記危険度が不明であると判定する
請求項１に記載の脇見検出装置。
【請求項３】
前記脇見検出手段は、さらに、前記運転者が脇見している角度に基づいて危険度を判定する
請求項１に記載の脇見検出装置。
【請求項４】
前記危険度に応じた強さで前記運転者に注意を促す警告手段を
さらに含む請求項１に記載の脇見検出装置。
【請求項５】
運転者の脇見を検出する脇見検出装置の脇見検出方法において、
運転者の視線の方向を検出する視線方向検出ステップと、
前記運転者の視線の方向が安定しているときの前記運転者の視線の方向に基づいて前記運転者の上下方向および左右方向の脇見を検出し、前記運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出ステップと
を含む脇見検出方法。
【請求項６】
運転者の視線の方向を検出する視線方向検出ステップと、
前記運転者の視線の方向が安定しているときの前記運転者の視線の方向に基づいて前記運転者の上下方向および左右方向の脇見を検出し、前記運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脇見検出装置および方法、並びに、プログラムに関し、特に、車両を運転する運転者の脇見を検出する脇見検出装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
近年、交通事故を防止するために、車両を運転する運転者の脇見を検出し、注意を促す脇見検出装置の開発が進んでいる。そのような脇見検出装置の中には、前方障害物への接近の有無に応じて、脇見に対する警報のレベルを変化させるものがある（例えば、特許文献１参照）。具体的には、特許文献１に記載の発明では、運転者の左右方向および下方向の脇見を検出した場合に、前方障害物への接近を検知したとき、緊急度の高い第１脇見警報を出力し、前方障害物への接近を検知していない場合に、運転者が下方向への脇見を繰り返していることを検出したとき、第１脇見警報より緊急度の低い第２脇見警報を出力することが提案されている。
【０００３】
【特許文献１】特許３８５５７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明では、前方障害物への接近の有無に基づいて警報の緊急度が区別されている一方、運転者の脇見の状態による緊急度の区別は十分に考慮されておらず、さらに、運転者が上方向に脇見をした場合については全く考慮されていない。すなわち、特許文献１に記載の発明では、運転者の脇見の状態による危険度の違いが十分に考慮されておらず、運転者の脇見の状態に応じた適切な警報が行えないことが想定される。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、運転者の脇見の危険度をより正確に認識できるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の脇見検出装置は、運転者の視線の方向を検出する視線方向検出手段と、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見を検出し、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出手段とを備える。
【０００７】
本発明の一側面の脇見検出装置においては、運転者の視線の方向が検出され、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見が検出され、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度が判定されるとともに、上下方向の脇見が左右方向の脇見より危険度が高いと判定される。
【０００８】
従って、運転者の脇見の危険度をより正確に認識することができる。
【０００９】
この視線方向検出手段、脇見検出手段は、例えば、CPU（Central Processing Unit）により構成される。
【００１０】
この脇見検出手段には、運転者の視線の方向が安定していない場合、危険度が不明であると判定させることができる。
【００１２】
この脇見検出手段には、さらに、運転者が脇見している角度に基づいて危険度を判定させることができる。
【００１３】
これにより、運転者の脇見の危険度をさらに正確に認識することができる。
【００１４】
危険度に応じた強さで運転者に注意を促す警告手段をさらに設けることができる。
【００１５】
これにより、不快感を感じさせずに適切に運転者に脇見に対する注意を促すことができる。
【００１６】
本発明の一側面の脇見検出方法またはプログラムは、運転者の視線の方向を検出する視線方向検出ステップと、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見を検出し、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出ステップとを含む。
【００１７】
本発明の一側面の脇見検出方法またはプログラムにおいては、運転者の視線の方向が検出され、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見が検出され、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度が判定されるとともに、上下方向の脇見が左右方向の脇見より危険度が高いと判定される。
【００１８】
従って、運転者の脇見の危険度をより正確に認識することができる。
【００１９】
この視線方向検出ステップは、例えば、運転者の視線の方向をCPUにより検出する視線方向検出ステップにより構成され、この脇見検出ステップは、例えば、CPUにより、運転者の視線の方向が安定しているときの運転者の視線の方向に基づいて運転者の上下方向および左右方向の脇見を検出し、運転者が上下左右のいずれの方向に脇見をしているかに基づいて危険度を判定するとともに、上下方向の脇見を左右方向の脇見より危険度が高いと判定する脇見検出ステップにより構成される。
【発明の効果】
【００２０】
以上のように、本発明の一側面によれば、運転者の脇見の危険度をより正確に認識することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図を参照して、本発明の実施の形態について説明する。
【００２２】
図１は、本発明を適用した脇見検出システム１の一実施の形態を示すブロック図である。脇見検出システム１は、脇見検出システム１が設けられている車両（以下、自車と称する）を運転する運転者の脇見を検出し、運転者に脇見による危険を回避させるための動作を行う。脇見検出システム１は、撮像装置１１、および、脇見検出装置１２を含むように構成される。
【００２３】
撮像装置１１は、例えば、CCD（Charge Coupled Devices）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。撮像装置１１は、自車を運転する運転者の顔をほぼ正面から撮影できる位置に設置され、所定の間隔で運転者を撮影し、撮影した画像（以下、顔画像と称する）を脇見検出装置１２の視線検出部２１に供給する。
【００２４】
脇見検出装置１２は、視線検出部２１、脇見検出部２２、および、車両制御部２３を含むように構成される。
【００２５】
視線検出部２１は、所定の手法を用いて、顔画像に基づいて、運転者の視線の方向を検出する。例えば、視線検出部２１は、自車の所定の正面方向を基準にして、運転者の視線が上下左右方向の何度の方向を向いているかを検出する。視線検出部２１は、検出した運転者の視線の方向を示す情報（例えば、上方向に２０度かつ右方向に３０度など）を脇見検出部２２に供給する。なお、視線検出部２１が視線の方向を検出する手法は、特定の手法に限定されるものではなく、より迅速、正確かつ簡単に視線の方向を検出できる手法が望ましい。
【００２６】
脇見検出部２２は、図２を参照して後述するように、視線検出部２１により検出された運転者の視線の方向に基づいて、運転者の上下方向および左右方向の脇見を検出する。また、脇見検出部２２は、図２を参照して後述するように、脇見検出部２２により検出された運転者の脇見の方向に基づいて、運転者の脇見の危険度を判定する。脇見検出部２２は、運転者の脇見の危険度を示す情報を車両制御部２３に供給する。
【００２７】
ところで、人間の視野は、左右方向に比べて上下方向が狭くなっている。従って、車両の進行方向に対して左右方向に視線を向けている場合より、上下方向に視線を向けている場合の方が、車両の進行方向が視野に入りにくく、危険度が高くなる。従って、脇見検出部２２は、図２を参照して後述するように、上下方向の脇見を左右方向の脇見より危険度が高いと判定する。
【００２８】
車両制御部２３は、例えば、ECU（Electronic Control Unit）などにより構成され、自車および自車に設けられている各種の車載装置の動作を制御することにより、危険度に応じた強さで運転者に脇見に対する注意を促す。
【００２９】
次に、図２のフローチャートを参照して、脇見検出システム１により実行される脇見検出処理について説明する。なお、この処理は、例えば、自車のイグニッションスイッチがオンの状態にされ、エンジンが始動されたとき、開始される。
【００３０】
ステップＳ１において、視線検出部２１は、運転者の視線方向の検出を開始する。具体的には、撮像装置１１は、運転者の顔画像の撮影、および、視線検出部２１への顔画像の供給を開始する。視線検出部２１は、顔画像に基づいて、運転者の視線の方向の検出を開始し、検出した視線方向を示す情報の脇見検出部２２への供給を開始する。
【００３１】
ステップＳ２において、脇見検出部２２は、運転者の視線方向の変化が所定の範囲内（例えば、５度以内）である状態が所定の時間（例えば、１秒間）継続したかを判定する。運転者の視線方向の変化が所定の範囲内である状態が所定の時間継続したと判定された場合、すなわち、運転者の視線の方向が安定している場合、処理はステップＳ３に進む。
【００３２】
ステップＳ３において、脇見検出部２２は、上下方向の視線方向が所定の範囲を超えているかを判定する。脇見検出部２２は、例えば、所定の時間前（例えば、１秒前）から現在までの間の運転者の上下方向の視線方向の平均値が所定の範囲（±２０度）内である場合、上下方向の視線方向が所定の範囲を超えていないと判定し、処理はステップＳ４に進む。
【００３３】
ステップＳ４において、脇見検出部２２は、左右方向の視線方向が所定の範囲を超えているかを判定する。脇見検出部２２は、例えば、所定の時間前（例えば、１秒前）から現在までの間の運転者の左右方向の視線方向の平均値が所定の範囲(例えば、±４０度)内である場合、左右方向の視線方向が所定の範囲を超えていないと判定し、処理はステップＳ５に進む。
【００３４】
ステップＳ５において、脇見検出部２２は、視線方向がルームミラーの方向であるかを判定する。脇見検出部２２は、例えば、所定の時間前（例えば、１秒前）から現在までの間の運転者の視線方向の平均値が、予め定められている自車のルームミラーの方向の範囲内でない場合、視線方向がルームミラーの方向でないと判定し、処理はステップＳ６に進む。
【００３５】
ステップＳ６において、脇見検出部２２は、危険度＝０であると判定する。すなわち、運転者の視線方向が上下左右とも所定の範囲内であり、かつ、運転者がルームミラーの方向を見ていない場合、運転者の脇見による危険性は無いと判定される。その後、処理はステップＳ１１に進む。
【００３６】
一方、ステップＳ５において、脇見検出部２２は、例えば、所定の時間前から現在までの間の運転者の視線方向の平均値が、予め定められている自車のルームミラーの方向の範囲内である場合、視線方向がルームミラーの方向であると判定し、処理はステップＳ７に進む。
【００３７】
ステップＳ７において、脇見検出部２２は、危険度＝小であると判定する。すなわち、運転者がルームミラーの方向を見ている場合、車両の前方へ視線を戻すのは容易であるため、運転者の脇見の危険度は小さいと判定される。その後、処理はステップＳ１１に進む。
【００３８】
一方、ステップＳ４において、脇見検出部２２は、例えば、所定の時間前から現在までの間の運転者の左右方向の視線方向の平均値が所定の範囲を超えている場合、左右方向の視線方向が所定の範囲を超えていると判定し、処理はステップＳ８に進む。
【００３９】
ステップＳ８において、脇見検出部２２は、危険度＝中であると判定する。すなわち、運転者が上下方向の脇見をしていないが、左右方向の脇見をしている場合、車両の周囲は見えているが、前方は見えていない可能性が高いため、運転者の脇見の危険度は中程度であると判定される。その後、処理はステップＳ１１に進む。
【００４０】
一方、ステップＳ３において、脇見検出部２２は、例えば、所定の時間前から現在までの間の運転者の上下方向の視線方向の平均値が所定の範囲を超えている場合、上下方向の視線方向が所定の範囲を超えていると判定し、処理はステップＳ９に進む。
【００４１】
ステップＳ９において、脇見検出部２２は、危険度＝大であると判定する。すなわち、運転者の左右方向の視線の方向に関わらず、上下方向の脇見をしている場合、車両の周囲がほとんど見えていない可能性が高いため、運転者の脇見の危険度は大きいと判定される。その後、処理はステップＳ１１に進む。
【００４２】
一方、ステップＳ２において、運転者の視線方向の変化が所定の範囲内である状態が所定の時間継続していないと判定された場合、すなわち、運転者の視線の方向が安定していない場合、処理はステップＳ１０に進む。
【００４３】
ステップＳ１０において、脇見検出部２２は、危険度＝不明であると判定する。すなわち、運転者の視線の方向が安定しておらず、運転者が脇見をしているか否かを判定できないため、運転者の脇見の危険度は不明であると判定される。その後、処理はステップＳ１１に進む。
【００４４】
ステップＳ１１において、脇見検出部２２は、危険度を出力する。すなわち、脇見検出部２２は、判定した脇見の危険度を示す情報を車両制御部２３に供給する。
【００４５】
ステップＳ１２において、車両制御部２３は、危険度に応じた強さで運転者に注意を促す。例えば、車両制御部２３は、危険度が小である場合、自車に設けられている図示せぬ音声出力装置（例えば、スピーカなど）に警告音またはアラームを鳴動させ、運転者に注意を促す。また、車両制御部２３は、危険度が中である場合、例えば、危険度が小である場合より大きな音量で警告音またはアラームを鳴動させ、危険度が小である場合より確実な方法で運転者に注意を促す。さらに、車両制御部２３は、危険度が大である場合、例えば、危険度が中である場合と同じ音量で同じ警告音を鳴動させるともに、図示せぬシートベルト巻き取り制御装置に運転席のシートベルトを巻き取り方向に引き込ませ、危険度が中である場合より確実な方法で運転者に注意を促す。なお、危険度が０または不明である場合には、特に処理は行われない。
【００４６】
ステップＳ１３において、脇見検出システム１は、処理を終了するかを判定する。例えば、自車のイグニッションスイッチがオンの状態のままである場合、脇見検出システム１は、処理を終了しないと判定し、処理はステップＳ２に戻り、ステップＳ１３において、処理を終了すると判定されるまで、ステップＳ２乃至Ｓ１３の処理が繰り返し実行される。
【００４７】
一方、ステップＳ１３において、例えば、自車のイグニッションスイッチがオフの状態にされ、エンジンが停止されたとき、脇見検出システム１は、処理を終了すると判定し、脇見検出処理は終了する。
【００４８】
このようにして、運転者の脇見の危険度が正確に認識され、危険度に応じて適切に運転者に注意を促すことができる。従って、安全性が向上するとともに、不適切な警告が行われ、運転者に不快感を与えることが防止される。
【００４９】
なお、以上の説明では、危険度を大中小の３段階に分ける例を示したが、より細かく、あるいは、より粗く危険度を分けるようにしてもよい。例えば、上下方向または左右方向の視線方向の角度が大きくなるほど高くなるように、危険度をより詳細に分けるようにしてもよい。また、例えば、自車の速度が速いほど高くなるように、危険度をより詳細に分けるようにしてもよい。
【００５０】
また、ルームミラー以外にも、サイドミラーなど、運転中に確認する必要がある器具の方向を向いた場合に、ルームミラーの方向を向いた場合と同程度の危険度であると判定するようにしてもよい。
【００５１】
さらに、脇見をしている方向と危険度を対応づけた表を作成して、その表を用いて危険度を判定するようにしてもよい。
【００５２】
また、危険度に応じて警告音の音量を変化させる以外にも、危険度に応じて警告音の音色やメッセージの内容を変化させるようにしてもよい。さらに、脇見が検出された場合、警告灯を点灯または点滅させるようして、危険度に応じて、警告灯の色、種類、点滅速度などを変化させるようにしてもよい。また、脇見が検出された場合、運転席やステアリングホイールに内蔵された振動体を振動させるようにして、危険度に応じて振動の強さを変化させるようにしてもよい。
【００５３】
さらに、脇見が検出された場合、危険度に応じて、自車のブレーキを作動させるようにして、自車を減速させるようにしてもよい。
【００５４】
また、運転者の顔の向きも検出するようにして、運転者の視線方向が検出できない場合に、運転者の顔の向きに基づいて、危険度を判定するようにしてもよい。
【００５５】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００５６】
図３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００５７】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【００５８】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【００５９】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【００６０】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００６１】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【００６２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００６３】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を意味するものとする。
【００６４】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明を適用した脇見検出システムの一実施の形態を示すブロック図である。
【図２】脇見検出処理を説明するためのフローチャートである。
【図３】コンピュータの構成の例を示すブロック図である。
【符号の説明】
【００６６】
１  脇見検出システム
１１  撮像装置
１２  脇見検出装置
２１  視線検出部
２２  脇見検出部
２３  車両制御部
【図１】
0005082834.tif 000002
【図２】
0005082834.tif 000003
【図３】
0005082834.tif 000004