(57)【要約】【課題】脇見運転とそうでない行為とを明確に区別して判定できる脇見運転検出装置を提供する。【解決手段】脇見運転検出装置１００は、車両の運転席に設けられて運転手の顔を撮像する主カメラ１と、主カメラ１が撮像した画像から得られる運転手の視線の方向に基づいて、脇見運転の有無を判定する脇見判定部１３と、脇見運転であると判定された場合に警報を出力する警報出力部１４と、車両の走行中に運転手が視認する特定の車載部品の設置箇所に設けられた補助カメラ２〜６とを備える。脇見判定部１３は、主カメラ１の撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、補助カメラ２〜６の撮像画像から得られる運転手の視線が、特定の車載部品の方向を向いている場合に、運転手の視線が特定の車載部品の方向を向いている時間が、基準時間を超えれば脇見運転であると判定し、基準時間を超えなければ脇見運転でないと判定する。【選択図】図１
2020024532.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転席に設けられて運転手の顔を撮像する主カメラと、
前記主カメラが撮像した画像から得られる運転手の視線の方向に基づいて、脇見運転の有無を判定する脇見判定部と、
前記脇見判定部が脇見運転であると判定した場合に警報を出力する警報出力部と、を備えた脇見運転検出装置において、
車両の走行中に運転手が視認する特定の車載部品の設置箇所に設けられ、前記主カメラとは異なる場所から運転手の顔を撮像する補助カメラをさらに備え、
前記脇見判定部は、
前記主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、前記補助カメラの撮像画像から得られる運転手の視線が、前記特定の車載部品の方向を向いている場合に、
前記運転手の視線が前記特定の車載部品の方向を向いている時間が、あらかじめ定められた基準時間を超えれば、脇見運転であると判定し、
前記運転手の視線が前記特定の車載部品の方向を向いている時間が、前記基準時間を超えなければ、脇見運転でないと判定する、ことを特徴とする脇見運転検出装置。
【請求項２】
請求項１に記載の脇見運転検出装置において、
前記脇見判定部は、
前記主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、前記補助カメラの撮像画像から得られる運転手の視線が前記特定の車載部品の方向を向いていない場合に、
前記運転手の視線が前記特定の車載部品の方向を向いていない時間が、前記基準時間より短い所定時間を超えれば、脇見運転であると判定し、
前記運転手の視線が前記特定の車載部品の方向を向いていない時間が、前記所定時間を超えなければ、脇見運転でないと判定する、ことを特徴とする脇見運転検出装置。
【請求項３】
請求項１に記載の脇見運転検出装置において、
前記特定の車載部品は、車体の左側に設けられた左サイドミラー、車体の右側に設けられた右サイドミラー、および車室内の前方に設けられたルームミラーの少なくとも１つから構成されるミラー系車載部品を含み、
前記基準時間は、第１閾値として設定された時間であり、
前記脇見判定部は、
前記主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、前記補助カメラの撮像画像から得られる運転手の視線が、前記ミラー系車載部品の方向を向いている場合に、
前記運転手の視線が前記ミラー系車載部品の方向を向いている時間が、前記第１閾値を超えれば、脇見運転であると判定し、
前記運転手の視線が前記ミラー系車載部品の方向を向いている時間が、前記第１閾値を超えなければ、脇見運転でないと判定し、
前記主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、前記補助カメラの撮像画像から得られる運転手の視線が、前記ミラー系車載部品の方向を向いていない場合に、
前記運転手の視線が前記ミラー系車載部品の方向を向いていない時間が、前記第１閾値より小さい第２閾値を超えれば、脇見運転であると判定し、
前記運転手の視線が前記ミラー系車載部品の方向を向いていない時間が、前記第２閾値を超えなければ、脇見運転でないと判定する、ことを特徴とする脇見運転検出装置。
【請求項４】
請求項３に記載の脇見運転検出装置において、
前記特定の車載部品は、車両のインストルメントパネルに設けられた、ディスプレイおよびメータの少なくとも１つから構成される表示系車載部品をさらに含み、
前記脇見判定部は、
前記主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、前記補助カメラの撮像画像から得られる運転手の視線が、前記表示系車載部品の方向を向いている場合に、
前記運転手の視線が前記表示系車載部品の方向を向いている時間が、前記第１閾値より小さい第３閾値を超えれば、脇見運転であると判定し、
前記運転手の視線が前記表示系車載部品の方向を向いている時間が、前記第３閾値を超えなければ、脇見運転でないと判定し、
前記主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、前記補助カメラの撮像画像から得られる運転手の視線が前記表示系車載部品の方向を向いていない場合に、
前記運転手の視線が前記表示系車載部品の方向を向いていない時間が、前記第３閾値より小さい第４閾値を超えれば、脇見運転であると判定し、
前記運転手の視線が前記表示系車載部品の方向を向いていない時間が、前記第４閾値を超えなければ、脇見運転でないと判定する、ことを特徴とする脇見運転検出装置。
【請求項５】
請求項１に記載の脇見運転検出装置において、
前記特定の車載部品は、車両のインストルメントパネルに設けられた、ディスプレイおよびメータの少なくとも１つから構成される表示系車載部品を含み、
前記基準時間は、第３閾値として設定された時間であり、
前記脇見判定部は、
前記主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、前記補助カメラの撮像画像から得られる運転手の視線が前記表示系車載部品の方向を向いている場合に、
前記運転手の視線が前記表示系車載部品の方向を向いている時間が、前記第３閾値を超えれば、脇見運転であると判定し、
前記運転手の視線が前記表示系車載部品の方向を向いている時間が、前記第３閾値を超えなければ、脇見運転でないと判定し、
前記主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、前記補助カメラの撮像画像から得られる運転手の視線が前記表示系車載部品の方向を向いていない場合に、
前記運転手の視線が前記表示系車載部品の方向を向いていない時間が、前記第３閾値より小さい第４閾値を超えれば、脇見運転であると判定し、
前記運転手の視線が前記表示系車載部品の方向を向いていない時間が、前記第４閾値を超えなければ、脇見運転でないと判定する、ことを特徴とする脇見運転検出装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の脇見運転検出装置において、
前記主カメラ、前記脇見判定部、および前記警報出力部は、車両に搭載されて運転手の状態を監視するドライバモニタに備わっている、ことを特徴とする脇見運転検出装置。
【請求項７】
請求項１ないし請求項６のいずれかに記載の脇見運転検出装置において、
前記主カメラで撮像された画像を処理する第１画像処理部と、
前記補助カメラで撮像された画像を処理する第２画像処理部と、
前記第１画像処理部および前記第２画像処理部で処理された画像に基づいて、運転手の視線の方向を検出する視線検出部と、をさらに備えたことを特徴とする脇見運転検出装置。
【請求項８】
請求項７に記載の脇見運転検出装置において、
前記補助カメラは、複数の箇所に設置された前記特定の車載部品に対応して、複数設けられており、
前記第２画像処理部は、前記複数の補助カメラで撮像された画像を処理する単一の画像処理部からなる、ことを特徴とする脇見運転検出装置。
【請求項９】
請求項１ないし請求項６のいずれかに記載の脇見運転検出装置において、
前記主カメラで撮像された画像および前記補助カメラで撮像された画像を処理する単一の画像処理部と、
前記画像処理部で処理された画像に基づいて、運転手の視線の方向を検出する視線検出部と、をさらに備えたことを特徴とする脇見運転検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転手が脇見運転をしていることを検出する脇見運転検出装置に関する。
【背景技術】
【０００２】
脇見運転による交通事故を未然に防止するために、運転手の顔をカメラで撮像し、その画像から得られる顔の向きや視線の方向などに基づいて、運転手が脇見運転をしているか否かを監視するドライバモニタが知られている。ドライバモニタは、車両の運転席に装備され、カメラの撮像画像から脇見運転が検出された場合は、警報を出力して運転手に注意を喚起する。また、ドライバモニタは、脇見運転だけでなく、居眠り運転や運転手の体調不良なども検出する機能を備えている。
【０００３】
特許文献１、２には、ドライバモニタで運転手の視線方向を検出することが記載されている。特許文献１では、運転手の視線方向と車両の進行方向とがなす角度に応じて警報出力のタイミングを変更する一方、運転手の視線がサイドミラーの方向を向いているときは警報出力を禁止することで、警報装置が適切に作動するようにしている。特許文献２では、運転手の視線がルームミラーまたはサイドミラーの方向を向いているときは、運転手に車線を変更する意志があると判定し、車線を変更するための操舵制御を実行することで、運転手の意図に合致した車線変更が行えるようにしている。
【０００４】
また、特許文献３には、運転手を監視するドライバモニタ以外に、車両の近傍にいる歩行者を検出するためのカメラを、サイドミラーに設けた構成が記載されている。本文献では、ドライバモニタのカメラで運転手の顔の向きを検出し、右折または左折にあたって運転手が側方を十分に視認していないと判断される場合に、サイドミラーのカメラで歩行者が検出されれば、運転手に対して警報を発するようにしている。
【０００５】
ところで、ドライバモニタで撮像した運転手の顔画像から得られる視線が、車両の進行方向からずれていても、運転手が脇見運転をしているとはいえない場合がある。たとえば、走行中の車両が車線を変更する際には、運転手はサイドミラーを見て、変更先の車線の車両状況を確認する。この場合、ドライバモニタが撮像した顔画像においては、運転手の視線がサイドミラーの方向を向いているが、車線変更にあたって運転手がサイドミラーを見る行為は、車両の安全走行のために必要な行為であって、脇見運転ではない。それにもかかわらず、ドライバモニタが脇見運転と認識すると、誤って警報が出力されることになる。
【０００６】
そこで、上述した特許文献１のように、運転手の視線がサイドミラーの方向を向いているときは、警報出力を禁止することで、ドライバモニタの誤認識に基づく警報出力を回避することができる。しかしながら、運転手の正面に配置されたドライバモニタのカメラからみて、運転手が脇見運転をしているときの視線方向と、サイドミラーを見ているときの視線方向とは似た方向となるため、脇見運転なのかサイドミラーの視認なのかを、顔画像から得られる視線方向だけで正確に判断するのは難しい。同様のことは、運転手が後方車両を確認するためにルームミラーを見たり、走行ルートを確認するためにカーナビゲーション装置（以下「カーナビ」という）のディスプレイを見たりする場合にも起こり得る。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１８１２８６号公報
【特許文献２】特開２００９−２８００１５号公報
【特許文献３】特開２０１０−１１３６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、脇見運転とそうでない行為とを明確に区別して判定できる脇見運転検出装置を提供することを課題としている。
【課題を解決するための手段】
【０００９】
本発明に係る脇見運転検出装置は、車両の運転席に設けられて運転手の顔を撮像する主カメラと、この主カメラが撮像した画像から得られる運転手の視線の方向に基づいて、脇見運転の有無を判定する脇見判定部と、この脇見判定部が脇見運転であると判定した場合に警報を出力する警報出力部と、車両の走行中に運転手が視認する特定の車載部品の設置箇所に設けられ、主カメラとは異なる場所から運転手の顔を撮像する補助カメラとを備えている。脇見判定部は、主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、補助カメラの撮像画像から得られる運転手の視線が、特定の車載部品の方向を向いている場合に、運転手の視線が特定の車載部品の方向を向いている時間が、あらかじめ定められた基準時間を超えれば、脇見運転であると判定し、基準時間を超えなければ、脇見運転でないと判定する。
【００１０】
このような本発明の脇見運転検出装置によると、主カメラの撮像画像から得られる運転手の視線が脇見の方向を向いていても、補助カメラの撮像画像から得られる運転手の視線が、基準時間内で特定の車載部品の方向を向いている場合は、脇見を運転に必要な行為とみなして、脇見運転とは判定しない。このため、運転手の正当行為に対して警報が出力されるのを回避することができる。一方、運転手の視線が、基準時間を超えて特定の車載部品の方向を向いている場合は、脇見を危険行為とみなして、脇見運転と判定する。このため、運転手の危険行為に対しては、警報を出力して安全を確保することができる。
【００１１】
また、本発明では、運転手の視線が特定の車載部品の方向を向いていることを、当該車載部品に付設した補助カメラの撮像画像から得られる視線に基づいて、直接的に検出する。このため、主カメラの撮像画像から得られる視線に基づいて間接的に検出する場合に比べて、検出精度が向上し、脇見運転とそうでない行為とを明確に区別して判定することができる。
【００１２】
本発明において、脇見判定部は、主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、補助カメラの撮像画像から得られる運転手の視線が特定の車載部品の方向を向いていない場合に、運転手の視線が特定の車載部品の方向を向いていない時間が、前記基準時間より短い所定時間を超えれば、脇見運転であると判定し、前記所定時間を超えなければ、脇見運転でないと判定してもよい。
【００１３】
本発明において、運転手が視認する特定の車載部品は、車体の左側に設けられた左サイドミラー、車体の右側に設けられた右サイドミラー、および車室内の前方に設けられたルームミラーの少なくとも１つから構成されるミラー系車載部品を含んでいてもよい。この場合、前記の基準時間は、第１閾値として設定された時間であり、脇見判定部は、主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、補助カメラの撮像画像から得られる運転手の視線が、ミラー系車載部品の方向を向いている場合に、運転手の視線がミラー系車載部品の方向を向いている時間が、第１閾値を超えれば脇見運転であると判定し、第１閾値を超えなければ脇見運転でないと判定する。また、脇見判定部は、主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、補助カメラの撮像画像から得られる運転手の視線が、ミラー系車載部品の方向を向いていない場合に、運転手の視線がミラー系車載部品の方向を向いていない時間が、第１閾値より小さい第２閾値を超えれば、脇見運転であると判定し、第２閾値を超えなければ、脇見運転でないと判定する。
【００１４】
本発明において、運転手が視認する特定の車載部品は、上述したミラー系車載部品に加えて、あるいはミラー系車載部品に代えて、車両のインストルメントパネルに設けられた、ディスプレイおよびメータの少なくとも１つから構成される表示系車載部品を含んでいてもよい。この場合、脇見判定部は、主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、補助カメラの撮像画像から得られる運転手の視線が、表示系車載部品の方向を向いている場合に、運転手の視線が表示系車載部品の方向を向いている時間が、第３閾値を超えれば脇見運転であると判定し、第３閾値を超えなければ脇見運転でないと判定する。第３閾値は、前記の第１閾値より小さい値であってもよい。また、脇見判定部は、主カメラの撮像画像から得られる運転手の視線が、脇見の方向を向いていて、かつ、補助カメラの撮像画像から得られる運転手の視線が表示系車載部品の方向を向いていない場合に、運転手の視線が表示系車載部品の方向を向いていない時間が、第３閾値より小さい第４閾値を超えれば脇見運転であると判定し、第４閾値を超えなければ脇見運転でないと判定する。
【００１５】
本発明において、主カメラ、脇見判定部、および警報出力部は、車両に搭載されて運転手の状態を監視するドライバモニタに備わっていてもよい。
【００１６】
本発明において、主カメラで撮像された画像を処理する第１画像処理部と、補助カメラで撮像された画像を処理する第２画像処理部と、第１画像処理部および第２画像処理部で処理された画像に基づいて、運転手の視線の方向を検出する視線検出部とを設けてもよい。
【００１７】
補助カメラが、複数の箇所に設置された特定の車載部品に対応して、複数設けられている場合、第２画像処理部は、複数の補助カメラで撮像された画像を処理する単一の画像処理部であってもよい。
【００１８】
また、第１画像処理部と第２画像処理部に代えて、主カメラで撮像された画像および補助カメラで撮像された画像を処理する単一の画像処理部を設けてもよい。
【発明の効果】
【００１９】
本発明の脇見運転検出装置によれば、脇見運転とそうでない行為とを明確に区別して判定することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る脇見運転検出装置のブロック図である。
【図２】主カメラと補助カメラの構成を示したブロック図である。
【図３】運転手の顔の撮像を説明する図である。
【図４】主カメラと補助カメラの設置例を示した図である。
【図５Ａ】車両走行中における運転手の視線の例を示した図である。
【図５Ｂ】車両走行中における運転手の視線の他の例を示した図である。
【図６】脇見運転検出装置の動作を示したフローチャートである。
【図７】図６の続きのフローチャートである。
【図８】本発明の他の実施形態に係る脇見運転検出装置のブロック図である。
【図９】本発明の他の実施形態に係る脇見運転検出装置のブロック図である。
【図１０】脇見運転検出装置の動作を示したフローチャートの他の例である。
【図１１】脇見運転検出装置の動作を示したフローチャートの他の例である。
【発明を実施するための形態】
【００２１】
以下、本発明による脇見運転検出装置の実施形態を、図面に基づいて詳細に説明する。図１〜図１１において、同一の部分または対応する部分には、同一の符号を付してある。
【００２２】
まず、脇見運転検出装置の構成を、図１を参照しながら説明する。図１において、脇見運転検出装置１００には、ドライバモニタ５０と、補助カメラ２〜６と、画像処理部１５〜１９とが備わっている。
【００２３】
ドライバモニタ５０は、車両に搭載されて運転手の状態を監視する装置であって、主カメラ１、画像処理部１１、視線検出部１２、脇見判定部１３、および警報出力部１４を有している。視線検出部１２と脇見判定部１３と警報出力部１４とは、制御部１０を構成している。画像処理部１１を制御部１０に含めてもよい。制御部１０には、視線検出部１２や脇見判定部１３のほかに、運転手の瞼の動きや居眠りなどを検出するためのブロックも備わっているが、それらは本発明と直接関係しないので、図示を省略してある。
【００２４】
主カメラ１は、後述するように、車両の運転席に設けられて運転手の顔を撮像する。画像処理部１１は、主カメラ１で撮像された画像を処理して、運転手の顔画像を生成するとともに、当該顔画像から目などの特徴点を抽出する。視線検出部１２は、画像処理部１１で得られた顔画像や特徴点に基づいて、運転手の視線の方向を検出する。脇見判定部１３は、視線検出部１２で検出された運転手の視線の方向に基づいて、脇見運転の有無を判定する。警報出力部１４は、脇見判定部１３が脇見運転であると判定した場合に警報を出力する。
【００２５】
補助カメラ２〜６は、後述するように、車両の走行中に運転手が視認するミラーやディスプレイなどの特定の車載部品の設置箇所に設けられる。画像処理部１５〜１９は、補助カメラ２〜６のそれぞれに対応して設けられており、画像処理部１１と同様に、補助カメラ２〜６で撮像された運転手の顔から目などの特徴点を抽出する。画像処理部１５〜１９の出力は、画像処理部１１の出力とともに、ドライバモニタ５０の視線検出部１２へ送られる。また、ドライバモニタ５０の脇見判定部１３には、図示しないＥＣＵ（電子制御ユニット）から、車両の走行速度（車速）などの車両情報が入力される。
【００２６】
上記構成において、画像処理部１１は、本発明における「第１画像処理部」に相当し、画像処理部１５〜１９は、本発明における「第２画像処理部」に相当する。
【００２７】
図２は、主カメラ１と補助カメラ２〜６の構成を示している。カメラ１〜６は、光学系を構成するレンズ２０と、このレンズ２０を通して被写体である運転手を撮像する撮像素子２１と、この撮像素子２１で光電変換されたアナログの電気信号を増幅する増幅回路２２と、この増幅回路２２で増幅された信号をデジタル信号に変換し画像信号として出力する信号出力回路２３とを備えている。撮像素子２１は、たとえばＣＭＯＳイメージセンサからなる。なお、主カメラ１には、必要に応じて、運転手の顔を赤外光などで照射するための光源が設けられる（図示省略）。
【００２８】
図３は、車両３０の運転席３１において、シート３４に着座した運転手ＤＲの顔を、主カメラ１で撮像している様子を示した図である。破線は主カメラ１の撮像範囲を示している。車両３０は、たとえば自動四輪車である。
【００２９】
図４は、車室内から車両の進行方向に向って、フロントガラスＷおよびインストルメントパネル３２を見た図であり、主カメラ１と補助カメラ２〜６の設置例を示している。
【００３０】
主カメラ１は、インストルメントパネル３２における運転手ＤＲと対面する箇所に設置されており、図４に示すように、ステアリング３３を通して運転手ＤＲの顔を撮像する。補助カメラ２〜６は、運転手ＤＲが視認する特定の車載部品の設置箇所に設けられ、主カメラ１とは異なる場所から運転手ＤＲの顔を撮像する。詳しくは、補助カメラ２は、車体の左側に設けられた左サイドミラー３５に付設されており、補助カメラ３は、車体の右側に設けられた右サイドミラー３６に付設されている。補助カメラ４は、車室内の前方（フロントガラスＷの上部近傍）に設けられたルームミラー３７に付設されている。補助カメラ５は、インストルメントパネル３２に設けられたディスプレイ３８に付設されている。ディスプレイ３８には、カーナビやテレビなどの映像が表示される。補助カメラ６は、インストルメントパネル３２に設けられたメータ３９に付設されている。メータ３９には、走行速度やエンジン回転数などが表示される。
【００３１】
左サイドミラー３５、右サイドミラー３６、およびルームミラー３７は、本発明における「ミラー系車載部品」の一例であり、ディスプレイ３８およびメータ３９は、本発明における「表示系車載部品」の一例である。
【００３２】
図５Ａと図５Ｂは、車両走行中における運転手ＤＲの視線の例を示している。これらの各場合において、主カメラ１により運転手ＤＲが撮像され、画像処理部１１（図１）で顔画像が生成され、視線検出部１２で視線（主カメラ１からみた視線）が検出される。また、補助カメラ２〜６により運転手ＤＲが撮像され、画像処理部１５〜１９で顔画像が生成され、視線検出部１２で視線（補助カメラ２〜６からみた視線）が検出される。脇見判定部１３は、視線検出部１２が検出したそれぞれの視線に基づいて、運転手ＤＲが脇見運転をしているか否かを判定する。以下、この判定方法について具体的に説明する。
【００３３】
図５Ａに示した視線の例は、車両の運転に必要な運転手ＤＲの正当行為に基づくものであり、いずれの場合も基本的には脇見運転に該当しない。
【００３４】
図５Ａ（ａ）は、運転手ＤＲが正面を向いている状態であり、視線は進行方向と一致している。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは前方をまっすぐ見ている状態となるので、補助カメラ２〜６が撮像した画像を参照するまでもなく、脇見運転に該当しないと判定される。
【００３５】
図５Ａ（ｂ）は、運転手ＤＲが左サイドミラー３５（図４）を見ている状態であり、視線は進行方向に対して斜め左下方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは左側に脇見をしている状態となるが、補助カメラ２が撮像した画像においては、運転手ＤＲは左サイドミラー３５の方向を向いている状態となる。そして、運転手ＤＲが左サイドミラー３５を見るのは、左折や左側車線への車線変更をする際に必要な行為であることから、この場合は脇見運転に該当しないと判定される。但し、一定時間を超えて左サイドミラー３５を見続けた場合は、前方不注意となって安全運転に支障を来たすため、脇見運転と判定される。
【００３６】
図５Ａ（ｃ）は、運転手ＤＲが右サイドミラー３６（図４）を見ている状態であり、視線は進行方向に対して斜め右下方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは右側に脇見をしている状態となるが、補助カメラ３が撮像した画像においては、運転手ＤＲは右サイドミラー３６の方向を向いている状態となる。そして、運転手ＤＲが右サイドミラー３６を見るのは、右折や右側車線への車線変更をする際に必要な行為であることから、この場合は脇見運転に該当しないと判定される。但し、一定時間を超えて右サイドミラー３６を見続けた場合は、前方不注意となって安全運転に支障を来たすため、脇見運転と判定される。
【００３７】
図５Ａ（ｄ）は、運転手ＤＲがルームミラー３７（図４）を見ている状態であり、視線は進行方向に対して斜め左上方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは上側に脇見をしている状態となるが、補助カメラ４が撮像した画像においては、運転手ＤＲはルームミラー３７の方向を向いている状態となる。そして、運転手ＤＲがルームミラー３７を見るのは、後方を走行する車両を確認する際に必要な行為であることから、この場合は脇見運転に該当しないと判定される。但し、一定時間を超えてルームミラー３７を見続けた場合は、前方不注意となって安全運転に支障を来たすため、脇見運転と判定される。
【００３８】
図５Ａ（ｅ）は、運転手ＤＲがディスプレイ３８（図４）を見ている状態であり、視線は進行方向に対して斜め左下方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは下側に脇見をしている状態となるが、補助カメラ５が撮像した画像においては、運転手ＤＲはディスプレイ３８の方向を向いている状態となる。そして、運転手ＤＲがディスプレイ３８を見るのは、たとえばカーナビにより走行ルートを確認する際に必要な行為であることから、この場合は脇見運転に該当しないと判定される。但し、一定時間を超えてディスプレイ３８を見続けた場合は、前方不注意となって安全運転に支障を来たすため、脇見運転と判定される。
【００３９】
図５Ａ（ｆ）は、運転手ＤＲがメータ３９（図４）を見ている状態であり、視線は進行方向に対して斜め左下方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは下側に脇見をしている状態となるが、補助カメラ６が撮像した画像においては、運転手ＤＲはメータ３９の方向を向いている状態となる。そして、運転手ＤＲがメータ３９を見るのは、走行速度などを確認する際に必要な行為であることから、この場合は脇見運転に該当しないと判定される。但し、一定時間を超えてメータ３９を見続けた場合は、前方不注意となって安全運転に支障を来たすため、脇見運転と判定される。
【００４０】
一方、図５Ｂに示した視線の例は、車両の運転に必要でない運転手ＤＲの危険行為に基づくもので、いずれの場合も基本的には脇見運転に該当する。
【００４１】
図５Ｂ（ｕ）は、運転手ＤＲが左側の車外風景などを見ている状態であり、視線は進行方向に対して左方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは左側に脇見をしている状態となり、補助カメラ２〜６が撮像した画像においては、運転手ＤＲは車載部品３５〜３９のいずれの方向も向いていない状態となる。したがって、運転手ＤＲの視線は運転に必要な行為に基づくものではない可能性が高いので、この場合は脇見運転に該当すると判定される。但し、運転手ＤＲが左方向を向いている時間がごく短時間（一瞬）であれば、実質的に安全運転に支障を来たさないことから、脇見運転に該当しないと判定される。
【００４２】
図５Ｂ（ｖ）は、運転手ＤＲが右側の車外風景などを見ている状態であり、視線は進行方向に対して右方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは右側に脇見をしている状態となり、補助カメラ２〜６が撮像した画像においては、運転手ＤＲは車載部品３５〜３９のいずれの方向も向いていない状態となる。したがって、運転手ＤＲの視線は運転に必要な行為に基づくものではない可能性が高いので、この場合は脇見運転に該当すると判定される。但し、運転手ＤＲが右方向を向いている時間がごく短時間（一瞬）であれば、実質的に安全運転に支障を来たさないことから、脇見運転に該当しないと判定される。
【００４３】
図５Ｂ（ｗ）は、運転手ＤＲが空を見上げているような状態であり、視線は進行方向に対して上方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは上側に脇見をしている状態となり、補助カメラ２〜６が撮像した画像においては、運転手ＤＲは車載部品３５〜３９のいずれの方向も向いていない状態となる。したがって、運転手ＤＲの視線は運転に必要な行為に基づくものではない可能性が高いので、この場合は脇見運転に該当すると判定される。但し、運転手ＤＲが上方向を向いている時間がごく短時間（一瞬）であれば、実質的に安全運転に支障を来たさないことから、脇見運転に該当しないと判定される。
【００４４】
図５Ｂ（ｘ）は、運転手ＤＲが足元などを見ている状態であり、視線は進行方向に対して下方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは下側に脇見をしている状態となり、補助カメラ２〜６が撮像した画像においては、運転手ＤＲは車載部品３５〜３９のいずれの方向も向いていない状態となる。したがって、運転手ＤＲの視線は運転に必要な行為に基づくものではない可能性が高いので、この場合は脇見運転に該当すると判定される。但し、運転手ＤＲが下方向を向いている時間がごく短時間（一瞬）であれば、実質的に安全運転に支障を来たさないことから、脇見運転に該当しないと判定される。
【００４５】
図５Ｂ（ｙ）は、運転手ＤＲが左側の斜め上の車外風景などを見ている状態であり、視線は進行方向に対して斜め左上方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは上側に脇見をしている状態となり、補助カメラ２〜６が撮像した画像においては、運転手ＤＲは車載部品３５〜３９のいずれの方向も向いていない状態となる。したがって、運転手ＤＲの視線は運転に必要な行為に基づくものではない可能性が高いので、この場合は脇見運転に該当すると判定される。但し、運転手ＤＲが斜め左上を向いている時間がごく短時間（一瞬）であれば、実質的に安全運転に支障を来たさないことから、脇見運転に該当しないと判定される。
【００４６】
図５Ｂ（ｚ）は、運転手ＤＲがディスプレイ３８よりも下の部分を見ている状態であり、視線は進行方向に対して斜め左下方向を向いている。この場合、主カメラ１が撮像した画像においては、運転手ＤＲは下側に脇見をしている状態となり、補助カメラ２〜６が撮像した画像においては、運転手ＤＲは車載部品３５〜３９のいずれの方向も向いていない状態となる。したがって、運転手ＤＲの視線は運転に必要な行為に基づくものではない可能性が高いので、この場合は脇見運転に該当すると判定される。但し、運転手ＤＲが斜め左下を向いている時間がごく短時間（一瞬）であれば、実質的に安全運転に支障を来たさないことから、脇見運転に該当しないと判定される。
【００４７】
次に、図６および図７のフローチャートに従って、脇見運転の判定手順をさらに詳細に説明する。
【００４８】
図６において、ステップＳ１では、主カメラ１と補助カメラ２〜６が運転手ＤＲの顔を撮像する。ステップＳ２では、画像処理部１１、１５〜１９が運転手ＤＲの顔画像を生成する。ステップＳ３では、視線検出部１２が顔画像から運転手ＤＲの視線を検出する。
【００４９】
ステップＳ４では、脇見判定部１３が、ステップＳ３で検出された視線のうち、主カメラ１で撮像された顔画像における視線と、ＥＣＵから取得した車両情報とに基づいて、運転手ＤＲが進行方向に対して左側に脇見をしているか否かを判定する。詳しくは、車速が一定以上（たとえば１０ｋｍ／ｈ以上）で、かつ運転手ＤＲの視線が進行方向に対して左側を向いている場合に、脇見判定部１３は左側の脇見であると判定する。左側に脇見をしている場合はステップＳ５へ進み、左側に脇見をしていない場合はステップＳ９へ進む。
【００５０】
ステップＳ５では、脇見判定部１３が、運転手ＤＲが左サイドミラー３５を見ているか否かを判定する。この判定は、補助カメラ２が撮像し画像処理部１５で生成された運転手ＤＲの顔画像から視線検出部１２が検出した、運転手ＤＲの視線の方向に基づいて行われる。判定の結果、図５Ａ（ｂ）のように、運転手ＤＲが左サイドミラー３５を見ている場合は、ステップＳ６ａへ進む。また、図５Ｂ（ｕ）のように、運転手ＤＲが左サイドミラー３５を見ていない場合は、ステップＳ６ｂへ進む。
【００５１】
ステップＳ６ａでは、脇見運転判定のための閾値Ｔ１（第１閾値）が設定される。この閾値Ｔ１は、制御部１０の図示しないメモリにあらかじめ記憶されており、本発明の「基準時間」に相当する。続くステップＳ７では、脇見判定部１３が、脇見時間が閾値Ｔ１を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲが左サイドミラー３５を見ている時間であり、補助カメラ２の撮像画像に基づいて計測される。
【００５２】
一方、ステップＳ６ｂでは、脇見運転判定のための閾値Ｔ２（第２閾値）が設定される。この閾値Ｔ２も、制御部１０の図示しないメモリにあらかじめ記憶されている。閾値Ｔ２は、閾値Ｔ１よりも小さく（Ｔ１＞Ｔ２）、本発明の「基準時間より短い所定時間」に相当する。続くステップＳ７では、脇見判定部１３が、脇見時間が閾値Ｔ２を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲが左サイドミラー３５を見ずに左側に脇見をしている時間であって、主カメラ１の撮像画像に基づいて計測される。
【００５３】
ステップＳ７の判定の結果、脇見時間が閾値Ｔ１またはＴ２を超えている場合は、ステップＳ８へ進み、超えていない場合は、最初のステップＳ１へ戻る。ステップＳ８では、脇見判定部１３が、左方向の脇見運転と判定するとともに、警報出力部１４が警報を出力する。この警報は、音声や表示などの形態で出力される（ステップＳ１３、Ｓ１８、Ｓ２３、Ｓ２８においても同様）。
【００５４】
ステップＳ４において、運転手ＤＲが左側に脇見をしていない場合、脇見判定部１３は、ステップＳ９で運転手ＤＲが右側に脇見をしているか否かを判定する。この判定は、主カメラ１で撮像された顔画像における視線と、ＥＣＵから取得した車両情報とに基づいて行われる。詳しくは、車速が一定以上で、かつ運転手ＤＲの視線が進行方向に対して右側を向いている場合に、脇見判定部１３は右側の脇見であると判定する。右側に脇見をしている場合はステップＳ１０へ進み、右側に脇見をしていない場合はステップＳ１４へ進む。
【００５５】
ステップＳ１０では、脇見判定部１３が、運転手ＤＲが右サイドミラー３６を見ているか否かを判定する。この判定は、補助カメラ３が撮像し画像処理部１６で生成された運転手ＤＲの顔画像から視線検出部１２が検出した、運転手ＤＲの視線の方向に基づいて行われる。判定の結果、図５Ａ（ｃ）のように、運転手ＤＲが右サイドミラー３６を見ている場合は、ステップＳ１１ａへ進む。また、図５Ｂ（ｖ）のように、運転手ＤＲが右サイドミラー３６を見ていない場合は、ステップＳ１１ｂへ進む。
【００５６】
ステップＳ１１ａでは、前述した閾値Ｔ１が設定される。続くステップＳ１２では、脇見判定部１３が、脇見時間が閾値Ｔ１を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲが右サイドミラー３６を見ている時間であり、補助カメラ３の撮像画像に基づいて計測される。
【００５７】
一方、ステップＳ１１ｂでは、前述した閾値Ｔ２が設定される。続くステップＳ１２では、脇見判定部１３が、脇見時間が閾値Ｔ２を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲが右サイドミラー３６を見ずに右側に脇見をしている時間であって、主カメラ１の撮像画像に基づいて計測される。
【００５８】
ステップＳ１２の判定の結果、脇見時間が閾値Ｔ１またはＴ２を超えている場合は、ステップＳ１３へ進み、超えていない場合は、最初のステップＳ１へ戻る。ステップＳ１３では、脇見判定部１３が、右方向の脇見運転と判定するとともに、警報出力部１４が警報を出力する。
【００５９】
ステップＳ９において、運転手ＤＲが右側に脇見をしていない場合、脇見判定部１３は、ステップＳ１４で運転手ＤＲが上側に脇見をしているか否かを判定する。この判定は、主カメラ１で撮像された顔画像における視線と、ＥＣＵから取得した車両情報とに基づいて行われる。詳しくは、車速が一定以上で、かつ運転手ＤＲの視線が進行方向に対して上側を向いている場合に、脇見判定部１３は上側の脇見であると判定する。上側に脇見をしている場合はステップＳ１５へ進み、上側に脇見をしていない場合はステップＳ１９（図７）へ進む。
【００６０】
ステップＳ１５では、脇見判定部１３が、運転手ＤＲがルームミラー３７を見ているか否かを判定する。この判定は、補助カメラ４が撮像し画像処理部１７で生成された運転手ＤＲの顔画像から視線検出部１２が検出した、運転手ＤＲの視線の方向に基づいて行われる。判定の結果、図５Ａ（ｄ）のように、運転手ＤＲがルームミラー３７を見ている場合は、ステップＳ１６ａへ進む。また、図５Ｂ（ｗ）（ｙ）のように、運転手ＤＲがルームミラー３７を見ていない場合は、ステップＳ１６ｂへ進む。
【００６１】
ステップＳ１６ａでは、前述した閾値Ｔ１が設定される。続くステップＳ１７では、脇見判定部１３が、脇見時間が閾値Ｔ１を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲがルームミラー３７を見ている時間であり、補助カメラ４の撮像画像に基づいて計測される。
【００６２】
一方、ステップＳ１６ｂでは、前述した閾値Ｔ２が設定される。続くステップＳ１７では、脇見判定部１３が、脇見時間が閾値Ｔ２を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲがルームミラー３７を見ずに上側に脇見をしている時間であって、主カメラ１の撮像画像に基づいて計測される。
【００６３】
ステップＳ１７の判定の結果、脇見時間が閾値Ｔ１またはＴ２を超えている場合は、ステップＳ１８へ進み、超えていない場合は、最初のステップＳ１へ戻る。ステップＳ１８では、脇見判定部１３が、上方向の脇見運転と判定するとともに、警報出力部１４が警報を出力する。
【００６４】
ステップＳ１４において、運転手ＤＲが上側に脇見をしていない場合、脇見判定部１３は、図７のステップＳ１９で運転手ＤＲが下側に脇見をしているか否かを判定する。この判定は、主カメラ１で撮像された顔画像における視線と、ＥＣＵから取得した車両情報とに基づいて行われる。詳しくは、車速が一定以上で、かつ運転手ＤＲの視線が進行方向に対して下側を向いている場合に、脇見判定部１３は下側の脇見であると判定する。下側に脇見をしている場合は、ステップＳ２０およびステップＳ２４へ進む。ステップＳ２０〜Ｓ２３と、ステップＳ２４〜Ｓ２７とは、並行して実行される。ステップＳ１９で運転手ＤＲが下側に脇見をしていない場合は、図６のステップＳ１へ戻る。
【００６５】
ステップＳ２０では、脇見判定部１３が、運転手ＤＲがディスプレイ３８を見ているか否かを判定する。この判定は、補助カメラ５が撮像し画像処理部１８で生成された運転手ＤＲの顔画像から視線検出部１２が検出した、運転手ＤＲの視線の方向に基づいて行われる。判定の結果、図５Ａ（ｅ）のように、運転手ＤＲがディスプレイ３８を見ている場合は、ステップＳ２１ａへ進む。また、図５Ｂ（ｚ）のように、運転手ＤＲがディスプレイ３８を見ていない場合は、ステップＳ２１ｂへ進む。
【００６６】
ステップＳ２１ａでは、前述した閾値Ｔ１より小さい閾値Ｔ３が設定される（Ｔ１＞Ｔ３）。続くステップＳ２２では、脇見判定部１３が、脇見時間が閾値Ｔ３を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲがディスプレイ３８を見ている時間であり、補助カメラ５の撮像画像に基づいて計測される。
【００６７】
一方、ステップＳ２１ｂでは、閾値Ｔ３より小さい閾値Ｔ４が設定される。続くステップＳ２２では、脇見判定部１３が、脇見時間が閾値Ｔ４を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲがディスプレイ３８を見ずに下側に脇見をしている時間であって、主カメラ１の撮像画像に基づいて計測される。
【００６８】
ステップＳ２２の判定の結果、脇見時間が閾値Ｔ３またはＴ４を超えている場合は、ステップＳ２３へ進み、超えていない場合は、図６のステップＳ１へ戻る。ステップＳ２３では、脇見判定部１３が、下方向の脇見運転と判定するとともに、警報出力部１４が警報を出力する。
【００６９】
一方、ステップＳ２４では、脇見判定部１３が、運転手ＤＲがメータ３９を見ているか否かを判定する。この判定は、補助カメラ６が撮像し画像処理部１９で生成された運転手ＤＲの顔画像から視線検出部１２が検出した、運転手ＤＲの視線の方向に基づいて行われる。判定の結果、図５Ａ（ｆ）のように、運転手ＤＲがメータ３９を見ている場合は、ステップＳ２５ａへ進む。また、図５Ｂ（ｚ）のように、運転手ＤＲがメータ３９を見ていない場合は、ステップＳ２５ｂへ進む。
【００７０】
ステップＳ２５ａでは、前述した閾値Ｔ３が設定される。続くステップＳ２６では、脇見判定部１３が、脇見時間が閾値Ｔ３を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲがメータ３９を見ている時間であり、補助カメラ６の撮像画像に基づいて計測される。
【００７１】
一方、ステップＳ２５ｂでは、前述した閾値Ｔ４が設定される。続くステップＳ２６では、脇見判定部１３が、脇見時間が閾値Ｔ４を超えたか否かを判定する。この場合の脇見時間は、運転手ＤＲがメータ３９を見ずに下側に脇見をしている時間であって、主カメラ１の撮像画像に基づいて計測される。
【００７２】
ステップＳ２６の判定の結果、脇見時間が閾値Ｔ３またはＴ４を超えている場合は、ステップＳ２７へ進み、超えていない場合は、図６のステップＳ１へ戻る。ステップＳ２７では、脇見判定部１３が、下方向の脇見運転と判定するとともに、警報出力部１４が警報を出力する。
【００７３】
以上のように、本実施形態においては、ドライバモニタ５０に備わる主カメラ１に加えて、運転手ＤＲが視認する箇所に補助カメラ２〜６を設けている。そして、主カメラ１の撮像画像から得られる運転手ＤＲの視線が脇見の方向を向いていても、補助カメラ２〜６の撮像画像から得られる運転手ＤＲの視線が、基準時間（閾値Ｔ１、Ｔ３）内で、ミラー３５〜３７、ディスプレイ３８、メータ３９などの特定の車載部品の方向を向いている場合は、脇見を運転に必要な行為とみなして、脇見運転とは判定しない。このため、運転手ＤＲの正当行為に対して警報が出力されるのを回避することができる。一方、運転手ＤＲの視線が、基準時間を超えて特定の車載部品の方向を向いている場合は、脇見を運転に必要でない危険行為とみなして、脇見運転と判定する。このため、運転手ＤＲの危険行為に対しては、警報を出力して安全を確保することができる。
【００７４】
また、本実施形態においては、運転手ＤＲの視線が特定の車載部品の方向を向いていることを、当該車載部品に付設した補助カメラ２〜６の撮像画像から得られる視線に基づいて、直接的に検出している。このため、特許文献１のような、主カメラ１の撮像画像から得られる視線に基づいて間接的に検出する方法に比べて、検出精度が向上し、脇見運転とそうでない行為とを明確に区別して判定することができる。
【００７５】
また、本実施形態においては、主カメラ１の撮像画像から得られる運転手ＤＲの視線が脇見の方向を向いていて、補助カメラ２〜６の撮像画像から得られる運転手ＤＲの視線が、特定の車載部品の方向を向いていない場合は、当該車載部品の方向を向いていない時間に応じて、脇見運転であるかそうでないかを判定している。このため、脇見をしている時間が長ければ、警報を出力して安全を確保することができ、脇見をしている時間が安全運転に支障を来たさない瞬間的なものであれば、警報を出力するのを抑制することができる。
【００７６】
また、本実施形態においては、主カメラ１の撮像画像から得られる運転手ＤＲの視線が脇見の方向を向いていて、補助カメラ２〜６の撮像画像から得られる運転手ＤＲの視線が、サイドミラー３５、３６やルームミラー３７などのミラー系車載部品の方向を向いている場合は、当該ミラー系車載部品の方向を向いている時間が、第１閾値Ｔ１を超えれば脇見運転であると判定し、第１閾値Ｔ１を超えなければ脇見運転でないと判定している。一方、補助カメラ２〜６の撮像画像から得られる運転手ＤＲの視線が、ミラー系車載部品の方向を向いていない場合は、当該ミラー系車載部品の方向を向いていない時間が、第１閾値Ｔ１より小さい第２閾値Ｔ２を超えれば脇見運転であると判定し、第２閾値Ｔ２を超えなければ脇見運転でないと判定している。このため、運転手ＤＲがミラー系車載部品を見ている場合は、閾値を大きくしてサイドミラー３５、３６やルームミラー３７を確認するための時間を確保することができ、運転手ＤＲがミラー系車載部品を見ていない場合は、閾値を小さくして警報を短時間で出力することで、安全を確保することができる。
【００７７】
また、本実施形態においては、主カメラ１の撮像画像から得られる運転手ＤＲの視線が脇見の方向を向いていて、補助カメラ２〜６の撮像画像から得られる運転手ＤＲの視線が、ディスプレイ３８やメータ３９などの表示系車載部品の方向を向いている場合は、当該表示系車載部品の方向を向いている時間が、第１閾値Ｔ１より小さい第３閾値Ｔ３を超えれば脇見運転であると判定し、第３閾値Ｔ３を超えなければ脇見運転でないと判定している。一方、補助カメラ２〜６の撮像画像から得られる運転手ＤＲの視線が、表示系車載部品の方向を向いていない場合は、当該表示系車載部品の方向を向いていない時間が、第３閾値Ｔ３より小さい第４閾値Ｔ４を超えれば脇見運転であると判定し、第４閾値Ｔ４を超えなければ脇見運転でないと判定している。このため、運転手ＤＲが表示系車載部品を見ている場合は、閾値をある程度大きくしてディスプレイ３８やメータ３９を確認するための時間を確保することができ、運転手ＤＲが表示系車載部品を見ていない場合は、閾値を極力小さくして警報をすぐに出力することで、安全を確保することができる。
【００７８】
また、本実施形態においては、主カメラ１は、ドライバモニタ５０の専用カメラである。ドライバモニタ５０は、視線に基づく脇見の検出だけでなく、前述したように、瞼の動きや居眠りなどの検出も行うため、主カメラ１としては高性能のカメラを用いる必要がある。これに対して、補助カメラ２〜６は、それらが付設されている車載部品３５〜３９を運転手ＤＲが見ていることを検出するものであり、運転手ＤＲの視線を検出できれば足りるので、主カメラ１のような高性能のカメラである必要はない。このため、補助カメラ２〜６のコストを抑制して、脇見運転検出装置１００を安価に構成することができる。
【００７９】
本発明では、上述した実施形態以外にも、以下のような種々の実施形態を採用することができる。
【００８０】
図１の脇見運転検出装置１００においては、複数の補助カメラ２〜６のそれぞれに対応して画像処理部１５〜１９を設けたが、図８に示す脇見運転検出装置２００のように、補助カメラ２〜６のそれぞれで撮像された画像を処理する単一の画像処理部４０を設けてもよい。この画像処理部４０は、本発明における「第２画像処理部」に相当する。このようにすれば、補助カメラ２〜６ごとに画像処理部を設ける必要がないので、脇見運転検出装置２００をより安価に構成することができる。
【００８１】
また、図９に示す脇見運転検出装置３００のように、補助カメラ２〜６のそれぞれで撮像された画像を、ドライバモニタ５０の画像処理部１１で処理するようにしてもよい。このようにすれば、補助カメラ２〜６に画像処理部を設ける必要がないので、脇見運転検出装置３００をさらに安価に構成することができる。
【００８２】
図６および図７においては、ミラー系車載部品についての脇見運転判定（図６）に続いて、表示系車載部品についての脇見運転判定（図７）が実行される例を挙げたが、両者を切り離して実行するようにしてもよい。図１０および図１１は、その場合のフローチャートを示している。図１０では、ステップＳ１４で上側の脇見がない場合、最初のステップＳ１に戻って、以降のミラー系車載部品についての脇見運転判定が行われる。なお、図１０のステップＳ１で運転手ＤＲの顔を撮像するのは、主カメラ１と補助カメラ２〜４である。
【００８３】
図１１のフローチャートは、図１０のフローチャートと並行して実行され、図７のフローチャートにステップＳ３１〜Ｓ３３が追加されている。ステップＳ３１で運転手ＤＲの顔を撮像するのは、主カメラ１と補助カメラ５、６である。ステップＳ３２〜Ｓ３３の内容は、図１０のステップＳ２〜Ｓ３の内容と同じである。
【００８４】
図６と図７、および図１０と図１１においては、ミラー系車載部品についての脇見運転判定と、表示系車載部品についての脇見運転判定の両方を行っているが、これらの脇見運転判定のうち、いずれか一方のみを行うようにしてもよい。
【００８５】
図６と図１０においては、サイドミラー３５、３６についての閾値Ｔ１、Ｔ２を、ルームミラー３７についても適用したが、サイドミラー３５、３６とルームミラー３７とで閾値を異ならせてもよい。同様に、図７と図１１においては、ディスプレイ３８についての閾値Ｔ３、Ｔ４を、メータ３９についても適用したが、ディスプレイ３８とメータ３９とで閾値を異ならせてもよい。また、図７と図１１においては、閾値Ｔ３が閾値Ｔ１より小さく設定されているが（Ｔ１＞Ｔ３）、閾値Ｔ３は閾値Ｔ１と同じ値であってもよい（Ｔ１＝Ｔ３）。
【００８６】
図７と図１１においては、運転手ＤＲがディスプレイ３８を見ているか否かだけを判定し（ステップＳ２０）、見ている場合は一律に閾値をＴ３に設定したが（ステップＳ２１ａ）、ディスプレイ３８の表示内容に応じて閾値を異ならせてもよい。たとえば、ディスプレイ３８に表示されているのがカーナビの画面である場合は、走行中に運転手ＤＲがディスプレイ３８を見る行為は、走行ルートなどを確認するために必要な行為であるから、閾値はＴ３に設定する。一方、ディスプレイ３８に表示されているのがテレビの画面である場合は、走行中に運転手ＤＲがディスプレイ３８を見る行為は、運転と関係のない危険行為であるから、閾値はＴ３より小さい値（Ｔ４でもよい）に設定する。
【００８７】
前記の実施形態では、表示系車載部品としてディスプレイ３８とメータ３９を例に挙げたが、これら以外に、時計やランプなどを含めてもよい。また、車両の走行中に運転手ＤＲが視認する車載部品として、ミラー系車載部品と表示系車載部品以外に、操作系車載部品を含めてもよい。操作系車載部品としては、たとえば、ドア開閉用のスイッチ、窓開閉用のスイッチ、エアコンやオーディオ用のスイッチ、チェンジレバーなどがある。
【００８８】
前記の実施形態では、本発明の脇見運転検出装置を自動四輪車に搭載した例を挙げたが、本発明は、トラックやバスなどの他の車両に搭載される脇見運転検出装置にも適用することができる。
【符号の説明】
【００８９】
１    主カメラ
２〜６  補助カメラ
１１  画像処理部（第１画像処理部）
１２  視線検出部
１３  脇見判定部
１４  警報出力部
１５〜１９  画像処理部（第２画像処理部）
３２  インストルメントパネル
３５  左サイドミラー（ミラー系車載部品）
３６  右サイドミラー（ミラー系車載部品）
３７  ルームミラー（ミラー系車載部品）
３８  ディスプレイ（表示系車載部品）
３９  メータ（表示系車載部品）
４０  画像処理部（第２画像処理部）
５０  ドライバモニタ
１００、２００、３００  脇見運転検出装置
ＤＲ  運転手
Ｔ１  第１閾値（基準時間）
Ｔ２  第２閾値（基準時間より短い所定時間）
Ｔ３  第３閾値
Ｔ４  第４閾値
【図１】
2020024532.tif 000003
【図２】
2020024532.tif 000004
【図３】
2020024532.tif 000005
【図４】
2020024532.tif 000006
【図５Ａ】
2020024532.tif 000007
【図５Ｂ】
2020024532.tif 000008
【図６】
2020024532.tif 000009
【図７】
2020024532.tif 000010
【図８】
2020024532.tif 000011
【図９】
2020024532.tif 000012
【図１０】
2020024532.tif 000013
【図１１】
2020024532.tif 000014