(57)【要約】【課題】運転者の振り返りによる車線確認は、安全を確保するために必要な行為であるが、視線が運転視野範囲から外れるため脇見と判断されて警告を受ける場合がある。【解決手段】脇見判定装置、脇見判定方法及び脇見判定のためのプログラムは、運転者の視線または顔の向きの変化から検出した変化パターンを予め設定した基準パターンと比較して、変化パターンが基準パターンに対応するパターンであれば、脇見判定を行う通常時判定条件を一時的に切り替えて脇見には該当しないと判定する。【選択図】図１
2019091275.tif 000002
【特許請求の範囲】
【請求項１】
運転者の視線または顔の向きを示す第１の検出情報を変化パターンとして取得する第１の取得部と、
前記第１の取得部に取得された前記変化パターンを読み出し、当該変化パターンが前記運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定する変化パターン判定部と、
前記変化パターンが前記基準パターンに対応すると判定された場合に、脇見と判定するために設定された通常時判定条件を一時的に切り替える判定条件変更部と、
前記通常時判定条件又は、前記判定条件変更部により前記一時的に切り替えられた判定条件のいずれかにより、前記第１の検出情報により脇見を判定する脇見判定部と、
を具備する脇見判定装置。
【請求項２】
前記変化パターン判定部は、車両の左方向および右方向の少なくとも一方に仮想的な車線確認領域を設定し、前記第１の検出情報により示される前記運転者の視線または顔の向きの変化角度が前記車線確認領域に対応する角度以上となり、かつ前記視線または顔の向きが変化し始めてから元の向きに戻るまでの変化所要時間が予め設定した第１の時間以内の場合に、前記視線または顔の向きの変化パターンが前記運転者の車線確認動作に該当して前記基準パターンに対応すると判定する、請求項１に記載の脇見判定装置。
【請求項３】
前記変化パターン判定部は、車両の左方向および右方向の少なくとも一方に、サイドミラーの設置位置に対応する仮想的な第１の車線確認領域と、当該第１の車線確認領域より後方側に前記運転者が直視により車線確認を行うための仮想的な第２の車線確認領域を設定し、前記第１の検出情報により示される前記運転者の視線または顔の向きの変化が前記第１の車線確認領域で一旦止まり、前記変化の角度が前記第２の車線確認領域に対応する角度以上となり、かつ前記視線または顔の向きが変化し始めてから元の向きに戻るまでの変化所要時間が予め設定した第２の時間以内の場合に、前記視線または顔の向きの変化パターンが前記運転者の車線確認動作に該当して前記基準パターンに対応すると判定する、請求項１に記載の脇見判定装置。
【請求項４】
方向指示器の動作を示す第２の検出情報を取得する第２の取得部を、さらに具備し、
前記判定条件変更部は、前記第２の検出情報により示される前記方向指示器の動作期間に、前記変化パターン判定部の判定結果に優先して、前記脇見と判定するために設定された判定条件を一時的に切り替える、請求項１乃至３のうちのいずれか１項に記載の脇見判定装置。
【請求項５】
操舵装置による車両の進行方向を変化させる動作を示す第２の検出情報を取得する第２の取得部を、さらに具備し、
前記判定条件変更部は、前記第２の検出情報に基づき、前記操舵装置による前記車両の進行方向を変化させる動作が検出されている期間に、前記変化パターン判定部の判定結果に優先して、前記脇見と判定するために設定された判定条件を一時的に切り替える、請求項１乃至３のうちのいずれか１項に記載の脇見判定装置。
【請求項６】
前記脇見判定部によって、前記脇見と判定された場合、警告を行うように指示する信号を出力する警告指示部をさらに、備えた請求項１乃至請求項５のうちのいずれか１項に記載の脇見判定装置。
【請求項７】
車載装置が実行する脇見判定方法であって、
運転者の視線または顔の向きを示す第１の検出情報を取得する過程と、
前記第１の検出情報に基づいて前記運転者の視線または顔の向きの変化パターンを検出し、当該変化パターンが前記運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定する過程と、
前記変化パターンが前記基準パターンに対応すると判定された場合に、脇見と判定するために設定された判定条件を一時的に切り替える過程と、
前記第１の検出情報により示される前記運転者の視線または顔の向きと、前記脇見と判定するために設定された判定条件又は切り替えられた判定条件に基づいて、前記運転者が脇見をしているか否かを判定する過程と、
を具備する脇見判定方法。
【請求項８】
請求項１乃至５のうちのいずれか１項に記載の脇見判定装置が備える各部として、前記脇見判定装置が備えるハードウェアプロセッサを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の態様は、脇見判定装置、脇見判定方法及び脇見判定のためのプログラムに関する。
【背景技術】
【０００２】
近年、乗用車等の車両走行の際に、運転者に安全運転を促すための安全運転モードとして、種々の技術が提案されている。それらの技術の中で、例えば、特許文献１においては、運転者の脇見を検出して警告を行う技術が提案されている。この特許文献１では、視線検出センサにより運転者の目の虹彩部分を抽出して運転者の視線方向を検出し、予め設定した脇見範囲に視線が向いているか否かを判断する。運転者の視線が脇見範囲であれば、脇見の状態であると判断し、警告部により運転者に警告を発している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２０７６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、特許文献１に記載された技術には、以下のような解決すべき課題があった。すなわち、運転者は常に車両の前方方向を注視しているわけではなく、実際には安全確認のため、脇見範囲に設定されている方向に視線を向ける場合がある。その一例として、車線変更等の際に、運転者は少なくとも一度は首を回して振り返り、自己車両の隣の車線の斜め後方に視線を向けて、後方に併走する車両の存在を確認しなければならない。
【０００５】
この振り返りによる車線確認は、サイドミラーにおける視野の死角を補い、安全を確保するために必要な行為である。しかし、前述した特許文献１のように、単に視線が予め定めた視野範囲から外れたことを基準にして脇見の有無を判断すると、車線変更時に必要な確認行為にもかかわらず、当該行為が脇見と判断されて警告を受ける場合がある。
【０００６】
この発明の目的は、一側面では、運転者の車線確認動作を脇見と誤判定し難くして、不要な警告の発生を軽減する脇見判定装置、脇見判定方法及び脇見判定のためのプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、この発明に係る第１の態様の脇見判定装置は、運転者の視線または顔の向きを示す第１の検出情報を変化パターンとして取得する第１の取得部と、前記第１の取得部に取得された前記変化パターンを読み出し、当該変化パターンが前記運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定する変化パターン判定部と、前記変化パターンが前記基準パターンに対応すると判定された場合に、前記脇見と判定するために設定された通常時判定条件を一時的に切り替える判定条件変更部と、前記通常時判定条件又は、前記判定条件変更部により前記一時的に切り替えられた判定条件のいずれかにより、前記第１の検出情報により脇見を判定する脇見判定部と、を具備する。
【０００８】
前記第１の態様によれば、振り返り動作する運転者の顔の向き又は視線方向の変化による変化パターンが予め設定された基準パターンに対応するパターンであれば、脇見と判定するため判定条件を一時的に切り替えて、短時間に行われる車線確認に対して、脇見との誤判定及び誤警告を防止することができる。
【０００９】
前記第１の態様に係る脇見判定装置の前記変化パターン判定部は、車両の左方向および右方向の少なくとも一方に仮想的な車線確認領域を設定し、前記第１の検出情報により示される前記運転者の視線または顔の向きの変化角度が前記車線確認領域に対応する角度以上となり、かつ前記視線または顔の向きが変化し始めてから元の向きに戻るまでの変化所要時間が予め設定した第１の時間以内の場合に、前記視線または顔の向きの変化パターンが前記運転者の車線確認動作に対応すると判定することができる。
【００１０】
前記第１の態様によれば、脇見判定装置は、車線確認領域までの振り返り動作する運転者の顔の向き又は視線方向の変化による変化パターンにおいて、視線または顔の向きが変化し始めてから元の向きに戻るまでの所要時間が予め設定した基準時間以下であれば、車線確認の行為であると判定し、脇見との誤判定及び誤警告を防止することができる。
【００１１】
前記第１の態様の前記変化パターン判定部は、車両の左方向および右方向の少なくとも一方に、サイドミラーの設置位置に対応する仮想的な第１の車線確認領域と、当該第１の車線確認領域より後方側に運転者が直視により車線確認を行うための仮想的な第２の車線確認領域を設定し、前記第１の検出情報により示される前記運転者の視線または顔の向きの変化が前記第１の車線確認領域で一旦止まり、前記変化の角度が前記第２の車線確認領域に対応する角度以上となり、かつ前記視線または顔の向きが変化し始めてから元の向きに戻るまでの変化所要時間が予め設定した第２の時間以内の場合に、前記視線または顔の向きの変化パターンが前記運転者の車線確認動作に対応すると判定することができる。
【００１２】
前記第１の態様の前記変化パターン判定部によれば、運転者が振り返る際に、一度サイドミラーの確認を行う行為を含む変化パターンは、比較的、運転者の多くが行う車線確認動作であり、一気に振り返り前方に顔が戻る変化パターンに比べて時間を要するため、判定基準に入れておくことで、脇見との誤判定及び誤警告の確度を上げることができる。
【００１３】
前記第１の態様の前記脇見判定装置は、さらに、操舵装置による車両の進行方向を変化させる動作を示す第２の検出情報を取得する第２の取得部を具備し、前記判定条件変更部は、前記第２の検出情報に基づき、前記操舵装置による前記車両の進行方向を変化させる動作が検出されている期間、前記脇見と判定するために設定された判定条件を一時的に切り替えることができる。
【００１４】
前記第１の態様の前記脇見判定装置によれば、車線確認の判定において、確認動作に要する時間が運転者の視線が予め設定された視野範囲に戻らず、予め定めた判定基準時間を越えた場合であっても、方向指示器の操作又は、操舵装置による前記車両の進行方向を変化させる動作すなわち、ステアリング操作が行われていた場合には、車線確認から車線変更のための運転操作へ継続しているものと判定し、脇見との誤判定を防止することができる。
【００１５】
さらに、前記脇見判定部によって、前記脇見と判定された場合、警告を行うように指示する信号を出力する警告指示部を備える。
【００１６】
脇見判定装置は、安全確保のための車線確認を行った場合には、運転者の視線または顔の向きの変化パターンが基準パターンに含まれるため、脇見の判定条件が切り替えられて警告指示は出されない。一方、車線確認以外の運転者の変化パターンであれば、基準パターンには含まれず、警告指示部から警告部へ警告を指示する信号が出力される。警告部は運転者に対して脇見運転の警告を行う。
【００１７】
第２の態様の脇見判定装置による脇見判定方法は、車載装置が実行する脇見判定方法であって、運転者の視線または顔の向きを示す第１の検出情報を取得する過程と、前記第１の検出情報により示される前記運転者の視線または顔の向きと、脇見と判定するために設定された判定条件とに基づいて、前記運転者が脇見をしているか否かを判定する過程と、前記第１の検出情報に基づいて前記運転者の視線または顔の向きの変化パターンを検出し、当該変化パターンが前記運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定する過程と、前記変化パターンが前記基準パターンに対応すると判定された場合に、前記脇見と判定するために設定された判定条件を一時的に切り替える過程と  を具備する。
【００１８】
前記第２の態様によれば、振り返り動作する運転者の顔の向き又は視線方向の変化による変化パターンが予め設定された基準パターンに対応するパターンであれば、脇見と判定するため判定条件を一時的に切り替えて、短時間に行われる車線確認に対して、脇見には該当しないと判定し、脇見との誤判定及び誤警告を防止することができる。
【００１９】
さらに、車線確認の判定において、確認動作に要する時間が運転者の視線が予め設定された視野範囲に戻らず、予め定めた判定基準時間を越えた場合であっても、方向指示器の操作又はステアリング操作が行われていた場合には、車線確認から車線変更のための運転操作へ継続しているものと判定し、脇見との誤判定を防止することができる。  
この発明に係る第３の態様は、脇見判定装置が備える各部として、前記脇見判定装置が備えるハードウェアプロセッサを機能させるプログラムを提供する。  
第３の態様によれば、脇見判定のためのプログラムは、上述の第１の態様と同様の効果を得ることができる。  
【発明の効果】
【００２０】
この発明の一形態によれば、一側面では、運転者の車線確認動作を脇見と誤判定し難くして、不要な警告の発生を軽減する脇見判定装置、脇見判定方法及び脇見判定のためのプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】図１は、一実施形態に係る脇見判定装置の一適用列を模式的に例示した図である。
【図２】図２は、脇見判定装置を用いた脇見判定において車線確認の判定を行うための構成を例示したブロック図である。
【図３】図３は、本実施形態に係る車載システムの全体構成を例示する図である。
【図４】図４は、脇見判定装置のハードウェア構成を例示するブロック図である。
【図５】図５は、本実施形態に係る脇見判定装置のソフトウェア構成を例示するブロック図である。
【図６】図６は、車線確認時における時間に対する顔の向きの変化であり、車線確認の判定に用いられる基準パターン例を示す図である。
【図７】図７は、車線変更における車線確認について説明するためのタイミングチャートの一例である。
【図８】図８は、車線確認の行為について説明するためのフローチャートの一例である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、この発明に関わる実施形態について説明する。  
但し、以下で説明する本実施形態は、あらゆる点において例示に過ぎない。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。尚、本実施形態において登場するデータは、自然言語により説明されるが、より具体的には、疑似言語、コマンド、パラメータ、マシン語などで指定される。
【００２３】
［適用例］
まず、この発明に係る脇見判定装置の一適用例について説明する。  
図１は、一実施形態に係る脇見判定装置の一適用列を模式的に例示した図である。図２は、脇見判定装置を用いた脇見判定において車線確認の判定を行うための構成を例示したブロック図である。ここで、車線確認とは、運転者が車線変更等に行う際に、斜め後方に振り返り、移動する隣接車線の後方に他車両が存在してないことを、車線変更前に直視で確認する行為とする。このため、運転者顔の向きが後方に移動すると共に視線Ｐ１が仮想的な通常運転視野範囲である確認領域Ｆから外れる。この運転者の振り返りは、直視で併走車両の存在の有無が確認できる、仮想的な車線確認領域（ＬＭ，ＬＢ，ＲＭ，ＲＢ）まで顔の向きと視線を移動させて、確認の後、直ちに確認領域Ｆ内まで戻ることである。以下の説明において、脇見とは運転者が車両の進行方向における通常運転視野範囲外を注視して運転を行う、所謂、脇見運転のことを示唆する。
【００２４】
脇見判定装置２の脇見判定部２１０２は、通常時には、脇見を判定するために通常時判定条件が設定されている。運転者の頭部を動画像や連続画像で撮像した画像データ等から抽出された時系列の運転者の顔の向きの変化と視野の方向の変化を変化パターンとして取得する。変化パターン判定部２１０６では、車線確認のための複数の基準パターンが設定されており、取得された変化パターンと基準パターンと比較して、変化パターンによる行為が車線確認か否かを判定する。変化パターン判定部２１０６が変化パターンが基準パターンに含まれ、車線確認であると判定されたならば、判定条件変更部２１０５は、脇見判定の通常時判定条件の一部を一時的に切り替えた判定条件を脇見判定部に設定する。判定条件を一時的に切り替えるとは、通常時判定条件では、脇見と判定される行為であっても、検出された行為が予め設定された基準パターンの中に含まれる変化パターンであれば、判定条件の少なくとも一部を一時的に切り替えて、脇見には該当しないと判定することである。ここでは、基準パターンに含まれない変化パターンであれば、車線確認の行為以外と見なして通常時判定条件は切り替えられない。脇見判定部２１０２は、車線確認である変化パターンに対して、脇見の通常時判定条件の一部を切り替えた判定条件で脇見判定を行い、運転者への警告を行わない。
【００２５】
以下の説明において、車線確認は、運転者が運転の際に行う安全のための確認行為の１つであり、走行する車両における、車線変更、車線合流及び割り込みを含む運転操作の際に、運転者の首を回した振り返り（以下、振り返り動作と称する）による直視の視認を含み行われる確認行為とする。
【００２６】
［一実施形態］
（構成）
（１）車載システム
まず、脇見判定装置を含む車載システムの全体構成について説明する。  
図３は、この車載システムの全体構成を例示する図である。尚、車両１は、例えば、自動車、バス、トラック及び電車等のうちの何れかであっても、これら以外の運転者が乗る乗り物であってもよい。
【００２７】
車両１は、脇見判定装置２と、パワーユニット３と、操舵装置４と、ステアリングホイール５と、車外撮影カメラ６と、方向指示器スイッチ７Ａと、リレー回路７Ｂと、左側方向指示器７Ｃと、右側方向指示器７Ｄと、方向指示器センサ８Ａと、ステアリングセンサ８Ｂと、アクセルペダルセンサ８Ｃと、ブレーキペダルセンサ８Ｄと、車外センサ８Ｅと、ヨーレートセンサ８Ｆと、横加速度センサ８Ｇと、ジャイロセンサ８Ｈと、車速センサ８Ｉと、制御装置９と、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機１０と、アンテナ装置１１と、ナビゲーション装置１２と、警告部１３と、運転者情報検出部３１と、を備える。運転者情報検出部３１は、ドライバカメラ１４と、視線検出部１５を含む構成である。また、以下の説明において、左側方向指示器７Ｃと右側方向指示器７Ｄは、両方の指示器を示す場合には、単に方向指示器と称する。
【００２８】
脇見判定装置２は、ドライバカメラ１４により動画像又は、連写画像で撮像された運転者の顔の向き（第１の運転者情報）又は、視線検出部１５で検出された運転者の視線の方向（第２の運転者情報）を用いて、脇見又は車線確認と判定するために設定された判定条件とに基づいて、運転者が脇見をしているか、後述する車線確認を行っているか否かを判定する。
【００２９】
通常の判定条件は、例えば、脇見判定のために運転者の周囲に割り当てられている仮想的な複数の視野範囲又は確認領域に関する条件である。判定条件の例については後述する。脇見は、通常運転視野範囲外を見るよそ見ということもいえる。また、脇見判定装置２の具体的な構成例については後述する。
【００３０】
パワーユニット３は、動力源と、変速装置とを備える。動力源は、エンジン、モータまたはこれら両方を備える。操舵装置４は、車両１の進行方向を変更させる装置である。  
ステアリングホイール５は、操舵装置４に接続されている。ステアリングホイール５は、運転者が車両１の進行方向を変更するために操作する要素である。
【００３１】
車外撮影カメラ６は、車両１の外部を撮影する。車外撮影カメラ６は、例えば、車両１の前方を連続的に撮影する。車外撮影カメラ６は、撮影した画像（以下、車外画像データとも称する）を制御装置９へ出力する。車外撮影カメラ６は、車両１の任意の位置に設置されている。尚、図１には１つの車外撮影カメラ６を示しているが、車両１は、異なる方向を撮影する複数の車外撮影カメラ６を備えていてもよい。
【００３２】
方向指示器スイッチ７Ａは、運転者が車両１の進行方向を変更する際に左側方向指示器７Ｃまたは右側方向指示器７Ｄを動作させるために操作する要素である。運転者は、車両１の進行方向を左方向へ変更する際、方向指示器スイッチ７Ａを手動で初期位置から第１の位置へ切り替える。運転者は、車両１の進行方向を右方向へ変更する際、方向指示器スイッチ７Ａを手動で初期位置から第２の位置へ切り替える。方向指示器スイッチ７Ａは、運転者の手動での切り替えにより、第１の位置から初期位置または第２の位置から初期位置へ戻る。これとは別に、方向指示器スイッチ７Ａは、運転者が左回転させたステアリングホイール５を元の位置へ戻すことに連動して、第１の位置から初期位置へ戻る。同様に、方向指示器スイッチ７Ａは、運転者が右回転させたステアリングホイール５を元の位置へ戻すことに連動して、第２の位置から初期位置へ戻る。
【００３３】
リレー回路７Ｂは、方向指示器スイッチ７Ａの位置に応じて、左側方向指示器７Ｃまたは左側方向指示器７Ｃへ通電する。リレー回路７Ｂは、方向指示器スイッチ７Ａの初期位置から第１の位置への切り替えに応じて、左側方向指示器７Ｃへの通電を開始する。リレー回路７Ｂは、方向指示器スイッチ７Ａが第１の位置にある間、左側方向指示器７Ｃへ通電を継続する。リレー回路７Ｂは、方向指示器スイッチ７Ａの第１の位置から初期位置への切り替えに応じて、左側方向指示器７Ｃへの通電を終了する。同様に、リレー回路７Ｂは、方向指示器スイッチ７Ａの初期位置から第２の位置への切り替えに応じて、右側方向指示器７Ｄへの通電を開始する。リレー回路７Ｂは、方向指示器スイッチ７Ａが第２の位置にある間、右側方向指示器７Ｄへの通電を継続する。リレー回路７Ｂは、方向指示器スイッチ７Ａの第２の位置から初期位置への切り替えに応じて、右側方向指示器７Ｄへの通電を終了する。
【００３４】
左側方向指示器７Ｃは、リレー回路７Ｂに接続されている。左側方向指示器７Ｃは、例えば電球またはＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を含む。左側方向指示器７Ｃは、例えば車両１の左方に設けられている。尚、図１には１つの左側方向指示器７Ｃが示されているが、車両１は、左前の端部及び左後の端部といった複数の位置のそれぞれに左側方向指示器７Ｃを備える。左側方向指示器７Ｃは、リレー回路７Ｂを介して通電することで点滅する。
【００３５】
右側方向指示器７Ｄは、リレー回路７Ｂに接続されている。右側方向指示器７Ｄは、例えば電球またはＬＥＤを含む。右側方向指示器７Ｄは、例えば車両１の左方に設けられている。尚、図１には１つの右側方向指示器７Ｄが示されているが、車両１は、右前の端部及び右後の端部といった複数の位置のそれぞれに右側方向指示器７Ｄを備える。右側方向指示器７Ｄは、リレー回路７Ｂを介して通電することで点滅する。
【００３６】
方向指示器センサ８Ａは、リレー回路７Ｂに設けられている。方向指示器センサ８Ａは、リレー回路７Ｂの左側方向指示器７Ｃへの通電状況に応じて、左側方向指示器７Ｃの動作の開始及び終了を検出する。方向指示器センサ８Ａは、リレー回路７Ｂの右側方向指示器７Ｄへの通電状況に応じて、右側方向指示器７Ｄの動作の開始及び終了を検出する。方向指示器センサ８Ａは、方向指示器の動作を示す検出情報を脇見判定装置２及び制御装置９へ出力する。ここでは、方向指示器とは、左側方向指示器７Ｃまたは右側方向指示器７Ｄの何れか一方を指している。方向指示器の動作を示す検出情報は、左側方向指示器７Ｃの動作開始、左側方向指示器７Ｃの動作終了、右側方向指示器７Ｄの動作開始または右側方向指示器７Ｄへ動作終了の何れかを示す。
【００３７】
ステアリングセンサ８Ｂは、操舵角を検出する。ステアリングセンサ８Ｂは、操舵角を示す検出情報を制御装置９及び脇見判定装置２の制御部２１へ出力する。  
アクセルペダルセンサ８Ｃは、アクセルペダルの操作量を検出する。アクセルペダルセンサ８Ｃは、アクセルペダルの操作量を示す検出情報を制御装置９へ出力する。  
ブレーキペダルセンサ８Ｄは、ブレーキペダルの操作量を検出する。ブレーキペダルセンサ８Ｄは、ブレーキペダルの操作量を示す検出情報を制御装置９へ出力する。
【００３８】
車外センサ８Ｅは、例えばミリ波センサである。車外センサ８Ｅは、車両１の外部の物体の位置を検出する。車外センサ８Ｅは、物体の位置を示す検出情報を制御装置９へ出力する。  
ヨーレートセンサ８Ｆは、車両１の鉛直軸回りの回転角速度を検出する。ヨーレートセンサ８Ｆは、回転角速度を示す検出情報を制御装置９へ出力する。
【００３９】
横加速度センサ８Ｇは、車両１の横方向（幅方向）における加速度（以下、横加速度とも称する）を検出する。横加速度センサ８Ｇは、横加速度を示す検出情報を制御装置９へ出力する。  
ジャイロセンサ８Ｈは、車両１の挙動を検出する。ジャイロセンサ８Ｈは、車両１の挙動に関する量を示す検出情報を制御装置９へ出力する。  
車速センサ８Ｉは、車両１の速度を検出する。車速センサ８Ｉは、速度を示す検出情報を脇見判定装置２及び制御装置９へ出力する。
【００４０】
制御装置９は、車外撮影カメラ６からの車外画像データと、方向指示器センサ８Ａからの検出情報と、ステアリングセンサ８Ｂからの検出情報と、アクセルペダルセンサ８Ｃからの検出情報と、ブレーキペダルセンサ８Ｄからの検出情報と、車外センサ８Ｅからの検出情報と、ヨーレートセンサ８Ｆからの検出情報と、横加速度センサ８Ｇからの検出情報と、ジャイロセンサ８Ｈからの検出情報と、車速センサ８Ｉからの検出情報とを取得する。制御装置９は、これらのうちの少なくとも１つ以上を用いて、車両１の走行をサポートする。
【００４１】
ＧＰＳ受信機１０は、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信し、各ＧＰＳ信号に基づいて車両１の現在位置を算出する。ＧＰＳ受信機１０は、現在位置を示す情報（以下、現在位置情報とも称する）をナビゲーション装置１２へ出力する。
【００４２】
アンテナ装置１１は、ＦＭ（Ｆｒｅｑｕｅｎｃｙ  Ｍｏｄｕｌａｔｉｏｎ）多重放送、電波ビーコン及び光ビーコンのうちの少なくとも１つにより道路交通情報（ＶＩＣＳ（登録商標）（但し、ＶＩＣＳ：Ｖｅｈｉｃｌｅ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）情報）を受ける。道路交通情報は、例えば渋滞情報及び交通規制情報などを含む。アンテナ装置１１は、道路交通情報をナビゲーション装置１２へ渡す。
【００４３】
ナビゲーション装置１２は、映像を表示するディスプレイ１２１を備える映像表示装置の一例である。ナビゲーション装置１２は、地図データを記憶している。地図データは、道路の特徴に関する情報を含む。
【００４４】
ナビゲーション装置１２は、運転者等によって入力される目的地に関する情報と、地図データと、ＧＰＳ受信機１０からの現在位置情報とを用いて、現在位置から目的地までの経路情報を抽出する。ナビゲーション装置１２は、経路情報をディスプレイ１２１に表示する。ナビゲーション装置１２は、アンテナ装置１１からの道路交通情報をディスプレイ１２１に表示する。ナビゲーション装置１２は、経路情報及び道路交通情報以外の情報をディスプレイ１２１に表示することもできる。
【００４５】
警告部１３は、スピーカ１３１を備える。後述する脇見判定部２１０２から脇見を行っていると判定された際に、警告指示部２１０７から警告部１３へ警告を指示する信号が出力される。警告の指示を受けた警告部１３は、運転者に対して、安全運転を行うように警告や種々の情報をスピーカ１３１で音声で出力する。勿論、音声による警告だけでなく、例えば、文字表示や発光や点滅光等の視覚による警告や、ブザー音等の可聴音を発する警告音による警告部であってもよい。この警告は、可聴音（音声を含む）による警告、視覚による警告及び警告音による警告を組み合わせて発してもよいし、いずれか１つの警告だけでもよい。
【００４６】
ドライバカメラ１４は、運転者を監視するセンサの一例である。ドライバカメラ１４は、公知なＣＣＤイメージセンサやＣＭＯＳイメージセンサの固体撮像素子を用いた可視光カメラを搭載し、運転者の頭部の動画像又は連続画像を撮像する。ドライバカメラ１４は、可視光カメラのみに限定されるものではなく、夜間に撮影可能な赤外光（赤外線）カメラの構成を併せ持つ構成であってもよい。ドライバカメラ１４は、昼夜を問わず、運転者の顔を含む所定の範囲を連続的に撮影することが好適する。ドライバカメラ１４は、例えば、ダッシュボード上のような運転者の正面となる位置に設置されている。また、運転者情報検出部３１内の図示しない画像処理部により、ドライバカメラ１４により撮影した画像から運転者の顔の向きの変化に関する運転者情報（第１の運転者情報）を生成する。尚、ここでは、運転者情報検出部３１の図示しない処理部により運転者の顔の向きの変化に関する第１の運転者情報を生成したが、これに限定されない。第１の運転者情報を他の構成部位で使用しないのであれば、例えば、ドライバカメラ１４により撮影した画像を画像データとして、記憶部２２に記憶させて、後述する第１の取得部２１０１において、運転者の顔の向きの変化に関する運転者情報を生成する構成であってもよい。
【００４７】
また、視線検出部１５は、運転者の顔の移動に伴う視線の向かう方向の移動に関する運転者情報（第２の運転者情報）を取得する。この視線検出部１５は、公知な視線センサを用いた構成であり、例えば、赤外光カメラ及び赤外光発光素子による構成や、可視光カメラを利用した構成がある。通常、赤外光を用いた場合には、眼部における角膜反射を基準として、角膜反射の位置と瞳孔の位置関係から視線の方向が検出できる。また、可視光を用いた場合には、目頭を基準として目頭と虹彩との位置関係から視線の方向が検出できる。尚、この実施形態では、頭部撮影に可視光カメラ及び赤外光カメラを用いているため、撮像した画像情報を視線方向検出に利用してもよい。
【００４８】
（２）脇見判定装置
図４は、脇見判定装置２のハードウェア構成を例示するブロック図である。  
脇見判定装置２は、。ハードウェアプロセッサで構成される制御部２１と、記憶部２２と、通信インタフェース２３とが電気的に接続されている。尚、図３では、通信インタフェースを、「通信Ｉ／Ｆ」と記載している。
【００４９】
まず、制御部２１について説明する。この制御部２１は、脇見判定装置２の各部の動作を制御する。制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１３とを備える。ＣＰＵ２１１は、ハードウェアプロセッサの一例である。ＣＰＵ２１１は、記憶部２２に格納された脇見判定装置２を機能させるためのプログラムをＲＡＭ２１３に展開する。そして、ＣＰＵ２１１がＲＡＭ２１３に展開されたプログラムを解釈及び実行することで、制御部２１は、ソフトウェア構成の項目において説明される各部を実行可能である。
【００５０】
次に、記憶部２２について説明する。  
記憶部２２は、いわゆる補助記憶装置である。記憶部２２は、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）であるが、これに限定されない。記憶部２２は、制御部２１で実行されるプログラムを記憶する。プログラムは、ソフトウェア構成の項目において説明される各部として脇見判定装置２を機能させるものである。尚、プログラムは、予め記憶部２２に記憶されていてもよい。プログラムは、ネットワークを介して脇見判定装置２にダウンロードされてもよい。プログラムは、例えばＲＯＭなどの非一時的なコンピュータ可読媒体に記憶され、流通していてもよい。
【００５１】
記憶部２２は、以下に例示するように、制御部２１によって使用される各種データを記憶する。記憶部２２は、制御部２１がドライバカメラ１４から取得する運転者画像データを記憶する。制御部２１は、運転者情報検出部３１から送出された運転者の顔の向きの変化を示す運転者情報（第１の運転者情報）と、視線方向の移動に関する運転者情報（第２の運転者情報）を取得し、記憶部２２に保存する。また、記憶部２２は、脇見と判定するために設定された判定条件の一つである通常時の判定条件（以下、通常時判定条件とも称する）を示す情報（以下、通常時判定条件情報とも称する）を記憶する。  
ここで、通常時とは、車両が走行し、方向指示器の非作動の時をいう。さらに、この条件に加えて、走行においては、所定速度以上での走行時及び車両１の直進方向に対する進行方向のずれ量が所定範囲内の時の少なくとも何れか一方の条件を加えてもよい。通常時判定条件の例については後述する。また、通常時判定条件情報の中に、後述する車線確認のための複数の基準パターンが含まれており、脇見判定部２１０２及び判定条件変更部２１０５に読み出されて、判定基準の１つとしてそれぞれ設定される。
【００５２】
次に、通信インタフェース２３について説明する。  
通信インタフェース２３は、方向指示器センサ８Ａ、車速センサ８Ｉ、ナビゲーション装置１２、警告部１３及びドライバカメラ１４のそれぞれを、制御部２１と接続する。通信インタフェース２３は、有線通信のためのインタフェースを含んでいても、無線通信のためのインタフェースを含んでいてもよい。尚、脇見判定装置２の具体的なハードウェア構成に関して、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のプロセッサを含んでもよい。
【００５３】
（３）脇見判定条件
図１及び図２を参照して、脇見判定条件の一例について説明する。  
通常の脇見判定条件では、運転者１００が走行車線の路面と水平に広がる仮想的な通常運転視野範囲である通常確認領域Ｆ（以下、確認領域Ｆと称する）内に視線を置き、進行方向と同方向に運転者１００の顔の向き及び視線Ｐ１がある。通常の脇見判定は、確認領域Ｆから運転者１００の顔の向き又は視線Ｐ１が外れた際に警告が発せられる。尚、運転者１００が操作する自己車両１０１における確認領域Ｆよりも後方の運転視野においては、後述する左・右サイドミラー確認の視野範囲である仮想的な第１の車線確認領域ＬＭ，ＲＭ（以下、車線確認領域ＬＭ，ＲＭと称する）及び、運転者１００の振り返り確認の視野範囲である仮想的な第２の車線確認領域ＬＢ，ＲＢ（以下、車線確認領域ＬＢ，ＲＢと称する）とする。また、第１の車線確認領域と第２の車線確認領域とを併せた領域を単に、仮想的な車線確認領域と称している。
【００５４】
通常の脇見判定について説明する。  
確認領域Ｆは、運転者１００から車両１０１の前方に向けて、路面と水平に広がる仮想的な領域である。確認領域Ｆは、通常時判定条件では、例えば車両１０１の直進方向を含む位置に設定されている。また、路面の方向（水平方向）と直交する方向の視野の角度は、路面から少なくとも信号機の高さ以上の角度範囲に設定されている。勿論、角度範囲は、任意に設定してもよい。確認領域Ｆは、適正な運転状態で有り、運転者１００の脇見は無いものとして関連付けられている。つまり、確認領域Ｆ内に運転者１００の視線があれば、この範囲内に滞留を許容する時間と関連付けられていない。この時、通常は運転者１００の顔は、確認領域Ｆを向いている。脇見判定装置２は、確認領域Ｆ内に運転者１００の視線があれば、脇見なしと判定する。尚、確認領域Ｆと、後述する確認領域ＬＭとの間の視野範囲は、この視野範囲内に運転者１００の視線が所定時間以上に滞留していた場合には、脇見判定装置２から脇見の警告が出される領域である。
【００５５】
次に、左・右サイドミラー確認の視野範囲である仮想的な車線確認領域ＬＭ，ＲＭについて説明する。  
車線確認領域ＬＭ，ＲＭは、共に、車両でいえば通常運転視野範囲である確認領域Ｆより側方であり、その車線確認領域内には、サイドミラー１０２，１０３が存在している。これらの車線確認領域ＬＭ，ＲＭは、車両１０１の後方や側方を確認するために運転者１００の視野が向く範囲である。通常時判定条件であれば、予め設定した時間以上に、車線確認領域ＬＭ，ＲＭ内に運転者１００の視線または顔の向きの滞留すると、脇見判定装置２から脇見と判定されて警告が出される領域である。
【００５６】
次に、運転者１００の振り返り確認の視野範囲である仮想的な車線確認領域ＬＢ，ＲＢについて説明する。  
これらの車線確認領域ＬＢ，ＲＢは、サイドミラー１０２，１０３の後方で、運転者１００が首を回して振り返り直視する車線確認領域である。ここでは、一例として、車線確認領域ＲＢは、車両の走行方向を時計の１２時とした場合、車線確認領域ＲＭから略１６時方向を領域端として設定し、この領域端に向かう視線を視線Ｐ３とする。同様に、車線確認領域ＬＢは、車線確認領域ＬＭから略８時方向の領域端として設定し、この領域端に向かう視線を視線Ｐ３とする。勿論、この領域端は限定されるものではなく、斜め後ろの併走車両を確認することができれば、運転者１００の個人差等に応じて個別に設定してもよい。通常時判定条件であれば、車線確認領域ＬＢ，ＲＢは、予め設定した時間以上に、車線確認領域ＬＭ，ＲＭ内に運転者１００の視線または顔の向きの滞留すると、脇見判定装置２から脇見と判定されて警告が出される領域である。
【００５７】
尚、前述した車両１内の警告部１３と脇見判定装置２を組み合わせることで脇見警告装置を構成することができる。実質的は、脇見判定装置２の判定により警告部１３を動作させることで運転者に警告を行い、安全運転を確保することができる。
【００５８】
図５は、脇見判定装置２のソフトウェア構成を例示するブロック図である。図６は、車線確認時における時間に対する顔の向きの変化であり、車線確認の判定に用いられる基準パターン例を示す図である。  
この脇見判定装置２は、制御部２１と、通信インタフェース（Ｉ／Ｆ）２３と、記憶部２２とを備えている。また、外部には、時間計測部２４が設けられている。時間計測部２４は、制御部２１内に設けてもよい。
【００５９】
時間計測部２４は、脇見判定装置２の判定条件に用いるための車線確認に要した時間計測を行う。時間計測部２４は運転者情報検出部３１が、運転者の顔の向きや視線が確認領域Ｆから外れ出たことを検出した時に、時間の計測が開始される。また、計時された時間情報は、脇見判定部２１０２及び後述する判定条件変更部２１０５に出力される。時間計測部２４は、車両情報である、方向指示器が動作している又はステアリングホイール５が操作されている情報により、時間計測を停止してもよい。
【００６０】
制御部２１は、第１の取得部２１０１と、脇見判定部２１０２と、第２の取得部２１０３と、第３の取得部２１０４と、判定条件変更部２１０５と、変化パターン判定部２１０６、警告指示部２１０７とを実装する。
【００６１】
第１の取得部２１０１について説明する。  
この第１の取得部２１０１は、以下に例示するように、記憶部２２から運転者情報（第１の運転者情報及び第２の運転者情報）を読み出して、図６に示すような時系列の運転者顔の向きの変化と視野方向の変化からなる変化パターンを第１の検出情報として取得する。尚、記憶部２２が運転者の頭部の連続画像からなる画像データとして記憶していた場合には、第１の取得部２１０１が変化パターンを生成する構成であってもよい。第１の取得部２１０１は、第１の検出情報を脇見判定部２１０２及び変化パターン判定部２１０６へ出力する。
【００６２】
変化パターン判定部２１０６について説明する。  
変化パターン判定部２１０６は、第１の検出情報に基づく変化パターンが運転者の車線確認動作に応じて予め設定された後述する基準パターンに対応するか否かを判定する。  
ここで、図６及び図１を参照して、判定基準となる基準パターンと実測された変化パターンについて説明する。図６に示す基準パターンは、変化パターン判定部２１０６に予め設定されている。尚、記憶部２２の判定基準に用いられる通常時判定条件情報の１つとして記憶し、脇見判定装置２の起動時に、変化パターン判定部２１０６に設定される構成であってもよい。
【００６３】
まず、運転者１００の振り返りによる顔の向きの変化又は視線の方向の変化について説明する。図６に示すように、例えば、車線変更のために、運転者１００が振り返り確認を行う場合には、少なくとも３つの基準パターンＡ，Ｂ，Ｃがある。
【００６４】
まず、基準パターンＡは、運転者１００が走行方向である前方を見る視線Ｐ１から、車両斜め後方の範囲端の視線Ｐ３まで一気に振り返り、視線Ｐ３までの車線確認を行い、すぐに前方まで顔を戻して前方に視線Ｐ４を向ける。尚、視線Ｐ１と視線Ｐ４の視線方向は、共に確認領域Ｆ内にあればよく、必ずしも同一方向ではない。
【００６５】
次に、基準パターンＢは、運転者１００が前方を見る視線Ｐ１から車両の斜め後方に振り返る途中で、サイドミラー１０２，１０３で一旦止めて、視線Ｐ２で後方確認を行う。この時、サイドミラー１０２，１０３に併走車両が映っていた場合には、すぐに前方まで顔を戻して前方の視線Ｐ４を向く。
【００６６】
さらに、基準パターンＣは、運転者１００が前方を見る視線Ｐ１から車両の斜め後方に振り返る途中で、サイドミラー１０２，１０３で一旦止めて、視線Ｐ２で後方確認を行う。サイドミラー１０２，１０３に併走車両が映っていない場合には、さらに、車両斜め後方の範囲端まで振り返り、視線Ｐ３を向けて確認を行い、すぐに前方まで顔を戻して前方に視線Ｐ４を向ける。この基準パターンＣは、比較的、運転者の多くが行う確認動作であり、一気に振り返るよりも前方に顔が戻るまでにパターンＡに比べて時間を要するため、考慮すべきパターンである。
【００６７】
実測された変化パターンは、車線確認であれば、前述した基準パターンＡ，Ｂ，Ｃの内のいずれかのパターンとなる。尚、ルームミラーによる後方確認においては、運転者１００の視野が確認領域Ｆ内にあるものとして、車線確認の判定は行わない。
【００６８】
第２の取得部２１０３について説明する。  
第２の取得部２１０３は、以下に例示するように、方向指示器センサ８Ａにより検出された方向指示器７の動作を示す情報と、ステアリングセンサ８Ｂにより検出された操舵角の情報を含む車両情報（以下、第２の検出情報とも称する）を取得する。第２の取得部２１０３は、この第２の検出情報を判定条件変更部２１０５へ出力する。
【００６９】
第３の取得部２１０４について説明する。  
第３の取得部２１０４は、以下に例示するように、車両１の走行状態を示す検出情報（以下、第３の検出情報とも称する）を取得する。  
まず、第３の取得部２１０４は、車速センサ８Ｉから、速度を示す検出情報を取得する。次に、第３の取得部２１０４は、速度を示す検出結果に基づいて車両１の走行中または停止中を検出し、第３の検出情報を取得する。第３の検出情報は、車両１の走行中または停止中の何れかを示す。第３の取得部２１０４は、第３の検出情報を判定条件変更部２１０５へ出力する。
【００７０】
判定条件変更部２１０５について説明する。  
判定条件変更部２１０５は、以下に例示するように、判定条件を変更する。まず、判定条件変更部２１０５は、記憶部２２から通常時判定条件を受け取る。次に、変化パターン判定部２１０６から第１の取得部２１０１で取得した第１の検出情報による変化パターンが基準パターンに含まれるか否かの判定結果、すなわち、車線確認であったか否かの判定結果を取得する。第１の検出情報による変化パターンが車線確認であった場合には、判定を行う際に、通常時判定条件の少なくとも一部を一時的に切り替える。判定条件を一時的に切り替えた判定とは、通常時判定条件では、脇見と判定される行為であっても、検出された行為による変化パターンが予め設定された基準パターンの中に含まれるのであれば、判定条件の少なくとも一部を一時的に切り替えて、脇見には該当しないと判定することである。すなわち、設定時間以内に運転者１００の顔の向き又は視線の方向が後述する判定基準時間ｔ４内に確認領域Ｆ内に戻れば、安全確保のための車線確認を示す変化パターンと見なし、脇見には該当しないと判定し、運転者への警告を行わない。勿論、車線確認行為以外の変化パターンであれば、基準パターンに含まれないため、通常時判定条件は切り替えられず、運転者へ警告が発せされる。
【００７１】
また、一時的に切り替えた判定条件を設定する他の例について説明する。まず、運転者１００が行った顔の向きの移動や視線の方向の移動などが車線確認であると認められる。その認められた上で、後述する判定基準時間ｔ４以内に運転者１００の顔の向き又は視線の方向が確認領域Ｆ内に戻らなかった場合に、第２の検出情報が判定条件変更部２１０５に入力されたならば、判定条件変更部２１０５は、脇見判定の通常時判定条件を一時的に切り替えた判定条件を脇見判定部２１０２に設定する。この第２の検出情報とは、前述したように、方向指示器７の動作を示す情報又はステアリングセンサ８Ｂにより検出された操舵角の情報を含む車両情報である。すなわち、車線変更時に運転者１００が振り返り動作の車線確認を行い、直後に、方向指示器７の操作を行い、ステアリング操作を開始した場合には、車線確認が継続していると判定するものである。
【００７２】
次に、脇見判定部２１０２により通常時判定条件による判定について説明する。  
まず、以下に例示するように、脇見判定部２１０２は、脇見判定装置２の起動時に、記憶部２２から通常時判定条件情報を取得し、通常時判定条件が設定される。この脇見判定部２１０２は、変化パターンが車線確認であった場合には、判定条件変更部２１０５により設定された通常時判定条件よりも一時的に切り替えた判定条件により脇見判定を行う。一方、第１の検出情報により示される実測された変化パターンが車線確認では無かった場合には、切り替えられなかったため、当初から設定されている通常時判定条件により脇見判定が行われる。
【００７３】
これらの判定においては、まず、脇見判定部２１０２は、確認領域Ｆ内に運転者１００の視線が滞留していれば、脇見なしと判定する。脇見判定部２１０２は、確認領域ＬＭ，ＲＭに向く運転者１００の視線または顔の向きがミラー確認時間よりも長く滞留した場合には、脇見ありと判定する。このミラー確認時間は、運転者１００がサイドミラー１０２，１０３や車両の側方を視認するために必要な時間として、適宜、設定される。例えば、１〜２秒程度である。
【００７４】
また、運転者１００の視線または顔の向きがミラー確認時間よりも短い時間で確認領域Ｆに戻れば、脇見判定部２１０２は、脇見なしと判定する。同様に、確認領域ＬＢ，ＲＢにおいても、斜め後ろに併走する車両を確認するために必要な時間として設定された車線確認時間よりも長く滞留した場合には、脇見ありと判定する。また、後述するが、車線確認は、確認領域Ｆ内を向いていた運転者１００の首の回りによる振り返り動作と、視線の往復移動に要した時間を車線確認時間としている。脇見判定部２１０２は、脇見ありの判定に基づいて、脇見判定部２１０２が脇見と判定した場合には、警告指示部２１０７から警告部１３へ警告を指示する信号が出力され、警告部１３による警告が行われる。
【００７５】
また、脇見判定装置２における判定基準時間について説明する。  
一般的に、隣接する走行車線Ｒ，Ｌへの車線変更におけるステアリング操作は、斜め後方の併走車両又は後続車両を確認した後、直ちに行われる運転操作である。このため、車線確認における運転者の振り返り動作は、首を回して後ろに振り向いてから正面に戻るまでの時間は短く、天候や道路状況にもよるが２〜３秒以内に行われるものと想定される。そこで、この実施形態における脇見判定装置２の判定基準時間ｔ４は、例えば、４秒として設定する。従って、４秒以内で運転者の振り返り動作が終了して視線が前方を向いていれば、振り返り動作を含む車線確認と判定する。一方、方向指示器７の操作やステアリング操作が行われず、振り返り動作が４秒を越えて終了していない場合には、車線確認以外の例えば、脇見を行っていると判定する。勿論、この判定基準時間は、４秒に固定されるものではなく、車速が予め設定した速度よりも低速であった場合や、走行する道路状況や運転者の個々によって適宜、変更することは可能である。尚、同じ斜め後方確認を行う路肩駐車からの発進時の確認及び、交差点の右折左折時の巻き込み確認は、車線確認とは判定基準が異なるものとして、車線確認には含まない確認行為とする。
【００７６】
（車線確認の行為）
次に、図７及び図８を参照して、走行する車両の車線変更における車線確認について具体的に説明する。図７は、車線変更における車線確認について説明するためのタイムチャートの一例である。図８は、車線確認について説明するためのフローチャートの一例である。ここでは、２車線以上の一般道又は自動車専用道路を走行し、ウィンカー操作を伴い車線変更を行う車線確認の例である。
【００７７】
図７に示す例において、計測開始時間ｔ１は車線確認のための計測開始時間、計測時間ｔ２は車線確認のための計測終了時間、操作時間ｔ３は方向指示器７の操作時間（ＯＮ操作）、判定基準時間ｔ４は設定された判定基準、計測時間ｔ５は車線確認時で顔を前方に戻すことが遅れた時の時間、及び操作時間ｔ６はステアリングホイール５の操作開始時間とする。ここでは、脇見判定装置２における車線確認の判定基準時間ｔ４を、前述した４秒に設定している。よって、原則的には、運転者の視線が通常運転視野範囲である確認領域Ｆ内から外れてから４秒経過後に、脇見であると判定される。また、方向指示器７を操作した後、３秒以降にステアリング操作が行われるものとする。
【００７８】
まず、ステップＳ１において、例えば、脇見判定装置２の起動時に、記憶部２２から通常時判定条件が脇見判定部２１０２に設定される。  
次に、車両の走行時に、運転者１００が車線変更を行おうとして、顔を走行方向である前方から車両の斜め後方へ振り向く。この運転者の振り向き動作によりドライバカメラ１４において運転者の顔が撮像されなくなり、運転者情報検出部３１の指示により、時間計測部２４による計測開始時間ｔ１（ｔ１＝０）として、時間の計測を開始する。その後、運転者１００が顔の向き又は視線を確認領域Ｆ内に戻すと、運転者情報検出部３１が前述した運転者情報（第１の運転者情報及び第２の運転者情報）が記憶部２２に記憶される。第１の取得部２１０１は、記憶部２２から運転者情報を読み出して、第１の検出情報として取得する。
【００７９】
ステップＳ２において、制御部２１は、第１の取得部２１０１が第１の検出情報を取得したか否かを判定する。この判定で、第１の取得部２１０１に第１の検出情報が取得されていなければ（ステップＳ２：ＮＯ）、検出を継続する。一方、第１の取得部２１０１が第１の検出情報を取得したならば（ステップＳ２：ＹＥＳ）、第１の取得部２１０１は、変化パターン判定部２１０６へ第１の検出情報を送出する。
【００８０】
次に、ステップＳ３において、変化パターン判定部２１０６は、第１の検出情報に基づいて、運転者情報に基づき、運転者の視線または顔の向きの変化パターンを検出する。  
次に、ステップＳ４において、変化パターン判定部２１０６は、変化パターンが運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定する。
【００８１】
その後、ステップＳ４の判定（ＹＥＳ）で、実測された第１の検出情報による変化パターンが基準パターンに含まれるパターンであれば、ステップＳ５において、判定条件変更部２１０５は、通常時判定条件を一時的に切り替えるように変更する。
【００８２】
次にステップＳ６において、脇見判定部２１０２は、判定条件変更部２１０５により一時的に切り替えた判定条件により、第１の検出情報による変化パターンで脇見か否かを判定する。また、前述したステップＳ４の判定（ＮＯ）で、変化パターン判定部２１０６が、第１の検出情報による変化パターンが基準パターンに対応しないと判定したならば、ステップＳ６の脇見判定部２１０２により先に設定された通常時判定条件で脇見判定を行う。
【００８３】
このステップＳ６の判定（ＹＥＳ）において、脇見をしていると判定されたならば、ステップＳ７で運転者に警告が出される。一方、のステップＳ６の判定（ＮＯ）において、脇見をしていないと判定されたならば、ステップＳ８で運転者には、車線確認とされた第１の検出情報には、警告が出されずに終了する。
【００８４】
この実施形態の例では、方向指示器７の操作及び操舵角の検出が継続していた場合に、車線確認は行わない。従って、図６に示すように、一度、振り返り動作を行った後、ステアリング操作して車線変更を行う際に、再度の振り返り動作Ｐ５、即ち、二度見を行った場合でも脇見の検出は行わない。
【００８５】
また、この実施形態の車線確認では、方向指示器を操作している期間は、脇見の判定を行っていない。ここでは、運転者は車線確認の手順として、斜め後方に併走する車両の有無を確認し、車両が併走していなければ、方向指示器を操作した後、ステアリングホイールを操作して車線変更を行う手順で説明している。運転者によっては、この手順通りではなく、先に方向指示器７を操作した後、斜め後方に併走する車両の有無を確認する手順も考えられる。この場合、方向指示器７が先に操作されたならば、引き続き、車線確認のための振り返り動作を含む車線確認が行われるものとして、前述した判定条件変更部２１０５の判定条件が変更されて脇見の判定も行われないものとする。
【００８６】
尚、高速道路等の有料自動車専用道路において、複数の車線が無くなり、車線数よりも少ない料金所のゲートを通過する際には、車速が遅くなり、方向指示器を操作せずに、確認し合って互いに割り込む場合も考えられる。この割り込みにおいては、運転者は側方及び斜め後方を確認しつつ、車両を進ませているため、運転者の顔が長い間、撮像されず、運転者の視線Ｐ１が確認領域Ｆから外れる。車速が予め設定した速度よりも低速となり、視線Ｐ１が確認領域Ｆから外れた時に、同時にステアリングホイールが操作されて操舵角が検出されていたならば、車線確認が行われているものとして、脇見の判定を行わなくてもよい。
【００８７】
この脇見判定装置は、種々の脇見防止モードや脇見検出装置に適用することができ、車線確認モードを脇見防止モードの中の１つのモードという設定であってもよい。その場合、車両に搭載される脇見判定装置を含む構成部位を利用して、当該脇見判定装置を構築することができる。
【００８８】
また、脇見防止モードや脇見検出装置において、運転者の個性に対して学習することで個人差を無くす学習用構成部を搭載している場合には、この実施形態の脇見判定装置における車線確認を行う行為の前後については、学習条件を厳しくする又は学習させないことで、車線確認を脇見と判定しないようにしてもよい。
【００８９】
以上説明したこの実施形態の脇見判定装置は、振り返り動作する運転者の顔の移動及び視線方向の移動とを含む確認動作を検出し且つ、その確認動作に要した時間が予め定めた判定基準時間以下である場合には、車線確認であると判定し、脇見と判定しない。短時間に行われる車線確認に対して、脇見との誤判定及び誤警告を防止することができる。
【００９０】
さらに、車線確認の判定において、確認動作に要する時間が運転者の視線が予め設定された視野範囲に戻らず、予め定めた判定基準時間を越えた場合であっても、方向指示器７の操作又はステアリング操作のいずれかの操作が行われていた場合には、車線確認から車線変更のための運転操作へ継続しているものと判定し、脇見との誤判定を防止することができる。
【００９１】
尚、この発明は、上記実施形態に記載されるにもの限定されず、その要旨を逸脱しない範囲で種々に変形してもよい。更に、開示される複数の構成要件を選択し又は組み合わせにより上記課題を解決する種々の発明が抽出される。
【００９２】
［付記］
本実施形態の一部または全部は、以下の付記に示すように記載することが可能であるが、これに限定されない。  
（付記１）
運転者の視線または顔の向きを示す第１の検出情報を変化パターンとして取得する第１の取得部（２１０１）と、
前記第１の取得部（２１０１）に取得された前記変化パターンを読み出し、当該変化パターンが前記運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定する変化パターン判定部（２１０６）と、
前記変化パターンが前記基準パターンに対応すると判定された場合に、脇見と判定するために設定された通常時判定条件を一時的に切り替える判定条件変更部（２１０５）と、
前記通常時判定条件又は、前記判定条件変更部（２１０５）により前記一時的に切り替えられた判定条件のいずれかにより、前記第１の検出情報により脇見を判定する脇見判定部（２１０２）と、
を具備する脇見判定装置。
【００９３】
（付記２）
運転者の視線または顔の向きを示す第１の検出情報を取得する過程（Ｓ２）と、
前記第１の検出情報に基づいて前記運転者の視線または顔の向きの変化パターンを検出し（Ｓ３）、当該変化パターンが前記運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定する過程（Ｓ４）と、
前記変化パターンが前記基準パターンに対応すると判定された場合に、脇見と判定するために設定された判定条件を一時的に切り替える過程（Ｓ５）と、
前記第１の検出情報により示される前記運転者の視線または顔の向きと、前記脇見と判定するために設定された判定条件又は、切り替えられた判定条件に基づいて、前記運転者が脇見をしているか否かを判定する過程（Ｓ６）と、
を具備する脇見判定方法。
【００９４】
（付記３）
ハードウェアプロセッサ（２１）と記憶部（２２）とを有する脇見判定装置（２）であって、
前記ハードウェアプロセッサ（２１）が、
運転者の視線または顔の向きを示す第１の検出情報を取得し（Ｓ２）、
前記第１の検出情報に基づいて前記運転者の視線または顔の向きの変化パターンを検出し（Ｓ３）、当該変化パターンが前記運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定し（Ｓ４）、
前記変化パターンが前記基準パターンに対応すると判定された場合に、前記脇見と判定するために設定された判定条件を一時的に切り替え（Ｓ５）、
前記第１の検出情報により示される前記運転者の視線または顔の向きと、脇見と判定するために設定された判定条件又は切り替えられた判定条件に基づいて、前記運転者が脇見をしているか否かを判定する（Ｓ６）、
脇見判定装置。
【００９５】
（付記４）
ハードウェアプロセッサ（２１）および記憶部（２２）を有する車載装置が実行する脇見判定方法であって、
前記ハードウェアプロセッサ（２１）が、前記運転者の視線または顔の向きを示す第１の検出情報を取得する過程（Ｓ２）と、
前記ハードウェアプロセッサ（２１）が、前記第１の検出情報に基づいて前記運転者の視線または顔の向きの変化パターンを検出し（Ｓ３）、当該変化パターンが前記運転者の車線確認動作に応じて予め設定された基準パターンに対応するか否かを判定する過程（Ｓ４）と、
前記ハードウェアプロセッサ（２１）が、前記変化パターンが前記基準パターンに対応すると判定された場合に、前記脇見と判定するために設定された判定条件を一時的に切り替える過程（Ｓ５）と、
前記ハードウェアプロセッサ（２１）が、前記第１の検出情報により示される前記運転者の視線または顔の向きと、脇見と判定するために設定された判定条件又は切り替えられた判定条件に基づいて、前記運転者が脇見をしているか否かを判定する過程（Ｓ６）と、
を具備する脇見判定方法。
【符号の説明】
【００９６】
１…車両、２…脇見判定装置、３…パワーユニット、４…操舵装置、５…ステアリングホイール、６…車外撮影カメラ、７…方向指示器、７Ａ…方向指示器スイッチ、７Ｂ…リレー回路、７Ｃ…左側方向指示器、７Ｄ…右側方向指示器、８Ａ…方向指示器センサ、８Ｂ…ステアリングセンサ、８Ｃ…アクセルペダルセンサ、８Ｄ…ブレーキペダルセンサ、８Ｅ…車外センサ、８Ｆ…ヨーレートセンサ、８Ｇ…横加速度センサ、８Ｈ…ジャイロセンサ、８Ｉ…車速センサ、９…制御装置、１０…ＧＰＳ受信機、１１…アンテナ装置、１２…ナビゲーション装置、１３…警告部、１４…ドライバカメラ、１５…視線検出部、２１…制御部、２２…記憶部、２３…通信インタフェース、２４…時間計測部、３１…運転者情報検出部、３２…車両情報検出部、２１０１…第１の取得部、２１０２…脇見判定部、２１０３…第２の取得部、２１０４…第３の取得部、２１０５…判定条件変更部、２１０６…変化パターン判定部、２１０７…警告指示部。
【図１】
2019091275.tif 000003
【図２】
2019091275.tif 000004
【図３】
2019091275.tif 000005
【図４】
2019091275.tif 000006
【図５】
2019091275.tif 000007
【図６】
2019091275.tif 000008
【図７】
2019091275.tif 000009
【図８】
2019091275.tif 000010