(57)【要約】【課題】運転者の認知特性に応じた情報を提供することにより、運転者に違和感を与えない車両用運転支援装置を提供する。【解決手段】車両の走行する環境の状態を検出する環境検出手段１２と、運転者の運転行動を検出する運転行動検出手段１０と、検出された運転者の運転行動から運転者の認知状態を判定する認知状態判定手段１１と、情報を運転者に提示する情報提示手段１４と、検出された環境の状態と判定された運転者の認知状態とに基づいて、前記情報提示手段１４で運転者に提示する情報を決定する報知情報決定手段１３と、を備えた構成とした。【選択図】        図１
2005004414.tif 000002
【特許請求の範囲】
【請求項１】
車両の走行する環境の状態を検出する環境検出手段と、
運転者の運転行動を検出する運転行動検出手段と、
検出された運転者の運転行動から運転者の認知状態を判定する認知状態判定手段と、
情報を運転者に提示する情報提示手段と、
検出された環境の状態と判定された運転者の認知状態とに基づいて、前記情報提示手段で運転者に提示する情報を決定する報知情報決定手段と、
を備えたことを特徴とする車両用運転支援装置。
【請求項２】
請求項１に記載の車両用運転支援装置において、
前記認知状態判定手段は、運転者の認知状態を、知識−ルールベースの状態とスキルベースの状態との二段階に分類して判定するものであることを特徴とする車両用運転支援装置。
【請求項３】
請求項１または請求項２に記載の車両用運転支援装置において、
前記運転行動検出手段が検出する運転者の運転行動は、
所定時間に運転者が車両に備えられたサイドミラーと車室内に備えられたルームミラーの少なくとも一方を目視した頻度を示すミラー目視頻度と、
所定時間に運転者の頭部が左右方向に回転した頻度を示す頭部回転頻度と、
所定時間に運転者の頭部が左右方向に回転した場合の角度の平均を示す頭部回転角度平均と、
所定時間に運転者が車室内に備えられたナビゲーション装置を目視した頻度を示すナビゲーション目視頻度と、
所定時間に運転者が発話した頻度を示す発話頻度と、
所定時間に運転者が車室内に備えられたナビゲーション装置、オーディオ装置または空調制御装置の少なくとも一つを操作した頻度を示す装置操作頻度と、
の少なくとも一つを含むことを特徴とする車両用運転支援装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の車両用運転支援装置において、
運転者または一般的な運転者の運転行動の統計値を保持する運転行動統計値保持手段を設け、
前記認知状態判定手段は、検出された運転行動と保持された運転行動統計値とを比較することにより、運転者の認知状態を判定することを特徴とする車両用運転支援装置。
【請求項５】
請求項ないし請求項４のいずれか１項に記載の車両用運転支援装置において、
検出されたそれぞれの運転行動の統計値を算出する運転行動統計値算出手段を設け、
前記運転行動統計値保持手段に保持された運転行動統計値は、前記運転行動統計値算出手段により算出されたものであることを特徴とする車両用運転支援装置。
【請求項６】
請求項４または請求項５に記載の車両用運転支援装置において、
前記運転行動統計値保持手段に保持されたそれぞれの運転行動の統計値は、それぞれの運転行動の平均値であり、
前記認知状態判定手段は、
検出されたミラー目視頻度が保持されたミラー目視頻度の平均と比較して大きいとき、
前記運転行動検出手段によって検出された頭部回転頻度が保持された頭部回転頻度の平均と比較して大きいとき、
前記運転行動検出手段によって検出された頭部回転角度平均が保持された頭部回転角度平均の平均と比較して大きいとき、
前記運転行動検出手段によって検出されたナビゲーション目視頻度が保持されたナビゲーション目視頻度の平均と比較して大きいとき、
前記運転行動検出手段によって検出された発話頻度が保持された発話頻度の平均と比較して小さいとき、
前記運転行動検出手段によって検出された装置操作頻度が保持された装置操作頻度の平均と比較して小さいとき、
のいずれかの場合に、運転者の認知状態を知識−ルールベースの状態であると判定することを特徴とする車両用運転支援装置。
【請求項７】
請求項４ないし請求項６のいずれか１項に記載の車両用運転支援装置において、
前記認知状態判定手段は、
検出されたミラー目視頻度が保持されたミラー目視頻度の平均と比較して小さいとき、
検出された頭部回転頻度が保持された頭部回転頻度の平均と比較して小さいとき、
検出された頭部回転角度平均が保持された頭部回転角度平均の平均と比較して小さいとき、
検出されたナビゲーション目視頻度が保持されたナビゲーション目視頻度の平均と比較して小さいとき、
検出された発話頻度が保持された発話頻度の平均と比較して大きいとき、
検出された装置操作頻度が保持された装置操作頻度の平均と比較して大きいとき、
のいずれかの場合に、運転者の認知状態をスキルベースの状態であると判定することを特徴とする車両用運転支援装置。
【請求項８】
請求項４ないし請求項７のいずれか１項に記載の車両用運転支援装置において、
前記報知情報決定手段は、検出された環境において車両の安全な運転を阻害する可能性のある環境が生じたか否かを判定し、車両の安全な運転を阻害する可能性のある環境が生じた場合、かつ、判定された運転者の認知状態が知識−ルールベースの状態であった場合には、環境の状態を詳細に表す詳細情報と運転者が環境において実施すべき行動の少なくとも一方を指示した行動指示情報を運転者に対して提示することを決定し、前記情報提示手段に対して、前記詳細情報と前記行動指示情報の少なくとも一方の提示を指示することを特徴とする車両用運転支援装置。
【請求項９】
請求項４ないし請求項８のいずれか１項に記載の車両用運転支援装置において、
前記報知情報決定手段は、検出された環境において車両の安全な運転を阻害する可能性のある環境が生じたか否かを判定し、車両の安全な運転を阻害する可能性のある環境が生じた場合、かつ、判定された運転者の認知状態がスキルベースの状態であった場合には、環境の状態を概略的に表す概略情報を運転者に対して提示することを決定し、前記情報提示手段に対して、前記概略情報の提示を指示することを特徴とする車両用運転支援装置。
【請求項１０】
請求項８に記載の車両用運転支援装置において、
前記報知情報決定手段は、検出された環境の状態が車両の安全な運転を阻害する可能性のある環境の状態であるか否かの判定を、検出された運転者の視線方向において、運転者の視線が及んでいない環境に対して行うことを特徴とする車両用運転支援装置。
【請求項１１】
請求項９に記載の車両用運転支援装置において、
前記報知情報決定手段は、検出された環境の状態が車両の安全な運転を阻害する可能性のある環境の状態であるか否かの判定を、検出された運転者の視線方向における運転者の視線の方向にかかわらず、検出可能な全ての環境に対して行うことを特徴とする車両用運転支援装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両の走行進路上に存在する先行車両、歩行者や障害物の存在を認識して運転者に知らしめる機能を備えた車両用運転支援装置の技術分野に属する。
【０００２】
【従来の技術】
この種の従来技術としては、障害物までの距離に応じて運転者に情報提供を行うとき、運転者の視線の方向、技量、天候等によって情報提供を実施する距離に補正を施し、段階的な情報提供を行うものが知られている（特許文献１参照）。例えば、歩行者警報の場合、距離が遠い場合には「歩行者」と表示することで注意を促し、近くになると「ブレーキをかけよ」という指示情報を提供する。これにより、運転者の障害物に対する認識の度合いに応じた情報提供が可能となる。
【０００３】
【特許文献１】
特開２００１−３５７４９８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、段階的な情報提供を距離によってのみ決定しているため、運転者の認知状態に応じた情報が提供されず、運転者に違和感を与えるという問題があった。
【０００５】
本発明は、上記問題に着目してなされたもので、その目的とするところは、運転者の認知特性に応じた情報を提供することにより、運転者に違和感を与えない車両用運転支援装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明では、車両の走行する環境の状態を検出する環境検出手段と、運転者の運転行動を検出する運転行動検出手段と、検出された運転者の運転行動から運転者の認知状態を判定する認知状態判定手段と、情報を運転者に提示する情報提示手段と、検出された環境の状態と判定された運転者の認知状態とに基づいて、前記情報提示手段で運転者に提示する情報を決定する報知情報決定手段と、を備えたことを特徴とする。
【０００７】
【発明の効果】
よって、本発明の車両用運転支援装置にあっては、報知情報決定手段により、環境検出手段が検出した環境の状態と認知状態判定手段が判定した運転者の認知状態とに基づいて、情報提示手段で運転者に提示する情報が決定されるため、環境の状態に関する情報を運転者に提示する際には、運転者の認知状態に応じた情報提示を実施する運転支援が可能となり、違和感のない警報等の情報提示が可能となる。
【０００８】
【発明の実施の形態】
以下、本発明の車両用運転支援装置を実現する実施の形態を、図面に基づいて説明する。
図１は、実施の形態の車両用運転支援装置を示すブロック構成図であり、この車両用運転支援装置は、運転行動検出手段１０と、認知状態判定手段１１と、環境検出手段１２と、報知情報決定手段１３と、情報提示手段１４とから構成されている。
【０００９】
前記運転行動検出手段１０は、運転者の行動を検出する。前記認知状態判定手段１１は、運転行動検出手段１０により検出された運転者の運転行動から運転者の認知状態を判定する。また、前記環境検出手段１２は、車両の走行する環境の状態を検出する。
【００１０】
前記報知情報決定手段１３は、環境検出手段１２により検出された環境の状態と、認知状態判定手段１１により判定された運転者の認知状態とに基づいて、情報提示手段１４が運転者へ提示する情報を決定する。そして、前記情報提示手段１４は、報知情報決定手段１３により決定された情報を運転者に提示する。
【００１１】
（第１実施例）
図２は、第１実施例の車両用運転支援装置を示すブロック構成図であり、環境認識用画像処理装置２０と、運転者認識用画像処理装置２１と、認知状態判定装置２２と、報知情報決定装置２３と、音声情報提示装置２４と、ブザー２５と、ナビゲーション装置２６と、オーディオ装置２７と、空調装置２８とを備えている。
【００１２】
図２において、前記環境認識用画像処理装置２０は、図１の環境検出手段１２に対応する。また、運転者認識用画像処理装置２１、ナビゲーション装置２６、オーディオ装置２７および空調装置２８は、運転行動検出手段１０を構成する。認知状態判定装置２２は、認知状態判定手段１１を構成し、報知情報決定装置２３は報知情報決定手段１３を構成する。音声情報提示装置２４およびブザー２５は、情報提示手段１４を構成する。
【００１３】
前記環境認識用画像処理装置２０は、例えば、車両の前方を撮像するカメラ装置、および、そのカメラ装置が撮像した前方画像より、障害物や歩行者、先行車両など、安全な車両運転の障害となる可能性のある対象をリアルタイムに抽出して、自車両との相対的位置および距離を算出する画像処理回路を備えている。なお、本実施例においては、前方画像から抽出する安全な車両運転の障害となる可能性のある対象が、障害物であるか、歩行者であるか、さらには先行車両であるかを判定可能であり、判定された対象までの距離と方向の算出が可能な画像処理回路を備えている。
【００１４】
前記運転者認識用画像処理装置２１は、例えば、運転者を撮像するカメラ装置、およびそのカメラ装置が撮像した運転者の画像から、運転者の視線方向と頭部の左右方向の回転角度を、リアルタイムに算出する画像処理回路を備えている。なお、本実施例においては、運転者の視線が、車室外においては、走行環境もしくはサイドミラーのいずれにあるか、また、車室内においても、ルームミラー、もしくはナビゲーション装置の画面のいずれにあるかを判定可能であり、さらに、運転者頭部の左右方向の回転角度を算出可能な画像処理回路を備えている。
【００１５】
前記認知状態判定装置２２の構成を図３に示す。この認知状態判定装置２２は、入力回路３１と、認知状態判定回路３２と、平均値算出回路３３と、保持回路３４とから構成されている。
【００１６】
前記入力回路３１は、運転者認識用画像処理装置２１が運転者の顔面画像を処理して抽出した運転者の視線方向と運転者頭部の回転角度と、ナビゲーション装置２６、オーディオ装置２７、空調装置２８の備え付けられたスイッチ類を運転者が操作した情報を、所定時間ごとに取り込む。
【００１７】
前記認知状態判定回路３２は、入力回路３１に取り込まれた各種情報から、運転者の認知状態を判定する。また、平均値算出回路３３は、保持回路３４に保持された運転行動の平均を算出する。
【００１８】
前記保持回路３４は、運転者が過去に行った運転行動の平均、すなわち、本実施例では、運転者が左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均ａｖｅｆ１）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均ａｖｅｆ２）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均ａｖｅｆ３）と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度の平均（ナビゲーション目視頻度平均ａｖｅｆ４）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度の平均（装置操作頻度平均ａｖｅｆ５）を、平均運転行動として、例えば、図４に示すようなテーブルで保持している。なお、保持回路３４は、保持された運転行動の平均がいくつの運転行動に対する平均であるかを示す数値を、運転行動数Ｎとして併せて保持している。
【００１９】
前記報知情報決定装置２３の構成を図５に示す、この報知情報決定装置２３は、入力回路４１と、情報提供判断回路４２と、提供情報決定回路４３と、保持回路４４とから構成されている。
【００２０】
前記情報提供判断回路４２は、入力回路４１を介して環境の情報、すなわち、先行車両、歩行者、障害物について、それら対象までの距離と方向に関する情報を入手し、運転者に対して情報提供が必要であるか否かを決定する。
【００２１】
前記提供情報決定回路４３は、運転者の認知状態とに基づいて、運転者に提供する情報を決定する。また、前記保持回路４４は、図６に示すような情報をテーブルとして保持している。
【００２２】
前記音声情報提示装置２４の構成を図７に示す。報知情報決定装置２３の処理により、運転者に対する情報提示手段として、音声情報提示装置２４が選択された場合に本装置を駆動する。運転者の提供すべき情報は、報知情報として入力回路５１を介して入手する。音声情報提示装置２４には、予め複数の音声メッセージを保持した保持回路５３が備わっており、報知情報に応じて、音声メッセージが選択され、再生される。再生された音声メッセージは、スピーカ５２を介して運転者に提供される。
【００２３】
ブザー２５は、報知情報決定装置２３の処理により、運転者に対する情報提示手段として、ブザー２５が選択された場合に駆動される。運転者に情報提供することによって存在を知らしめるべき対象の種類、すなわち、先行車両、歩行者、障害物のいずれかによって周波数を変化させてもよい。
【００２４】
次に、作用を説明する。
［認知状態判定制御処理］
図８は、認知状態判定装置２２にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【００２５】
ステップＳ１００では、運転者の頭部回転角度とスイッチ類を運転者が操作した情報を取り込み、ステップＳ１０１へ移行する。
【００２６】
ステップＳ１０１では、保持回路３４に保持された平均運転行動を参照し、ステップＳ１０２へ移行する。
【００２７】
ステップＳ１０２では、運転者の認知状態を判定し、ステップＳ１０３へ移行する。この処理は、まず、ステップＳ１００にて取り込まれた所定時間分の運転者の視線方向と運転者の頭部回転角度より、運転者が左右のサイドミラーおよびルームミラーを目視した頻度（ミラー目視頻度ｆ１（＝所定時間にミラーを注視した回数）と、運転者が頭部を左右方向に所定角度以上回転させた頻度（頭部回転頻度ｆ２（＝所定時間に頭部を所定角度以上回転させた回数）と、運転者が頭部を左右方向に回転させた場合の最大角度（頭部回転角度ｆ３（＝ＭＡＸ｛頭部の回転角度｝））と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度（ナビゲーション目視頻度ｆ４（＝所定時間にナビゲーション画面を注視した回数）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度（装置操作頻度ｆ５（＝所定時間に装置を操作した回数））と、を運転者の運転行動として算出する。なお、本実施例では、この所定時間分の運転行動を１単位とし、運転行動数１としている。
【００２８】
次に、これら運転者の運転行動のそれぞれと、ステップＳ１０１で参照した保持回路３４に保持された平均運転行動のそれぞれを比較する。なお、本実施例における比較は、値の大小にて行うものとする。つまり、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が大きいとき、すなわち、ｆｉ≧ｆｉ（ｉ＝１，２，３，４）が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が小さいとき、すなわち、ｆ５≦ａｖｅｆ５が成り立つとき、認知状態判定回路３２は運転者の認知状態を知識−ルールベースの状態と判定する。逆に、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が小さいとき、すなわち、ｆｉ＜ａｖｅｆｉ（ｉ＝１，２，３，４）が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が大きいとき、すなわち、ｆ５＞ａｖｅｆ５が成り立つとき、認知状態判定回路３２は運転者の認知状態をスキルベースの状態と判定する。
【００２９】
なお、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度、装置操作頻度、計５種の指標の比較による運転者の認知状態判定において、判定された運転者の認知状態が同一ではなかった場合、多数決によって認知状態判定装置２２としての判定を決定しても良い。例えば、ミラーの目視頻度、頭部回転頻度、頭部回転角度による判定がスキルベースであり、ナビゲーション目視頻度、装置操作頻度による判定が知識−ルールベースであった場合、認知状態判定装置２２としての運転者の認知状態の判定は、スキルベースと決定する。
【００３０】
ステップＳ１０３では、保持回路３４に保持されている運転者が過去に行った運転行動の平均を更新し、ステップＳ１００へ移行する。更新は、保持回路３４に保持されている運転者が過去に行った運転行動、すなわちステップＳ１０１で参照して入手した運転行動の平均に対して、ステップＳ１０２にて算出した所定時間の運転者の運転行動を追加することによって行われる。すなわち、
2005004414.tif 000003
である。
【００３１】
［報知情報決定制御処理］
図９は、報知情報決定装置２３にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【００３２】
ステップＳ１１０では、環境認識用画像処理装置２０によって認識された環境の情報、すなわち、先行車両、歩行者、障害物について、それら対象までの距離と方向に関する情報を、入力回路４１を介して入手し、ステップＳ１１１へ移行する。
【００３３】
ステップＳ１１１では、情報提供判断回路４２において、ステップＳ１１０で入手した情報に基づき、運転者に対して情報提供が必要であるか否かを決定する。例えば、先行車両に対する接近警報を、本実施例における情報提供の一つとすると、ステップＳ１１０で入手した情報が、先行車両までの距離ｄであった場合で、その先行車両が接近してきている場合、一般的には、
距離Ｄ＝Ｖ１×Ｔ＋Ｖ１２／２ａ１−Ｖ２２／２ａ２
Ｖ１は自車両の速度、Ｖ２（＝Ｖ１＋ｄ’）は先行車両の速度、ａ１は自車両の減速度、ａ２は先行車両の減速度、Ｔは空走時間
の以内に先行車両が位置した場合に、警報としての情報提供の実施を決定する。また、歩行者に対する警報を、本実施例における情報提供の一つとした場合には、一般的な歩行者警報の報知決定方法を、障害物に対する警報を、本実施例における情報提供の一つとした場合には、一般的な障害物警報の報知決定方法を、適用することが可能である。これら報知決定方法のいずれかによって情報提供が必要であると判断された場合には、ステップＳ１１１へ移行する。一方、いずれの情報提供も不要と判断された場合には、本処理を終了し、ステップＳ１１０に戻る。
【００３４】
ステップＳ１１２では、認知状態判定装置２２は判定した運転者の認知状態を、入力回路４１を介して入手し、ステップＳ１１３へ移行する。ここで入手する運転者の認知状態は、知識−ルールベース、または、スキルベースのいずれかである。
【００３５】
ステップＳ１１３では、ステップＳ１１１で運転者に対して情報提供が必要と判断された先行車両、歩行者、障害物のいずれかの対象と、ステップＳ１１２で入手した運転者の認知状態とに基づき、提供情報決定回路４３において、運転者に提供する情報を決定する。
【００３６】
この際、運転者に情報提供することによって存在を知らしめるべき対象の種類、すなわち、先行車両、歩行者、障害物のいずれかによって、また、運転者の認知状態、すなわち、知識−ルールベース、または、スキルベースのいずれかによって、運転者に提供する情報が決定される。
【００３７】
そこで、本実施例における本処理は、保持回路４４に保持された図６に示すテーブルを参照することによって実施する。すなわち、例えば、運転者に情報提供することによって存在を知らしめるべき対象が障害物であり、運転者の認知状態がスキルベースであった場合、情報提示手法としてブザーを用いることを決定する。一方、運転者に情報提供することによって存在を知らしめるべき対象が先行車両であり、運転者の認知状態が知識−ルールベースであった場合、情報提示手法として、音声情報提示装置２４を用いることを決定し、報知情報として、先行車両を回避するための情報提示を決定する。
【００３８】
［運転者の認知特性に応じた情報提供］
運転者の安全な車両運転を実現することを目的として、様々な車両用運転支援装置が発明されている。車両の走行進路上に存在する他車両や歩行者、障害物の存在を運転者に知らしめる、いわゆる、接近警報も車両用運転支援装置の一つである。接近警報等、運転者に情報を提示する装置においては、運転者にいかに違和感を持たせないで情報提示を行うかが課題となっている。
【００３９】
ここで、運転者に求められる情報の内容は、距離によってのみ決定されるものではなく、例えば、障害物までの距離や環境の条件が同一であっても、障害物を回避するための指示情報が効果的な場合もあれば、障害物の存在を運転者に認識させるための注意喚起的な情報提供が効果的な場合もある。また、視野の中に警報対象があったとしても、警報対象の存在を示す情報提供が効果を示す場合もある。
【００４０】
このような情報提供の実現には、人間の「認知」の特性に則した情報提供が必要である。すなわち、ドライバの運転は、２つの状態に大別できる。▲１▼与えられた状況に対して、経験により会得したスキルを駆使し、機械的、反射的に情報を処理しながら運転を行うスキルベースの運転状態、▲２▼経験、学習により会得した知識やルールを適用しながら運転を行う知識−ルールベースの運転状態である。
【００４１】
ドライバの情報収集という面から考察すると、スキルベースの運転状態の場合、環境の全体的な様子を広く浅く把握することで、運転者は運転という作業を達成している。一方、知識−ルールベースの運転状態の場合、環境の局所的な様子を狭く深く把握することで、運転という作業を実現している。事故を予防するための情報提供を行う場合においても、自ずと、それぞれの運転状態に対して提供すべき情報は異なる。
【００４２】
例えば、スキルベースの運転状態の場合、重要事を無意識に意識のルーチンから外したり、対処を無意識に誤ったりする傾向がある。このような場合の事故の予防は、運転者に対して、重要事が意識のルーチンから外れていること、外れる傾向があることを、簡潔に示唆することで達成される。
【００４３】
一方、知識−ルールベースの運転状態の場合、状況に対して、どの知識やルールを使ったらよいかわからなかったり、誤った知識やルールを駆動したりする傾向がある。このような場合の事故の予防は、運転者に対して、正しい情報を与えたり、情報の所在を指示したり、また、対処の優先順位、対処方法を与えたりすることで達成される。
【００４４】
なお、このスキルベースの運転状態と知識−ルールベースの運転状態は、全く同じ走行環境を走行したとしても、運転者によって、必ずしも同一の運転状態によって運転するとは限らず、また、同一の運転者においても、道路の混雑の状態や、歩行者、路上駐車の有無、天候、その他走行環境に関わる諸々の要因によって、瞬時にスキルベースから知識−ルールベースの運転状態に、逆に、知識−ルールベースからスキルベースの運転状態に切り替わるような特性をもつ。
【００４５】
すなわち、運転者に違和感を持たせない情報提供を実現するためには、運転者に与えるべき情報を、車両が存在している環境の状態や、障害物までの距離のみによって決定するのではなく、その時々の運転環境に対する運転者の認知状態に応じても、決定される必要がある。
【００４６】
これに対し、第１実施例の車両用運転支援装置では、運転者の運転行動から、運転者の環境に対する認知状態がスキルベースの状態であるか知識−ルールベースの状態であるかを判定することが可能となる。また、運転者の認知状態がスキルベースの状態であった場合と、知識−ルールベースの状態であった場合と、のそれぞれにおいて、運転者に提示する警報の種類を変えるようにしたので、運転者の認知状態に合致した違和感のない警報提示が可能となる。
【００４７】
次に、効果を説明する。
第１実施例の車両用運転支援装置にあっては、次に列挙する効果を得ることができる。
【００４８】
（１）  報知情報決定装置２３は、環境認識用画像処理装置２０により認識された環境の情報に基づいて、運転者に対して必要な情報提供を決定し、認知状態判定装置２２により判定された運転者の認知状態に基づいて情報提供方法を決定するため、環境の状態に関する情報を運転者に提示する際には、運転者の認知状態に応じた情報提示を実施する運転支援が可能となる（請求項１に対応）。
【００４９】
（２）  認知状態判定装置２３は、運転者の認知状態を知識−ルールベースの状態と、スキルベースの状態との二段階に分類して判定するため、運転者の認知状態が知識−ルールベースの状態の際には、知識−ルールベースの状態に適した情報提示を実施し、運転者の認知状態がスキルベースの状態の際には、スキルベースの状態に適した情報提示を実施する運転支援が可能となる（請求項２に対応）。
【００５０】
（３）  運転者が左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均ａｖｅｆ１）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均ａｖｅｆ２）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均ａｖｅｆ３）と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度の平均（ナビゲーション目視頻度平均ａｖｅｆ４）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度の平均（装置操作頻度平均ａｖｅｆ５）を、運転者が過去に行った運転行動の平均としたため、運転者がミラーを目視する頻度、運転者が頭部を回転する頻度、運転者の頭部が回転する角度、運転者がナビゲーションを目視する頻度、運転者が発話する頻度、運転者がナビゲーション装置、オーディオ装置、空調制御装置等の装置を操作する頻度に基づいて、運転者の認知状態を判定が可能であり、その判定に基づいた運転支援が可能となる（請求項３に対応）。
【００５１】
（４）  認知状態判定装置２２は、運転者認識用画像処理装置２１、ナビゲーション装置２６、オーディオ装置２７および空調装置２８によって検出された運転行動と、保持回路３４に保持された運転行動統計値とを比較することにより、運転者の認知状態を判定することとしたので、運転者の過去の運転行動に基づいた認知状態の判定が可能であり、その判定に基づいた運転支援が可能となる（請求項４に対応）。
【００５２】
（５）  保持回路３４に保持された運転者が過去に行った運転行動の平均を、所定時間の運転者の運転行動を追加することにより更新することとしたため、常時、最新の運転行動の平均に基づいた運転者の認知状態の判定が可能であり、その判定に基づいた運転支援が可能となる（請求項５に対応）。
【００５３】
（６）  認知状態判定装置２２は、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が大きいとき、すなわち、ｆｉ≧ｆｉ（ｉ＝１，２，３，４）が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が小さいとき、すなわち、ｆ５≦ａｖｅｆ５が成り立つとき、運転者の認知状態を知識−ルールベースの状態と判定するため、認知状態判定装置２２においては、検出された運転者の運転行動と、保持回路３４に保持された運転行動の平均の大小比較という容易な手法によって、運転者の認知状態が知識−ルールベースであるかの判定をリアルタイムに実施することが可能であり、その判定に基づいた運転支援が可能となる（請求項６に対応）。
【００５４】
（７）  認知状態判定装置２２は、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が小さいとき、すなわち、ｆｉ＜ａｖｅｆｉ（ｉ＝１，２，３，４）が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が大きいとき、すなわち、ｆ５＞ａｖｅｆ５が成り立つとき、運転者の認知状態をスキルベースの状態であると判定することとしたので、認知状態判定装置２２においては、検出された運転者の運転行動と保持回路３４に保持された運転行動の統計値の大小比較という容易な手法によって、運転者の認知状態がスキルベースであるかの判定をリアルタイムに実施することが可能であり、その判定に基づいた運転支援が可能となる（請求項７に対応）。
【００５５】
（８）  報知情報決定装置２３は、運転者に情報提供することによって知らしめるべき対象が先行車両であり、かつ、運転者の認知状態が知識−ルールベースの状態であった場合には、情報提示手法として音声情報提示装置２４を用いることとしたため、運転者の認知状態である知識−ルールベースの状態に合致した情報提示が可能となり、運転者にとって、より理解のしやすい情報提示に基づく運転支援が可能となる（請求項８に対応）。
【００５６】
（９）  運転者に情報提供することによって知らしめるべき対象が障害物であり、かつ、運転者の認知状態がスキルベースの状態であった場合には、情報提示手法としてブザー２５を用いることとしたため、運転者の認知状態であるスキルベースの状態に合致した情報提示が可能となり、運転者にとって、より理解のしやすい情報提示に基づく運転支援が可能となる（請求項９に対応）。
【００５７】
（第２実施例）
図１０は、第２実施例の車両用運転支援装置を示すブロック構成図である。第２実施例において、基本構成は図２に示した第１実施例のブロック構成図とほぼ同一であり、同符号を付して重複した説明は省略する。
【００５８】
この車両用運転支援装置は、環境認識用レーダ装置６０、運転者認識用画像処理装置２１、発話検出装置６１、認知状態判定装置６２、報知情報決定装置６３、表示装置６４、振動装置６５を備えている。
【００５９】
図１０において、環境認識用レーダ装置６０は、図１の環境検出手段１２に対応する。また、運転者認識用画像処理装置２１と発話検出装置６１は、運転行動検出手段１０を構成する。認知状態判定装置６２は、認知状態判定手段１１を構成し、報知情報決定装置６３は報知情報決定手段１３を構成する。表示装置６４および振動装置６５は、情報提示手段１４を構成する。
【００６０】
前記環境認識用レーダ装置６０には、例えば、車両の前方に設置されたレーザレーダ装置やミリ波装置を用いる。これらレーダ装置は、障害物や歩行者、先行車両など、安全な車両運転の障害となる可能性のある物体をリアルタイムに抽出して、自車両との距離、相対速度、相対加速度、を算出する処理回路を備えている。
【００６１】
前記発話検出装置６１には、運転者の口元をカメラによって撮像し、画像認識技術によって発話を検出する装置や、運転者の発話等が含まれた車室内の音をマイク装置より入力し、運転者の発話を車室内音からフィルタ処理を施すことによって抽出する装置、等を用いることが可能である。
【００６２】
前記認知状態判定装置６２の構成を図１１に示す。認知状態判定装置６２は、入力回路７１と、認知状態判定回路７２と、保持回路７３とから構成されている。前記入力回路７１は、運転者認識用画像処理装置２１が運転者の顔面画像を処理して抽出した運転者の視線方向と運転者の頭部回転角度と、さらに、発話検出装置６１によって検出した運転者の発話を所定時間毎に取り込む。
【００６３】
前記認知状態判定回路７２は、運転者の認知状態を判定する。前記保持回路７３には、一般的な運転者の認知状態に応じた運転行動の平均が保持されている。すなわち、本実施例では、一般的な運転者が、知識−ルールベース状態時の左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均ａｖｅｇ１１）と、一般的な運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均ａｖｅｇ２１）と、一般的な運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均ａｖｅｇ３１）と、一般的な運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度の平均（ナビゲーション目視頻度平均ａｖｅｇ４１）と、一般的な運転者が運転中に発話する頻度の平均（発話頻度平均ａｖｅｇ５１）と、スキルベース状態時の左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均ａｖｅｇ１２）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均ａｖｅｇ２２）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均ａｖｅｇ３２）と、運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度の平均（ナビゲーション目視頻度平均ａｖｅｇ４２）と、一般的な運転者が運転中に発話する頻度の平均（発話頻度平均ａｖｅｇ５２）と、を、平均運転行動として、例えば、図１２に示すテーブルで保持している。
【００６４】
前記報知情報決定装置６３の構成を図１３に示す。認知状態判定装置６２は、入力回路７５と、情報提供判断回路７６と、提供情報決定回路７７と、保持回路７８とから構成されている。
【００６５】
前記入力回路７５は、環境認識用レーダ装置６０によって認識された環境の情報、すなわち、進路上に存在する物体について、それら物体までの距離と相対速度、相対加速度に関する情報を取り込む。
【００６６】
前記情報提供判断回路７６は、認知状態判定装置６２が判定した運転者の認知状態を、入力回路７５を介して入手し、運転者に対して情報提供が必要であるか否かを決定する。
【００６７】
前記提供情報決定回路７７は、運転者に提供する情報の種類と方法を決定する。また、前記保持回路７８は、図６に示すような情報をテーブルとして保持している。
【００６８】
［認知状態判定制御処理］
図１４は、認知状態判定装置６２にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【００６９】
ステップＳ２００では、運転者の顔面画像を処理して抽出した運転者の視線方向と運転者の頭部回転角度と、さらに、発話検出装置６１によって検出した運転者の発話を所定時間ごとに取り込み、ステップＳ２０１へ移行する。
【００７０】
ステップＳ２０１では、保持回路７３に保持された運転行動の平均を参照して入手し、ステップＳ２０２へ移行する。
【００７１】
ステップＳ２０２では、運転者の認知状態を判定し、ステップＳ２００へ移行する。このステップの処理は、まず、ステップＳ２００にて取り込まれた所定時間分の運転者の視線方向と運転者の頭部回転角度より、運転者が左右のサイドミラーおよびルームミラーを目視した頻度（ミラー目視頻度ｇ１（＝所定時間にミラーを注視した回数）と、運転者が頭部を左右方向に所定角度以上回転させた頻度（頭部回転頻度ｇ２（＝所定時間に頭部を所定角度以上回転させた回数）と、運転者が頭部を左右方向に回転させた場合の最大角度（頭部回転角度ｇ３（＝ＭＡＸ｛頭部の回転角度｝））と、運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度（ナビゲーション目視頻度ｇ４（＝所定時間にナビゲーション画面を注視した回数）と、運転者が発話した頻度（発話頻度ｇ５（＝所定時間に発話した回数））とを運転者の運転行動として算出する。
【００７２】
次に、これら運転者の運転行動のそれぞれと、ステップＳ２０１で参照した保持回路７３に保持された平均運転行動のそれぞれを比較する。なお、本実施例における比較は、値の遠近にて行うものとする。つまり、運転者の運転行動ｇｉ（ｉ＝１，２，３，４，５）と、保持回路７３に保持された認知状態毎の一般的な運転行動の平均ａｖｅｇｉ１，ａｖｅｇｉ２（ｉ＝１，２，３，４，５）の比較において、知識−ルールベースの認知行動時の運転行動の方が近いとき、すなわち、
ａｖｅｇｉ１−ｇｉ≦ａｖｅｇｉ２−ｇｉ（ｉ＝１，２，３，４，５）
が成り立つとき、認知状態判定回路７２は運転者の認知状態を知識−ルールベースの状態と判定する。逆に、スキルベースの認知行動時の運転行動の方が近いとき、すなわち、
ａｖｅｇｉ１−ｇｉ＞ａｖｅｇｉ２−ｇｉ（ｉ＝１，２，３，４，５）
が成り立つとき、認知状態判定回路７２は運転者の認知状態をスキルベースの状態と判定する。
【００７３】
なお、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度、会話頻度、計５種の指標の比較による運転者の認知状態判定において、判定された運転者の認知状態が同一ではなかった場合、多数決によって判定を決定しても良い。例えば、ミラーの目視頻度、頭部回転頻度、頭部回転角度による判定がスキルベースであり、ナビゲーション目視頻度、会話頻度による判定が知識−ルールベースであった場合、認知状態判定装置６２としての運転者の認知状態の判定は、スキルベースと決定する。
【００７４】
［報知情報決定制御処理］
図１５は、報知情報決定装置６３にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【００７５】
ステップＳ２１０では、環境認識用レーダ装置６０によって認識された環境の情報、すなわち、進路上に存在する物体について、それら物体までの距離と相対速度、相対加速度に関する情報を入手し、ステップＳ２１１へ移行する。
【００７６】
ステップＳ２１１では、ステップＳ２１０で入手した情報に基づき、運転者に対して情報提供が必要であるか否かを決定する。例えば、物体に対する接近警報を、本実施例における情報提供の一つとすると、一般的には、
距離Ｄ＝Ｖ１×Ｔ＋Ｖ１２／２ａ１−Ｖ２２／２ａ２
Ｖ１は自車両の速度、Ｖ２は物体の速度、ａ１は物体の減速度、ａ２は物体の減速度
の以内に物体が位置した場合に、警報としての情報提供の実施を決定する。この接近警報によって情報提供が必要であると判断された場合には、ステップＳ１１１へ移行する。一方、情報提供が不要と判断された場合には、本処理を終了し、ステップＳ２１０に移行する。
【００７７】
ステップＳ２１２では、認知状態判定装置６２が判定した運転者の認知状態を、入力回路７５を介して入手する。ここで入手する運転者の認知状態は、知識−ルールベース、または、スキルベース、のいずれかである。運転者の認知状態が知識−ルールベースの時はステップＳ２１３へ移行し、運転者の認知状態がスキルベースの時はステップＳ２１５へ移行する。
【００７８】
ステップＳ２１３では、入力回路７５から入力された運転者認識用画像処理装置２１からの情報に基づき、運転者の視線方向を特定する。通常、知識−ルールベースの認知状態では、運転者は、環境の狭い領域に対して深く認識することを試みる傾向がある。逆に、運転者の注意が及ばない領域には、視線が配られることはない。
【００７９】
そこで、この特性を鑑み、ステップＳ２１１で検出した接近警報として情報提供が必要な物体に対して、視線が配されているか否かを判定する。判定の結果、物体に視線が配られていた場合には、運転者は物体を認識していると判断できるため、本処理を終了し、ステップＳ２１０に戻る。一方、物体に視線が配されていなかった場合には、運転者は物体を認識できていないと判断できるため、情報を提供が必要である。よって、ステップＳ２１４へ移行する。
【００８０】
ステップＳ２１４では、運転者に提供する情報の種類と方法を決定し、ステップＳ２１０へ移行する。運転者の認知状態が知識−ルールベースの状態であった場合、運転者は環境において注目していない領域以外の領域には意識を払っていない。その意識を払っていない領域に存在する安全な運転を妨げる障害を回避させるためには、詳細かつ指示的な情報を提供することが効果的である。そこで、本実施例においては、モニタやＨＵＤ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）のような表示装置６４を用いて、例えば、図１６に示すような回避情報を提示することを決定する。
【００８１】
ステップＳ２１５では、運転者に提供する情報の種類と方法を決定し、ステップＳ２１０へ移行する。運転者の認知状態がスキルベースの状態であった場合、通常、運転者は、環境の広い領域に対して浅く認識することを試みる傾向がある。浅い把握のため、進路に存在する安全な運転を妨げる障害が存在したとしても、見落とす可能性がある。
【００８２】
そこで、この特性を鑑み、運転者の認知状態がスキルベースの状態であった場合には、運転者の視線の方向にかかわらず、進路に存在する安全な運転を妨げる障害が存在を意識させるために、簡潔な情報を提供することが効果的である。そこで、本実施例においては、モニタのような表示装置６４を用いて、例えば、図１７に示すように情報を点滅表示させたり、座席に埋め込まれた振動装置６５を用いて、運転者に振動を伝達したりする。
【００８３】
次に、効果を説明する。
第２実施例の車両用運転支援装置にあっては、以下に列挙する効果を得ることができる。
【００８４】
（１０）  報知情報決定装置６３は、運転者の視線が物体に配られていない場合には、運転者の視線が及ばない領域において存在する安全な車両運転の障害となる可能性のある物体について詳細な情報提供をするようにしたので、通常、わずらわしいと感じる詳細情報を運転者に提示しても違和を感じさせしめることなく運転者に提供することが可能となる。（請求項１０に対応）。
【００８５】
（１１）  報知情報決定装置６３は、運転者の視線が物体に配られている場合には、運転者の視線方向にかかわらず、進路に存在する安全な車両運転の障害となる可能性のある物体について簡潔な情報を提供することとしたため、スキルベースの認知状態の特徴である、車両の安全な運転を阻害する可能性のある環境が運転者の視野に入っているにもかかわらず見落とす、といった状況に対して、運転者の注意を喚起する情報を提供するような、スキルベースの認知状態に合致し、違和感の少ない運転者に対する情報提供を実施する運転支援が可能となる（請求項１１に対応）。
【図面の簡単な説明】
【図１】実施の形態の車両用運転支援装置を示すブロック構成図である。
【図２】第１実施例の車両用運転支援装置を示すブロック構成図である。
【図３】認知状態判定装置２２の構成を示す図である。
【図４】保持回路に保持された運転行動のテーブルである。
【図５】報知情報決定装置の構成を示す図である。
【図６】保持回路に保持された認知状態と情報提示手法の関係を示すテーブルである。
【図７】音声情報提示装置の構成を示す図である。
【図８】認知状態判定装置にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【図９】報知情報決定装置にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【図１０】第２実施例の車両用運転支援装置を示すブロック構成図である。
【図１１】認知状態判定装置の構成を示す図である。
【図１２】保持回路に保持された認知状態と運転行動の関係を示すテーブルである。
【図１３】報知情報決定装置の構成を示す図である。
【図１４】認知状態判定装置にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【図１５】報知情報決定装置にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【図１６】表示装置が表示する情報の説明図である。
【図１７】表示装置が表示する情報の説明図である。
【符号の説明】
１０    運転行動検出手段
１１    認知状態判定手段
１２    環境検出手段
１３    報知情報決定手段
１４    情報提示手段
２０    環境認識用画像処理装置
２１    運転者認識用画像処理装置
２２    認知状態判定装置
２３    報知情報決定装置
２４    音声情報提示装置
２５    ブザー
２６    ナビゲーション装置
２７    オーディオ装置
２８    空調装置
３１    入力回路
３２    認知状態判定回路
３３    平均値算出回路
３４    保持回路
４１    入力回路
４２    情報提供判断回路
４３    提供情報決定回路
４４    保持回路
５１    入力回路
５２    スピーカ
５３    保持回路
６０    環境認識用レーダ装置
６１    発話検出装置
６２    認知状態判定装置
６３    報知情報決定装置
６４    表示装置
６５    振動装置
７１    入力回路
７２    認知状態判定回路
７３    保持回路
７５    入力回路
７６    情報提供判断回路
７７    提供情報決定回路
７８    保持回路
【図１】
2005004414.tif 000004
【図２】
2005004414.tif 000005
【図３】
2005004414.tif 000006
【図４】
2005004414.tif 000007
【図５】
2005004414.tif 000008
【図６】
2005004414.tif 000009
【図７】
2005004414.tif 000010
【図８】
2005004414.tif 000011
【図９】
2005004414.tif 000012
【図１０】
2005004414.tif 000013
【図１１】
2005004414.tif 000014
【図１２】
2005004414.tif 000015
【図１３】
2005004414.tif 000016
【図１４】
2005004414.tif 000017
【図１５】
2005004414.tif 000018
【図１６】
2005004414.tif 000019
【図１７】
2005004414.tif 000020