(57)【要約】【課題】運転者の状態に応じて運転情報を出力する技術を提供する。【解決手段】推定部７２は、運転者の状態を推定する。画像・音声出力部５１は、推定部７２において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報をセンターディスプレイ２ｂに出力する。記憶部４２は、推定部７２において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する。画像・音声出力部５１は、推定部７２において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部４２に記憶した運転情報をセンターディスプレイ２ｂに出力する。【選択図】図３
2018165086.tif 000002
【特許請求の範囲】
【請求項１】
運転者の状態を推定する推定部と、
前記推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、
前記推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備え、
前記運転情報出力部は、前記推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、前記記憶部に記憶した運転情報を前記報知装置に出力することを特徴とする運転支援装置。
【請求項２】
前記運転情報出力部は、前記推定部において推定した運転者の状態が第２状態である場合に自動運転において発生した運転行動の、運転情報を前記報知装置に非出力とすることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、前記記憶部に記憶した運転情報の一部を選択する選択部をさらに備え、
前記運転情報出力部は、前記選択部において選択した一部の運転情報を前記報知装置に出力することを特徴とする請求項１または２に記載の運転支援装置。
【請求項４】
前記推定部において推定される運転者の状態は、運転者の覚醒度であるとともに、第１状態における覚醒度は第２状態における覚醒度よりも高いことを特徴とする請求項１から３のいずれかに記載の運転支援装置。
【請求項５】
前記推定部において推定される運転者の状態は、運転操作に影響を及ぼす行動の有無であるとともに、第２状態には、運転操作に影響を及ぼす行動が含まれていることを特徴とする請求項１から３のいずれかに記載の運転支援装置。
【請求項６】
運転者の状態を推定する推定部と、
前記推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、
前記推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部と、
発生した運転行動をもとに車両の自動運転を制御する自動運転制御部とを備え、
前記運転情報出力部は、前記推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、前記記憶部に記憶した運転情報を前記報知装置に出力することを特徴とする自動運転制御装置。
【請求項７】
運転支援装置を備える車両であって、
前記運転支援装置は、
運転者の状態を推定する推定部と、
前記推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、
前記推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備え、
前記運転情報出力部は、前記推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、前記記憶部に記憶した運転情報を前記報知装置に出力することを特徴とする車両。
【請求項８】
運転者の状態を推定するステップと、
推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力するステップと、
推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報をメモリに記憶するステップと、
推定した運転者の状態が第２状態から第１状態に変化した場合、前記メモリに記憶した運転情報を前記報知装置に出力するステップと、
を備えることを特徴とする運転支援方法。
【請求項９】
運転者の状態を推定するステップと、
推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力するステップと、
推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報をメモリに記憶するステップと、
推定した運転者の状態が第２状態から第１状態に変化した場合、前記メモリに記憶した運転情報を前記報知装置に出力するステップとをコンピュータに実行させるためのプログラム。
【請求項１０】
報知装置と、
運転支援装置とを備え、
前記運転支援装置は、
運転者の状態を推定する推定部と、
前記推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を前記報知装置に出力する運転情報出力部と、
前記推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備え、
前記運転情報出力部は、前記推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、前記記憶部に記憶した運転情報を前記報知装置に出力することを特徴とする運転支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両、車両に設けられる運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、プログラム、運転支援システムに関する。
【背景技術】
【０００２】
運転者を覚醒させて居眠りを防止する居眠り防止装置では、例えば、運転者の眠気に応じて楽曲が再生される。しかしながら、このような構成では、運転者の眠気レベルが高く強い刺激による覚醒が望まれるのに十分な覚醒が行われなかったり、運転者の眠気レベルが低く強い刺激による覚醒が望まれないのに強い刺激による覚醒が行われたりすることがある。そのため、眠気度に応じた強さで運転者に単発的に刺激を与えた後、再度特定された眠気度に応じた強さで運転者に連続的に刺激を与えられる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１８６２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自動運転中では、自動運転から手動運転への切替を運転者に通知してから、切替期間内に手動運転を実行できる程度の覚醒度があれば、それ以上に運転者を覚醒させる必要はない。一方、自動運転中には、渋滞による経路変更等の情報を運転者に通知するために表示がなされる。運転者の覚醒度が低い時間帯においてこのような表示があっても、運転者は、表示を認識せず、情報を取得できないことがある。情報の欠落が発生した場合、運転者が、運転状況を正しく認識できなかったり、不要な介入をしたり、あわてたりすることによって、手動運転への切替が困難になるおそれがある。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、運転者の状態に応じて運転情報を出力する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の運転支援装置は、運転者の状態を推定する推定部と、推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備える。運転情報出力部は、推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報を報知装置に出力する。
【０００７】
本発明の別の態様は、自動運転制御装置である。この装置は、運転者の状態を推定する推定部と、推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部と、発生した運転行動をもとに車両の自動運転を制御する自動運転制御部とを備える。運転情報出力部は、推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報を報知装置に出力する。
【０００８】
本発明のさらに別の態様は、車両である。この車両は、運転支援装置を備える車両であって、運転支援装置は、運転者の状態を推定する推定部と、推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備える。運転情報出力部は、推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報を報知装置に出力する。
【０００９】
本発明のさらに別の態様は、運転支援方法である。この方法は、運転者の状態を推定するステップと、推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力するステップと、推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報をメモリに記憶するステップと、推定した運転者の状態が第２状態から第１状態に変化した場合、メモリに記憶した運転情報を報知装置に出力するステップと、を備える。
【００１０】
本発明のさらに別の態様は、運転支援システムである。この運転支援システムは、報知装置と、運転支援装置とを備える。運転支援装置は、運転者の状態を推定する推定部と、推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備える。運転情報出力部は、推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報を報知装置に出力する。
【００１１】
なお、以上の構成要素の任意の組合せ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、運転者の状態に応じて運転情報を出力できる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る車両の構成を示す図である。
【図２】図１の車両の室内を模式的に示す図である。
【図３】図１の運転支援装置の構成を示す図である。
【図４】図３の制御部の動作概要を示す図である。
【図５】図２のセンターディスプレイに表示される画面を示す図である。
【図６】図３の制御部による処理手順を示すフローチャートである。
【図７】図３の制御部による別の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
本発明を具体的に説明する前に、概要を述べる。本実施の形態は、自動車の自動運転に関する。特に、本実施の形態は、車両の運転行動に関する情報を車両の乗員（例えば運転者）との間でやり取り、もしくは乗員に通知するためのＨＭＩ（Ｈｕｍａｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）を制御する装置（以下「運転支援装置」とも呼ぶ。）に関する。本実施の形態における用語は次のように定義される。「運転行動」は、車両の走行中または停止時の操舵や制動などの作動状態、もしくは自動運転制御に係る制御内容を含んでおり、例えば、定速走行、加速、減速、一時停止、停止、車線変更、進路変更、右左折、駐車などである。また、運転行動は、巡航（車線維持で車速維持）、車線維持、先行車追従、追従時のストップアンドゴー、車線変更、追越、合流車両への対応、高速道への進入と退出を含めた乗換（インターチェンジ）、合流、工事ゾーンへの対応、緊急車両への対応、割込み車両への対応、右左折専用レーンへの対応、歩行者・自転車とのインタラクション、車両以外の障害物回避、標識への対応、右左折・Ｕターン制約への対応、車線制約への対応、一方通行への対応、交通標識への対応、交差点・ラウンドアバウトへの対応などであってもよい。
【００１５】
運転支援装置は、自動運転中にこれから実行する予定の新たな運転行動が発生した場合に、当該運転行動が示された運転情報を乗員、特に運転者に提示する。このような新たな運転行動は、例えば、渋滞、工事、天候によって生じる走行予定の経路の変更（以下、「計画変更」ということもある）である。さらに、運転情報の提示は、例えば、ディスプレイへの表示によってなされる。運転者は、運転情報を視認することによって、計画変更、つまり新たな運転行動の発生を認識する。一方、車両において自動運転の継続が困難になった場合、運転支援装置は、手動運転への切替を運転者に提示して、運転者に手動運転を実行させる。その際、運転者は、自動運転中に発生した新たな運転行動を認識していれば、自動運転から手動運転への切替をスムーズに実行できる。
【００１６】
自動運転中に運転情報が提示されても、運転者の覚醒度が低ければ、運転者は、新たなに発生した運転行動を認識できない。そのときに手動運転への切替が提示されても、自動運転中の状況を運転者が理解していないため、自動運転から手動運転への切替がスムーズに実行されない。運転者の覚醒度が低い状態が自動運転中にあっても、新たに発生した運転行動を運転者に認識させるために、本実施の形態に係る運転支援装置は次の処理を実行する。運転支援装置は、運転者の覚醒度を推定し、覚醒度が高ければ運転情報を運転者に提示する。一方、覚醒度が低い場合、運転支援装置は、運転情報を提示せず記憶する。これに続いて、運転者の覚醒度が低い状態から高い状態に変化した場合、運転支援装置は、記憶した運転情報を提示する。以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。
【００１７】
図１は、車両１００の構成を示し、特に自動運転車両に関する構成を示す。車両１００は、自動運転モードで走行可能であり、報知装置２、入力装置４、無線装置８、運転操作部１０、検出部２０、自動運転制御装置３０、運転支援装置４０を含む。図１に示す各装置の間は、専用線あるいはＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の有線通信で接続されてもよい。また、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の有線通信または無線通信で接続されてもよい。
【００１８】
報知装置２は、車両１００の走行に関する情報を乗員に報知する。報知装置２は、例えば、車内に設置されているカーナビゲーションシステム、ヘッドアップディスプレイ、センターディスプレイである。報知装置２は、ステアリングホイール、ピラー、ダッシュボード、メータパネル周りなどに設置されているＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などの発光体などのような情報を表示する表示部でもよい。また、報知装置２は、情報を音声に変換して乗員に報知するスピーカであってもよいし、あるいは、乗員が感知できる位置（例えば、乗員の座席、ステアリングホイールなど）に設けられる振動体であってもよい。さらに、報知装置２は、これらの組合せであってもよい。
【００１９】
入力装置４は、乗員による操作入力を受けつけるユーザインタフェース装置である。例えば入力装置４は、タッチパネル、レバー、ボタン、スイッチ、ジョイスティックやボリューム等のコントローラ、非接触でジェスチャーを認識するカメラ等のセンサ、音声を認識するマイク等のセンサや、それらの組合せであり、乗員が入力した自車の自動運転に関する情報を受けつける。また、自動運転と手動運転を切りかえるための操作信号を受けつけてもよい。入力装置４は、受けつけた情報を操作信号として運転支援装置４０に出力する。
【００２０】
図２は、車両１００の室内を模式的に示す。報知装置２は、ヘッドアップディスプレイ（ＨＵＤ、Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）２ａであってもよく、センターディスプレイ２ｂであってもよい。入力装置４は、ステアリング１１に設けられた第１操作部４ａであってもよく、運転席と助手席との間に設けられた第２操作部４ｂであってもよく、ジェスチャーを認識するカメラ等のセンサである第３操作部４ｃであってもよい。なお、報知装置２と入力装置４は一体化されてもよく、例えばタッチパネルディスプレイとして実装されてもよい。車両１００には、自動運転に関する情報を音声にて乗員へ提示するスピーカ６がさらに設けられてもよい。この場合、運転支援装置４０は、自動運転に関する情報を示す画像を報知装置２に表示させ、それとともに、またはそれに代えて、自動運転に関する情報を示す音声をスピーカ６から出力させてもよい。図１に戻る。
【００２１】
無線装置８は、携帯電話通信システム、ＷＭＡＮ（Ｗｉｒｅｌｅｓｓ  Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等に対応しており、無線通信を実行する。運転操作部１０は、ステアリング１１、ブレーキペダル１２、アクセルペダル１３、ウィンカスイッチ１４を備える。ステアリング１１、ブレーキペダル１２、アクセルペダル１３、ウィンカスイッチ１４は、ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵとモータＥＣＵおよびウィンカコントローラにより電子制御が可能である。自動運転モードにおいて、ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵは、自動運転制御装置３０から供給される制御信号に応じて、アクチュエータを駆動する。またウィンカコントローラは、自動運転制御装置３０から供給される制御信号に応じてウィンカランプを点灯あるいは消灯する。
【００２２】
検出部２０は、車両１００の周囲状況および走行状態を検出する。検出部２０は、例えば、車両１００の速度、車両１００に対する先行車両の相対速度、車両１００と先行車両との距離、車両１００に対する側方車線の車両の相対速度、車両１００と側方車線の車両との距離、車両１００の位置情報を検出する。検出部２０は、検出した各種情報（以下、「検出情報」という）を自動運転制御装置３０に出力する。また、検出部２０は、自動運転制御装置３０を介して運転支援装置４０に検出情報を出力してもよいし、運転支援装置４０に直接出力してもよい。検出部２０は、位置情報取得部２１、センサ２２、速度情報取得部２３、地図情報取得部２４を含む。
【００２３】
位置情報取得部２１は、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ（ｓ））受信機から車両１００の現在位置を取得する。センサ２２は、車外の状況および車両１００の状態を検出するための各種センサの総称である。車外の状況を検出するためのセンサとして例えばカメラ、ミリ波レーダ、ＬＩＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ、Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）、ソナー、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況は、車線情報を含む自車の走行する道路状況、天候を含む環境、自車周辺状況、近傍位置にある他車両（隣接車線を走行する他車両等）を含む。なお、センサ２２が検出できる車外の情報であれば何でもよい。また車両１００の状態を検出するためのセンサ２２として例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。
【００２４】
速度情報取得部２３は、車速センサから車両１００の現在速度を取得する。地図情報取得部２４は、地図データベースから車両１００の現在位置周辺の地図情報を取得する。地図データベースは、車両１００内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。なお、地図情報には、道路、交差点に関する情報が含まれている。
【００２５】
自動運転制御装置３０は、自動運転制御機能を実装した自動運転コントローラであり、自動運転における車両１００の行動を決定する。自動運転制御装置３０は、制御部３１、記憶部３２、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部、入出力部）部３３を備える。制御部３１の構成はハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部３２は、フラッシュメモリ等の不揮発性記録媒体を備える。Ｉ／Ｏ部３３は、各種の通信フォーマットに応じた通信制御を実行する。例えば、Ｉ／Ｏ部３３は、自動運転に関する情報を運転支援装置４０に出力するとともに、制御コマンドを運転支援装置４０から入力する。また、Ｉ／Ｏ部３３は、検出情報を検出部２０から入力する。
【００２６】
制御部３１は、運転支援装置４０から入力した制御コマンド、検出部２０あるいは各種ＥＣＵから収集した各種情報を自動運転アルゴリズムに適用して、車両１００のアクセルスロットル開度、ステアリング舵角等の自動制御対象を制御するための制御値を算出する。制御部３１は算出した制御値を、各制御対象のＥＣＵまたはコントローラに伝達する。本実施の形態ではステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、ウィンカコントローラに伝達する。なお電気自動車あるいはハイブリッドカーの場合、エンジンＥＣＵに代えてまたは加えてモータＥＣＵに制御値を伝達する。
【００２７】
運転支援装置４０は、車両１００と乗員との間のインタフェース機能を実行するＨＭＩコントローラであり、制御部４１、記憶部４２、Ｉ／Ｏ部４３を備える。制御部４１は、ＨＭＩ制御等の各種データ処理を実行する。制御部４１は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。
【００２８】
記憶部４２は、制御部４１により参照され、または更新されるデータを記憶する記憶領域である。例えばフラッシュメモリ等の不揮発の記録媒体により実現される。Ｉ／Ｏ部４３は、各種の通信フォーマットに応じた各種の通信制御を実行する。Ｉ／Ｏ部４３は、操作信号入力部５０、画像・音声出力部５１、検出情報入力部５２、コマンドＩＦ（Ｉｎｔｅｒｆａｃｅ、インタフェース）５３、通信ＩＦ５６を備える。
【００２９】
操作信号入力部５０は、入力装置４に対してなされた乗員もしくは車外にいるユーザの操作による操作信号を入力装置４から受信し、制御部４１へ出力する。画像・音声出力部５１は、制御部４１が生成した画像データあるいは音声メッセージを報知装置２へ出力して表示させる。検出情報入力部５２は、検出部２０による検出処理の結果であり、車両１００の現在の周囲状況および走行状態を示す検出情報を検出部２０から受信し、制御部４１へ出力する。
【００３０】
コマンドＩＦ５３は、自動運転制御装置３０とのインタフェース処理を実行し、行動情報入力部５４とコマンド出力部５５を含む。行動情報入力部５４は、自動運転制御装置３０から送信された車両１００の自動運転に関する情報を受信し、制御部４１へ出力する。コマンド出力部５５は、自動運転制御装置３０に対して自動運転の態様を指示する制御コマンドを、制御部４１から受けつけて自動運転制御装置３０へ送信する。
【００３１】
通信ＩＦ５６は、無線装置８とのインタフェース処理を実行する。通信ＩＦ５６は、制御部４１から出力されたデータを無線装置８へ送信し、無線装置８から車外の装置へ送信させる。また、通信ＩＦ５６は、無線装置８により転送された、車外の装置からのデータを受信し、制御部４１へ出力する。
【００３２】
なお、ここでは、自動運転制御装置３０と運転支援装置４０は別個の装置として構成される。変形例として、図１の破線で示すように、自動運転制御装置３０と運転支援装置４０を１つのコントローラに統合してもよい。言い換えれば、１つの自動運転制御装置が、図１の自動運転制御装置３０と運転支援装置４０の両方の機能を備える構成であってもよい。さらに、報知装置２、運転支援装置４０が組み合わされた運転支援システムとして構成されてもよい。
【００３３】
図３は、運転支援装置４０の構成を示す。制御部４１は、運転行動決定部７０、推定部７２、提示制御部７４、選択部７６を含む。また、制御部４１は、記憶部４２、画像・音声出力部５１、検出情報入力部５２に接続される。検出情報入力部５２はセンサ２２に接続され、画像・音声出力部５１はセンターディスプレイ２ｂに接続される。
【００３４】
センサ２２は、例えば、車室内に搭載されたカメラであり、運転者の顔を撮像する。センサ２２は、運転者の顔を撮像した画像が含まれた検出情報を検出情報入力部５２に出力する。検出情報入力部５２には、センサ２２からの検出情報が入力され、検出情報入力部５２は、検出情報に含まれた画像を推定部７２に出力する。なお、センサ２２、検出情報入力部５２におけるこれらの処理は定期的になされる。
【００３５】
推定部７２は、検出情報入力部５２からの画像を受けつけ、画像に対して画像認識処理を実行することによって、運転者の顔の表情を認識する。推定部７２は、認識した顔の表情をもとに、運転者の状態として、運転者の覚醒度を推定する。画像認識処理、覚醒度の推定には、公知の技術が使用されればよいので、ここでは説明を省略する。また、運転者の覚醒度の一例として、ここでは、表情から眠気をするためのＮＥＤＯ（独立行政法人  新エネルギー・産業技術総合開発機構））の評価方法において規定された眠気レベルを使用する。この規定では、眠気レベルは、１から５の５段階で評価される。具体的には、「眠気レベル１」は全く眠くなさそう、「眠気レベル２」はやや眠そう、「眠気レベル３」は眠そう、「眠気レベル４」はかなり眠そう、「眠気レベル５」は非常に眠そうと分類される。
【００３６】
推定部７２は、視線の移動が早く頻繁であったり、瞬きが２秒に２回くらいの安定した周期であったり、動きが活発で身体の動きを伴ったりする場合に、「眠気レベル１」と推定する。また、推定部７２は、唇が開いていたり、視線移動の動きが遅かったりする場合に、「眠気レベル２」と推定する。また、推定部７２は、瞬きがゆっくりと頻発したり、口の動きがあったり、座り直しがあったり、顔に手をやったりした場合に、「眠気レベル３」と推定する。また、推定部７２は、意識的と思われる瞬きがあったり、首を振る・肩の上下動などの無用な身体全体の動きがあったり、あくびが頻発し深呼吸も見られたり、瞬き・視線の動きが遅かったりする場合に、「眠気レベル４」と推定する。また、推定部７２は、瞼が閉じられたり、頭が前に傾いたり、頭が後に倒れたりする場合に、「眠気レベル５」と推定する。
【００３７】
このような規定において、眠気レベル１に近づくほど覚醒度が高いといえ、眠気レベル５に近づくほど覚醒度が低いといえる。また、眠気レベル１と眠気レベル２は「第１状態」に含まれ、眠気レベル３から眠気レベル５は「第２状態」に含まれる。これにより、推定部７２は、推定した眠気レベルから、運転者が第１状態であるか、あるいは第２状態であるかを推定する。なお、第１状態における覚醒度は第２状態における覚醒度よりも高いといえる。
【００３８】
運転行動決定部７０は、図１の検出部２０からの検出情報を検出情報入力部５２を介して受けつけ、図１の無線装置８からの情報を通信ＩＦ５６を介して受けつけ、図１の自動運転制御装置３０からの行動情報を行動情報入力部５４を介して受けつける。運転行動決定部７０は、受けつけたこれらの情報をもとに、自動運転における運転行動を決定する。運転行動の決定には公知の技術が使用されればよいので、ここでは説明を省略する。運転行動決定部７０において決定される新たな運転行動の一例は、それまでの運転行動が別の運転行動に変更される計画変更である。
【００３９】
計画変更において運転行動は、例えば、「渋滞により、経路Ａから経路Ｂに変更する」、「濃霧により、速度を３０ｋｍ／ｈに変更する」のように示されており、「原因」と「変更内容」との組合せによって示される。原因には、渋滞、事故、工事、気象等が含まれ、変更内容には、経路の変更、速度の変更、停止等が含まれる。運転行動決定部７０は、自動運転において新たな運転行動が発生したときに、当該運転行動が示された運転情報を提示制御部７４、記憶部４２に出力する。また、運転行動決定部７０は、図１のコマンド出力部５５を介して自動運転制御装置３０に、新たな運転行動に対応したコマンドを出力する。これによって、自動運転制御装置３０は、計画変更のような新たな運転行動をもとに車両１００の自動運転を制御する。
【００４０】
提示制御部７４は、推定部７２において推定した運転者の状態を受けつけるとともに、運転行動決定部７０からの運転情報を受けつける。推定部７２において推定した運転者の状態が第１状態である場合、つまり覚醒度が高い場合、提示制御部７４は、運転情報に含まれた運転行動が示された画像を生成し、生成した画像（以下、これもまた「運転情報」という）を画像・音声出力部５１に出力する。画像・音声出力部５１は、センターディスプレイ２ｂに運転情報を出力し、センターディスプレイ２ｂは運転情報を表示する。このような画像・音声出力部５１は運転情報出力部といえる。一方、推定部７２において推定した運転者の運転状態が第２状態である場合、提示制御部７４は、画像を生成しない。そのため、画像・音声出力部５１は、センターディスプレイ２ｂに運転情報を出力しない。
【００４１】
記憶部４２も、提示制御部７４と同様に、推定部７２において推定した運転者の状態を受けつけるとともに、運転行動決定部７０からの運転情報を受けつける。推定部７２において推定した運転者の状態が第２状態である場合、つまり覚醒度が低い場合、記憶部４２は、自動運転において運転行動が発生したときに運転情報を記憶する。例えば、記憶部４２は、発生時刻あるいは記憶時刻（以下、「時刻情報」という）とともに運転情報を記憶する。このような状態において、推定部７２において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部４２は、記憶した運転情報を時刻情報とともに選択部７６に出力する。
【００４２】
選択部７６は、推定部７２において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部４２からの運転情報と時刻情報との組合せを受けつける。選択部７６は、運転情報の一部を選択する。具体的に説明すると、選択部７６は、運転情報における運転行動の原因を確認し、同一の原因を含んだ運転情報が複数存在する場合、最も新しい時刻に対応した時刻情報を有する運転情報を選択する。例えば、渋滞による経路の変更が３回発生した場合、選択部７６は、最後の経路変更に対応した運転情報を選択する。異なった原因間ではこのような選択は実行されないので、１回しか発生しない原因による運転行動に関する運転情報はそのまま選択される。選択部７６は、選択した運転情報を提示制御部７４に出力する。
【００４３】
提示制御部７４は、推定部７２において推定した運転者の状態が第２状態から第１状態に変化した場合、選択部７６において選択した一部の運転情報に含まれた運転行動がまとめられた画像を生成し、生成した画像（以下、これもまた「運転情報」という）を画像・音声出力部５１に出力する。画像・音声出力部５１は、センターディスプレイ２ｂに運転情報を出力し、センターディスプレイ２ｂは運転情報を表示する。センターディスプレイ２ｂに表示された運転情報には、複数の運転行動が示されることもある。
【００４４】
このような制御部４１による処理を図４を使用しながら説明する。図４は、制御部４１の動作概要を示す。横軸が時間を示す。新たな運転行動は、「Ａ」、「Ｂ」、「Ｃ」、・・、「Ｄ」の順に発生する。運転行動「Ａ」から「Ｄ」が発生したときの運転者の状態は眠気レベル４であるので、これらの運転行動は記憶部４２に記憶される。なお、運転行動「Ａ」、「Ｃ」、「Ｄ」の原因は渋滞であり、運転行動「Ｂ」の原因は気象であるとする。時間ｔ０において運転者の状態が眠気レベル２になったので、同一の原因である運転行動「Ａ」、「Ｃ」、「Ｄ」のうちの最新の運転行動である「Ｄ」が選択される。そのため、時間ｔ０の後で運転行動「Ｂ」と「Ｄ」を含んだ運転情報が表示される。
【００４５】
図５は、センターディスプレイ２ｂに表示される画面を示す。図示のごとく、渋滞を原因にした経路変更と、気象を原因とした速度変更とが示される。図４に戻る。時間ｔ１において運転者の状態が眠気レベル１になったので、発生した運転行動「Ｅ」、「Ｆ」はそのまま運転情報として表示される。
【００４６】
以上の構成による運転支援装置４０の動作を説明する。図６は、制御部４１による処理手順を示すフローチャートである。運転行動決定部７０において運転行動が発生しなければ（Ｓ１０のＮ）、待機する。運転行動決定部７０において運転行動が発生し（Ｓ１０のＹ）、推定部７２において推定された運転者の状態が第１状態であれば（Ｓ１２のＹ）、提示制御部７４は、運転情報を表示させる（Ｓ１４）。一方、推定部７２において推定された運転者の状態が第１状態でない場合（Ｓ１２のＮ）、つまり第２状態である場合、記憶部４２は運転情報を記憶し（Ｓ１６）、提示制御部７４は運転情報を非表示とする（Ｓ１８）。
【００４７】
図７は、制御部４１による別の処理手順を示すフローチャートである。推定部７２において推定された運転者の状態が第２状態から第１状態に変化した場合（Ｓ５０のＹ）、記憶部４２に運転情報が記憶されていれば（Ｓ５２のＹ）、選択部７６は一部の運転情報を選択する（Ｓ５４）。提示制御部７４は、運転情報を表示させる（Ｓ５６）。推定部７２において推定された運転者の状態が第２状態から第１状態に変化しない場合（Ｓ５０のＮ）、あるいは記憶部４２に運転情報が記憶されていない場合（Ｓ５２のＮ）、処理は終了される。
【００４８】
本実施の形態によれば、運転者の覚醒度が第２状態である場合に運転情報を記憶し、第２状態から第１状態に変化すると運転情報を出力するので、運転者の覚醒度に応じて運転情報を出力できる。また、運転者の覚醒度が低ければ運転情報を記憶し、運転者の覚醒度が高くなってから運転情報を出力するので、運転者の覚醒度に応じた出力を実現できる。また、運転者の覚醒度が高ければ運転情報をすぐに出力するので、運転情報を運転者に速やかに知らせることができる。また、運転者の覚醒度が第２状態であれば運転情報を出力しないので、無駄な出力を防止できる。
【００４９】
また、記憶した運転情報の一部を選択してそれを出力するので、出力される運転情報が多くなりすぎる状況の発生を抑制できる。また、出力される運転情報が多くなりすぎる状況の発生が抑制されるので、運転者にとって状況を容易に把握できる。また、原因が同一の運転情報を選択するので、不要な運転情報を削除できる。また、原因が同一の運転情報のうち、最新の運転情報を選択するので、最新の状況を運転者に把握させることができる。また、原因の異なった運転情報を削除しないので、必要な運転情報を誤って削除することを抑制できる。
【００５０】
以上、本発明に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ、ＲＡＭ、ハードディスク装置やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＵＳＢメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
【００５１】
また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。また、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記各装置の機能が実現される。
【００５２】
本発明の一態様の概要は、次の通りである。本発明のある態様の運転支援装置は、運転者の状態を推定する推定部と、推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備える。運転情報出力部は、推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報を報知装置に出力する。
【００５３】
この態様によると、運転者の状態が第２状態である場合に運転情報を記憶し、第２状態から第１状態に変化すると運転情報を出力するので、運転者の状態に応じて運転情報を出力できる。
【００５４】
運転情報出力部は、推定部において推定した運転者の状態が第２状態である場合に自動運転において発生した運転行動の、運転情報を報知装置に非出力としてもよい。この場合、運転者の状態が第２状態であれば運転情報を出力しないので、無駄な出力を防止できる。
【００５５】
推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報の一部を選択する選択部をさらに備えてもよい。運転情報出力部は、選択部において選択した一部の運転情報を報知装置に出力してもよい。この場合、記憶した運転情報の一部を選択してそれを出力するので、出力される運転情報が多くなりすぎる状況の発生を抑制できる。
【００５６】
推定部において推定される運転者の状態は、運転者の覚醒度であるとともに、第１状態における覚醒度は第２状態における覚醒度よりも高い。この場合、運転者の状態が運転者の覚醒度であるので、運転者の眠気に応じて運転情報を出力できる。
【００５７】
推定部において推定される運転者の状態は、運転操作に影響を及ぼす行動の有無であるとともに、第２状態には、運転操作に影響を及ぼす行動が含まれていてもよい。この場合、運転者の状態が運転操作に影響を及ぼす行動の有無であるので、運転者が覚醒している状況であっても運転情報の出力を制御できる。
【００５８】
本発明の別の態様は、自動運転制御装置である。この装置は、運転者の状態を推定する推定部と、推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部と、発生した運転行動をもとに車両の自動運転を制御する自動運転制御部とを備える。運転情報出力部は、推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報を報知装置に出力する。
【００５９】
この態様によると、運転者の状態が第２状態である場合に運転情報を記憶し、第２状態から第１状態に変化すると運転情報を出力するので、運転者の状態に応じて運転情報を出力できる。
【００６０】
本発明のさらに別の態様は、車両である。この車両は、運転支援装置を備える車両であって、運転支援装置は、運転者の状態を推定する推定部と、推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備える。運転情報出力部は、推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報を報知装置に出力する。
【００６１】
この態様によると、運転者の状態が第２状態である場合に運転情報を記憶し、第２状態から第１状態に変化すると運転情報を出力するので、運転者の状態に応じて運転情報を出力できる。
【００６２】
本発明のさらに別の態様は、運転支援方法である。この方法は、運転者の状態を推定するステップと、推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力するステップと、推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報をメモリに記憶するステップと、推定した運転者の状態が第２状態から第１状態に変化した場合、メモリに記憶した運転情報を報知装置に出力するステップと、を備える。
【００６３】
本発明のさらに別の態様は、運転支援システムである。この運転支援システムは、報知装置と、運転支援装置とを備える。運転支援装置は、運転者の状態を推定する推定部と、推定部において推定した運転者の状態が第１状態である場合に自動運転において運転行動が発生したときに、当該運転行動に関する運転情報を報知装置に出力する運転情報出力部と、推定部において推定した運転者の状態が第２状態である場合に自動運転において運転行動が発生したときに、運転情報を記憶する記憶部とを備える。運転情報出力部は、推定部において推定した運転者の状態が第２状態から第１状態に変化した場合、記憶部に記憶した運転情報を報知装置に出力する。
【００６４】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６５】
本実施の形態において、推定部７２において推定される運転者の状態は運転者の覚醒度である。しかしながらこれに限らず例えば、推定部７２において推定される運転者の状態は、運転集中度であってもよい。運転集中度とは、運転操作に影響を及ぼす行動の有無によって決められ、運転者の覚醒度は高いが、手動運転をすることが困難である場合である。その一例は、運転者が携帯電話あるいはスマートフォンを操作している場合であって、運転集中度が低いといえる。この場合は第２状態に含まれる。本変形例によれば、適用範囲を拡大できる。
【００６６】
本実施の形態において、ＮＥＤＯ評価の眠気レベル１と眠気レベル２は「第１状態」、眠気レベル３から眠気レベル５は「第２状態」であると一例として定義したが、ＮＥＤＯの評価基準に限らず、別の指標でも運転者が覚醒している状態は第１状態、眠気を有している状態は第２状態と推定してもよい。
【００６７】
本実施の形態において、制御部４１には選択部７６が含まれる。しかしながらこれに限らず例えば、制御部４１に選択部７６が含まれなくてもよい。その場合、提示制御部７４は、記憶部４２に記憶された運転情報をそのまま出力すればよい。本変形例によれば、構成を簡易にできる。
【符号の説明】
【００６８】
２  報知装置、  ２ａ  ヘッドアップディスプレイ、  ２ｂ  センターディスプレイ、  ４  入力装置、  ４ａ  第１操作部、  ４ｂ  第２操作部、  ４ｃ  第３操作部、  ６  スピーカ、  ８  無線装置、  １０  運転操作部、  １１  ステアリング、  １２  ブレーキペダル、  １３  アクセルペダル、  １４  ウィンカスイッチ、  ２０  検出部、  ２１  位置情報取得部、  ２２  センサ、  ２３  速度情報取得部、  ２４  地図情報取得部、  ３０  自動運転制御装置、  ３１  制御部、  ３２  記憶部、  ３３  Ｉ／Ｏ部、  ４０  運転支援装置、  ４１  制御部、  ４２  記憶部、  ４３  Ｉ／Ｏ部、  ５０  操作信号入力部、  ５１  画像・音声出力部、  ５２  検出情報入力部、  ５３  コマンドＩＦ、  ５４  行動情報入力部、  ５５  コマンド出力部、  ５６  通信ＩＦ、  ７０  運転行動決定部、  ７２  推定部、  ７４  提示制御部、  ７６  選択部、  １００  車両。
【図１】
2018165086.tif 000003
【図２】
2018165086.tif 000004
【図３】
2018165086.tif 000005
【図４】
2018165086.tif 000006
【図５】
2018165086.tif 000007
【図６】
2018165086.tif 000008
【図７】
2018165086.tif 000009