(57)【要約】【課題】ドライバの状態を詳しく推定することができるドライバ状態推定装置を提供すること。【解決手段】ドライバ状態推定装置１は、第１情報取得ユニット９と、第２情報取得ユニット１１と、第１推定ユニット１３と、第２推定ユニット１５とを備える。第１情報取得ユニットは、ドライバの瞳孔径を取得する。第２情報取得ユニットは、（ａ）前記ドライバが運転する車両の走行環境、（ｂ）前記ドライバの挙動、（ｃ）前記ドライバの視線方向、及び（ｄ）前記ドライバの頭部の向きから成る群から選択される１以上を表す特定情報を取得する。第１推定ユニットは、前記瞳孔径に基づき、前記ドライバの緊張の程度を推定する。第２推定ユニットは、前記特定情報に基づき、前記ドライバの認知負荷の程度を推定する。【選択図】図２
2020170383.tif 000002
【特許請求の範囲】
【請求項１】
ドライバの瞳孔径を取得するように構成された第１情報取得ユニット（９）と、
（ａ）前記ドライバが運転する車両（３）の走行環境、（ｂ）前記ドライバの挙動、（ｃ）前記ドライバの視線方向、及び（ｄ）前記ドライバの頭部の向きから成る群から選択される１以上を表す特定情報を取得するように構成された第２情報取得ユニット（１１）と、
前記瞳孔径に基づき、前記ドライバの緊張の程度を推定するように構成された第１推定ユニット（１３）と、
前記特定情報に基づき、前記ドライバの認知負荷の程度を推定するように構成された第２推定ユニット（１５）と、
を備えるドライバ状態推定装置（１）。
【請求項２】
請求項１に記載のドライバ状態推定装置であって、
前記特定情報は、少なくとも前記（ａ）を表す情報であるドライバ状態推定装置。
【請求項３】
請求項１又は２に記載のドライバ状態推定装置であって、
前記ドライバに情報を提供するように構成された情報提供ユニット（１７）をさらに備え、
前記ドライバの緊張の程度が第１閾値より高く、且つ、前記ドライバの認知負荷の程度が第２閾値より低い場合は、前記ドライバの緊張の程度が前記第１閾値以下である場合、及び、前記ドライバの認知負荷の程度が前記第２閾値以上である場合に比べて、前記情報提供ユニットは、前記情報の提供を抑制するドライバ状態推定装置。
【請求項４】
請求項１〜３のいずれか１項に記載のドライバ状態推定装置であって、
前記ドライバの認知負荷の程度が閾値より高い場合、現状のルートよりも認知負荷の程度が軽減されるルートをドライバに提案するルート提案ユニット（１９）をさらに備えるドライバ状態推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はドライバ状態推定装置に関する。
【背景技術】
【０００２】
特許文献１に認知負荷計測装置が記載されている。認知負荷計測装置は、ドライバの視線の滞留時間等に基づき、認知負荷を計測する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６５８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、ドライバの状態を詳しく推定することは困難であった。本開示の１つの局面は、ドライバの状態を詳しく推定することができるドライバ状態推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示の１つの局面は、ドライバの瞳孔径を取得するように構成された第１情報取得ユニット（９）と、（ａ）前記ドライバが運転する車両（３）の走行環境、（ｂ）前記ドライバの挙動、（ｃ）前記ドライバの視線方向、及び（ｄ）前記ドライバの頭部の向きから成る群から選択される１以上を表す特定情報を取得するように構成された第２情報取得ユニット（１１）と、前記瞳孔径に基づき、前記ドライバの緊張の程度を推定するように構成された第１推定ユニット（１３）と、前記特定情報に基づき、前記ドライバの認知負荷の程度を推定するように構成された第２推定ユニット（１５）と、を備えるドライバ状態推定装置（１）である。
【０００６】
本開示の１つの局面であるドライバ状態推定装置は、ドライバの緊張の程度と、ドライバの認知負荷の程度とを推定することができる。そのため、本開示の１つの局面であるドライバ状態推定装置は、ドライバの状態を詳しく推定することができる。
【図面の簡単な説明】
【０００７】
【図１】ドライバ状態推定装置の構成を表すブロック図である。
【図２】ドライバ状態推定装置の機能的構成を表すブロック図である。
【図３】ドライバ状態推定装置が実行する処理を表すフローチャートである。
【発明を実施するための形態】
【０００８】
本開示の例示的な実施形態について図面を参照しながら説明する。
＜第１実施形態＞
１．ドライバ状態推定装置１の構成
ドライバ状態推定装置１の構成を、図１、図２に基づき説明する。図１に示すように、ドライバ状態推定装置１は車両３に搭載されている。車両３は、自動運転と手動運転とを行うことができる。車両３は、ドライバの操作に応じて、自動運転のモードから手動運転のモードに切り替わることができる。また、車両３は、ドライバの操作に応じて、手動運転のモードから自動運転のモードに切り替わることができる。
【０００９】
ドライバ状態推定装置１は、ＣＰＵ５と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ７とする）と、を有するマイクロコンピュータを備える。
ドライバ状態推定装置１の各機能は、ＣＰＵ５が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ７が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、ドライバ状態推定装置１は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
【００１０】
ドライバ状態推定装置１は、図２に示すように、第１情報取得ユニット９と、第２情報取得ユニット１１と、第１推定ユニット１３と、第２推定ユニット１５と、情報提供ユニット１７と、ルート提案ユニット１９と、を備える。
【００１１】
ドライバ状態推定装置１は、車両３が備える複数の構成と接続している。図１に示すように、複数の構成として、車内カメラ２１、車外カメラ２３、ライダー２５、通信機２７、ＧＰＳ２９、ナビゲーションシステム３１、記憶ユニット３３、ディスプレイ３５、スピーカ３７、及び車両制御部３９がある。
【００１２】
車内カメラ２１は、ドライバの正面方向からドライバの上半身を撮影し、画像を生成する。車内カメラ２１が生成する画像を以下ではドライバ画像とする。なお、本明細書においてドライバとは、車両３のドライバを意味する。
【００１３】
車外カメラ２３は、車両３の周囲の風景を撮影し、画像を生成する。ライダー２５は、車両３の周囲に存在する物標を検出する。通信機２７は、外部の施設と無線通信を行う。ＧＰＳ２９は車両３の位置情報を取得する。
【００１４】
ナビゲーションシステム３１は、車両３のルートを設定する。また、ナビゲーションシステム３１は、設定したルートに応じて案内を行う。記憶ユニット３３は様々な情報を記憶している。記憶している情報として、車両３が過去に走行したルート等がある。
【００１５】
ディスプレイ３５は車両３の車室内に設置されている。ディスプレイ３５は、例えば、センターコンソールに設置されている。ディスプレイ３５は画像を表示可能である。ドライバは、ディスプレイ３５に表示された画像を視認することができる。スピーカ３７は車両３の車室内に設置されている。スピーカ３７は音声を出力することができる。ドライバは、スピーカ３７が出力する音声を聞き取ることができる。
【００１６】
車両制御部３９は、車両３に関する様々な制御を行う。制御として、車両３の走行モードを切り替える制御がある。走行モードとして、エコモード、スポーツモード等がある。エコモードは、燃費が向上する走行モードである。スポーツモードは、ドライバの運転の楽しみが増す走行モードである。
【００１７】
２．ドライバ状態推定装置１が実行する処理
ドライバ状態推定装置１が所定時間ごとに繰り返し実行する処理を、図３に基づき説明する。図３のステップ１では、第１情報取得ユニット９が、車内カメラ２１を用いてドライバ画像を取得する。
【００１８】
ステップ２では、第１情報取得ユニット９が、前記ステップ１で取得したドライバ画像を用いて、ドライバの瞳孔径を取得する。
ステップ３では、第２情報取得ユニット１１が特定情報を取得する。特定情報は、（ａ）車両３の走行環境を表す情報（以下では走行環境情報とする）と、（ｂ）ドライバの挙動を表す情報（以下では挙動情報とする）と、（ｃ）ドライバの視線方向を表す情報（以下では視線方向情報とする）とを含む。
【００１９】
走行環境情報として、例えば、（ａ１）車両３が走行している道路における現在又は未来の渋滞の状況を表す情報、（ａ２）車両３が走行している道路において工事を行っている箇所を表す情報、（ａ３）車両３が存在する地点における天候を表す情報、（ａ４）車両３は初めて走行するルートを走行中であるか否かを表す情報、（ａ５）車両３が走行しているルートの複雑さの程度を表す情報、（ａ６）車両３の周辺における他の車両、歩行者、自転車等の存在を表す情報、（ａ７）車両３が走行している道路の交通量を表す情報等がある。
【００２０】
第２情報取得ユニット１１は、例えば、前記（ａ１）〜（ａ３）、（ａ７）の情報を、通信機２７を用いて外部から取得することができる。また、第２情報取得ユニット１１は、例えば、車外カメラ２３又はライダー２５を用いて、前記（ａ１）〜（ａ３）、（ａ６）、（ａ７）の情報を取得することができる。
【００２１】
第２情報取得ユニット１１は、例えば、記憶ユニット３３に記憶されている過去の走行ルートと、ＧＰＳ２９を用いて取得した車両３の位置とを対比することで、前記（ａ４）の情報を取得することができる。また、第２情報取得ユニット１１は、例えば、記憶ユニット３３に記憶されている過去の走行ルートと、ナビゲーションシステム３１から取得した現在の走行ルートとを対比することで、前記（ａ４）の情報を取得することができる。
【００２２】
第２情報取得ユニット１１は、例えば、ナビゲーションシステム３１から取得した現在の走行ルートに基づき、前記（ａ５）の情報を取得することができる。
挙動情報として、（ｂ１）ドライバが運転以外のサブタスクに従事しているか否かを表す情報、（ｂ２）ドライバの姿勢を表す情報等がある。運転以外のサブタスクとして、例えば、携帯端末を見ること、本を読むこと、ディスプレイ３５を長時間連続して見ること等が挙げられる。ドライバの姿勢の要素として、例えば、シートの前後方向における位置、シートの背もたれの角度、ドライバが脚を組んでいるか否か等がある。
【００２３】
第２情報取得ユニット１１は、例えば、ドライバ画像を用いて挙動情報及び視線方向情報を取得することができる。また、第２情報取得ユニット１１は、例えば、視線方向情報を用いて挙動情報を取得することができる。例えば、視線方向情報により表される視線方向が、継続して、車両３の前方以外の方向である場合、第２情報取得ユニット１１は、ドライバが運転以外のサブタスクに従事していることを表す挙動情報を取得することができる。
【００２４】
ステップ４では、第１推定ユニット１３が、前記ステップ２で取得した瞳孔径に基づき、ドライバの緊張の程度を推定する。第１推定ユニット１３は、瞳孔径が散大しているほど、ドライバの緊張の程度が高いと推定する。
【００２５】
ステップ５では、第２推定ユニット１５が、前記ステップ３で取得した特定情報に基づき、ドライバの認知負荷の程度を推定する。認知負荷の程度を推定する方法を以下で説明する。
【００２６】
ドライバは、様々な認知活動に用いることができるリソース（以下ではドライバリソースとする）を有する。認知活動には、車両３の運転、及びサブタスクが含まれる。
第２推定ユニット１５は、ドライバリソースのうち、車両３の運転に割り当てることが可能なリソース（以下では運転用リソースとする）の大きさを推定する。第２推定ユニット１５は、前記（ｂ１）の情報の内容が、ドライバはサブタスクに従事していないという内容である場合、運転用リソースの大きさを標準の値とする。第２推定ユニット１５は、前記（ｂ１）の情報の内容が、ドライバはサブタスクに従事しているという内容である場合、運転用リソースの大きさを、標準の値より小さくする。その理由は、ドライバリソースの一部がサブタスクに割り当てられることにより、運転用リソースが減少するためである。
【００２７】
次に、第２推定ユニット１５は、走行環境情報及び視線方向情報に基づき、車両３の運転に必要なリソース（以下では必要リソースとする）の大きさを推定する。
第２推定ユニット１５は、走行環境情報の内容が運転を困難にするものであるほど、必要リソースを大きくする。第２推定ユニット１５は、例えば、車両３が走行している道路に、現在又は未来の渋滞がある場合、渋滞がない場合よりも、必要リソースを大きくする。
【００２８】
第２推定ユニット１５は、例えば、車両３が走行している道路に、工事を行っている箇所が存在する場合、工事を行っている箇所が存在しない場合よりも、必要リソースを大きくする。
【００２９】
第２推定ユニット１５は、例えば、車両３が存在する地点における天候が、大雨、雪等である場合、そのような天候ではない場合よりも、必要リソースを大きくする。
第２推定ユニット１５は、例えば、車両３が、初めて走行するルートを走行中である場合は、過去に走行したことがあるルートを走行中である場合よりも、必要リソースを大きくする。第２推定ユニット１５は、例えば、車両３が走行しているルートが複雑であるほど、必要リソースを大きくする。
【００３０】
第２推定ユニット１５は、例えば、車両３の周辺に他の車両、歩行者、自転車等が存在する場合は、車両３の周辺に他の車両、歩行者、自転車等が存在しない場合よりも、必要リソースを大きくする。第２推定ユニット１５は、例えば、車両３が走行している道路の交通量が多いほど、必要リソースを大きくする。
【００３１】
第２推定ユニット１５は、視線方向情報が表す視線方向が頻繁に変化する場合は、視線方向が一定である場合よりも、必要リソースを大きくする。その理由は、一般的に、車両３の運転が困難であるほど、ドライバの視線方向は頻繁に変化するためである。
【００３２】
次に、第２推定ユニット１５は、上記のように推定した運転用リソース及び必要リソースに基づき、ドライバの認知負荷の程度を推定する。第２推定ユニット１５は、運転用リソースが小さいほど、認知負荷の程度を大きく推定する。第２推定ユニット１５は、必要リソースが大きいほど、認知負荷の程度を大きく推定する。
【００３３】
ステップ６では、情報提供ユニット１７が、以下のＪ１及びＪ２が充足されるか否かを判断する。
Ｊ１：前記ステップ４で推定したドライバの緊張の程度が第１閾値より高い。
【００３４】
Ｊ２：前記ステップ５で推定したドライバの認知負荷の程度が第２閾値より低い。
なお、第１閾値及び第２閾値は予めメモリ７に記憶されている値である。Ｊ１及びＪ２が充足される場合、本処理はステップ７に進む。Ｊ１又はＪ２が充足されない場合、本処理はステップ８に進む。
【００３５】
ステップ７では、情報提供ユニット１７が、抑制状態を設定する。情報提供ユニット１７は、ディスプレイ３５及びスピーカ３７を用いて、ドライバに情報を提供する。情報提供ユニット１７は、抑制状態が設定されている場合、後述する通常状態が設定されている場合に比べて、情報の提供を抑制する。情報提供ユニット１７は、例えば、通常状態であればドライバに提供する情報の少なくとも一部を、抑制状態のときはドライバに提供しない。
【００３６】
ステップ８では、情報提供ユニット１７が通常状態を設定する。
ステップ９では、前記ステップ５で推定したドライバの認知負荷の程度が第３閾値より高いか否かを、ルート提案ユニット１９が判断する。第３閾値は、予めメモリ７に記憶されている値である。第３閾値は、第２閾値と同じであってもよいし、異なっていてもよい。ドライバの認知負荷の程度が第３閾値より高い場合、本処理はステップ１０に進む。ドライバの認知負荷の程度が第３閾値以下である場合、本処理は終了する。
【００３７】
ステップ１０では、ルート提案ユニット１９が、ディスプレイ３５を用いて、現状のルートよりも認知負荷の程度が軽減されるルートをドライバに提案する。提案するルートとして、例えば、現状のルートよりも渋滞が少ないルート、現状のルートよりも工事を行っている箇所が少ないルート、現状のルートよりも天候が良いルート、現状のルートよりも過去に走行した回数が多いルート、現状のルートよりも単純なルート、現状のルートよりも、他の車両、歩行者、自転車等が少ないルート、現状のルートよりも交通量が少ないルート等が挙げられる。
【００３８】
３．ドライバ状態推定装置１が奏する効果
（１Ａ）ドライバ状態推定装置１は、ドライバの緊張の程度と、ドライバの認知負荷の程度とを推定することができる。そのため、ドライバ状態推定装置１は、ドライバの状態を詳しく推定することができる。
【００３９】
（１Ｂ）ドライバ状態推定装置１が取得する特定情報は、走行環境情報を含む。そのため、ドライバ状態推定装置１は、ドライバの認知負荷の程度を一層正確に推定することができる。
【００４０】
（１Ｃ）ドライバ状態推定装置１は、Ｊ１及びＪ２が充足される場合、ドライバへの情報提供を抑制する。Ｊ１及びＪ２が充足される場合は、ドライバが運転へ集中している場合である。ドライバ状態推定装置１は、ドライバへの情報提供を抑制することにより、ドライバの運転への集中を妨げ難い。
【００４１】
（１Ｄ）ドライバ状態推定装置１は、ドライバの認知負荷の程度が第３閾値より高い場合、現状のルートよりも認知負荷の程度が軽減されるルートをドライバに提案する。そのため、ドライバ状態推定装置１は、車両３の安全性を高めることができる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００４２】
（１）特定情報は、例えば、走行環境情報、挙動情報、及び視線方向情報の一部を含まなくてもよい。特定情報が挙動情報を含まない場合、運転用リソースの大きさは常に一定であってもよい。特定情報が視線方向情報及び後述する頭部向き情報を含まない場合、第２推定ユニット１５は、走行環境情報に基づき、必要リソースの大きさを推定することができる。
【００４３】
（２）特定情報は、例えば、視線方向情報に代えて、ドライバの頭部の向きを表す情報（以下では頭部向き情報とする）を含んでいてもよい。頭部向き情報は、視線方向情報と同様に使用することができる。例えば、頭部向き情報の内容が、ドライバの顔が車両３の前方以外の方向に継続的に向いているという内容である場合、第２情報取得ユニット１１は、ドライバが運転以外のサブタスクに従事していることを表す挙動情報を取得することができる。
【００４４】
また、第２推定ユニット１５は、頭部向き情報が表す頭部の向きが頻繁に変化する場合は、頭部の向きが一定である場合よりも、必要リソースを大きくする。その理由は、一般的に、車両３の運転が困難であるほど、ドライバの頭部の向きは頻繁に変化するためである。
【００４５】
（３）ドライバ状態推定装置１は、ドライバの緊張の程度と、ドライバの認知負荷の程度とに応じて、様々な運転支援を行うことができる。
例えば、前記ステップ１０において、ドライバ状態推定装置１は、スピーカ３７を用いて適切な音声案内を行うことにより、ドライバの安心感を促進することができる。
【００４６】
また、前記ステップ１０において、ドライバ状態推定装置１は、ディスプレイ３５又はスピーカ３７を用いて、手動運転から自動運転への切り替えをドライバに提案することができる。
【００４７】
また、前記ステップ６で肯定判断した場合、ドライバ状態推定装置１は、車両３の走行モードを、エコモードからスポーツモードに自動的に切り替えることにより、ドライバの運転の楽しみを増すことができる。
【００４８】
また、ドライバの認知負荷の程度に対して、ドライバの緊張の程度が低すぎる場合、ドライバ状態推定装置１は、ディスプレイ３５又はスピーカ３７を用いて、ドライバに警告を行うことができる。なお、ドライバの緊張の程度が低い場合、運転用リソースのうち、実際に運転に割り振られる部分の比率が低い。
【００４９】
（４）ドライバがサブタスクに従事している場合、ドライバ状態推定装置１は、ディスプレイ３５又はスピーカ３７を用いてドライバに警告することができる。特に、ドライバの認知負荷の程度が所定の閾値より高く、且つ、ドライバがサブタスクに従事している場合、ドライバ状態推定装置１は、ディスプレイ３５又はスピーカ３７を用いてドライバに警告することができる。
【００５０】
（５）本開示に記載のドライバ状態推定装置１及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載のドライバ状態推定装置１及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載のドライバ状態推定装置１及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。ドライバ状態推定装置１に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
【００５１】
（６）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
【００５２】
（７）上述したドライバ状態推定装置１の他、当該ドライバ状態推定装置１を構成要素とするシステム、当該ドライバ状態推定装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、ドライバ状態判断方法、運転支援方法等、種々の形態で本開示を実現することもできる。
【符号の説明】
【００５３】
１…ドライバ状態推定装置、３…車両、９…第１情報取得ユニット、１１…第２情報取得ユニット、１３…第１推定ユニット、１５…第２推定ユニット、１７…情報提供ユニット、１９…ルート提案ユニット、３５…ディスプレイ、３７…スピーカ
【図１】
2020170383.tif 000003
【図２】
2020170383.tif 000004
【図３】
2020170383.tif 000005