(57)【要約】  運転者の状態と車両の周辺環境との両方を踏まえて適切に運転モードを判断するための支援を行うことができる運転支援装置を得る。また、この運転支援装置に用いるのに適した運転モード判断モデルを生成する運転モード判断モデル生成装置を得る。  運転支援装置１において、車両の周辺環境情報を取得する周辺環境情報出力部１３と、周辺環境情報に対応した運転者の状態情報を取得する運転者状態情報出力部１４と、周辺環境情報と運転者状態情報の組み合わせに基づいて、その組み合わせに対する自動運転と手動運転の適性度を表す評価値を算出する運転モード評価部１５とを備えた。
2020003392.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺環境を表す周辺環境情報を出力する周辺環境情報出力部と、
前記周辺環境に対応した運転者の状態を表す運転者状態情報を出力する運転者状態情報出力部と、
前記周辺環境情報出力部が出力した前記周辺環境情報と前記運転者状態情報出力部が出力した前記運転者状態情報との組み合わせに基づいて、
前記周辺環境情報と前記運転者状態情報の組み合わせに対する自動運転と手動運転の適性度を表す評価値を算出する運転モード評価部とを
備えた運転支援装置。
【請求項２】
車両の周辺環境と運転者の状態それぞれの、自動運転と手動運転それぞれに対する影響度を示す運転モード判断モデルを記憶する判断モデル記憶部を備え、
前記運転モード評価部は、前記周辺環境情報出力部が出力した前記周辺環境情報と前記運転者状態情報出力部が出力した前記運転者状態情報それぞれに対応する前記影響度を前記判断モデル記憶部に記憶された前記運転モード判断モデルから参照し、前記影響度と前記周辺環境情報と前記運転者状態情報との組み合わせに基づいて、前記評価値を算出することを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記周辺環境情報出力部は、車両の周辺環境を検知して得られた周辺環境検知データに基づいて、自然言語で前記周辺環境を記述した文字列情報を生成する周辺環境記述部と、
前記周辺環境記述部で生成された前記文字列情報を形態素解析して形態素を抽出して前記周辺環境情報として出力する形態素抽出部とを備えることを特徴とする請求項２に記載の運転支援装置。
【請求項４】
前記周辺環境情報出力部は、車両の周辺環境を検知して得られた周辺環境検知データに基づいて、自然言語で前記周辺環境を記述した文字列情報を生成する周辺環境記述部と、
前記周辺環境記述部で生成された前記文字列情報を形態素解析して形態素を抽出する形態素抽出部と、
前記形態素で抽出された前記形態素を数値ベクトルに変換し、前記周辺環境情報として出力する数値ベクトル化部とを備えることを特徴とする請求項２に記載の運転支援装置。
【請求項５】
車両の周辺環境を表す周辺環境情報、前記周辺環境に対応した運転者状態を表す運転者状態情報、前記周辺環境と前記運転者状態に対応した運転モードを示す運転モード情報を対応づけて学習用データとして記憶する学習用データ記憶部と、
前記学習用データ記憶部に記憶された前記周辺環境情報、前記運転者状態情報および前記運転モード情報に基づいて、車両の周辺環境と運転者の状態の自動運転と手動運転のそれぞれに対する影響度を示す運転モード判断モデルを生成する運転モード判断モデル生成部とを
備えた運転モード判断モデル生成装置。
【請求項６】
前記学習用データ記憶部に記憶された前記運転者状態情報が、運転者の状態を特徴量で示す運転者状態特徴量情報であり、前記運転モード判断モデル生成部は運転モード判断モデルを生成する際の運転者状態情報として前記運転者状態特徴量情報を用いることを特徴とする請求項５に記載の運転モード判断モデル生成装置。
【請求項７】
前記学習用データ記憶部に記憶された前記運転者状態情報が、運転者の状態をセンサーで検知した運転者状態検知データであり、
前記学習用データ記憶部に記憶された前記運転者状態検知データに基づいて、運転者の状態を特徴量で示す運転者状態特徴量情報を抽出する運転者状態特徴量情報抽出部を備え、
前記運転モード判断モデル生成部は前記運転者状態特徴量情報抽出部で抽出された前記運転者状態特徴量情報と前記学習用データ記憶部に記憶された前記周辺環境情報と前記運転モード情報に基づいて、前記運転モード判断モデルを生成することを特徴とする請求項５に記載の運転モード判断モデル生成装置。
【請求項８】
前記学習用データ記憶部に記憶された前記周辺環境情報が、車両の周辺環境をセンサーで検知した周辺環境検知データであり、
前記学習用データ記憶部に記憶された前記周辺環境検知データに基づいて、自然言語で前記周辺環境を記述した文字列情報を生成する周辺環境記述部と、
前記周辺環境記述部で生成された前記文字列情報を形態素解析して形態素を抽出する形態素抽出部とを備え、
前記運転モード判断モデル生成部は前記形態素抽出部で抽出された前記形態素と前記学習用データ記憶部に記憶された前記運転者状態情報と前記運転モード情報に基づいて、前記運転モード判断モデルを生成することを特徴とする請求項５に記載の運転モード判断モデル生成装置。
【請求項９】
前記形態素抽出部で抽出した前記形態素を数値ベクトルに変換する数値ベクトル化部を備え、
前記運転モード判断モデル生成部は前記数値ベクトル化部で生成された前記数値ベクトルと前記学習用データ記憶部に記憶された前記運転者状態情報と前記運転モード情報に基づいて、前記運転モード判断モデルを生成することを特徴とする請求項８に記載の運転モード判断モデル生成装置。
【請求項１０】
車両の周辺環境を表す周辺環境情報を出力する周辺環境情報出力部と、
前記周辺環境に対応した運転者の状態を表す運転者状態情報を出力する運転者状態情報出力部と、
車両周辺環境と運転者状態それぞれの、自動運転と手動運転それぞれの運転モードに対する影響度を示す運転モード判断モデルを記憶する判断モデル記憶部と、
前記周辺環境情報出力部が出力した前記周辺環境情報と前記運転者状態情報出力部が出力した前記運転者状態情報それぞれに対応する前記影響度を前記判断モデル記憶部に記憶された前記運転モード判断モデルから参照し、前記影響度と前記周辺環境情報と前記運転者状態情報との組み合わせに基づいて、前記周辺環境情報と前記運転者状態情報の組み合わせに対する自動運転と手動運転の適性度を表す評価値を算出する運転モード評価部と、
前記運転モード評価部で算出された前記評価値に基づいて、前記周辺環境情報と前記運転者状態情報に対して適切な運転モード候補を選択する運転モード候補選択部と、
前記運転モード候補選択部で選択された運転モード候補に基づいて運転支援情報を運転者に提示する運転モード提示部と、
前記運転モード提示部で提示された運転支援情報に基づいて、運転者が運転モードの切り替えを行うか否かを入力する運転モード入力部と、
前記運転モード入力部に切り替えを行わないことを示す信号が入力された場合に、前記周辺環境情報出力部が出力した前記周辺環境情報と前記運転者状態情報出力部が出力した前記運転者状態情報と現在の運転モードを示す運転モード情報を前記学習用データ記憶部に追加する学習用データ追加部とを
備えることを特徴とする請求項５〜請求項９のいずれかに記載の運転モード判断モデル生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動運転の機能を備えた車両において、状況に適した運転モードの設定を支援する運転支援装置、およびこの運転支援装置に用いる運転モード判断モデルを生成する装置に関する。
【背景技術】
【０００２】
自動運転の機能を備えた車両を走行させる際、多様な交通状況に対して自動運転と手動運転を適切に切換えること、つまり、適切な運転モードを選択することが必要である。【０００３】
適切な運転モードを選択する技術として、例えば特許文献１には、自動運転中の車両において、ドライバの行為とドライバの状態を検知した結果に基づき、ドライバが手動運転に復帰可能か否かを判定する手法が開示されている。同様に、特許文献１には自動運転中の車両において、車両の走行位置情報、地図データ及び車両走行情報に基づき、自動運転が継続可能か否かの判定をする手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−５３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、運転者の状態のみに基づいて手動運転に復帰できるか否かの判断が行われているが、運転者の状態が同じでも車両の周辺環境が異なると手動運転の可否判断が異なることがあり得る。例えば、運転者が少し疲れている状態であった場合、まっすぐな道で歩行者や他の車両がほとんど存在しない状況では手動運転することは可能だが、複雑な車線分岐があり、歩行者や他の車両がたくさん存在する状況では、運転者が細心の注意を払える状態でないと手動運転することは難しい。同様に、自動運転の可否判断も、車両の周辺環境だけでなく、運転者の状態に依存することがある。
このように、自動運転、手動運転の可否判断、すなわち運転モードの判断は、運転者状態と車両周辺環境の組み合わせに基づいて行う事が望ましいが、従来は手動運転であれば運転者状態のみ、自動運転であれば車両周辺環境のみに基づいて行われていた。【０００６】
本発明は、上述のような課題を解決するためになされたもので、第１の目的は、運転者の状態と車両の周辺環境との両方を踏まえて適切に運転モードを判断するための支援を行うことができる運転支援装置を得るものである。
また、第２の目的は、この運転支援装置に用いるのに適した運転モード判断モデルを生成する運転モード判断モデル生成装置を得るものである。
【課題を解決するための手段】
【０００７】
本発明に係る運転支援装置においては、車両の周辺環境情報を出力する周辺環境情報出力部と、周辺環境情報に対応した運転者の状態情報を出力する運転者状態情報出力部と、周辺環境情報と運転者状態情報の組み合わせに基づいて、その組み合わせに対する自動運転と手動運転の適性度を表す評価値を算出する運転モード評価部とを備えたものである。
【発明の効果】
【０００８】
本発明の装置は、車両の周辺環境情報と運転者状態情報の組み合わせに基づいて、その組み合わせに対する自動運転と手動運転の適性度を表す評価値を算出するため、この評価値を利用して、周辺環境と運転者状態に応じた適切な運転モードを決定することを支援できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る運転支援装置と運転モード判断モデル生成装置の構成を示す構成図
【図２】運転モード判断モデル生成装置に設けられた学習用データ記憶部が記憶する学習用データを例示する概要図
【図３】実施の形態１に係る運転制御装置、情報サーバー、周辺環境検知部、運転者状態検知部のハードウェア構成を示す構成図
【図４】実施の形態１に係る運転支援装置を備えた運転制御装置の動作を示すフローチャート
【図５】実施の形態１に係る実施例における車両の周辺環境を例示する概要図
【図６】実施の形態１に係る運転支援装置に設けられた数値ベクトル化部が生成する数値ベクトルを例示する概要図
【図７】実施の形態１に係る運転支援装置に設けられた運転者状態特徴量抽出部が抽出する運転者特徴量を例示する概要図
【図８】実施の形態１に係る運転支援装置に設けられた判断モード記憶部が記憶する運転モード判断モデルを例示する概要図
【図９】実施の形態１に係る運転支援装置に設けられた運転モード評価部が算出する評価値を例示する概要図
【図１０】実施の形態１に係る運転モード判断モデル生成装置を備えた情報サーバーの動作を示すフローチャート
【図１１】実施の形態２に係る運転支援装置と運転モード判断モデル生成装置の構成を示す構成図
【図１２】実施の形態２に係る運転支援装置を備えた運転制御装置と運転モード判断モデル生成装置を備えた情報サーバーの動作を示すフローチャート
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明を実施するための実施の形態１における運転支援装置１と運転モード判断モデル生成装置２の構成を示す構成図である。運転支援装置１は車両の運転制御を行う運転制御装置３の一部として設けられ、また、運転モード判断モデル生成装置２は適宜車両に対して種々の情報サービスを提供する情報サーバー４の一部として設けられている。本実施の形態１では、運転制御装置３が車両に搭載されており、情報サーバー４は任意の場所に設置され、通信回線を介して車両に搭載された運転制御装置３と接続される。
【００１１】
運転制御装置３は車両の運転制御全般を行う運転制御部１０を備えており、この運転制御部１０が車両の自動運転と手動運転の切り換えも含め、入力される情報をもとに車両の加減速、ステアリング等の駆動系機器を制御して運転制御を行う。
また、運転制御装置３は、本発明に係わる運転モードを判断するための支援に関する構成として、運転支援装置１、運転モード候補選択部７、運転モード提示部８、運転モード入力部９、車両通信部１１を備えている。
さらに、運転支援装置１には、周辺環境検知部５と運転者状態検知部６が通信回線を介して接続されている。
【００１２】
周辺環境検知部５は、車両に搭載されるか、あるいは車両が走行する市街地や道路に設置され、車両周辺の人、車両、構造物等の有無や位置といった周辺環境を検知し、運転支援装置１に伝えるものである。具体的には、周辺環境検知部５は、車両の周辺環境情報を検知し、検知した周辺環境を表す周辺環境検知データを周辺環境情報出力部１３へ出力するものであり、複数あってもよい。周辺環境検知部５が検知する周辺環境の例としては、歩行者や他の車両、道路上に存在する構造物、障害物等があり、周辺環境検知部５はこれらを検知する各種センサー、例えば、カメラ、Ｌｉｄａｒ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）、Ｒａｄａｒ（Ｒａｄｉｏ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）等と、センサーで検知した情報を周辺環境検知データとして周辺環境情報出力部１３へ出力する通信装置とで構成される。この周辺環境検知部５は、車両の周辺環境を検知できればよく、車両に搭載されていてもよいし、道路に設置された信号機等の施設に設置されていてもよい。例えば、周辺環境検知部５が備えるセンサーが車両に搭載されたカメラであれば、その車両から周辺を撮像した画像情報を得ることができ、センサーが信号機に設置されたＬｉｄａｒ、Ｒａｄａｒ等であれば、車両が近づいた信号機の周辺の歩行者、他の走行車両、障害物等の検知情報、特に車両に設置されたカメラからは他の物体に隠れて撮像できない対象の検知情報も得ることができる。
【００１３】
また、運転者状態検知部６は車両に搭載され、運転者の状態を検知して運転支援装置１に伝えるものである。具体的には、運転者状態検知部６は、運転者の状態を検知し、検知した運転者状態を表す運転者状態検知データを運転者状態情報出力部１４へ出力するものであり、複数種類あってもよい。運転者状態検知部６が取得する運転者状態の例としては、心電、筋電、眼球運動、脳波、呼吸、圧力、発汗等であり、運転者状態検知部６はこれらを検知するための生体センサーやカメラと、検知した情報を運転者状態検知データとして運転者状態情報出力部１４へ出力する通信装置とで構成される。
【００１４】
運転支援装置１は、自動運転の機能を備えた車両を走行させる際、運転者状態検知部６から伝えられた運転者の状態と周辺環境検知部５から伝えられた車両の周辺環境とを踏まえて自動運転と手動運転を適切に切換えること、つまり、適切な運転モードを選択することを支援する装置であり、具体的には、現状に対応して自動運転と手動運転それぞれの適性度を表す評価値を算出して提示するものである。算出された評価値は、運転者の状態と車両の周辺環境とを踏まえて算出されるので、運転者あるいは運転モードを制御するシステムが運転モードを決定する際の有用な判断材料となる。なお、運転支援装置１の詳細な構成は後述する。
【００１５】
運転モード候補選択部７は運転支援装置１により算出された運転モードの評価値に基づいて、適切な運転モードの候補を選択するものであり、選択された運転モード候補と運転制御部１０で適用されている現在の運転モードを比較し、一致する場合は現在の運転モードが適切である旨を運転支援情報として運転モード提示部８に提示させ、一致しない場合には、運転支援情報として選択された運転モード候補への切り替えを促す内容を運転モード提示部８に提示させる。運転モード提示部８は、例えば、音声で出力するスピーカー、画面表示を行うディスプレイ等で構成される。
また、運転モード候補選択部７は、車両が道路施設などに急接近している場合等、運転モードの早急な切り替えが必要な場合には、運転制御部１０へ強制的な切り替えを推奨する信号を出力するように構成されており、これにより運転制御部１０が強制的に運転モードの切り替えを行うことを可能としている。
【００１６】
運転モード入力部９は、運転者が運転モード提示部８で提示された運転モード候補を踏まえ、運転モードの切り替えを行うか否かを入力するものである。ここで運転者が運転モードの切り替えを行うことを入力した場合、運転モード候補への切り替えを示す信号が運転制御部１０へ出力される。
【００１７】
運転制御部１０は、運転モード入力部９から出力された信号が運転モードの切り替えを行うことを示す場合、運転モードの切り替えを行い、切り替えられた運転モードに応じた運転制御を行う。なお、運転制御部１０は、運転モード候補選択部７から強制的な切り替えを推奨する信号に基づいて、強制的に運転モードの切り替えを行うようにしてもよい。
【００１８】
車両通信部１１は、情報サーバー４に設けられたサーバー通信部１２と通信を行い、運転制御装置３と情報サーバー４との間の情報の授受を行うものである。本実施の形態では、特に、運転モード判断モデル生成装置２で生成された運転モード判断モデルを取得し、判断モデル記憶部１６に出力する構成を示している。
【００１９】
運転制御装置３は以上のように構成されている。さらにこの運転制御装置３に含まれている本発明の運転支援装置１の構成を説明する。
【００２０】
図１に示すように、運転支援装置１は、周辺環境情報出力部１３、運転者状態情報出力部１４、運転モード評価部１５、判断モデル記憶部１６を備える。
【００２１】
周辺環境情報出力部１３は、周辺環境検知部５より得られた車両の周辺環境検知データに基づいて、運転モードの判断に適した形式の周辺環境情報を生成し、運転モード評価部１５に出力するものである。より詳細には、周辺環境情報出力部１３は、周辺環境記述部１７、形態素抽出部１８、数値ベクトル化部１９を備える。
【００２２】
周辺環境記述部１７は、周辺環境検知部５で得られた周辺環境検知データを用いて、歩行者や他の車両、障害物等を認識し、周辺環境を自然言語による文字列で記述した文字列情報を生成するものである。生成された文字列情報は、形態素抽出部１８へと出力する。
【００２３】
形態素抽出部１８は、周辺環境記述部１７で生成された文字列情報に形態素解析を行い、形態素を抽出し、抽出された形態素を数値ベクトル化部１９へ出力するものである。ここで、形態素解析とは、テキストを言語で意味を持つ最小単位である形態素に区切る言語処理技術である。例えば、「前方に歩行者が３人いる」という文字列に対しては、「『前方』『に』『歩行者』『が』『３』『人』『いる』」と区切られる。
【００２４】
数値ベクトル化部１９は、形態素抽出部１８で抽出された形態素を数値ベクトル化するものである。本実施の形態では、数値ベクトル化の方法としてＯｎｅ−Ｈｏｔモデルを用いる。Ｏｎｅ−Ｈｏｔモデルとは、コーパスの単語数をベクトルの次元数とし、各次元に単語が出現したら１と表現し、出現しなかったら０と表現して示すモデルである。他のベクトル化の方法として、例えば、Ｗｏｒｄ２Ｖｅｃｔｏｒ等を使用することが出来る。
本実施の形態では、数値ベクトル化部１９で形態素を数値ベクトルへ変換しているが、これは形態素を数値化することが目的である。そのため、数値化の方法はベクトル化に限らず、例えば、スカラー、あるいは行列等、より高階のテンソルに変換する方法を用いてもよい。
数値ベクトル化部１９で得られたベクトル化した形態素は、周辺環境情報として、運転モード評価部１５に出力される。
【００２５】
また、運転者状態情報出力部１４は、運転者状態検知部６より得られた運転者検知データに基づいて、運転モードの判断に適した形式の運転者状態情報を生成し、運転モード評価部１５に出力するものである。より詳細には、運転者状態情報出力部１４は運転者状態特徴量抽出部２０を備える。
運転者状態特徴量抽出部２０は、運転者状態検知部６で得られた運転者状態検知データを用いて、運転モード評価部１５で使用する運転者状態の生体信号特徴量を抽出するものである。生体信号特徴量の例としては、例えば、運転者状態検知データとして得られた心電信号からは生体信号特徴量として心拍間隔、ＱＲＳ幅、ＱＲＳ波高さが得られ、運転者状態検知データとして得られる眼球を撮像した画像データからは生体信号特徴量として瞳孔径が得られる。
【００２６】
そして、運転モード評価部１５は、周辺環境情報出力部１３から出力される周辺環境情報、運転者状態情報出力部１４から出力される運転者状態情報、および判断モデル記憶部１６に記憶された運転モード判断モデルに基づいて、手動運転と自動運転に対する適性度を表す評価値を算出し、その評価値を運転モード候補選択部７に出力するものである。ここで、運転モード判断モデルとは、車両の周辺環境と運転者の状態それぞれの、自動運転と手動運転それぞれに対する影響度を示すものであり、この運転モード判断モデルを適切に構築することで、適切な運転モードの選択に有用な自動運転と手動運転それぞれの評価値をより適切に算出することが可能となるものである。運転モード判断モデルは、用意された学習用データ等を用いて予め生成され、判断モデル記憶部１６に記憶されている。
【００２７】
判断モデル記憶部１６は、車両通信部１１がサーバー通信部１２との通信を介して情報サーバー４から取得した運転モード判断モデルを記憶するものである。
【００２８】
運転支援装置１は、以上のように構成されている。
次に、本発明の運転モード判断モデル生成装置２について説明を行う。上述のように、運転支援装置１で用いられる運転モード判断モデルは、予め生成されて判断モデル記憶部１６に記憶される。この運転モード判断モデルを生成するものが運転モード判断モデル生成装置２である。本実施の形態では、運転モード判断モデル生成装置２は、車両に対して種々の情報サービスを提供する情報サーバー４に設けられており、生成した運転モード判断モデルは、適宜、各車両の運転制御装置３に提供される。
【００２９】
情報サーバー４は、運転モード判断モデル生成装置２に加え、判断モデル記憶部２１、サーバー通信部１２を備えている。なお、情報サーバー４は車両に対して運転モード判断モデル以外の種々の交通情報を提供するものであるが、本実施の形態では省略している。
【００３０】
判断モデル記憶部２１は、運転モード判断モデル生成装置２により生成された運転モード判断モデルを記憶するものであり、サーバー通信部１２を介して車両からの要求信号を受けると、記憶している運転モード判断モデルをサーバー通信部１２を介して要求元の車両に提供するものである。
【００３１】
サーバー通信部１２は、車両通信部１１と種々の通信を行い、本実施の形態では特に
、判断モデル記憶部２１から取得した運転モード判断モデルを車両通信部１１に出力するものである。
【００３２】
次に、運転モード判断モデル生成装置２の構成について説明する。運転モード判断モデル生成装置２は、前述した運転支援装置１により評価値を算出する際に用いる運転モード判断モデルを生成する装置である。
図１に示すように、運転モード判断モデル生成装置２は、学習用データ記憶部２２、周辺環境記述部２３、形態素抽出部２４、数値ベクトル化部２５、運転者状態特徴量抽出部２６、運転モード判断モデル生成部２７を備える。
【００３３】
学習用データ記憶部２２は、運転モード判断モデルを生成するための学習用データを記憶するものであり、運転モード判断モデル生成時に、学習用データを周辺環境記述部２３、運転者状態特徴量抽出部２６、運転モード判断モデル生成部２７へ記憶している学習用データを出力するものである。
【００３４】
ここで学習用データについて説明する。学習用データ記憶部２２に記憶された学習用データの例を図２に示す。図２において、横の１列が一つのレコードを示し、一つのレコードは対になった個別の周辺環境検知データと運転者状態検知データ、およびこれらデータの対それぞれに対応する適切な運転モードを示す運転モード情報としての運転モードデータからなる。学習用データは、このレコードが多数集まった集合で構成される。また、学習用データには「Ｎｏ．」で表される識別子が付与されている。
このような学習用データは、例えば、実際に車両を走行させたときの周辺環境と運転者状態を実測するとともに、そのときの適切な運転モードを指定することで得られる。具体的には、図１で説明した周辺環境検知部５と運転者状態検知部６と同様の検知装置を車両に取り付け、その車両を実際の種々の環境下で走行させて、走行中にそれぞれの検知装置が同じタイミングで検知したデータを周辺環境検知データと運転者状態検知データとして取得する。さらに、車両走行中あるいは走行後に、様々な場面に適した運転モードを車両に搭乗した評価者が指定し、周辺環境検知データと運転者状態検知データをそれらの検知データと適した運転モードと対応づけることで、図２に示すような学習用データを得る。この学習用データを生成する際、手動運転をしているときの検知データに運転モードとして手動運転を対応付けてよいのはもちろんだが、手動運転をしているときの検知データであっても対応する運転モードとして自動運転が適していると判断すれば、自動運転を指定してもよい。逆に、自動運転走行時でも適した運転モードとして手動運転を指定してもよい。
このようにして得られた学習用データは、様々な周辺環境と運転者状態の組み合わせとその組み合わせに対応する適切な運転モードとのデータセットを大量に集めたものであり、これを分析して数値として扱えるモデルを構築することにより、車両の周辺環境と運転者の状態それぞれの、自動運転と手動運転それぞれに対する影響度を示す運転モード判断モデルを得ることができる。この分析にあたって、運転モード判断モデル生成装置２は、学習用データ記憶部２２に記憶された学習用データのうち、周辺環境検知データと運転者状態検知データをそれぞれ数値化し、統計的手法を用いて運転モード判断モデルを生成するものである。
【００３５】
周辺環境記述部２３は、学習用データ記憶部２２から入力された周辺環境検知データを用いて、周辺環境を自然言語による文字列で記述された文字列情報を生成し、生成された文字列情報を形態素抽出部２４へ出力するものである。
形態素抽出部２４は、周辺環境記述部２３で生成された文字列情報に形態素解析を行い、形態素を抽出し、数値ベクトル化部２５へ出力するものである。
数値ベクトル化部２５は、形態素抽出部２４で抽出された形態素を数値ベクトル化し、運転モード判断モデル生成部２７へ出力するものである。
【００３６】
また、運転者状態特徴量抽出部２６は、学習用データ記憶部２２から入力された運転者状態検知データを用いて、運転者状態の生体信号特徴量を抽出し、運転モード判断モデル生成部２７へ出力するものである。
【００３７】
運転モード判断モデル生成部２７は、周辺環境情報として数値ベクトル化部２５で出力された数値ベクトル、運転者状態情報として運転者状態特徴量抽出部２６で出力された運転者の生体信号特徴量、そして学習用データ記憶部２２に記憶された周辺環境情報と運転者状態情報に対応する運転モードデータを入力に用いて、運転モード判断モデルを生成する。例えば、人が居眠り運転をしているときには、自動運転モードで走行を行うべきだが、居眠り運転時には心拍数が小さくなる。そのため、自動運転が適切な運転モードかどうかを判断するには、運転者状態特徴量として心拍間隔が重要であり、運転モード判断モデルのラベル「自動運転」に対応する心拍間隔の影響度は大きくなる。運転モード判断モデル生成部２７は、学習用データに含まれる全てのデータに対して上記と同様の処理を行い、各運転モードに対する、周辺環境情報の数値ベクトルの各成分と運転者状態情報の各生体信号特徴量の影響度を最適化し、運転モード判断モデルを生成する。生成された運転モード判断モデルは判断モデル記憶部２１へ出力する。
【００３８】
次に、本実施の形態のハードウェア構成について説明する。
【００３９】
図３は図１に示した運転制御装置３、情報サーバー４等のハードウェア構成を示す構成図であり、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の処理装置２８、２９と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やハードディスク装置等の記憶装置３０、記憶装置３１と、センサー等の入力装置３２、入力装置３３、入力装置３４と、スピーカーやディスプレイ等の出力装置３５と、通信装置３６、通信装置３７とがバス接続された構成となっている。なお、ＣＰＵは自身にメモリを備えていてもよい。
【００４０】
図１に示す周辺環境検知部５は入力装置３２、運転者状態検知部６は入力装置３３、運転モード入力部９は入力装置３４により実現され、運転モード提示部８は出力装置３５により実現される。
【００４１】
判断モデル記憶部１６に記憶されるデータは記憶装置３０に記憶される。また、周辺環境記述部１７、形態素抽出部１８、数値ベクトル化部１９、運転者状態特徴量抽出部２０、運転モード評価部１５、運転モード候補選択部７、運転制御部１０は記憶装置３０に記憶されたプログラムが処理装置２８で実行されることにより実現される。
【００４２】
処理装置２８は、記憶装置３０に記憶されるプログラムを適宜読みだして実行することにより、周辺環境記述部１７、形態素抽出部１８、数値ベクトル化部１９、運転者状態特徴量抽出部２０、運転モード評価部１５、運転モード候補選択部７、運転制御部１０における機能を実現する。なお、上記の機能は、ハードウェアとソフトウェアの組み合わせに限らず、処理装置２８に上記プログラムをインプリメントし、システムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のようにハードウェア単体で実現するようにしてもよい。
【００４３】
判断モデル記憶部２１と学習用データ記憶部２２に記憶されるデータは記憶装置３１に記憶される。また、周辺環境記述部２３、形態素抽出部２４、数値ベクトル化部２５、運転者状態特徴量抽出部２６、運転モード判断モデル生成部２７は記憶装置３１に記憶されたプログラムが処理装置２９で実行されることにより実現される。
【００４４】
処理装置２９は、記憶装置３１に記憶されるプログラムを適宜読みだして実行することにより、周辺環境記述部２３、形態素抽出部２４、数値ベクトル化部２５、運転者状態特徴量抽出部２６、運転モード判断モデル生成部２７における機能を実現する。なお、上記の機能は、処理装置２８の場合と同様、ハードウェアとソフトウェアの組み合わせに限らず、処理装置２９に上記プログラムをインプリメントし、ハードウェア単体で実現するようにしてもよい。
【００４５】
車両通信部１１は通信装置３６により実現され、サーバー通信部１２は通信装置３７により実現される。
【００４６】
次に、本実施の形態における動作について説明する。
【００４７】
本実施の形態における運転制御装置３、周辺環境検知部５、運転者状態検知部６の動作について図４のフローチャートを用いて説明する。
【００４８】
まず、ステップＳ１において、周辺環境検知部５が車両の周辺環境を各種センサーにより検知する。検知する周辺環境の例としては、歩行者や他の車両、道路上に存在する構造物、障害物等であり、各種センサーとしては車両に搭載され、前方を撮像するカメラである。周辺環境検知部５は検知した周辺環境を表す周辺環境検知データを周辺環境情報出力部１３へと出力する。
【００４９】
ステップＳ２では、ステップＳ１で周辺環境検知部５により得られた周辺環境検知データを周辺環境情報出力部１３が受け取ると、周辺環境情報出力部１３の中の周辺環境記述部１７が、受け取った周辺環境検知データから自然言語による文字列で記述された文字列情報を生成する。例えば、周辺環境検知データとして、周辺環境検知部５により車両前方を撮像した画像データが送られると、周辺環境記述部１７では、撮像された画像が示す周辺状況を文字列化、すなわち周辺状況を自然言語による文字列で記述された文字列情報を生成する。
このステップＳ２の動作の一例について説明する。図５は、走行中の車両３８と車両３８の周辺環境の例を表す概要図である。図５において車両３８は一般道３９を矢印の方向に走行しており、交差点付近の右側の歩道の角に歩行者４０が２人、交差点付近の左側の歩道の角に歩行者４０が１人いる状況を示している。この状況下で、車両３８から前方を撮像した画像データを受け取った周辺環境記述部１７は、画像認識処理を行い、撮像した画像を自然言語で表す文字列情報を生成する。この画像処理と文字列化は、例えば機械学習のモデルである畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）や再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いることで行われる。その結果、図５の例では、例えば、「一般道路を走行中、前方に歩行者が３人いる」という文字列で記述された文字列情報が生成される。生成された文字列情報は、形態素抽出部１８へ出力される。
【００５０】
ステップＳ２で周辺環境記述部１７により生成された文字列情報が形態素抽出部１８へ出力されると、ステップＳ３において、形態素抽出部１８が、送られた文字列情報に対して形態素解析を行い、形態素を抽出する。形態素解析とは、文字列を形態素に分節する処理であり、例えば、「一般道路を走行中、前方に歩行者が３人いる」という文字列を形態素解析すると、「『一般道路』『を』『走行中』『前方』『に』『歩行者』『が』『３』『人』『いる』」という形態素に区切られる。形態素抽出部１８は抽出した形態素を数値ベクトル化部１９へ出力する。
【００５１】
ステップＳ４では、ステップＳ３において形態素抽出部１８で抽出された形態素を数値ベクトル化部１９が数値ベクトル化する。ここでは、数値ベクトル化の手法としてＯｎｅ−Ｈｏｔモデルを用いて数値ベクトル化を行う例を説明する。図６は、ステップＳ３で得られた「『一般道路』『を』『走行中』『前方』『に』『歩行者』『が』『３』『人』『いる』」といった形態素４１を数値ベクトル化した場合の次元、形態素、得られたベクトルの値の対応を示す対応表である。図６の対応表では次元数が１６の部分までを示しているが、次元数は多いほど状況を表現する粒度は細かくなると考えられる。また、図６の例では助詞は形態素の一つの次元に対応させて扱っていないが、助詞を扱うようにしてもよい。
数値ベクトル化部１９は生成した数値ベクトルを、運転モード評価部１５へ出力する。
【００５２】
以上のステップＳ１〜Ｓ４で周辺環境情報の取得と処理が行われ、これらの動作と並行して、ステップＳ５から始まる運転者状態情報取得と処理の動作が行われる。ステップＳ５では、ステップＳ１で周辺環境検知部５が車両の周辺環境を各種センサーにより検知したときに対応したタイミングで、運転者状態検知部６が運転者の状態を生体センサーやカメラで検知する。運転者の状態を検知する例としては、上述のように心電計により心電信号を、カメラにより眼球の画像データを取得する場合がある。
運転者状態検知部６は検知した運転者状態情報を運転者状態検知データとして運転者状態情報出力部１４に出力する。
【００５３】
ステップＳ６では、ステップＳ５で運転者状態検知部６から送られた運転者状態検知データを用いて、運転者状態情報出力部１４の中の運転者状態特徴量抽出部２０が運転者状態の生体信号特徴量を抽出する。例えば、運転者状態特徴量抽出部２０は、運転者状態検知データとしての心電信号から特徴量として、心拍間隔、ＱＲＳ幅、ＱＲＳ波高さを抽出し、運転者状態検知データとしての眼球の画像データから特徴量として瞳孔径を抽出する。図７に抽出された運転者状態特徴量の例を示す。運転者状態特徴量抽出部２０は抽出した運転者状態特徴量を運転モード評価部１５へ出力する。
これらステップＳ５、Ｓ６で運転者状態情報取得との処理の動作が行われる。
【００５４】
そして、上記ステップＳ１〜Ｓ４の動作の結果、生成された数値ベクトルが運転モード評価部１５へ出力され、ステップＳ５〜Ｓ６の動作の結果、運転者状態特徴量が運転モード評価部１５へ出力されることになる。これらの動作の後、ステップＳ７に進み、ステップＳ７で、運転モード評価部１５は、数値ベクトル化部１９から入力される数値ベクトルと運転者状態特徴量抽出部２０から入力される運転者状態特徴量と判断モデル記憶部１６に記憶された運転モード判断モデルに基づいて、ステップＳ１、Ｓ５で周辺環境情報、運転者状態情報を取得した状況に対する手動運転と自動運転の適性度の評価値を算出する。
【００５５】
以下、この評価値の算出方法について説明する。図８はこの評価値の算出に用いる運転モード判断モデルの概念の一例を示す概要図である。運転モード判断モデルは、周辺環境情報である数値ベクトルの各成分と運転者状態情報である各運転者状態特徴量について、自動運転と手動運転に対する影響度を示すものであり、図８に示した運転モード判断モデルは、影響度が数値として表されている。また、ここでは、運転モード判断モデルに示された周辺環境情報と運転者状態情報それぞれの自動運転と手動運転それぞれに対する影響度は数値で表されていたが、この影響度は入力に用いられる周辺環境情報と運転者状態情報それぞれの自動運転と手動運転それぞれとの対応を表していればよく、例えば関数で表されていてもよい。なお、この運転モード判断モデルにおいて、数値ベクトルの各成分と各運転者状態特徴量の影響度を各運転モードそれぞれに対してひとまとまりにしたものを影響度ベクトルと呼ぶ。
【００５６】
運転モード評価部１５は、まず、数値ベクトル化部１９から入力された数値ベクトルと運転者状態特徴量抽出部２０から入力される運転者状態特徴量を組み合わせて、周辺環境と運転者状態の両方の情報を示す特徴量ベクトルを生成する。ここで、例えば、数値ベクトル化部１９から入力されたベクトルＡがｎ次元ベクトルであり、その成分がＡ＝（ａ１，ａ２，…，ａｎ）と表され、運転者状態特徴量抽出部２０から入力された運転者状態特徴量がｍ個あり、その値がそれぞれ、ｂ１，ｂ２，…，ｂｍであったとき、生成される特徴量ベクトルＣは（ｎ＋ｍ）次元ベクトルであり、その成分はＣ＝（ａ１，ａ２，…，ａｎ，ｂ１，ｂ２，…，ｂｍ）と表される。
次に、運転モード評価部１５は、各運転モードに対する評価値を算出する。具体的には、数式（１）に従い、特徴量ベクトルと影響度ベクトルの内積を計算する。数式（１）における分母は規格化定数である。このとき、入力に使われる特徴量ベクトルは０か１の２値に変換されたものとする。
【００５７】
【数１】
2020003392.tif 000003
【００５８】
ここで、Ｘは特徴量ベクトル、Ｙｉは運転モードでｉ＝１のとき自動運転、ｉ＝２のとき手動運転を表す。Ｐ（Ｙｉ｜Ｘ）はＸを入力としたときのＹｉの評価値、Ｗｉは各運転モードの影響度ベクトルを表し、ｉ＝１のとき自動運転、ｉ＝２のとき手動運転に対する影響度ベクトルを表す。Ｗｉの添え字ｉはベクトルの成分を表すのではなく、単に自動運転に対する影響度ベクトルと手動運転に対する影響度ベクトルを区別するための添え字である。
【００５９】
また、各運転モードに対する評価値を算出する数式はこれに限られず、運転モード判断モデルに基づき、各特徴量の影響度を反映されるような数式であればよく、例えば、数式（２）により計算してもよい。
【００６０】
【数２】
2020003392.tif 000004
【００６１】
各文字の意味は数式（１）と同様である。
【００６２】
図９は周辺環境情報と運転者状態情報の組み合わせに対する手動運転と自動運転の適性度の評価値を算出した例を示す図であり、この例で示す状況では、手動運転に対する適性度の評価値が０．２、自動運転に対する適性度の評価値が０．８と算出されている。
得られた評価値は、運転モード候補選択部７へと出力される。
【００６３】
ステップＳ８では、運転モード候補選択部７は、運転モード評価部１５で得られた評価値に基づいて、現在の周辺環境と運転者状態に適切な運転モードの候補を選択する。本実施の形態では、自動運転と手動運転の評価値の差に閾値を定め、閾値を超えた時に、評価値の大きい方の運転モードを適切な運転モード候補として設定する。例えば、閾値を「０．５」と設定すると、図９の評価値の結果については自動運転の評価値と手動運転の評価値の差が０．６であるため閾値を超えており、評価値の大きい自動運転が適切な運転モード候補として選択される。なお、閾値を超えなかったときは現在適用している運転モードを候補として選択する。なお、ここでは、閾値を設定する方法を用いたが、より単純に、最終的な評価値が大きい方の運転モードを適切な運転モード候補として選択するようにしてもよい。
【００６４】
ステップＳ９では、ステップＳ８で運転モード候補選択部７が選択した運転モード候補が、現在の運転モードと一致しているかどうかの比較を行う。この動作も運転モード候補選択部７によって実施される。一致している場合には、ステップＳ１０に進み、現在の運転モードが適切である旨を運転モード提示部８に提示させるとともに、現在の運転モードを継続して適用するよう指示する信号を運転制御部１０に対し出力する。その後、ステップＳ１１に進み、現在の運転モードを継続して適用するよう指示する信号を受けた運転制御部１０は、現在の運転モードを継続して適用して運転制御を行う。
また、ステップＳ９で、運転モード候補が現在の運転モードと一致しない場合にはステップＳ１２に進み、運転モード候補選択部７は選択された運転モード候補への切り替えを促す内容を運転モード提示部８に提示させる。
選択された運転モード候補が運転モード提示部８に提示されると、運転者は提示された運転モード候補への切り替えを行うか判断する。
【００６５】
次にステップＳ１３に進み、運転制御部１０が、運転者が運転モード入力部９を介して運転モードの切り替え指示があったか否かを待ち、運転モードの切り替え指示があった場合、ステップＳ１４に進み、運転制御部１０は運転モードをステップＳ８で選択された運転モード候補に切り替えて運転制御を行う。また、ステップＳ１３で運転者が運転モードの切り替え指示がなかった場合、例えば現在の運転モードを継続する指示が入力された場合、あるいは運転モード候補の切り替えを促す内容を運転モード提示部８に提示させてから一定時間何も入力されなかった場合にはステップＳ１１に進み、運転制御部１０は、現在の運転モードを継続して適用し、運転制御を行う。
【００６６】
運転支援装置１、運転制御装置３、周辺環境検知部５、運転者状態検知部６は、以上のステップＳ１〜Ｓ１４で示される動作を繰り返し、運転支援を行う。
【００６７】
以上のような運転支援装置１、運転制御装置３、周辺環境検知部５、運転者状態検知部６の動作により、車両の周辺環境情報と運転者状態情報の組み合わせに対する自動運転と手動運転の適性度を表す評価値を算出するようにしたため、この評価値を利用して、周辺環境と運転者状態に応じた適切な運転モードの候補を運転者に提示でき、運転者が適切な運転モードを決定することを支援することができる。
【００６８】
なお、図４のフローチャートでは、車両通信部１１の動作について省略したが、車両通信部１１は、ステップＳ７より前の任意のタイミングで、サーバー通信部１２と通信し情報サーバー４から運転モード判断モデルを取得する。
【００６９】
次に、図１０のフローチャートを用いて、情報サーバー４の動作について説明する。
まず、ステップＳ１０１で、周辺環境記述部２３が学習用データ記憶部２２に記憶された周辺環境検知データから、周辺環境を自然言語による文字列で記述された文字列情報を生成する。生成された文字列情報は形態素抽出部２４に出力される。
【００７０】
次に、ステップＳ１０２では、ステップＳ１０１で周辺環境記述部２３により生成された文字列情報に対して、形態素抽出部２４が形態素解析を行い、形態素を抽出する。抽出された形態素は数値ベクトル化部２５に出力される。
【００７１】
ステップＳ１０３では、ステップＳ１０２で形態素抽出部２４より得られた形態素を数値ベクトル化部２５が数値ベクトルへと変換する。変換された数値ベクトルは運転モード判断モデル生成部２７に出力される。
【００７２】
ステップＳ１０４では、運転者状態特徴量抽出部２０が学習用データ記憶部２２に記憶された運転者状態検知データから運転者状態の生体信号特徴量を抽出する。抽出された運転者状態特徴量は運転モード判断モデル生成部２７に出力される。
【００７３】
ステップＳ１０５では、数値ベクトル化部２５から入力される数値ベクトル、運転者状態特徴量抽出部２６から入力される運転者状態特徴量、学習用データ記憶部２２から入力される運転モードデータに基づいて、運転モード判断モデル生成部２７が統計的手法により運転モード判断モデルを生成する。例えば、最大エントロピー法を用いて生成することが出来る。具体的には、数１や数２のように、実現確率Pの確率分布関数の関数形を特徴づけるパラメータＷiを導入して、各運転モードが実現する確率分布関数の形を仮定し、このパラメータＷiを最適化する方法である。これにより最適化されたＷiが運転モード判断モデルにおける影響度ベクトルであり、そのときの実現確率Pが各運転モードに対する評価値である。あるいは、周辺環境情報である数値ベクトルの各成分と運転者状態情報の各特徴量に対する自動運転と手動運転それぞれの実現確率の確率分布関数を求め、その同時確率を各運転モードに対する評価値としてもよい。ここで、判断モデルの生成及び各運転モードの評価値の算出は、統計的手法によりなされることが重要であり、上記の方法に限るものではない。
生成された運転モード判断モデルは、判断モデル記憶部２１に記憶される。
以上のステップＳ１０１〜Ｓ１０３は、図１の運転支援装置１による運転支援の動作として図４で説明したフローチャートのステップＳ２〜Ｓ４と同様の動作であり、同じように、ステップＳ１０４の動作はステップＳ６と同様の動作である。
【００７４】
なお、サーバー通信部１２は車両通信部１１から運転モード判断モデルの要求信号を受信すると、判断モデル記憶部２１に記憶された運転モード判断モデルを車両通信部１１に出力する。
【００７５】
以上のような情報サーバー４の動作により、運転支援装置１へ運転モード判断モデルが提供され、運転支援装置１は提供された運転モード判断モデルを判断モデル記憶部１６に記憶することで、運転支援の動作の際、運転モードの評価に用いることができる。
また、運転モード判断モデル生成装置２が大量の学習用データから統計的手法により、運転モード判断モデルを適切に構築することで、運転モードの選択に有用な自動運転と手動運転のそれぞれの評価値をより適切に算出することが可能となる。
【００７６】
また、本実施の形態では、周辺環境記述部１７により周辺環境情報を自然言語で文字列化し、その後、形態素抽出部１８により文字列中の形態素の抽出を行ったが、この利点について説明する。実世界において、車両の周辺環境に現れる物体は多様であり、物体の組み合わせや位置関係も変化が多いので、周辺環境を表すモデルを作ろうとする際に、周辺環境を個別に設定するのは非常に手間である。
本実施の形態では、周辺環境を個別に設定することなく、これまでのモデルで設定されていた周辺環境を自然言語データベース内に定義された形態素の組み合わせにより、表現することができ、人の手による作業が簡略化できる。また、これまでのモデルでは、モデルを設計する人が思いつかずに設定できていなかった周辺環境も形態素の組み合わせにより設定することができる。
このとき利用する自然言語データベースは既存のものを使用してもよいし、運転モード判断モデルのために新たに作成してもよい。
【００７７】
周辺環境を自然言語による文字列で記述するメリットは、自然言語データベースを使用できることだけではない。自然言語により記述された文字列に対し、知識構造データベースを用いた論理推定を行うことにより、センサーで取得された周辺環境だけでなく、センサー範囲外の状況についても情報を追加することが出来る。例えば、カメラで取得された画像内にサッカーボールが写っている場合を考える。写真内にサッカーボールが写っているとき、その画像の外では、近くで子どもが遊んでいることが考えられ、その子どもがサッカーボールを取りに急に道に飛び出して来ると、車両と衝突する可能性がある。知識構造データベースを用いた論理推定により、サッカーボールが写った画像から子どもが飛び出してくる可能性を推測することができ、それを運転者に提示することで、運転者が予め、衝突を回避する運転をすることができる。
【００７８】
この例の場合、具体的には、以下のような手順で推論と情報提示が行われる。まず、画像内によりサッカーボールが存在することを認識した場合は、「サッカーボール」という文字列を記述する。この「サッカーボール」という文字列が、知識構造データベース内で「子ども」と関連付けられていれば、「子ども」に基づいた情報が提示され、運転者から見えない所に「子ども」がいる可能性が示唆されるので、運転者は子どもが飛び出してこないか注意深く確認する。さらに詳しい情報、例えば画像や動画等から「サッカーボールが道を転がっている」ことを認識した場合は、「サッカーボールが道を転がっている」という文字列を記述する。すると上記同様、この「サッカーボール」が「転がっている」ことから「子ども」が「飛び出してくる」ことを推測することが出来、より詳しい情報を運転者に提供することが出来る。
【００７９】
また、運転モードの評価において、特定の形態素に対応する数値ベクトルの成分の値が１となり評価値が変動することで、周辺環境により適した運転モードの評価が可能になる。例えば、画像や動画等から「サッカーボールが道を転がっている」ことを認識し文字列で記述すると、「サッカーボール」が「転がっている」ことから「子ども」が「飛び出してくる」ことが推測でき、その可能性は高い。この場合、「サッカーボール」や「転がって」など元々認識していた形態素に加えて、「子ども」「飛び出し」の形態素が推論により追加され、「子ども」「飛び出し」に対応する数値ベクトルの成分の値が１になると、例えば、手動運転の評価値が下がる一方、自動運転の評価値が上がり、急な子どもの飛び出しに運転者が気付かなかったり、運転者の反応が遅れそうなときでも強制的に自動運転を行うことで、車両と子どもの衝突の可能性を回避できる。
【００８０】
以上説明した本実施の形態において、運転支援装置１が判断モデル記憶部１６を含む構成としたが、運転支援装置１が判断モデル記憶部１６を含まず、運転モード評価部１５が車両通信部１１とサーバー通信部１２を介した通信によって、適宜、情報サーバー４にある判断モデル記憶部２１を参照する構成でも良い。
【００８１】
本実施の形態における運転支援装置は運転モード判断モデルを用いて、周辺環境情報と運転者状態情報の組み合わせに対する自動運転と手動運転の適性度を表す評価値を算出する構成としたが、周辺環境情報と運転者状態情報の組み合わせに基づいて、自動運転と手動運転の適性度を表す評価値を算出すればよく、運転モード判断モデルを用いない構成でも良い。例えば、周辺環境情報では、歩行者が一人増えれば自動運転の評価値を１増やし、一方手動運転の評価値を１下げる等であり、運転者状態情報では、心拍数に閾値を設定し、この閾値を超えれば、自動運転の評価値を１０増やす等である。
【００８２】
実施の形態２
次に本発明の実施の形態２における運転支援装置１と運転モード判断モデル生成装置２について説明する。この実施の形態２は、実施の形態１の構成に加え、情報サーバー４に学習用データ追加部４２を備えたものであり、運転モード入力部９に入力された運転者の判断に応じて、学習用データ追加部４２により学習用データの追加を行うか否かを変えることにより、判断モデルの精度を向上するものである。
【００８３】
図１１は、本発明を実施するための実施の形態２における運転支援装置１と運転モード判断モデル生成装置２の構成を示す構成図であり、図１と同じ符号を付したものは図１と同様のものである。
【００８４】
運転モード入力部９は、実施の形態１で説明した機能に加え、運転者が提示された運転モードへの切り替えを行わなかったときに、運転モードの切り替えを行わないことを示す信号を、車両通信部１１とサーバー通信部１２を介して学習用データ追加部４２に出力するものである。ここで、運転者が提示された運転モードへの切り替えを行わなかったときというのは、運転者が運転モード入力部９に現在の運転モードでの走行を継続することを入力した場合だけでなく、運転モード提示部８に運転モードの切り替えを促す内容が提示された後、一定時間なにも運転モード入力部９に運転者からの入力がなかった場合を含む。
【００８５】
学習用データ追加部４２は、運転モード入力部９から運転モードの切り替えを行わないことを示す信号が入力されると、サーバー通信部１２と車両通信部１１を介して周辺環境情報出力部１３、運転者状態情報出力部１４、運転制御部１０から学習用データの収集を行い、学習用データ記憶部２２に学習用データの追加を行うものである。
追加する学習用データは、例えば、周辺環境検知データ、運転者状態検知データ、運転モードデータのデータセットであり、運転モードデータは、運転モード提示部８により提示された運転モード候補ではなく、現在適用中の運転モードを記録した運転モード情報としての運転モードデータである。その理由は、運転者が運転モードの切り替えを行わなかった場合というのは、運転モード提示部８により提示された運転モード候補が現在の周辺環境と運転者状態に適切でないと運転者により判断された場合であり、提示された運転モードを選択するのに用いられた周辺環境検知データと運転者状態検知データに対応する運転モードデータ、すなわち追加すべき学習用データとしては、提示された運転モード候補は不適切で、現在適用中の運転モードが適切であるからである。
【００８６】
本実施の形態では、学習用データ追加部４２は、周辺環境情報出力部１３に設けられた周辺環境記述部１７から周辺環境検知データ、運転者状態情報出力部１４に設けられた運転者状態特徴量抽出部２０から運転者状態検知データを得る。周辺環境記述部１７は、周辺環境検知部５から入力された周辺環境検知データを一時記憶するメモリを備えている。また、入力される周辺環境検知データは図２の「Ｎｏ．」で示される識別子が付与されており、運転者が提示された運転モードへの切り替えを行わなかったとき、学習用データ追加部４２は対応する周辺環境検知データをこの識別子を用いて指定することにより、周辺環境記述部１７から読み出すことが出来る。運転者状態特徴量抽出部２０も同様に、運転者状態検知部６から入力された運転者状態検知データを一時記憶するメモリが備えられており、入力される運転者状態権利データには図２の「Ｎｏ．」で示される識別子が付与されている。運転者が提示された運転モードへの切り替えを行わなかったとき、学習用データ追加部４２は対応する運転者状態検知データをこの識別子を用いて指定することにより、運転者状態特徴量抽出部２０から読み出すことが出来る。
【００８７】
また、学習用データ追加部４２は、現在の運転モードを示す運転モード情報としての運転モードデータを運転制御部１０から取得する。ここで、現在の運転モードとは、運転者が運転モードの切り替えを行うか入力するときに、運転制御部１０において既に適用されている運転モードである。
【００８８】
本実施の形態では、学習用データ追加部４２は、周辺環境検知データを周辺環境記述部１７から、運転者状態検知データを運転者状態特徴量抽出部２０から、運転モードデータを運転制御部１０から取得したが、各データを取得出来れば、データ取得のための構成は上記に限らず、例えば、周辺環境検知データを周辺環境検知部５から、運転者状態検知データを運転者状態検知部６から、運転モードデータを運転モード候補選択部７から取得する構成としてもよい。
【００８９】
本実施の形態における上記以外の運転制御装置３と情報サーバー４の構成、また、周辺環境検知部５と運転者状態検知部６の構成については、実施の形態１における構成と同様であり、本実施の形態における、運転支援装置１と運転モード判断モデル生成装置２は、以上のように構成される。
【００９０】
本実施の形態におけるハードウェア構成は図３で示したものと同様であり、実施の形態２で追加される学習用データ追加部４２は記憶装置３１に記憶されたプログラムが処理装置２９で実行されることにより実現され、この機能は、ハードウェアとソフトウェアの組み合わせに限らず、処理装置２９に上記プログラムをインプリメントし、ハードウェア単体で実現するようにしてもよい。
【００９１】
次に、本実施の形態における動作を説明する。
本実施の形態２も、実施の形態１で示した図４のフローチャートと同様の動作が行われる。ただし、本実施の形態２では、図４のステップＳ９以降の動作が異なり、ステップＳ８以降の動作を図１２に示す。図４と異なるのは、ステップＳ１３の分岐で「Ｎｏ」へ進むとき、ステップＳ１１の前にステップＳ２０１とステップＳ２０２の動作が行われることである。
ステップＳ１３で「Ｎｏ」へと進んだ後、ステップＳ２０１で、学習用データ追加部４２は、車両通信部１１とサーバー通信部１２を介して、学習用データの収集を行う。本実施の形態における学習用データは、周辺環境検知データ、運転者状態検知データ、現在の運転モードを表す運転モードデータのデータセットである。周辺環境検知データは周辺環境記述部１７から、運転者状態検知データは運転者状態特徴量抽出部２０から、運転モードデータは運転制御部１０から出力される。
【００９２】
ステップＳ２０２では、ステップＳ２０１で収集した学習用データを学習用データ追加部４２が、学習用データ記憶部２２へ出力し、学習用データ記憶部２２は入力された学習用データを記憶する。
ステップS２０２が行われた後、ステップＳ１１に進む。ステップＳ１１での動作は実施の形態１における動作と同様である。
【００９３】
以上の動作により、本実施の形態２においては、運転者の判断にそぐわない運転モード候補の提示を行ったときのデータセットを運転者が判断した運転モードとセットにして学習用データとして学習用データ記憶部２２に追加することにより、次回生成される運転モード判断モデルの精度を向上し、その運転者により適した運転支援を行うことが出来る。
【００９４】
本実施の形態では、追加する学習用データとして、周辺環境検知データと運転者状態検知データを想定したが、運転者が運転モードの切り替えを拒否したタイミングでの周辺環境情報と運転者状態情報のデータセットであれば、これら検知データでなくてもよく、例えば、周辺環境情報として数値ベクトルを、運転者状態情報として運転者状態特徴量情報をデータセットとして記憶してもよい。
【産業上の利用可能性】
【００９５】
本発明に係る運転支援装置と運転モード判断モデル生成装置は、車両の自動運転システムに適用可能である。
【符号の説明】
【００９６】
１  運転支援装置、２  運転モード判断モデル生成装置、３  運転制御装置、４  情報サーバー、５  周辺環境検知部、６  運転者状態検知部、７  運転モード候補選択部、８  運転モード提示部、９  運転モード入力部、１０  運転制御部、１１  車両通信部、１２  サーバー通信部、１３  周辺環境情報出力部、１４  運転者状態情報出力部、１５  運転モード評価部、１６  判断モデル記憶部、１７  周辺環境記述部、１８  形態素抽出部、１９  数値ベクトル化部、２０  運転者状態特徴量抽出部、２１  判断モデル記憶部、２２  学習用データ記憶部、２３  周辺環境記述部、２４  形態素抽出部、２５  数値ベクトル化部、２６  運転者状態特徴量抽出部、２７  運転モード判断モデル生成部、２８  処理装置、２９  処理装置、３０  記憶装置、３１  記憶装置、３２  入力装置、３３  入力装置、３４  入力装置、３５  出力装置、３６  通信装置、３７  通信装置、３８  車両、３９  一般道、４０  歩行者、４１  形態素、４２  学習用データ追加部
【図１】
2020003392.tif 000005
【図２】
2020003392.tif 000006
【図３】
2020003392.tif 000007
【図４】
2020003392.tif 000008
【図５】
2020003392.tif 000009
【図６】
2020003392.tif 000010
【図７】
2020003392.tif 000011
【図８】
2020003392.tif 000012
【図９】
2020003392.tif 000013
【図１０】
2020003392.tif 000014
【図１１】
2020003392.tif 000015
【図１２】
2020003392.tif 000016
【手続補正書】
【提出日】令和2年4月27日(2020.4.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の周辺環境を表す周辺環境情報を出力する周辺環境情報出力部と、
前記周辺環境に対応した運転者の状態を表す運転者状態情報を出力する運転者状態情報出力部と、
前記周辺環境情報出力部が出力した前記周辺環境情報と前記運転者状態情報出力部が出力した前記運転者状態情報との組み合わせに基づいて、
前記周辺環境情報と前記運転者状態情報の組み合わせに対する自動運転と手動運転の適性度を表す評価値を算出する運転モード評価部と、
車両の周辺環境と運転者の状態それぞれの、自動運転と手動運転それぞれに対する影響度を示す運転モード判断モデルを記憶する判断モデル記憶部とを備え、
前記運転モード評価部は、前記周辺環境情報出力部が出力した前記周辺環境情報と前記運転者状態情報出力部が出力した前記運転者状態情報それぞれに対応する前記影響度を前記判断モデル記憶部に記憶された前記運転モード判断モデルから参照し、前記影響度と前記周辺環境情報と前記運転者状態情報との組み合わせに基づいて、前記評価値を算出することを特徴とする運転支援装置。
【請求項２】
前記周辺環境情報出力部は、車両の周辺環境を検知して得られた周辺環境検知データに基づいて、自然言語で前記周辺環境を記述した文字列情報を生成する周辺環境記述部と、
前記周辺環境記述部で生成された前記文字列情報を形態素解析して形態素を抽出して前記周辺環境情報として出力する形態素抽出部とを備えることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記周辺環境情報出力部は、車両の周辺環境を検知して得られた周辺環境検知データに基づいて、自然言語で前記周辺環境を記述した文字列情報を生成する周辺環境記述部と、
前記周辺環境記述部で生成された前記文字列情報を形態素解析して形態素を抽出する形態素抽出部と、
前記形態素抽出部で抽出された前記形態素を数値ベクトルに変換し、前記周辺環境情報として出力する数値ベクトル化部とを備えることを特徴とする請求項１に記載の運転支援装置。
【請求項４】
車両の周辺環境を表す周辺環境情報、前記周辺環境に対応した運転者状態を表す運転者状態情報、前記周辺環境と前記運転者状態に対応した運転モードを示す運転モード情報を対応づけて学習用データとして記憶する学習用データ記憶部と、
前記学習用データ記憶部に記憶された前記周辺環境情報、前記運転者状態情報および前記運転モード情報に基づいて、車両の周辺環境と運転者の状態の自動運転と手動運転のそれぞれに対する影響度を示す運転モード判断モデルを生成する運転モード判断モデル生成部とを
備えた運転モード判断モデル生成装置。
【請求項５】
前記学習用データ記憶部に記憶された前記運転者状態情報が、運転者の状態を特徴量で示す運転者状態特徴量情報であり、前記運転モード判断モデル生成部は運転モード判断モデルを生成する際の運転者状態情報として前記運転者状態特徴量情報を用いることを特徴とする請求項４に記載の運転モード判断モデル生成装置。
【請求項６】
前記学習用データ記憶部に記憶された前記運転者状態情報が、運転者の状態をセンサーで検知した運転者状態検知データであり、
前記学習用データ記憶部に記憶された前記運転者状態検知データに基づいて、運転者の状態を特徴量で示す運転者状態特徴量情報を抽出する運転者状態特徴量情報抽出部を備え、前記運転モード判断モデル生成部は前記運転者状態特徴量情報抽出部で抽出された前記運転者状態特徴量情報と前記学習用データ記憶部に記憶された前記周辺環境情報と前記運転モード情報に基づいて、前記運転モード判断モデルを生成することを特徴とする請求項４に記載の運転モード判断モデル生成装置。
【請求項７】
前記学習用データ記憶部に記憶された前記周辺環境情報が、車両の周辺環境をセンサーで検知した周辺環境検知データであり、
前記学習用データ記憶部に記憶された前記周辺環境検知データに基づいて、自然言語で前記周辺環境を記述した文字列情報を生成する周辺環境記述部と、
前記周辺環境記述部で生成された前記文字列情報を形態素解析して形態素を抽出する形態素抽出部とを備え、
前記運転モード判断モデル生成部は前記形態素抽出部で抽出された前記形態素と前記学習用データ記憶部に記憶された前記運転者状態情報と前記運転モード情報に基づいて、前記運転モード判断モデルを生成することを特徴とする請求項４に記載の運転モード判断モデル生成装置。
【請求項８】
前記形態素抽出部で抽出した前記形態素を数値ベクトルに変換する数値ベクトル化部を備え、
前記運転モード判断モデル生成部は前記数値ベクトル化部で生成された前記数値ベクトルと前記学習用データ記憶部に記憶された前記運転者状態情報と前記運転モード情報に基づいて、前記運転モード判断モデルを生成することを特徴とする請求項７に記載の運転モード判断モデル生成装置。
【請求項９】
車両の周辺環境を表す周辺環境情報を出力する周辺環境情報出力部と、
前記周辺環境に対応した運転者の状態を表す運転者状態情報を出力する運転者状態情報出力部と、
車両周辺環境と運転者状態それぞれの、自動運転と手動運転それぞれの運転モードに対する影響度を示す運転モード判断モデルを記憶する判断モデル記憶部と、
前記周辺環境情報出力部が出力した前記周辺環境情報と前記運転者状態情報出力部が出力した前記運転者状態情報それぞれに対応する前記影響度を前記判断モデル記憶部に記憶された前記運転モード判断モデルから参照し、前記影響度と前記周辺環境情報と前記運転者状態情報との組み合わせに基づいて、前記周辺環境情報と前記運転者状態情報の組み合わ
せに対する自動運転と手動運転の適性度を表す評価値を算出する運転モード評価部と、
前記運転モード評価部で算出された前記評価値に基づいて、前記周辺環境情報と前記運転者状態情報に対して適切な運転モード候補を選択する運転モード候補選択部と、
前記運転モード候補選択部で選択された運転モード候補に基づいて運転支援情報を運転者に提示する運転モード提示部と、
前記運転モード提示部で提示された運転支援情報に基づいて、運転者が運転モードの切り替えを行うか否かを入力する運転モード入力部と、
前記運転モード入力部に切り替えを行わないことを示す信号が入力された場合に、前記周辺環境情報出力部が出力した前記周辺環境情報と前記運転者状態情報出力部が出力した前記運転者状態情報と現在の運転モードを示す運転モード情報を前記学習用データ記憶部に追加する学習用データ追加部とを
備えることを特徴とする請求項４から請求項８のいずれか一項に記載の運転モード判断モデル生成装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
【図１】実施の形態１に係る運転支援装置と運転モード判断モデル生成装置の構成を示す構成図
【図２】運転モード判断モデル生成装置に設けられた学習用データ記憶部が記憶する学習用データを例示する概要図
【図３】実施の形態１に係る運転制御装置、情報サーバー、周辺環境検知部、運転者状態検知部のハードウェア構成を示す構成図
【図４】実施の形態１に係る運転支援装置を備えた運転制御装置の動作を示すフローチャート
【図５】実施の形態１に係る実施例における車両の周辺環境を例示する概要図
【図６】実施の形態１に係る運転支援装置に設けられた数値ベクトル化部が生成する数値ベクトルを例示する概要図
【図７】実施の形態１に係る運転支援装置に設けられた運転者状態特徴量抽出部が抽出する運転者特徴量を例示する概要図
【図８】実施の形態１に係る運転支援装置に設けられた判断モデル記憶部が記憶する運転モード判断モデルを例示する概要図
【図９】実施の形態１に係る運転支援装置に設けられた運転モード評価部が算出する評価値を例示する概要図
【図１０】実施の形態１に係る運転モード判断モデル生成装置を備えた情報サーバーの動作を示すフローチャート
【図１１】実施の形態２に係る運転支援装置と運転モード判断モデル生成装置の構成を示す構成図
【図１２】実施の形態２に係る運転支援装置を備えた運転制御装置と運転モード判断モデル生成装置を備えた情報サーバーの動作を示すフローチャート
【国際調査報告】
2020003392.tif 000017
2020003392.tif 000018