(57)【要約】【課題】複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測する。【解決手段】顔向き検出部２２が、ドライバの顔向きを検出し、予測部２４が、ドライバの顔向きに応じたドライバの操舵行動を予測するためのモデルと、顔向き検出部２２により検出されたドライバの顔向きとに基づいて、ドライバの操舵行動を予測する。【選択図】図１
2019087110.tif 000002
【特許請求の範囲】
【請求項１】
ドライバの顔向きを検出する顔向き検出手段と、
ドライバの顔向きに応じた該ドライバの操舵行動を予測するためのモデルと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの操舵行動を予測する予測手段と、
を含む操舵行動予測装置。
【請求項２】
前記モデルは、前方注視時間と、操舵行動が車両のヨーレートとして表れるまでのむだ時間と、前記車両のヨーレートを求めるための操舵角に対するゲインと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの運転意図に応じた操舵角を、前記ドライバの操舵行動として予測するためのモデルである請求項１に記載の操舵行動予測装置。
【請求項３】
前記ゲイン及び前記むだ時間の各々は、速度に依存するパラメータである請求項２に記載の操舵行動予測装置。
【請求項４】
前記ドライバの操舵行動による操舵角を検出する操舵角検出手段と、
前記操舵角検出手段により検出された操舵角と、前記予測手段により予測された操舵角とを比較して、自動運転システムによる自動運転から手動運転への権限移譲を行うか否かを判定する判定手段と、
をさらに含む請求項２又は請求項３に記載の操舵行動予測装置。
【請求項５】
コンピュータを、
ドライバの顔向きを検出する顔向き検出手段、及び
ドライバの顔向きに応じた該ドライバの操舵行動を予測するためのモデルと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの操舵行動を予測する予測手段
として機能させるための操舵行動予測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操舵行動予測装置及びプログラムに係り、特に、ドライバの運転意図に応じた操舵行動を予測する操舵行動予測装置及びプログラムに関する。
【背景技術】
【０００２】
従来、自動運転から手動運転への切り替え（オーバーライド）の際に、ドライバの状態を推定して、権限移譲の判断を行うことで、自動運転車の安全性を高めるシステムが提案されている。
【０００３】
例えば、自動運転制御と手動運転制御とを切り換え可能な自動走行車両に用いるものであって、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための運転者による視認行為を決定し、決定された視認行為を運転者に実行させるための制御を行い、運転者によって実行された視認行為を検出する情報呈示装置が提案されている（特許文献１）。
【０００４】
また、車両のおかれた状況に適していないオーバーライドによる自動運転から手動運転への切り替えを抑える運転支援装置が提案されている。この運転支援装置は、自車のドライバによるオーバーライドを検出し、自車のドライバが集中力を欠いた漫然状態であるか否かを逐次判定し、オーバーライドを検出した場合であって、漫然状態でないと判定していた場合には、自動運転から手動運転へ切り替える一方、オーバーライドを検出した場合であっても、漫然状態であると判定した場合には、自動運転から手動運転へ切り替えない（特許文献２）。
【０００５】
また、車両の走行車線を認識し、走行車線に基づいて、車両の運転状態が自動運転となるように車両の走行を制御し、白線の検出精度に基づいて、車両の走行の制御が停止するまでのシステム余裕時間を推定し、車両のドライバの状態に基づいて、車両の運転状態が自動運転の状態からドライバが手動運転に復帰できるまでのハンドオーバー時間を推定し、システム余裕時間及びハンドオーバー時間を表示部に表示する車両制御装置が提案されている（特許文献３）。
【０００６】
また、自動運転中の車輌の加速系、操舵系、制動系の操作状態からその運転行動を判定し、運転者の顔画像や生体情報などから運転者の状態を判定し、それらの判定結果に基づいて手動運転への切替を段階的に制御する自動運転システムが提案されている（特許文献４）。
【０００７】
また、ドライバの意図を判定する手法として、運転中のドライバの画像を取得し、ドライバの視線と頭の動き、及びステア角と車両位置から、レーンチェンジの意図を機械学習により判定する手法が提案されている（非特許文献１）。
【０００８】
また、目標到達点の方向を向いているドライバの視線（顔＋眼球の向き）から一定時間後のドライバの操舵入力を予測するドライバ操作予測装置が提案されている（特許文献５）。この技術を利用すれば、視線と操舵入力との関係が、ドライバモデルに応じた値か否かを判定することにより、自動運転時のハンドル操舵入力がドライバの意図を反映した入力か否かを判定することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１５−１８５０８８号公報
【特許文献２】特開２０１６−１５１８１５号公報
【特許文献３】特開２０１７−３０５５５号公報
【特許文献４】特開２０１７−３０３９０号公報
【特許文献５】特開２０１０−１７０１８７号公報
【非特許文献】
【００１０】
【非特許文献１】Anup Doshi, Mohan Manubhai Trivedi, "On the Roles of Eye Gaze and Head Dynamics in Predicting Driver's Intent to Change Lanes", IEEE Transactions on Intelligent Transportation Systems, Vol. 10, No. 3, pp.453-462, 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上記特許文献１−４においては、生体情報やドライバの画像から得られる情報（視線あるいは顔や頭の向き）などによって運転手の状態を推定する方法が提案されているが、その具体的な判定方法については明らかにされていない。また、ドライバの意図を判定する手段として、視線や頭の向きの情報を用いることは、非特許文献１によって良く知られた手法である。
【００１２】
一方、特許文献５の手法では、視線（顔＋眼球の向き）を用いた前方注視モデルを用いる方法が提案されている。この手法は、高速道路などの比較的単純な運転環境下では成立し得る。しかし、複雑な交通環境を有する一般道を運転するドライバの視線には、運転意図に応じた視線、すなわち、行きたい方向を見る視線もあれば、運手意図に直接的には関係しない目配りなどの視線もあり、視線から適切に運転意図を予測することができない場合がある。
【００１３】
本発明は、上記の問題点を解決するためになされたもので、複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測することができる操舵行動予測装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の目的を達成するために本発明に係る操舵行動予測装置は、ドライバの顔向きを検出する顔向き検出手段と、ドライバの顔向きに応じた該ドライバの操舵行動を予測するためのモデルと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの操舵行動を予測する予測手段と、を含んで構成されている。
【００１５】
また、本発明に係る操舵行動予測プログラムは、コンピュータを、ドライバの顔向きを検出する顔向き検出手段、及びドライバの顔向きに応じた該ドライバの操舵行動を予測するためのモデルと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの操舵行動を予測する予測手段として機能させるためのプログラムである。
【００１６】
本発明に係る操舵行動予測装置及びプログラムによれば、顔向き検出手段が、ドライバの顔向きを検出し、予測手段が、ドライバの顔向きに応じたドライバの操舵行動を予測するためのモデルと、顔向き検出手段により検出されたドライバの顔向きとに基づいて、ドライバの操舵行動を予測する。これにより、複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測することができる。
【００１７】
また、本発明に係る操舵行動予測装置及びプログラムにおいて、前記モデルは、前方注視時間と、操舵行動が車両のヨーレートとして表れるまでのむだ時間と、前記車両のヨーレートを求めるための操舵角に対するゲインと、前記顔向き検出手段により検出されたドライバの顔向きとに基づいて、前記ドライバの運転意図に応じた操舵角を、前記ドライバの操舵行動として予測するためのモデルとすることができる。また、前記ゲイン及び前記むだ時間の各々は、速度に依存するパラメータとすることができる。これにより、特に、複雑な交通環境を有する一般道において多く出現することが想定される運転意図に直接的に関係しない目配りなどの影響を低減して、ドライバの運転意図に応じた操舵行動を精度良く予測することができる。
【００１８】
また、本発明に係る操舵行動予測装置及びプログラムは、前記ドライバの操舵行動による操舵角を検出する操舵角検出手段と、前記操舵角検出手段により検出された操舵角と、前記予測手段により予測された操舵角とを比較して、自動運転システムによる自動運転から手動運転への権限移譲を行うか否かを判定する判定手段と、をさらに含んで構成することができる。上記のように、精度良く予測された操舵角を用いて権限移譲を行うか否かを判定するため、安全な権限移譲を行うことができる。
【発明の効果】
【００１９】
以上説明したように、本発明の操舵行動予測装置及びプログラムによれば、ドライバの顔向きに応じたドライバの操舵行動を予測するためのモデルと、検出されたドライバの顔向きとに基づいて、ドライバの操舵行動を予測することにより、複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測することができる、という効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本実施の形態に係る操舵行動予測装置の概略構成を示すブロック図である。
【図２】一般道走行時において、右折帯進入時のドライバの視線及び顔向きの時間変化の一例を示すグラフである。
【図３】予測した操舵角を、実際のドライバの操舵角と比較したグラフである。
【図４】本実施の形態における操舵行動予測処理ルーチンの一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
図１に示すように、本発明の実施の形態に係る操舵行動予測装置１０は、撮像装置１２と、自車両の車速を検出する車速センサ１４と、ステアリングホイールの舵角（ハンドルの操舵角）を検出する操舵角センサ１６と、操舵角を予測して、自動運転の権限移譲の判定を行うコンピュータ２０とを備えている。
【００２３】
撮像装置１２は、画像信号を生成する単眼あるいはステレオのカメラで構成される撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。撮像装置１２は、例えば、ドライバの顔を含む範囲を撮像可能な車内の位置に設置され、撮像した画像を示す画像信号をコンピュータ２０に出力する。
【００２４】
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する操舵行動予測処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、撮像装置１２から出力された画像信号が示す画像からドライバの顔向きを検出する顔向き検出部２２と、検出された顔向きと前方注視モデルとに基づいて、ドライバの運転意図に応じた操舵角を予測する予測部２４と、実際の操舵角と予測された操舵角とに基づいて、自動運転の権限移譲を判定する判定部２６とを含む。
【００２５】
顔向き検出部２２は、撮像装置１２から出力された画像信号を取得し、画像信号が示す撮像画像から、パターンマッチング等により、ドライバの顔領域を抽出する。そして、顔向き検出部２２は、抽出した顔領域の画像と、複数の異なる顔向きの顔画像に基づいて予め学習されたモデルとのパターンマッチングにより、ドライバの顔向きを検出する。顔向きは、例えば、車両前方方向に対する角度として検出する。なお、顔領域の抽出方法、及び顔向きの検出方法は、パターンマッチングに限定されるものではなく、従来既知の手法を採用することができる。
【００２６】
予測部２４は、顔向き検出部２２により検出されたドライバの顔向きと、ドライバの顔向きに応じた操舵行動を予測する前方注視モデルとに基づいて、ドライバの操舵行動として、ドライバの運転意図に応じた操舵角を予測する。
【００２７】
ここで、単純な運転環境下では、ドライバは特許文献５で記述される前方注視モデルに従って、一定時間後の目標到達点を注視し、前方注視角に比例したヨーレートを操舵によって発生させている。本実施の形態では、複雑な交通環境を有する一般道での前方注視モデルの成立性について説明する。
【００２８】
図２に、一般道走行時において、右折帯進入時のドライバの視線及び顔向きの時間変化のグラフを示す。視線は、常時左右の方向を向いているが、視線を顔向きと眼球運動とに分解すると、顔向きは比較的安定した動きとなっていることが分かる。これは、運転意図に直接的に関係しない目配りなどは、眼球のサッカード運動によって瞬間的に行っているのに対し、運転意図に応じて行きたい方向を注視する生物としての前方注視機能は、顔向きに表れる可能性を示している。そこで、図２に示すドライバの顔向きに前方注視モデルを適用して、操舵角を推定し、実際にドライバが操舵した操舵角の波形と比較する。
【００２９】
まず、特許文献５で提案された、下記（１）式に示すドライバの前方注視モデルにより、ドライバの顔向きからドライバの操舵行動として、顔向きに応じた操舵角を予測することができる。
【００３０】
【数１】
2019087110.tif 000003
【００３１】
ここで、ｒ（ｔ）は、時刻ｔにおける（瞬時の）ヨーレート、θａｈｅａｄ（ｔ）は、時刻ｔにおける顔向き、Ｔａｈｅａｄは、前方注視時間である。なお、（１）式に示す前方注視モデルは、ドライバと自動車とを一体としたモデルであるが、ここから車両運動を差し引くことで、ドライバの操作を表現するモデルを導出することができる。前輪実舵角δｆからヨーレートｒが発生するまでの車両運動の動特性を、車両のヨーレートを求めるための操舵角に対するヨーゲインｋｖと、操舵行動が車両のヨーレートとして表れるまでのむだ時間τｖとで、下記（２）式に示すように近似する。
【００３２】
【数２】
2019087110.tif 000004
【００３３】
（２）式を適用することにより、（１）式のドライバの前方注視モデルは、下記（３）式となる。
【００３４】
【数３】
2019087110.tif 000005
【００３５】
なお、車両のむだ時間τｖをステップ応答の初期勾配直線が定常値に至る時間で近似すると、ヨーゲインｋｖ、及びむだ時間τｖは、下記（４）式及び（５）式のようになる。
【００３６】
【数４】
2019087110.tif 000006
【００３７】
ただし、Ａは、下記（６）式に示すスタビリティファクタであり、ωｎは、下記（７）式に示す固有振動数である。
【００３８】
【数５】
2019087110.tif 000007
【００３９】
ここで、Ｉは、ヨー慣性モーメント、Ｋｆは、前輪コーナリングパワー、Ｋｒは、後輪コーナリングパワー、ｌは、ホイールベース、ｌｆは、前軸重心間距離、ｌｒは、後軸重心間距離、ｍは、車両質量、ｖは、車速である。ヨー慣性モーメントＩ、前輪コーナリングパワーＫｆ、後輪コーナリングパワーＫｒ、ホイールベースｌ、前軸重心間距離ｌｆ、後軸重心間距離ｌｒ、及び車両質量ｍは、定数である。
【００４０】
なお、上記（３）式に示す前方注視モデルにより予測される操舵角δｆは、走行中の操舵輸の回転角度であり、操舵角の実測値は、ステアリングホイールの回転角度（操舵角）δｓであるため、予測される操舵角δｆを、比（ギア比）ｎを用いて、下記（８）式のように変換する。なお、通常ｎは、操舵角に依存して１０〜２５の値をとる。
【００４１】
【数６】
2019087110.tif 000008
【００４２】
したがって、予測部２４は、車速センサ１４から車速ｖを取得し、（６）式及び（７）式を介して、（４）式及び（５）式により、ヨーゲインｋｖ及びむだ時間τｖを求める。そして、予測部２４は、求めたヨーゲインｋｖ及びむだ時間τｖと、顔向き検出部２２で検出された顔向きθａｈｅａｄとを、（３）式に示す前方注視モデルに代入し、操舵角δｆを求める。なお、本実施の形態では、（３）式における前方注視時間Ｔａｈｅａｄは、一定時間（例えば、１秒）として設定する。さらに、予測部２４は、求めた操舵角δｆを（８）式に代入し、最終的な操舵角δｓを予測する。
【００４３】
判定部２６は、操舵角センサ１６から、実際の操舵角を取得し、予測部２４で予測された操舵角δｓと、実際の操舵角との差に基づいて、自動運転システムによる自動運転から手動運転への権限移譲を行うか否かを判定する。予測された操舵角δｓと、実際の操舵角との差が小さい場合には、ドライバの運転意図に応じた操舵行動がとられたことを表しており、自動運転から手動運転へ権限移譲を行うと判定する。一方、予測された操舵角δｓと、実際の操舵角との差が大きい場合には、ドライバの運転意図に依らず、ドライバが顔向きを変化させたことを表しており、手動運転への権限移譲を行うことなく、自動運転を継続させると判定する。
【００４４】
図３に、位相平均した顔向きを前方注視角θａｈｅａｄとして、（３）式及び（８）式から予測した操舵角δｓを、ドライバによる実際の操舵角と比較したグラフを示す。図３では、顔向きから操舵角が予測できることを示している。
【００４５】
次に、本実施の形態に係る操舵行動予測装置１０の作用について説明する。操舵行動予測装置１０を搭載した車両において、自動運転システムによる自動運転が開始されると、コンピュータ２０において、図４に示す操舵行動予測処理ルーチンが、所定時間間隔で繰り返し実行される。
【００４６】
まず、ステップＳ１００で、操舵角センサ１６から、ドライバの操舵による実際の操舵角（実操舵角）を取得する。
【００４７】
次に、ステップＳ１０２で、上記ステップＳ１００で取得された実操舵角が、予め定めた閾値ＴＨ１を超えているか否かを判定する。閾値ＴＨ１は、例えば、車線内での車両の位置を微調整するような軽微な操舵と、運転意図に応じた操舵とを区別可能な値を予め定めておけばよい。実操舵角が閾値ＴＨ１を超えている場合には、ステップＳ１０４へ移行する。一方、実操舵角が閾値ＴＨ１を超えていない場合には、手動運転へ権限移譲することなく自動運転を継続すると判定して、操舵行動予測処理ルーチンを終了する。
【００４８】
ステップＳ１０４では、撮像装置１２から出力された画像信号を取得し、画像信号が示す撮像画像から、パターンマッチング等により、ドライバの顔領域を抽出する。そして、抽出した顔領域の画像と、複数の異なる顔向きの顔画像に基づいて予め学習されたモデルとのパターンマッチングにより、ドライバの顔向きを検出する。
【００４９】
次に、ステップＳ１０６で、車速センサ１４から車速ｖを取得し、（６）式及び（７）式を介して、（４）式及び（５）式により、ヨーゲインｋｖ及びむだ時間τｖを求める。そして、求めたヨーゲインｋｖ及びむだ時間τｖと、検出された顔向きθａｈｅａｄと、所定の値の前方注視時間Ｔａｈｅａｄとを、（３）式に示す前方注視モデルに代入し、操舵角δｆを求める。さらに、求めた操舵角δｆを（８）式に代入し、最終的な操舵角δｓ（予測操舵角）を予測する。
【００５０】
次に、ステップＳ１０８で、上記ステップＳ１００で取得された実操舵角と、上記ステップＳ１０６で予測された予測操舵角との差が、予め定めた閾値ＴＨ２以内か否かを判定する。実操舵角と予測操舵角との差が閾値ＴＨ２以内の場合には、ステップＳ１１０へ移行する。一方、実操舵角と予測操舵角との差が閾値ＴＨ２を超えている場合には、手動運転へ権限移譲することなく自動運転を継続すると判定して、操舵行動予測処理ルーチンを終了する。
【００５１】
ステップＳ１１０では、手動運転へ権限移譲することを示す判定結果を自動運転システムへ出力し、操舵行動予測処理ルーチンを終了する。
【００５２】
以上説明したように、本実施の形態に係る運転行動予測装置によれば、ドライバの顔向きを検出し、ドライバの顔向きに応じたドライバの操舵行動を予測するための前方注視モデルと、検出されたドライバの顔向きとに基づいて、ドライバの操舵行動を予測する。これにより、特に、複雑な交通環境を有する一般道において多く出現することが想定される運転意図に直接的に関係しない目配りなどの視線の影響を低減して、複雑な交通環境を有する一般道においても、ドライバの運転意図に応じた操舵行動を精度良く予測することができる。
【００５３】
なお、上記の実施の形態では、前方注視時間が固定的に設定されている場合を例に説明したが、これに限定されるものではなく、自車両の走行状況に応じて前方注視時間を設定するようにしてもよい。前方注視時間はドライバの緊張度により変化するものであり、その緊張度は、走行するコースの厳しさや、近距離の障害物や近接する前方車両の存在等の影響を受ける。緊張度の高いコース条件では、前方注視時間として１秒台前半程度、緊張度の低いコース条件では２秒程度が予想される。従って、地図情報に基づき比較的変化の少ないコースであり、障害物や前方車両等も存在しない状況では長い前方注視時間を設定し、比較的変化の大きいコースを走行する場合や障害物や前方車両が近くに存在する場合には短い注視時間を設定するようにしてもよい。
【００５４】
また、上記実施の形態では、撮像画像からドライバの顔向きを検出する場合について説明したが、これに限定されるものではなく、例えば、レーザレーダなどの測定値を用いて顔向きを検出してもよい。
【００５５】
また、本発明のプログラムを記憶媒体に格納して提供してもよい。
【符号の説明】
【００５６】
１０   操舵行動予測装置
１２   撮像装置
１４   車速センサ
１６   操舵角センサ
２０   コンピュータ
２２   顔向き検出部
２４   予測部
２６   判定部
【図１】
2019087110.tif 000009
【図２】
2019087110.tif 000010
【図３】
2019087110.tif 000011
【図４】
2019087110.tif 000012