(57)【要約】【課題】自動運転中であっても運転者が運転操作、特にペダル操作を迅速に引き継ぐことができるように運転者を正確に把握することができる運転者状態把握装置を提供すること。【解決手段】自動運転システム１を備えた車両の運転者の状態を把握する運転者状態把握装置２０であって、車両の運転席の足元周辺の状態把握データを取得する状態把握データ取得部２２ａと、状態把握データ取得部２２ａで取得した状態把握データを用いて運転者の足の状態を推定する足状態推定部２２ｂと、足状態推定部２２ｂの推定情報に基づいて、自動運転中に運転者が車両のペダルをすぐに操作できる状態にあるか否かを判定する即応性判定部２２ｃとを装備する。【選択図】図３
2019034575.tif 000002
【特許請求の範囲】
【請求項１】
自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握装置であって、
前記車両の運転席の足元周辺の状態把握データを取得する状態把握データ取得部と、
該状態把握データ取得部で取得した前記状態把握データを用いて前記運転者の足の状態を推定する足状態推定部と、
該足状態推定部の推定情報に基づいて、自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かを判定する即応性判定部とを備えていることを特徴とする運転者状態把握装置。
【請求項２】
前記即応性判定部が、前記運転者の足と前記車両の床面との位置関係、前記運転者の足と前記車両のペダルとの位置関係、又は前記運転者の右足と左足との位置関係に基づいて、自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かを判定するものであることを特徴とする
請求項１記載の運転者状態把握装置。
【請求項３】
前記即応性判定部による判定結果に基づいて、所定の通知処理を行う通知処理部を備えていることを特徴とする
請求項１又は請求項２記載の運転者状態把握装置。
【請求項４】
前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合、前記運転者に適切な足の姿勢をとることを促すための通知処理を行うものであることを特徴とする
請求項３記載の運転者状態把握装置。
【請求項５】
前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にあると判定された場合、前記運転者に足の姿勢が適切であることを通知する処理を行うものであることを特徴とする
請求項３記載の運転者状態把握装置。
【請求項６】
前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合、前記自動運転システムを制御する自動運転制御装置に対して、自動運転を解除せずに継続させるように通知する処理を行うものであることを特徴とする
請求項３記載の運転者状態把握装置。
【請求項７】
前記自動運転システムから自動運転中の情報を取得する情報取得部を備え、
前記通知処理部が、
前記即応性判定部による判定結果と、前記情報取得部で取得した前記自動運転中の情報とに基づいて、所定の通知処理を行うものであることを特徴とする
請求項３記載の運転者状態把握装置。
【請求項８】
前記自動運転中の情報には、前記車両の周囲が安全な状態であるか否かを判断するための情報を含み、
前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合、前記車両の周囲が安全な状態であるか否かに応じて、前記運転者に足の姿勢の適正化を促すための通知レベルを変えて通知処理を行うものであることを特徴とする
請求項７記載の運転者状態把握装置。
【請求項９】
前記自動運転中の情報には、自動運転から手動運転への引き継ぎ要請情報を含み、
前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定され、前記情報取得部で前記引き継ぎ要請情報を取得した場合、前記運転者に運転操作を引き継ぐことを促すための通知処理を行うものであることを特徴とする
請求項７記載の運転者状態把握装置。
【請求項１０】
前記状態把握データ取得部が、前記状態把握データとして、前記車両に設けられたカメラで撮像される前記運転者の足周辺の画像データを取得するものであり、
前記運転者の足の状態を推定するためのテンプレート画像を記憶するテンプレート画像記憶部を備え、
前記足状態推定部が、
前記状態把握データ取得部で取得した前記運転者の足周辺の画像データと前記テンプレート画像記憶部から読み出した前記テンプレート画像とを用いたテンプレートマッチングにより、前記運転者の足の状態を推定するものであることを特徴とする
請求項１〜９のいずれかの項に記載の運転者状態把握装置。
【請求項１１】
前記状態把握データ取得部が、前記状態把握データとして、前記車両の運転席の足元に設けられたセンサで検出される前記運転者の足検出データを取得するものであり、
前記足状態推定部が、
前記状態把握データ取得部で取得した前記運転者の足検出データを用いて前記運転者の足の状態を推定するものであることを特徴とする
請求項１〜９のいずれかの項に記載の運転者状態把握装置。
【請求項１２】
請求項１〜１１のいずれかの項に記載の運転者状態把握装置と、
前記車両の運転席の足元周辺の状態を把握し、前記状態把握データを前記状態把握データ取得部に出力する状態把握部と
を備えていることを特徴とする運転者状態把握システム。
【請求項１３】
自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握方法であって、
前記車両の運転席の足元周辺の状態を把握する状態把握部から前記運転席の足元周辺の状態把握データを取得するステップと、
取得した前記状態把握データを状態把握データ記憶部に記憶させるステップと、
前記状態把握データ記憶部から前記状態把握データを読み出すステップと、
読み出した前記状態把握データを用いて前記運転者の足の状態を推定するステップと、
推定された前記運転者の足の状態の推定情報に基づいて、自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かを判定するステップと、
を含んでいることを特徴とする運転者状態把握方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法に関し、より詳細には、自動運転が可能な車両の運転者の状態を把握する運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法に関する。
【背景技術】
【０００２】
近年、車両の自動運転技術の開発がさかんに進められている。自動運転システムが搭載された車両の運転者は、例えば、自動運転システムに異常や故障が発生した場合、自動運転システムが動作限界に達した場合、又は自動運転制御が終了する場合などにおいて運転操作を円滑に引き継ぐことができるように、自動運転中であっても自動運転システムを監視しておく必要がある。
【０００３】
例えば、下記の特許文献１には、車室内に設置されたカメラで撮影された運転者の画像から運転者の視線やまぶたの開度などの眠気情報を検出し、該眠気情報から実集中度を演算し、該実集中度が要求集中度よりも低い場合、例えば、運転者が眠気を催して集中度が低下している場合に、オートクルーズ制御による走行速度を低下させる技術が開示されている。
【０００４】
［発明が解決しようとする課題］
上記のように運転者が眠気を催して自動運転中に居眠りをした場合、運転者が責任をもって自動運転システムを監視することができない状態になる。運転者が責任をもって自動運転システムを監視することができない状態には、前記居眠りをした状態の他にも様々な状態が考えられる。特に自動運転中には、手動運転中では不可能な姿勢を運転者がとり得るため、自動運転中における運転者の状態を把握しておくことの重要性は益々高まる。例えば、自動運転中にシステムの故障等が発生して、自動運転モードから手動運転モードに切り替えられた場合でも、運転者がすぐに手動運転に対応できる姿勢であるかどうかを適切に把握しておく必要がある。しかしながら、特許文献１に記載されている運転者の眠気情報を用いる監視方法では、運転者の姿勢は適切に把握できないという課題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４３３３７９７号公報
【発明の概要】
【課題を解決するための手段及びその効果】
【０００６】
本発明は上記課題に鑑みなされたものであって、自動運転中であっても運転者が運転操作、特にペダル操作を迅速に引き継ぐことができるように運転者の姿勢を正確に把握することができる運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法を提供することを目的としている。
【０００７】
上記目的を達成するために本発明に係る運転者状態把握装置は、自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握装置であって、
前記車両の運転席の足元周辺の状態把握データを取得する状態把握データ取得部と、
該状態把握データ取得部で取得した前記状態把握データを用いて前記運転者の足の状態を推定する足状態推定部と、
該足状態推定部の推定情報に基づいて、自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かを判定する即応性判定部とを備えていることを特徴としている。
【０００８】
上記運転者状態把握装置によれば、前記車両の運転席の足元周辺の状態把握データを用いて前記運転者の足の状態が推定され、該足の状態の推定情報に基づいて、自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かが判定される。これにより、自動運転中であっても前記運転者が前記ペダルの操作を迅速に引き継ぐことができる姿勢であるかどうかを正確に把握できるとともに、自動運転中に前記自動運転システムに故障等が発生した場合であっても、自動運転から手動運転への引き継ぎ、特にペダル操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。なお、前記車両のペダルは、アクセルペダル、及びブレーキペダルの少なくともいずれかを含む。
【０００９】
また本発明に係る運転者状態把握装置は、前記即応性判定部が、前記運転者の足と前記車両の床面との位置関係、前記運転者の足と前記車両のペダルとの位置関係、又は前記運転者の右足と左足との位置関係に基づいて、自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かを判定するものでもよい。
【００１０】
上記運転者状態把握装置によれば、自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かの判定が、前記運転者の足と前記車両の床面との位置関係、前記運転者の足と前記車両のペダルとの位置関係、又は前記運転者の右足と左足との位置関係に基づいて行われるので、前記運転者の足の状態を考慮して正確に判定することができる。
【００１１】
また本発明に係る運転者状態把握装置は、前記即応性判定部による判定結果に基づいて、所定の通知処理を行う通知処理部を備えていてもよい。
上記運転者状態把握装置によれば、前記即応性判定部による判定結果に基づいて、所定の通知処理を行うことにより、前記自動運転システムに対して前記判定結果を反映した支援を行うことが可能となる。
【００１２】
また本発明に係る運転者状態把握装置は、前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合、前記運転者に適切な足の姿勢をとることを促すための通知処理を行うものでもよい。
【００１３】
上記運転者状態把握装置によれば、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合、前記運転者に適切な足の姿勢をとることを促すための通知処理が行われる。これにより、自動運転中であっても前記ペダルをすぐに操作できる姿勢を保つように、前記運転者に姿勢の適正化を促すことが可能となる。
【００１４】
また本発明に係る運転者状態把握装置は、前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にあると判定された場合、前記運転者に足の姿勢が適切であることを通知する処理を行うものでもよい。
【００１５】
上記運転者状態把握装置によれば、前記運転者が前記車両のペダルをすぐに操作できる状態にあると判定された場合、前記運転者に足の姿勢が適切であることを通知する処理が行われる。これにより、前記運転者は、自動運転中における足の姿勢が適切であることを把握することができる。
【００１６】
また本発明に係る運転者状態把握装置は、前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合、前記自動運転システムを制御する自動運転制御装置に対して、自動運転を解除せずに継続させるように通知する処理を行うものでもよい。
【００１７】
上記運転者状態把握装置によれば、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合であっても、自動運転制御を継続させることが可能となる。
【００１８】
また本発明に係る運転者状態把握装置は、前記自動運転システムから自動運転中の情報を取得する情報取得部を備え、
前記通知処理部が、
前記即応性判定部による判定結果と、前記情報取得部で取得した前記自動運転中の情報とに基づいて、所定の通知処理を行うものでもよい。
【００１９】
上記運転者状態把握装置によれば、前記即応性判定部による判定結果と、前記情報取得部で取得した前記自動運転中の情報とに応じて所定の通知処理が行われる。これにより、前記自動運転システムの状況に応じて、運転者などに必要以上に多様な通知を行う必要がなくなり、通知に必要な電力・処理を低減することができる。
【００２０】
また本発明に係る運転者状態把握装置は、前記自動運転中の情報には、前記車両の周囲が安全な状態であるか否かを判断するための情報を含み、
前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合、前記車両の周囲が安全な状態であるか否かに応じて、前記運転者に足の姿勢の適正化を促すための通知レベルを変えて通知処理を行うものでもよい。
【００２１】
上記運転者状態把握装置によれば、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定された場合、前記車両の周囲が安全な状態であるか否かに応じて、前記運転者に足の姿勢の適正化を促すための通知レベルを変えて通知処理を行うことが可能となる。前記車両の周囲が安全な状態であるか否かを判断するための情報には、例えば、前記車両周囲の監視情報が含まれていることが好ましい。前記車両周囲の監視情報は、例えば、自車両近辺に他の車両が急接近してきた情報でもよいし、細い道の急カーブなど、システムの機能限界が想定される道路を走行する情報などでもよい。
前記車両の周囲が安全な状態でない場合は、例えば、前記通知レベルを上げて、前記ペダルの操作をすぐに引き継ぐことができる姿勢をとるように、より強い注意を促す重度の通知、例えば、表示、音声、振動などを組み合わせた通知などを行うことが望ましい。また、前記車両の周囲が安全な状態である場合は、前記通知レベルを下げて、例えば、音声のみによる軽度の通知を行うことが望ましい。
【００２２】
また本発明に係る運転者状態把握装置は、前記自動運転中の情報には、自動運転から手動運転への引き継ぎ要請情報を含み、
前記通知処理部が、
前記即応性判定部により、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定され、前記情報取得部で前記引き継ぎ要請情報を取得した場合、前記運転者に運転操作を引き継ぐことを促すための通知処理を行うものでもよい。
【００２３】
上記運転者状態把握装置によれば、前記運転者が前記車両のペダルをすぐに操作できる状態にないと判定され、前記引き継ぎ要請情報を取得した場合、前記運転者に運転操作を引き継ぐことを促すための通知処理を行うことが可能となる。前記引き継ぎ要請情報は、自動運転から手動運転への引き継ぎ区間に入った情報などでもよいし、前記自動運転システムの一部に異常や故障が発生した情報などでもよい。前記引き継ぎ要請情報を取得した場合は、実際にペダル操作が必要になるため、例えば、速やかに前記ペダルに足を載せて運転操作を引き継ぐように通知を行うことが望ましい。
【００２４】
また本発明に係る運転者状態把握装置は、前記状態把握データ取得部が、前記状態把握データとして、前記車両に設けられたカメラで撮像される前記運転者の足周辺の画像データを取得するものであり、
前記運転者の足の状態を推定するためのテンプレート画像を記憶するテンプレート画像記憶部を備え、
前記足状態推定部が、
前記状態把握データ取得部で取得した前記運転者の足周辺の画像データと前記テンプレート画像記憶部から読み出した前記テンプレート画像とを用いたテンプレートマッチングにより、前記運転者の足の状態を推定するものでもよい。
【００２５】
上記運転者状態把握装置によれば、前記状態把握データ取得部で取得した前記運転者の足周辺の画像データと前記テンプレート画像記憶部から読み出した前記テンプレート画像とを用いたテンプレートマッチングにより、前記運転者の足の状態が推定される。したがって、前記テンプレート画像に基づいて前記運転者の足の状態を的確に推定することが可能となる。なお、前記運転者の足の状態は、足首より下の部分の状態、膝より下の部分の状態、及び大腿部より下の部分の状態のうちのいずれの状態であってもよい。
【００２６】
また本発明に係る運転者状態把握装置は、前記状態把握データ取得部が、前記状態把握データとして、前記車両の運転席の足元に設けられたセンサで検出される前記運転者の足検出データを取得するものであり、
前記足状態推定部が、
前記状態把握データ取得部で取得した前記運転者の足検出データを用いて前記運転者の足の状態を推定するものでもよい。
【００２７】
上記運転者状態把握装置によれば、前記状態把握データ取得部で取得した前記運転者の足検出データを用いて前記運転者の足の状態が推定される。したがって、前記センサによる足検出データに基づいて前記運転者の足の状態を的確に推定することが可能となる。前記センサは、光電センサなどの物体検出センサでもよいし、その他、運転者の足を検出可能な非接触式のセンサでもよい。なお、前記運転者の足の状態は、足首より下の部分の状態、膝より下の部分の状態、及び大腿部より下の部分の状態のうちのいずれの状態であってもよい。
【００２８】
また本発明に係る運転者状態把握システムは、上記運転者状態把握装置のいずれかと、前記車両の運転席の足元周辺の状態を把握し、前記状態把握データを前記状態把握データ取得部に出力する状態把握部とを備えていてもよい。
【００２９】
上記運転者状態把握システムによれば、前記運転者状態把握装置と、前記車両の運転席の足元周辺の状態を把握し、前記状態把握データを前記状態把握データ取得部に出力する状態把握部とを含んでシステムが構成される。これにより、自動運転中であっても前記運転者が前記ペダルの操作を迅速に引き継ぐことができる姿勢であるかどうかを正確に把握できるとともに、自動運転中に前記自動運転システムに故障が発生した場合等であっても、自動運転から手動運転への引き継ぎを迅速かつ円滑に行えるように適切に支援することができるシステムを構築することができる。なお、前記状態把握部は、前記運転者の足周辺の画像データを撮像するカメラでもよいし、前記運転席の足元周辺で前記運転者の足を検出するセンサでもよく、またこれらを組み合わせてもよい。
【００３０】
また本発明に係る運転者状態把握方法は、自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握方法であって、
前記車両の運転席の足元周辺の状態を把握する状態把握部から前記運転席の足元周辺の状態把握データを取得するステップと、
取得した前記状態把握データを状態把握データ記憶部に記憶させるステップと、
前記状態把握データ記憶部から前記状態把握データを読み出すステップと、
読み出した前記状態把握データを用いて前記運転者の足の状態を推定するステップと、
推定された前記運転者の足の状態の推定情報に基づいて、自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かを判定するステップと、を含んでいることを特徴としている。
【００３１】
上記運転者状態把握方法によれば、前記車両の運転席の足元周辺の状態把握データを用いて前記運転者の足の状態を推定し、該足の状態の推定情報に基づいて自動運転中に前記運転者が前記車両のペダルをすぐに操作できる状態にあるか否かを判定する。これにより、自動運転中であっても前記運転者が前記ペダルの操作を迅速に引き継ぐことができる姿勢であるかどうかを正確に把握できるとともに、自動運転中に前記自動運転システムに故障が発生した場合等であっても、自動運転から手動運転への引き継ぎ、特にペダル操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態（１）に係る運転者状態把握装置を含む自動運転システムの要部構成を示すブロック図である。
【図２】実施の形態（１）に係る運転者状態把握システムが搭載された車両の運転席周辺を示す側面図である。
【図３】実施の形態（１）に係る運転者状態把握装置のハードウェア構成を示すブロック図である。
【図４】実施の形態（１）に係る運転者状態把握装置の記憶部に記憶されている即応性判定テーブルの一例を説明するための図である。
【図５】実施の形態（１）に係る運転者状態把握装置における制御部の行う処理動作を示すフローチャートである。
【図６】実施の形態（２）に係る運転者状態把握装置を含む自動運転システムの要部構成を示すブロック図である。
【図７】実施の形態（２）に係る運転者状態把握システムが搭載された車両の運転席周辺を示す側面図である。
【図８】実施の形態（２）に係る運転者状態把握装置のハードウェア構成を示すブロック図である。
【図９】実施の形態（２）に係る運転者状態把握装置の記憶部に記憶されている即応性判定テーブルの一例を説明するための図である。
【図１０】実施の形態（２）に係る運転者状態把握装置における制御部の行う処理動作を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明に係る運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００３４】
図１は、実施の形態（１）に係る運転者状態把握装置２０を含む自動運転システム１の要部構成を示すブロック図である。
自動運転システム１は、運転者状態把握装置２０、状態把握部３０、ナビゲーション装置４０、自動運転制御装置５０、周辺監視センサ６０、音声出力部６１、及び表示部６２を含んで構成され、これら各部がバスライン７０で接続されている。
【００３５】
自動運転システム１は、車両の加速、操舵及び制動を含む走行制御のうち少なくとも一部をシステムが主体となって自動的に行う自動運転モードと、運転者が運転操作を行う手動運転モードとを備え、これらモードの切替が可能なシステムになっている。
【００３６】
本実施の形態における自動運転モードは、加速、操舵及び制動の全てを自動運転システム１が自動的に行い、自動運転システム１から要請があったときに運転者が対応するモード（いわゆるレベル３相当以上の自動化レベル）を想定しているが、本発明の適用はこの自動化レベルに限定されない。自動運転システム１が自動運転中に手動運転への引き継ぎを要請するときとは、例えば、システムの異常や故障の発生時、システムの機能限界時、自動運転区間の終了時などが含まれる。
【００３７】
運転者状態把握装置２０は、自動運転システム１を備えた車両の運転者の状態を把握するための装置であって、運転席の足元周辺の状態を把握して、運転者の足が自動運転中であってもすぐにペダル操作できる状態にあるか否かを判定することにより、自動運転システム１から手動運転への引き継ぎ要請があった場合に、運転者がすぐに手動運転、特にペダル操作を引き継ぐことができるように支援するための装置である。
【００３８】
運転者状態把握装置２０は、外部インターフェース（外部Ｉ／Ｆ）２１、制御部２２、及び記憶部２６を含んで構成されている。制御部２２は、Central Processing Unit（ＣＰＵ）２３、Random Access Memory（ＲＡＭ）２４、及びRead Only Memory（ＲＯＭ）２５を含んで構成されている。
【００３９】
記憶部２６は、フラッシュメモリ、ハードディスクドライブ、ソリッドステートドライブ、その他の不揮発性メモリや揮発性メモリなど、半導体素子によってデータを記憶する記憶装置を含んで構成されている。記憶部２６には、運転者状態把握装置２０で実行するプログラム２７などが記憶されている。なお、プログラム２７の一部または全部を制御部２２のＲＯＭ２５などに記憶させてもよい。
【００４０】
運転者の状態を把握する状態把握部３０は、車両の運転席の足元周辺を撮像するカメラ３１を含んで構成されている。カメラ３１は、図示しないレンズ部、撮像素子部、光照射部、入出力部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、ＣＣＤやＣＭＯＳなどの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記光照射部は、ＬＥＤなどの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどであってもよい。前記制御部は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭを含み、画像処理回路を含んで構成されていてもよい。前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。
【００４１】
図２は、実施の形態（１）に係る運転者状態把握システム１０が搭載された車両２の運転席周辺を示す側面図である。
カメラ３１の車室内での取付位置は、運転者４が着座している運転席３の足元周辺（ペダル６の周辺）を撮像できる位置であれば、特に限定されない。例えば、図２に示すようにハンドル５下のカバー部分でもよい。また、別の取付位置としては、図２に示すように天井部分Ａ、運転席の着座部前面部分Ｂ、ルームミラー近傍位置Ｃ、Ａピラー部分Ｄなどに設置してもよい。ペダル６は、ブレーキペダル、及びアクセルペダルの少なくともいずれかを含む。
【００４２】
カメラ３１の数は、１台でもよいし、２台以上であってもよい。カメラ３１は、運転者状態把握装置２０と別体（別筐体）で構成してもよいし、運転者状態把握装置２０と一体（同一筐体）で構成してもよい。また、カメラ３１の種類は特に限定されず、単眼カメラでもよいし、ステレオカメラや単眼３Ｄカメラなどでもよい。カメラ３１で撮像された画像データが運転者状態把握装置２０へ送出される。運転者状態把握装置２０と、状態把握部３０であるカメラ３１とを含んで運転者状態把握システム１０が構成されている。
【００４３】
図１に示すナビゲーション装置４０は、自車両の現在位置や該現在位置から目的地までの走行経路などの情報を運転者に案内するための装置であり、図示しない制御部、表示部、音声出力部、操作部、及び地図データ記憶部などを含んで構成されている。また、図示しないＧＰＳ受信機、ジャイロセンサ、車速センサなどからの信号を取得できるように構成されている。
【００４４】
ナビゲーション装置４０は、前記ＧＰＳ受信機などで計測された車両の位置情報と前記地図データ記憶部の地図情報とに基づいて、自車両が走行する道路や車線などの情報を割り出して、現在位置を前記表示部に表示する。また、ナビゲーション装置４０は、車両の現在位置から目的地までの経路などを演算し、該経路情報などを前記表示部へ表示し、前記音声出力部から経路案内などの音声出力を行う。
【００４５】
また、ナビゲーション装置４０で演算された車両の位置情報、走行道路の情報、及び走行予定経路の情報などが自動運転制御装置５０へ出力される。走行予定経路の情報には、自動運転区間の開始地点や終了地点の情報、自動運転から手動運転への引き継ぎ区間の情報など、自動運転と手動運転との切り替え制御に関連する情報が含まれていてもよい。
【００４６】
自動運転制御装置５０は、車両の自動運転に関する各種制御を実行する装置であり、図示しない制御部、記憶部、及び入出力部などを備えた電子制御ユニットで構成されている。自動運転制御装置５０は、図示しない操舵制御装置、動力源制御装置、制動制御装置、操舵センサ、アクセルペダルセンサ、プレーキペダルセンサなどにも接続されている。これら制御装置及びセンサも自動運転システム１の構成に含めてもよい。
【００４７】
自動運転制御装置５０は、自動運転システム１に含まれる各部から取得した情報に基づいて、自動運転を行う制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御、自動速度調整制御、自動ブレーキ制御など）を行い、また、自動運転モードと手動運転モードとの切替制御なども行う。
【００４８】
自動運転とは、運転席にいる運転者が運転操作をすることなく、自動運転制御装置５０の行う制御によって車両を道路に沿って自動で走行させることをいう。例えば、予め設定された目的地までのルート、車外の状況や地図情報に基づいて自動的に生成された走行ルートなどに従って、自動で車両を走行させる運転状態が含まれる。そして、自動運転制御装置５０は、予め定められた自動運転の解除条件を満たした場合、自動運転を終了（解除）してもよい。例えば、自動運転制御装置５０は、自動運転中の車両が予め定められた自動運転の終了地点に到達したと判定した場合に自動運転を終了する制御を行ってもよい。また、自動運転制御装置５０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。手動運転とは、運転者が運転操作を行う主体となって車両を走行させる運転である。
【００４９】
周辺監視センサ６０は、車両の周辺に存在する対象物を検出するセンサである。前記対象物には、車、自転車、人などの移動物体の他、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物などが含まれていてもよい。周辺監視センサ６０は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging（ＬＩＤＥＲ）、及び超音波センサのうち少なくとも１つを含む。周辺監視センサ６０で検出された対象物の検出データが自動運転制御装置５０などへ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。
【００５０】
音声出力部６１は、運転者状態把握装置２０からの指示に基づく各種の通知などを音や音声で出力する装置であり、スピーカなどを含んで構成されている。
表示部６２は、運転者状態把握装置２０などからの指示に基づく各種の通知や案内を文字や図形で表示したり、又はランプ等を点灯点滅表示したりする装置であり、各種のディスプレイや表示ランプなどを含んで構成されている。
【００５１】
図３は、実施の形態（１）に係る運転者状態把握装置２０のハードウェア構成を示したブロック図である。
運転者状態把握装置２０は、外部Ｉ／Ｆ２１、制御部２２、及び記憶部２６を含んで構成されている。外部Ｉ／Ｆ２１は、カメラ３１の他に、自動運転制御装置５０、周辺監視センサ６０、音声出力部６１、表示部６２など、自動運転システム１の各部と接続され、これら各部との間で信号の授受を行うためのインターフェース回路や接続コネクタなどで構成されている。
【００５２】
制御部２２は、状態把握データ取得部２２ａ、足状態推定部２２ｂ、及び即応性判定部２２ｃを含んで構成され、さらに通知処理部２２ｄを含んで構成してもよい。記憶部２６は、状態把握データ記憶部２６ａ、テンプレート画像記憶部２６ｂ、足状態推定方法記憶部２６ｃ、及び判定方法記憶部２６ｄを含んで構成されている。
【００５３】
状態把握データ記憶部２６ａには、状態把握データ取得部２２ａで取得されたカメラ３１の画像データが記憶される。
テンプレート画像記憶部２６ｂには、制御部２２の足状態推定部２２ｂで実行されるテンプレートマッチング処理に使用されるテンプレート画像が記憶されている。
【００５４】
テンプレート画像には、運転席に着座している運転者の様々な足の状態を示す画像が含まれている。ここでの運転者の足の状態としては、左右の各足と床面との位置関係、左右の各足とペダルとの位置関係、これら位置関係を組合せた異なる複数の状態を含めるとよい。さらに、左足と右足の位置関係から分かる状態を含めるとよい。例えば、両足がペダル付近（ペダルから所定範囲内）の床面にある状態の画像、一方の足がペダル付近で他方の足がペダルから離れた位置の床面にある状態の画像、足を組んだ状態で片足がペダル付近の床面にある状態の画像が含まれている。さらに、両足がペダルから大きく離れた位置（ペダルから所定範囲外）の床面にある状態の画像、足を組んだ状態で片足がペダルから大きく離れた位置の床面にある状態の画像、胡坐を組んで座っている状態の画像、両膝を立てて座っている状態の画像、足が全く写っていない状態（運転者がいない状態など）の画像などが含まれている。上記した両足がペダルから大きく離れた位置の床面にある状態には、膝を９０度以上屈曲している状態を含めてもよい。
【００５５】
足状態推定方法記憶部２６ｃには、制御部２２の足状態推定部２２ｂで実行される、テンプレートマッチング法で足状態を推定するプログラムなどが記憶されている。
判定方法記憶部２６ｄには、制御部２２の即応性判定部２２ｃで実行される、運転者がペダルをすぐに操作することができる状態にあるか否かを判定するためのプログラムや即応性判定テーブルなどが記憶されている。該即応性判定テーブルには、例えば、テンプレート画像の種類と、ペダル操作の即応性との関係を示すデータを用いることができる。
【００５６】
図４は、判定方法記憶部２６ｄに記憶されている即応性判定テーブルの一例を示している。即応性判定テーブルには、テンプレート画像記憶部２６ｂに記憶されている各テンプレート画像の種類と、ペダル操作の即応性との関係が記憶されている。ペダル操作の即応性とは、自動運転システム１が何らかの理由により動作しなくなり、自動運転を継続できなくなった場合に、運転手がアクセルペダル、又はブレーキペダルを操作することができる迅速性を指す。したがってペダル操作の即応性の高い状態とは、運転手がペダル操作をしようと思えば、すぐに操作可能であればよく、ペダルに足を載置している必要はない。ペダル操作の即応性は、各足と床面との位置関係、および各足とペダルとの位置関係とに基づいて、予め設定されてもよい。
【００５７】
図４に示す例では、両足がペダル付近の床面にある状態のテンプレート画像、一方の足がペダル付近で他方の足がペダルから離れた位置の床面にある状態のテンプレート画像、及び足を組んだ状態で片足がペダル付近の床面にある状態のテンプレート画像に対しては、ペダルの即応性が高いと関係付けられている。
一方、両足がペダルから大きく離れた位置の床面にある状態のテンプレート画像、足を組んだ状態で片足がペダルから大きく離れた位置の床面にある状態のテンプレート画像、胡坐を組んで座っている状態のテンプレート画像、両膝を立てて座っている状態のテンプレート画像、及び足が全く写っていない状態のテンプレート画像に対しては、ペダルの即応性が低いと関係付けられている。
【００５８】
また、少なくとも一方の足がペダル付近の床面にある場合は、ペダル操作の即応性が高いとしてもよい。また例えば、左右の足の位置関係が、左足が左にあり、右足が右にある場合は、より即応性が高いとしてもよい。この即応性判定テーブルを用いて、足状態推定部２２ｂで推定された足の状態（類似度の高いテンプレート画像）に対応するペダル操作の即応性を判定することが可能となっている。
【００５９】
制御部２２は、記憶部２６と協働して、記憶部２６に各種データを記憶する処理や記憶部２６に記憶された各種データや各種プログラムを読み出し、該プログラムをＣＰＵ２３で実行することで、状態把握データ取得部２２ａ、足状態推定部２２ｂ、即応性判定部２及び通知処理部２２ｄなどの働きを実現する装置である。
【００６０】
制御部２２を構成する状態把握データ取得部２２ａは、カメラ３１で撮像された運転席の足元周辺の画像を取得する処理を実行し、取得した画像を状態把握データ記憶部２６ａに記憶する処理を行う。取得する画像は、静止画であってもよいし、動画であってもよい。運転席の足元周辺の画像の取得は、例えば、運転者状態把握装置２０の起動後に所定の間隔で取得するようにすればよい。また、自動運転モードに切り替えられた後に取得できるようにしてもよい。
【００６１】
足状態推定部２２ｂは、状態把握データ記憶部２６ａから画像データを読み出し、テンプレート画像記憶部２６ｂから読み出したテンプレート画像、及び足状態推定方法記憶部２６ｃから読み出したプログラムに基づいて、画像データに対して所定の画像処理を施して、画像中における運転者の足の状態を推定する処理を行う。より具体的には、様々な足の状態を示すテンプレート画像と、カメラ３１で撮像された画像とのテンプレートマッチング処理を行い、これらテンプレート画像との類似度を算出し、該類似度の高いテンプレート画像を抽出して、運転者の足の状態を推定する。
【００６２】
即応性判定部２２ｃは、判定方法記憶部２６ｄから読み出したプログラムや即応性判定テーブルに基づいて、足状態推定部２２ｂで推定された運転者の足の状態に基づいて、運転者が車両のペダルをすぐに操作できる状態にあるか否かを判定する処理を行う。
【００６３】
通知処理部２２ｄは、即応性判定部２２ｃで運転者がペダルをすぐに操作できる状態にない（即応性が低い状態）と判定された場合、音声出力部６１や表示部６２に、ペダルをすぐに操作できる姿勢をとることを促す音声の出力や表示の出力を行うための通知処理を行う。通知処理は、推定された足の状態に応じた通知を行ってもよい。また通知処理部２２ｄは、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
【００６４】
図５は、実施の形態（１）に係る運転者状態把握装置２０における制御部２２の行う処理動作を示すフローチャートである。ここでは、自動運転システム１が自動運転モードに設定されている、すなわち車両が自動運転制御で走行している状態にあるとして説明する。本処理動作は、自動運転モード中において繰り返し実行される。
【００６５】
まず、ステップＳ１では、カメラ３１で撮像された運転席の足元周辺の画像データを取得する処理を行う。画像データは、カメラ３１から１つずつ取得してもよいし、複数又は一定時間分をまとめて取得してもよい。次のステップＳ２では、取得した画像データを状態把握データ記憶部２６ａに記憶する処理を行い、その後ステップＳ３に進む。
【００６６】
ステップＳ３では、状態把握データ記憶部２６ａに記憶された画像データを読み出し、その後ステップＳ４に進む。画像データは、状態把握データ記憶部２６ａから１つずつ読み出してもよいし、複数又は一定時間分をまとめて読み出してもよい。ステップＳ４では、テンプレート画像記憶部２６ｂからテンプレート画像を読み出すとともに、足状態推定方法記憶部２６ｃから運転者の足状態を推定するためのプログラムなどを読み出し、その後ステップＳ５に進む。
【００６７】
ステップＳ５では、読み出した画像データに対して、様々な足の状態を示すテンプレート画像を１つずつ移動させながら、テンプレート画像と重なる部分の類似度などを演算するテンプレートマッチング処理を実行し、ステップＳ６に進む。テンプレートマッチング処理には、公知の各種画像処理の手法を用いることができる。
【００６８】
ステップＳ６では、類似度が高い結果が得られたテンプレート画像を判定し、ステップＳ７に進む。ステップＳ７では、判定方法記憶部２６ｄから図４で説明した即応性判定テーブルを読み出し、ステップＳ８に進む。ステップＳ８では、即応性判定テーブルの中から前記類似度が高いテンプレート画像の種類に対応付けられている即応性を判定する。例えば、ステップＳ６で類似度が高いと判定されたテンプレート画像の種類が、両足がペダル付近の床面にある状態の画像である場合は、即応性が高いと判定される。また、ステップＳ６で類似度が高いと判定されたテンプレート画像の種類が、胡坐をかいている状態の画像である場合は、即応性が低いと判定される。
【００６９】
次のステップＳ９では、即応性が高い状態にあるか否かを判定し、即応性が高い状態、すなわち、運転者がすぐにペダルを操作できる状態にあると判断すれば、その後処理を終える。なお、ステップＳ９では、ステップＳ８における即応性が高いとの判定結果が、一定時間継続して検出された場合に、即応性が高い状態であると判定してもよい。また、別の実施の形態では、足の姿勢が適切であることを運転者に知らせるための通知処理、例えば、表示部６２に適正姿勢通知ランプを設け、該適正姿勢通知ランプを点灯するようにしてもよい。また、自動運転制御装置５０に対して、運転者の足の姿勢が適切であること、すなわち、自動運転を継続するのに適した状態であることを通知する信号を出力してもよい。
【００７０】
一方ステップＳ９において、即応性が高い状態でない、すなわち即応性が低い状態にあると判断すれば、ステップＳ１０に進む。なお、ステップＳ９では、ステップＳ８における即応性が低いとの判定結果が、一定時間継続して検出された場合に、即応性が低い状態であると判定してもよい。
【００７１】
ステップＳ１０では、運転者に適切な足の姿勢をとることを促すための通知処理を行う。通知処理としては、音声出力部６１から所定の音声を出力する処理を行ってもよいし、表示部６２に所定の表示を行う処理を行ってもよい。また、運転者の足の状態に応じた通知を行ってもよい。例えば、運転者の足の状態が胡坐をかいている状態である場合は、「両足をペダル付近に下ろしてください。」といった音声を出力してもよい。また、ステップＳ１０では、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
【００７２】
上記実施の形態（１）に係る運転者状態把握システム１０によれば、運転者状態把握装置２０と、車両の運転席の足元周辺の画像を撮像するカメラ３１とによりシステムが構成されている。また、運転者状態把握装置２０によれば、足状態推定部２２ｂにより、カメラ３１で撮像された運転席の足元周辺の画像データと、テンプレート画像記憶部２６ｂから読み出したテンプレート画像とを用いたテンプレートマッチングにより運転者の足の状態が推定される。そして即応性判定部２２ｃにより、前記足の状態の推定情報に基づいて、自動運転中に運転者が車両のブレーキペダルやアクセルペダルをすぐに操作できる状態にあるか否かが判定される。
【００７３】
これにより、自動運転中であっても運転者がペダルの操作を迅速に引き継ぐことができる姿勢であるかどうかを正確に把握できるとともに、自動運転中に自動運転システム１の故障等が発生した場合であっても、自動運転から手動運転への引き継ぎ、特にペダル操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。
【００７４】
また、運転者状態把握装置２０によれば、即応性判定部２２ｃにより運転者が車両のペダルをすぐに操作できる状態にない、すなわちペダル操作の即応性が低いと判定された場合、通知処理部２２ｄにより運転者に適切な足の姿勢をとることを促すための通知処理が行われる。これにより、自動運転中であってもペダルをすぐに操作できる姿勢を保つように、運転者に姿勢の適正化を促すことが可能となる。
【００７５】
なお、実施の形態（１）に係る運転者状態把握装置２０では、足状態推定部２２ｂにより運転者の足の状態を推定する画像処理方法として、テンプレートマッチング法を用いたが、運転者の足の状態を推定する画像処理方法は、これに限定されるものではない。
別の実施の形態では、運転席に運転者が着座していない状態の運転席足元の背景画像を記憶部２６に記憶させておき、該背景画像と、カメラ３１で撮像された画像との差分から運転者の足を抽出し、運転者の足の状態を検出する背景差分法を用いてもよい。
【００７６】
また、運転席に様々な足の姿勢で着座している運転者の足部分を含む画像を学習器で予め機械学習させたモデルを記憶しておき、該学習モデルを用いて、カメラ３１で撮像された画像中の各画素の意味をラベル付けし、運転者の領域を認識して、運転者の足部分を抽出し、運転者の足を検出するセマンティックセグメンテーション法を用いてもよい。
また、カメラ３１に単眼３Ｄカメラを用いた場合は、該単眼３Ｄカメラで検出された運転者の各部位の検出位置や姿勢などの取得情報を用いて運転者の足の状態を検出するようにしてもよい。
【００７７】
また、足の状態の検出には、左右の足のそれぞれについて、少なくとも足が床面にあるか否か検出してもよい。また、足の状態の検出には、足とペダルとの距離を所定の閾値と比較することで、足がペダル付近にあるか否かを検出してもよい。
【００７８】
図６は、実施の形態（２）に係る運転者状態把握装置２０Ａを含む自動運転システム１の要部構成を示すブロック図である。図１に示した自動運転システム１と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
実施の形態（１）に係る運転者状態把握システム１０では、状態把握部３０にカメラ３１が使用されていたが、実施の形態（２）に係る運転者状態把握システム１０Ａでは、状態把握部３０Ａにセンサ３２が使用されている点が大きく相違している。
【００７９】
図７は、実施の形態（２）に係る運転者状態把握システム１０Ａが搭載された車両２の運転席周辺を示す側面図である。
センサ３２は、車両２の運転席３の足元に設けられ、運転者４の足を検出するための装置である。センサ３２には、光電センサなどの物体検出センサが採用され得る。前記光電センサは、投光部を備えた投光器と、受光部を備えた受光器とを備えた透過型の光電センサでもよい。また、投光部と受光部とを備えたセンサ本体と、投光部からの光を反射する回帰反射板とを備えた回帰反射型の光電センサでもよいし、投光部と受光部とを備えた拡散反射型の光電センサでもよい。また、投光部と位置検出用受光部とを備えた距離測定型の光電センサでもよい。前記位置検出用受光部には、位置検出素子や２分割ダイオードなどを用いてもよく、これにより三角測距の原理を用いて検出物体までの距離を検出できる。
【００８０】
センサ３２の数は、特に限定されないが、運転者４の左右の足の位置をそれぞれ検出することができるように、複数のセンサ３２を用いることが好ましい。
センサ３２の取付位置も特に限定されないが、運転者４の左右の足の位置をそれぞれ検出することができるように、運転席３の足元周辺、例えば、ペダルの奥側部分、運転席３の着座部前面部分、ハンドル下のカバー部分などに配置することが好ましい。センサ３２で検出された足検出データが運転者状態把握装置２０Ａへ送出される。運転者状態把握装置２０Ａと、状態把握部３０Ａであるセンサ３２とを含んで運転者状態把握システム１０Ａが構成されている。
【００８１】
図８は、実施の形態（２）に係る運転者状態把握装置２０Ａのハードウェア構成を示すブロック図である。なお、図３に示した運転者状態把握装置２０と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
【００８２】
実施の形態（２）に係る運転者状態把握装置２０Ａが、実施の形態（１）に係る運転者状態把握装置２０と相違する点は、制御部２２Ａが、センサ３２で検出されたデータに基づいて足状態推定処理、即応性判定処理、及び通知処理を行う点である。
【００８３】
制御部２２Ａは、状態把握データ取得部２２ｅ、足状態推定部２２ｆ、即応性判定部２２ｇ、情報取得部２２ｈ、及び通知処理部２２ｉを含んで構成されている。記憶部２６Ａは、状態把握データ記憶部２６ｅ、足状態推定方法記憶部２６ｆ、及び判定方法記憶部２６ｇを含んで構成されている。
【００８４】
状態把握データ記憶部２６ｅには、状態把握データ取得部２２ｅで取得されたセンサ３２の足検出データが記憶される。
足状態推定方法記憶部２６ｆには、制御部２２Ａの足状態推定部２２ｆで実行される、センサ３２の足検出データに基づいて足の状態を推定するプログラムなどが記憶されている。
判定方法記憶部２６ｇには、制御部２２Ａの即応性判定部２２ｇで実行される、運転者がペダルをすぐに操作することができる状態にあるか否かを判定するためのプログラムや即応性判定テーブルなどが記憶されている。前記即応性判定テーブルには、例えば、足の検出位置と、ペダル操作の即応性との関係を示すデータを用いることができる。
【００８５】
図９に、判定方法記憶部２６ｇに記憶されている即応性判定テーブルの一例を示している。運転者の足の検出位置と、ペダル操作の即応性とが関係付けられて記憶されている。図９に示す例では、両足をペダル付近で検出した場合、一方の足をペダル付近で検出し、他方の足をペダルから離れた位置で検出した場合、一方の足のみペダル付近で検出した場合、ペダルの即応性が高いと関係付けられている。
また、両足をペダルから離れた位置で検出した場合、一方の足のみペダルから離れた位置で検出した場合、足が未検出の場合、ペダルの即応性が低いと関係付けられている。この即応性判定テーブルを用いて、足状態推定部２２ｆで推定された足の状態（足の検出位置）に対応するペダル操作の即応性を判定することが可能となっている。
【００８６】
制御部２２を構成する状態把握データ取得部２２ｅは、センサ３２で検出された運転者の足検出データを取得する処理を実行し、取得した足検出データを状態把握データ記憶部２６ｅに記憶する処理を行う。センサ３２からの足検出データは、例えば、運転者状態把握装置２０Ａの起動後に取得できるようにしてもよく、また、自動運転モードに切り替えられた後に取得できるようにしてもよい。
【００８７】
足状態推定部２２ｆは、状態把握データ記憶部２６ｅから足検出データを読み出し、足状態推定方法記憶部２６ｆから読み出したプログラムに基づいて、運転者の足の状態を推定する処理を行う。より具体的には、足を検出したセンサ３２の位置や、足を検出したセンサ３２の数などのデータに基づいて、運転者の足の位置を推定する。
【００８８】
即応性判定部２２ｇは、判定方法記憶部２６ｇから読み出したプログラムや即応性判定テーブルに基づいて、足状態推定部２２ｆで推定された運転者の足の状態に基づいて、運転者が車両のペダルをすぐに操作できる状態にあるか否かを判定する処理を行う。
【００８９】
情報取得部２２ｈは、自動運転システム１の各部から自動運転中の情報を取得する。該自動運転中の情報には、周辺監視センサ６０で検出される車両周囲の監視情報、及び自動運転制御装置５０から送出される自動運転から手動運転への引き継ぎ要請情報のうちの少なくともいずれかが含まれている。
【００９０】
通知処理部２２ｉは、即応性判定部２２ｇで運転者がペダルをすぐに操作できる状態にない（即応性が低い状態）と判定された場合に、情報取得部２２ｈで取得した自動運転中の情報に応じて、音声出力部６１や表示部６２に、ペダルをすぐに操作できる姿勢をとることを促すための音声出力や表示出力を行う処理を行う。また通知処理部２２ｉは、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
【００９１】
図１０は、実施の形態（２）に係る運転者状態把握装置２０Ａにおける制御部２２Ａの行う処理動作を示すフローチャートである。
まず、ステップＳ１１では、センサ３２で検出された運転者の足検出データを取得する処理を行い、次のステップＳ１２では、取得した足検出データを状態把握データ記憶部２６ｅに記憶する処理を行い、次のステップＳ１３では、状態把握データ記憶部２６ｅから足検出データを読み出し、ステップＳ１４に進む。
【００９２】
ステップＳ１４では、読み出した足検出データから運転者の足の位置を推定する処理を行い、その後ステップＳ１５に進む。ステップＳ１４で実行する、運転者の足位置を推定する処理は、足検出データを検出したセンサ３２の位置などの情報から足の位置を推定する。
【００９３】
ステップＳ１５では、判定方法記憶部２６ｇから図９で説明した即応性判定テーブルを読み出し、ステップＳ１６に進む。ステップＳ１６では、即応性判定テーブルの中から前記推定された運転者の足の位置に対応付けられた即応性を判定する。
例えば、ステップＳ１４で推定された足の位置が、両足をペダル付近で検出した場合は、即応性が高いと判定される。また、ステップＳ１４で推定された足の位置が、一方の足のみペダルから離れた位置で検出した場合は、即応性が低いと判定される。
【００９４】
次のステップＳ１７では、即応性が高い状態か否かを判定し、即応性が高い状態、すなわち、運転者がすぐにペダルを操作できる状態にあると判断すれば、その後処理を終える。なお、ステップＳ１７では、ステップＳ１６における即応性が高いとの判定結果が、一定時間継続して検出された場合に、即応性が高い状態であると判定してもよい。また、別の実施の形態では、足の姿勢が適切であることを運転者に知らせるための通知処理、例えば、表示部６２に適正姿勢通知ランプを設け、該適正姿勢通知ランプを点灯するようにしてもよい。また、自動運転制御装置５０に対して、運転者の足の姿勢が適切であること、すなわち、自動運転を継続するのに適した状態であることを通知する信号を出力してもよい。
【００９５】
一方ステップＳ１７において、即応性が高い状態でない、すなわち即応性が低い状態であると判断すればステップＳ１８に進む。なお、ステップＳ１７では、ステップ１６における即応性が低いとの判定結果が、一定時間継続して検出された場合に、即応性が低い状態であると判定してもよい。
【００９６】
ステップＳ１８では、自動運転システム１から情報を取得して、ステップＳ１９に進む。前記情報には、周辺監視センサ６０で検出された周辺監視情報や自動運転制御装置５０から出力される手動運転への引き継ぎ要請情報が含まれる。該引き継ぎ要請情報には、例えば、システムの異常（故障）発生信号、システムの機能限界信号、または引き継ぎ区間への進入信号などが含まれる。
【００９７】
ステップＳ１９では、周辺監視センサ６０から取得した周辺監視情報に基づいて、車両周囲が安全な状態であるか否かを判断する。ステップＳ１９において、車両周囲が安全な状態ではない、例えば、車両の周囲（前方、側方、及び後方のいずれか）の一定範囲内に他車両、人、その他障害物を検出した情報、他の車両が急接近してきた情報、細い道の急カーブなど、システムの機能限界が想定される道路を走行する情報などを取得したと判断すれば、ステップＳ２１の重度の通知処理に進む。ステップＳ２１では、すぐにペダルを操作することができる姿勢を速やかにとるように音声や表示による重度の通知処理を行い、その後処理を終える。重度の通知処理では、表示と音声とを組み合わせた通知を行うことが好ましい。また、運転席等への振動付与など、表示や音声以外による通知を組み合わせてもよい。また、ステップＳ２１では、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
【００９８】
一方ステップＳ１９において、車両周囲が安全な状態であると判断すればステップＳ２０に進む。ステップＳ２０では、自動運転制御装置５０から手動運転への引き継ぎ要請情報を取得したか、すなわち、引き継ぎ要請があったか否かを判断する。ステップＳ２０において、引き継ぎ要請がなかったと判断すれば、ステップＳ２２の軽度の通知処理に進む。ステップＳ２２では、ペダルを操作することができる姿勢をとるように軽度の通知処理を行い、その後処理を終える。軽度の通知処理では、表示のみの通知など、運転者にとってやさしい通知を行うことが、自動運転と運転者との調和を図る上で好ましい。
【００９９】
一方ステップＳ２０において、引き継ぎ要請があったと判断すれば、ステップＳ２３に進む。ステップＳ２３では、直ちにハンドルを把持して運転を引き継ぐように音声や表示による引継の通知を行い、その処理を終える。
【０１００】
上記実施の形態（２）に係る運転者状態把握システム１０Ａによれば、運転者状態把握装置２０Ａと、車両の運転席の足元に設けられたセンサ３２とによりシステムが構成されている。また、運転者状態把握装置２０Ａによれば、足状態推定部２２ｆにより、センサ３２で検出された運転者の足の検出データに基づき、運転者の足の位置が推定される。そして即応性判定部２２ｇにより、前記足の位置の推定情報に基づいて、自動運転中に運転者が車両のブレーキペダルやアクセルペダルをすぐに操作できる状態にあるか否かが判定される。
【０１０１】
これにより、自動運転中であっても運転者がペダルの操作を迅速に引き継ぐことができる姿勢であるかどうかを正確に把握できるとともに、自動運転中に自動運転システム１の故障等が発生した場合であっても、自動運転から手動運転への引き継ぎ、特にペダル操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。
【０１０２】
また、運転者状態把握装置２０Ａによれば、通知処理部２２ｉにより、情報取得部２２ｈで取得した自動運転中の情報に応じて運転者に通知処理が行われる。車両周囲が安全な状態ではないことを示す周辺監視情報を取得した場合は、通知処理部２２ｉで行う通知のレベルを上げて、ペダルの操作をすぐに引き継ぐことができる姿勢をとるように、重度の通知により強い注意を促すことができる。また、車両周囲が安全であり、引き継ぎ要請もない状態のときは、軽度の通知により、運転者に姿勢の適正化をやさしく促すことができる。また、引き継ぎ要請があった場合は、すぐに引き継ぎ体勢をとるように運転者に通知を行うことが可能となる。
これにより、自動運転システム１の状況に応じて、運転者に必要以上に多様な通知を行う必要がなくなり、該通知に必要な電力や処理を低減することができる。また、システムの故障発生時や動作限界時、又は手動運転への引き継ぎ要請時などにおいて、運転者がペダルを操作して運転操作の引き継ぎが完了するまでの時間を短くすることができ、自動運転システム１の状況に応じた、運転者にもやさしい、適切な通知を行うことが可能となる。
【０１０３】
なお、実施の形態（１）に係る運転者状態把握装置２０に、情報取得部２２ｈを設け、図５のステップＳ１０に代えて、図１０のステップＳ１８〜Ｓ２３と同様の処理、すなわち、情報取得部２２ｈで取得した自動運転中の情報に応じて運転者に通知処理を行うようにしてもよい。
【符号の説明】
【０１０４】
１  自動運転システム
１０、１０Ａ  運転者状態把握システム
２０、２０Ａ  運転者状態把握装置
２１  外部Ｉ／Ｆ
２２、２２Ａ  制御部
２２ａ、２２ｅ  状態把握データ取得部
２２ｂ、２２ｆ  足状態推定部
２２ｃ、２２ｇ  即応性判定部
２２ｄ、２２ｉ  通知処理部
２２ｈ  情報取得部
２３  ＣＰＵ
２４  ＲＡＭ
２５  ＲＯＭ
２６、２６Ａ  記憶部
２６ａ、２６ｅ  状態把握データ記憶部
２６ｂ  テンプレート画像記憶部
２６ｃ、２６ｆ  足状態推定方法記憶部
２６ｄ、２６ｇ  判定方法記憶部
２７  プログラム
３０、３０Ａ  状態把握部
３１  カメラ
３２  センサ
４０  ナビゲーション装置
５０  自動運転制御装置
６０  周辺監視センサ
６１  音声出力部
６２  表示部
【図１】
2019034575.tif 000003
【図２】
2019034575.tif 000004
【図３】
2019034575.tif 000005
【図４】
2019034575.tif 000006
【図５】
2019034575.tif 000007
【図６】
2019034575.tif 000008
【図７】
2019034575.tif 000009
【図８】
2019034575.tif 000010
【図９】
2019034575.tif 000011
【図１０】
2019034575.tif 000012