(57)【要約】【課題】自動運転中であっても運転者が運転操作、特にハンドル操作を迅速に引き継ぐことができるように運転者の姿勢を正確に把握することができる運転者状態把握装置を提供すること。【解決手段】自動運転システム１を備えた車両の運転者の状態を把握する運転者状態把握装置２０であって、運転者の上半身の状態把握データを取得する状態把握データ取得部２２ａと、状態把握データ取得部２２ａで取得した状態把握データを用いて運転者の肩を検出する肩検出部２２ｂと、肩検出部２２ｂの検出情報に基づいて、自動運転中に運転者が車両のハンドルをすぐに把持できる状態にあるか否かを判定する即応性判定部２２ｃとを装備する。【選択図】図３
2019034574.tif 000002
【特許請求の範囲】
【請求項１】
自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握装置であって、
前記運転者の上半身の状態把握データを取得する状態把握データ取得部と、
該状態把握データ取得部で取得した前記状態把握データを用いて前記運転者の肩を検出する肩検出部と、
該肩検出部の検出情報に基づいて、自動運転中に前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定する即応性判定部と
を備えていることを特徴とする運転者状態把握装置。
【請求項２】
前記車両のハンドルをすぐに把持できる状態が、予め定められた正常運転姿勢に基づいて定められていることを特徴とする
請求項１記載の運転者状態把握装置。
【請求項３】
前記即応性判定部が、
前記肩検出部の検出情報に基づいて、前記運転者の肩と前記車両のハンドルとの距離を推定する距離推定部を備え、
該距離推定部で推定された前記距離に基づいて、前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定するものであることを特徴とする
請求項１又は請求項２記載の運転者状態把握装置。
【請求項４】
前記状態把握データが、前記車両に設けられたカメラで撮像された前記運転者の上半身の画像データを含み、
前記距離推定部が、
前記肩検出部で検出された画像中の前記運転者の肩の位置と、前記カメラの仕様及び位置姿勢とを含む情報を用いて、三角測量の原理に基づき前記距離を演算して推定するものであることを特徴とする
請求項３記載の運転者状態把握装置。
【請求項５】
前記距離推定部が、
前記車両のハンドル上に設けた原点が、前記カメラと前記運転者の肩とを結ぶ線分を斜辺とする直角三角形の直角の頂点にあり、
前記カメラの仕様には、該カメラの画角α、幅方向の画素数Ｗｉｄｔｈの情報が含まれ、
前記カメラの位置姿勢には、該カメラの取付角度θ、前記カメラから前記原点までの距離Ｄ１の情報が含まれ、
前記画像中の前記運転者の肩の位置をＸとした場合に、
前記原点と前記運転者の肩とを結ぶ線分と、前記カメラと前記運転者の肩とを結ぶ線分とのなす角φを、式１：φ＝θ＋α／２−α×Ｘ／Ｗｉｄｔｈで演算し、
前記運転者の肩と前記車両のハンドルとの距離Ｄを、式２：Ｄ＝Ｄ１／ｔａｎφで演算して推定するものであることを特徴とする
請求項４記載の運転者状態把握装置。
【請求項６】
前記即応性判定部が、
前記肩検出部の検出情報に基づいて、前記運転者の肩の位置を推定し、推定された前記運転者の肩の位置に基づいて、前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定するものであることを特徴とする
請求項１又は請求項２記載の運転者状態把握装置。
【請求項７】
前記即応性判定部により、前記運転者が前記車両のハンドルをすぐに把持できる状態にないと判定された場合、前記運転者に姿勢の適正化を促すための通知処理を行う通知処理部を備えていることを特徴とする
請求項１〜６のいずれかの項に記載の運転者状態把握装置。
【請求項８】
前記自動運転システムから自動運転中の情報を取得する情報取得部を備え、
前記通知処理部が、
前記情報取得部で取得した前記自動運転中の情報に応じて前記運転者に姿勢の適正化を促すための通知処理を行うものであることを特徴とする
請求項７記載の運転者状態把握装置。
【請求項９】
前記自動運転中の情報は、前記車両周囲の監視情報、及び自動運転から手動運転への引き継ぎ要請情報のうちの少なくともいずれかを含むことを特徴とする
請求項８記載の運転者状態把握装置。
【請求項１０】
請求項１〜９のいずれかの項に記載の運転者状態把握装置と、
前記状態把握データを前記運転者状態把握装置に出力する状態把握部と
を備えていることを特徴とする運転者状態把握システム。
【請求項１１】
自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握方法であって、
前記運転者の状態を把握する状態把握部から前記運転者の上半身の状態把握データを取得するステップと、
取得した前記状態把握データを状態把握データ記憶部に記憶させるステップと、
前記状態把握データ記憶部から前記状態把握データを読み出すステップと、
読み出した前記状態把握データを用いて前記運転者の肩を検出するステップと、
検出された前記運転者の肩の検出情報に基づいて、自動運転中に前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定するステップと、
を含んでいることを特徴とする運転者状態把握方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法に関し、より詳細には、自動運転が可能な車両の運転者の状態を把握する運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法に関する。
【背景技術】
【０００２】
近年、車両の自動運転技術の開発がさかんに進められている。自動運転システムが搭載された車両の運転者は、例えば、自動運転システムに異常や故障が発生した場合、自動運転システムが動作限界に達した場合、又は自動運転制御が終了する場合などにおいて運転操作を円滑に引き継ぐことができるように、自動運転中であっても自動運転システムを監視しておく必要がある。
【０００３】
例えば、下記の特許文献１には、車室内に設置されたカメラで撮影された運転者の画像から運転者の視線やまぶたの開度などの眠気情報を検出し、該眠気情報から実集中度を演算し、該実集中度が要求集中度よりも低い場合、例えば、運転者が眠気を催して集中度が低下している場合に、オートクルーズ制御による走行速度を低下させる技術が開示されている。
【０００４】
［発明が解決しようとする課題］
上記のように運転者が眠気を催して自動運転中に居眠りをした場合、運転者が責任をもって自動運転システムを監視することができない状態になる。運転者が責任をもって自動運転システムを監視することができない状態には、前記居眠りをした状態の他にも様々な状態が考えられる。一方、運転者が責任をもって自動運転システムを監視しているかどうかを判定するには、自動運転中であっても運転者が運転操作をすぐに引き継ぐことができる姿勢をとっているか否かを把握しておくことも重要である。ところが特許文献１に記載されている運転者の眠気情報を用いる監視方法では、運転者の姿勢は適切に把握できないという課題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４３３３７９７号公報
【発明の概要】
【課題を解決するための手段及びその効果】
【０００６】
本発明は上記課題に鑑みなされたものであって、自動運転中であっても運転者が運転操作、特にハンドル操作を迅速に引き継ぐことができるように運転者の姿勢を正確に把握することができる運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法を提供することを目的としている。
【０００７】
上記目的を達成するために本発明に係る運転者状態把握装置は、自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握装置であって、
前記運転者の上半身の状態把握データを取得する状態把握データ取得部と、
該状態把握データ取得部で取得した前記状態把握データを用いて前記運転者の肩を検出する肩検出部と、
該肩検出部の検出情報に基づいて、自動運転中に前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定する即応性判定部とを備えていることを特徴としている。
【０００８】
運転者が車両のハンドルを適切な姿勢で把持しようとした場合、前記運転者の肩と前記ハンドルとは略対面した状態になる。したがって、前記運転者の肩の状態を把握することにより前記運転者が前記ハンドルをすぐに把持できる状態にあるか否かを判定することが可能になる。
【０００９】
上記運転者状態把握装置によれば、前記運転者の上半身の状態把握データから前記運転者の肩が検出され、該肩の検出情報に基づいて、自動運転中に前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かが判定されるので、該判定までの処理を効率よく実行することができる。さらに、自動運転中であっても前記運転者が前記ハンドルの操作を迅速に引き継ぐことができる姿勢であるかどうかを正確に把握できるとともに、自動運転中に前記自動運転システムに故障が発生した場合等であっても、自動運転から手動運転への引き継ぎ、特にハンドル操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。
【００１０】
前記状態把握データ取得部で取得する前記状態把握データは、前記車両に設けられたカメラで撮像される前記運転者の画像データでもよいし、前記車両に設けられたセンサで検出される前記運転者の検出データでもよい。前記状態把握データとして前記カメラの画像データや前記センサの検出データを取得してこれらのデータ処理を行うことで、前記状態把握データから前記運転者の肩の位置や姿勢などの状態を検出することが可能となる。
【００１１】
また本発明に係る運転者状態把握装置は、前記車両のハンドルをすぐに把持できる状態が、予め定められた正常運転姿勢に基づいて定められていてもよい。
【００１２】
上記運転者状態把握装置によれば、前記車両のハンドルをすぐに把持できる状態が、予め定められた正常運転姿勢に基づいて定められているので、前記即応性判定部における判定処理の負荷を軽減できるとともに、正確な判定を行うことができる。
【００１３】
また本発明に係る運転者状態把握装置は、前記即応性判定部が、前記肩検出部の検出情報に基づいて、前記運転者の肩と前記車両のハンドルとの距離を推定する距離推定部を備え、該距離推定部で推定された前記距離に基づいて、前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定してもよい。
【００１４】
上記運転者状態把握装置によれば、前記肩検出部の検出情報に基づいて、前記運転者の肩と前記車両のハンドルとの距離が推定され、推定された前記距離に基づいて、前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かが判定される。人間の腕の長さは性別や身長などによって異なるものの中間値からの個人差はそれ程大きいとはいえない。そのため前記運転者の肩と前記ハンドルとの距離が、例えば、人間の腕の長さの個人差や前記ハンドルを把持する適正姿勢などを考慮した一定範囲内にあるか否かを判定することにより、前記運転者が前記ハンドルをすぐに把持できる状態にあるか否かを的確に判定することが可能となる。
【００１５】
また本発明に係る運転者状態把握装置は、前記状態把握データが、前記車両に設けられたカメラで撮像された前記運転者の上半身の画像データを含み、
前記距離推定部が、
前記肩検出部で検出された画像中の前記運転者の肩の位置と、前記カメラの仕様及び位置姿勢とを含む情報を用いて、三角測量の原理に基づき前記距離を演算して推定するものであってもよい。
【００１６】
上記運転者状態把握装置によれば、前記運転者の肩と前記車両のハンドルとの距離を前記三角測量の原理に基づいた演算により精度良く推定することができ、前記即応性判定部での判定精度を高めることができる。
【００１７】
また本発明に係る運転者状態把握装置は、前記距離推定部が、
前記車両のハンドル上に設けた原点が、前記カメラと前記運転者の肩とを結ぶ線分を斜辺とする直角三角形の直角の頂点にあり、
前記カメラの仕様には、該カメラの画角α、幅方向の画素数Ｗｉｄｔｈの情報が含まれ、
前記カメラの位置姿勢には、該カメラの取付角度θ、前記カメラから前記原点までの距離Ｄ１の情報が含まれ、
前記画像中の前記運転者の肩の位置をＸとした場合に、
前記原点と前記運転者の肩とを結ぶ線分と、前記カメラと前記運転者の肩とを結ぶ線分とのなす角φを、式１：φ＝θ＋α／２−α×Ｘ／Ｗｉｄｔｈで演算し、
前記運転者の肩と前記車両のハンドルとの距離Ｄを、式２：Ｄ＝Ｄ１／ｔａｎφで演算して推定するものであってもよい。
【００１８】
上記運転者状態把握装置によれば、前記運転者の肩と前記車両のハンドルとの距離を簡単な演算処理で精度良く推定することができ、前記即応性判定部での判定処理にかかる負荷を軽減することができる。
【００１９】
また本発明に係る運転者状態把握装置は、前記即応性判定部が、前記肩検出部の検出情報を用いて、前記運転者の肩の位置を推定し、推定された前記運転者の肩の位置に基づいて、前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定してもよい。
【００２０】
上記運転者状態把握装置によれば、前記肩検出部の検出情報を用いて、前記運転者の肩の位置が推定され、推定された前記運転者の肩の位置に基づいて、前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かが判定される。前記運転者が前記車両のハンドルを適切な姿勢で把持しようとした場合、前記運転者は前記ハンドルと略対面した状態になる。そのため、前記車両のハンドルをすぐに把持できる状態では、前記運転者の肩の位置の個人差はそれ程大きいとはいえない。そのため、前記運転者の肩の位置を推定し、該推定した肩の位置が所定の条件を満たしているか否かを判定する、例えば、前記状態把握データにより把握される領域のうちの一定の領域内に前記運転者の肩が検出されたか否かを判定することにより、前記運転者が前記ハンドルをすぐに把持できる状態にあるか否かを的確に判定することが可能となる。
【００２１】
また本発明に係る運転者状態把握装置は、前記即応性判定部により、前記運転者が前記車両のハンドルをすぐに把持できる状態にないと判定された場合、前記運転者に姿勢の適正化を促すための通知処理を行う通知処理部を備えてもよい。
【００２２】
上記運転者状態把握装置によれば、前記運転者が前記車両のハンドルをすぐに把持できる状態にないと判定された場合、前記運転者に姿勢の適正化を促すための通知処理が行われる。これにより、自動運転中であっても前記ハンドルをすぐに把持できる姿勢を保つように、前記運転者に姿勢の適正化を速やかに促すことが可能となる。
【００２３】
また本発明に係る運転者状態把握装置は、前記自動運転システムから自動運転中の情報を取得する情報取得部を備え、
前記通知処理部が、
前記情報取得部で取得した前記自動運転中の情報に応じて前記運転者に姿勢の適正化を促すための通知処理を行ってもよい。
【００２４】
上記運転者状態把握装置によれば、前記情報取得部で取得した前記自動運転中の情報に応じて前記運転者に姿勢の適正化を促すための通知処理が行われる。これにより、前記自動運転システムの状況に応じて、運転者に必要以上に多様な通知を行う必要がなくなり、通知に必要な電力・処理を低減することができる。
【００２５】
また本発明に係る運転者状態把握装置は、前記自動運転中の情報は、前記車両周囲の監視情報、及び自動運転から手動運転への引き継ぎ要請情報のうちの少なくともいずれかを含んでもよい。
【００２６】
上記運転者状態把握装置によれば、前記自動運転中の情報に前記車両周囲の監視情報が含まれている場合、前記車両周囲の監視情報に応じて前記運転者に姿勢の適正化を促すための通知を行うことができる。また、前記自動運転中の情報に前記自動運転から手動運転への引き継ぎ要請情報が含まれている場合、前記自動運転から手動運転への引き継ぎ要請情報に応じて前記運転者に姿勢の適正化を促すための通知を行うことができる。
【００２７】
また本発明に係る運転者状態把握システムは、上記運転者状態把握装置のいずれかと、前記状態把握データを前記運転者状態把握装置に出力する状態把握部とを備えていてもよい。
【００２８】
上記運転者状態把握システムによれば、前記運転者状態把握装置と、前記状態把握データを前記運転者状態把握装置に出力する状態把握部とによりシステムが構成される。これにより、自動運転中であっても前記運転者が前記ハンドルの操作を迅速に引き継ぐことができる姿勢であるかどうかを適切に把握できるとともに、自動運転中に前記自動運転システムに故障が発生した場合等であっても、自動運転から手動運転への引き継ぎを迅速かつ円滑に行えるように適切に支援することができるシステムを構築することができる。なお、前記状態把握部は、前記状態把握データ取得部に取得される前記運転者の画像データを撮像するカメラでもよいし、前記状態把握データ取得部に取得される前記運転者の検出データを検出するセンサでもよいし、これらを組み合わせてもよい。
【００２９】
また本発明に係る運転者状態把握方法は、自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握方法であって、
前記運転者の状態を把握する状態把握部から前記運転者の上半身の状態把握データを取得するステップと、
取得した前記状態把握データを状態把握データ記憶部に記憶させるステップと、
前記状態把握データ記憶部から前記状態把握データを読み出すステップと、
読み出した前記状態把握データを用いて前記運転者の肩を検出するステップと、
検出された前記運転者の肩の検出情報に基づいて、自動運転中に前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定するステップと、を含んでいることを特徴としている。
【００３０】
上記運転者状態把握方法によれば、前記運転者の上半身の状態把握データから前記運転者の肩を検出し、該肩の検出情報に基づいて、自動運転中に前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定するので、該判定までの処理を効率よく実行することができる。さらに、自動運転中であっても前記運転者が前記ハンドルの操作を迅速に引き継ぐことができる姿勢であるかどうかを適切に把握できるとともに、自動運転中に前記自動運転システムに故障が発生した場合等であっても、自動運転から手動運転への引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態（１）に係る運転者状態把握装置を含む自動運転システムの要部構成の一例を示すブロック図である。
【図２】実施の形態（１）に係る運転者状態把握システムが搭載された車両の運転席周辺を示す側面図である。
【図３】実施の形態（１）に係る運転者状態把握装置のハードウェア構成の一例を示すブロック図である。
【図４】実施の形態（１）に係る運転者状態把握装置における制御部が行う距離推定処理方法の一例を説明するための図であり、（ａ）は車室内平面図、（ｂ）は撮像された画像データの一例を示している。
【図５】実施の形態（１）に係る運転者状態把握装置における制御部の行う処理動作を示すフローチャートである。
【図６】実施の形態（２）に係る運転者状態把握装置のハードウェア構成の一例を示すブロック図である。
【図７】実施の形態（２）に係る運転者状態把握装置の記憶部に記憶されている肩位置判定領域データの一例を説明するための図である。
【図８】実施の形態（２）に係る運転者状態把握装置における制御部の行う処理動作を示すフローチャートである。
【発明を実施するための形態】
【００３２】
以下、本発明に係る運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００３３】
図１は、実施の形態（１）に係る運転者状態把握装置２０を含む自動運転システム１の要部構成の一例を示すブロック図である。
自動運転システム１は、運転者状態把握装置２０、状態把握部３０、ナビゲーション装置４０、自動運転制御装置５０、周辺監視センサ６０、音声出力部６１、及び表示部６２を含んで構成され、これら各部がバスライン７０で接続されている。
【００３４】
自動運転システム１は、車両の加速、操舵及び制動を含む走行制御のうち少なくとも一部をシステムが主体となって自動的に行う自動運転モードと、運転者が運転操作を行う手動運転モードとを備え、これらモードの切替が可能なシステムになっている。
【００３５】
本実施の形態における自動運転モードは、加速、操舵及び制動の全てを自動運転システム１が自動的に行い、自動運転システム１から要請があったときに運転者が対応するモード（いわゆるレベル３相当以上の自動化レベル）を想定しているが、本発明の適用はこの自動化レベルに限定されない。また、自動運転システム１が自動運転中に手動運転への引き継ぎを要請するときとは、例えば、システムの異常や故障の発生時、システムの機能限界時、自動運転区間の終了時などが含まれる。
【００３６】
運転者状態把握装置２０は、自動運転システム１を備えた車両の運転者の状態を把握するための装置であって、運転者の肩の状態を把握して、自動運転中であっても運転者がすぐにハンドルを把持できる状態にあるか否かを判定することにより、自動運転システム１から手動運転への引き継ぎ要請があった場合に、運転者がすぐに手動運転、特にハンドル操作を引き継ぐことができるように支援するための装置である。
【００３７】
運転者状態把握装置２０は、外部インターフェース（外部Ｉ／Ｆ）２１、制御部２２、及び記憶部２６を含んで構成されている。制御部２２は、Central Processing Unit（ＣＰＵ）２３、Random Access Memory（ＲＡＭ）２４、及びRead Only Memory（ＲＯＭ）２５を含んで構成されている。
【００３８】
記憶部２６は、フラッシュメモリ、ハードディスクドライブ、ソリッドステートドライブ、その他の不揮発性メモリや揮発性メモリなど、半導体素子によってデータを記憶する記憶装置を含んで構成されている。記憶部２６には、運転者状態把握装置２０で実行するプログラム２７などが記憶されている。なお、プログラム２７の一部または全部を制御部２２のＲＯＭ２５などに記憶させてもよい。
【００３９】
運転者の状態を把握する状態把握部３０は、運転席に着座している運転者を撮像するカメラ３１を含んで構成されている。カメラ３１は、図示しないレンズ部、撮像素子部、光照射部、入出力部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、ＣＣＤやＣＭＯＳなどの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記光照射部は、ＬＥＤなどの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどであってもよい。前記制御部は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭを含み、画像処理回路を含んで構成されていてもよい。前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。
【００４０】
図２は、実施の形態（１）に係る運転者状態把握システム１０が搭載された車両２の運転席周辺を示す側面図である。
カメラ３１の車室内での取付位置は、運転席３に着座している運転者４の上半身（少なくとも顔と肩の部分）を撮像できる位置であれば、特に限定されない。例えば、図２に示すようにハンドル５のコラム部分であってもよい。また、別の取付位置としては、ハンドル内Ａ、メーターパネル部分Ｂ、ダッシュボードの上Ｃ、ルームミラー近傍位置Ｄ、Ａピラー部分Ｅの他、ナビゲーション装置４０などに設置してもよい。
【００４１】
カメラ３１の数は、１台でもよいし、２台以上であってもよい。カメラ３１は、運転者状態把握装置２０と別体（別筐体）で構成してもよいし、運転者状態把握装置２０と一体（同一筐体）で構成してもよい。また、カメラ３１の種類は特に限定されず、単眼カメラでもよいし、単眼３Ｄカメラでもよいし、ステレオカメラなどでもよい。
また、状態把握部３０には、カメラ３１とともに、又はカメラ３１の代わりに、Time of Flight(TOF)センサやTOF方式のキネクト（kinect）（登録商標）センサなどのセンサ３２を用いてもよい。これら種類の異なるカメラやセンサを組み合わせて用いてもよい。カメラ３１で撮像された画像データやセンサ３２の検出データが運転者状態把握装置２０へ送出される。運転者状態把握装置２０と、状態把握部３０であるカメラ３１及び／又はセンサ３２とを含んで運転者状態把握システム１０が構成されている。
【００４２】
前記単眼３Ｄカメラは、撮像素子として距離計測イメージチップを備え、監視対象物の有無、大きさ、位置、姿勢などを認識することができる構成となっている。
また、前記ＴＯＦセンサやキネクト（登録商標）センサは、パルス光を発光する発光部、該パルス光の対象物からの反射光を検出する受光部、該反射光の位相差を計測して、対象物までの距離計測を行う距離計測部、及び距離画像生成部など（いずれも図示せず）を含んで構成されている。前記発光部には、近赤外線ＬＥＤなどが採用され、前記受光部には、距離画像取得用のＣＭＯＳ画像センサなどが採用され得る。前記ＴＯＦセンサやキネクト（登録商標）センサを用いた場合には、監視対象である運転者の検出及び運転者までの距離を計測することが可能となる。
【００４３】
図１に示すナビゲーション装置４０は、自車両の現在位置や該現在位置から目的地までの走行経路などの情報を運転者に案内するための装置であり、図示しない制御部、表示部、音声出力部、操作部、及び地図データ記憶部などを含んで構成されている。また、図示しないＧＰＳ受信機、ジャイロセンサ、車速センサなどからの信号を取得できるように構成されている。
【００４４】
ナビゲーション装置４０は、前記ＧＰＳ受信機などで計測された車両の位置情報と前記地図データ記憶部の地図情報とに基づいて、自車両が走行する道路や車線などの情報を割り出して、現在位置を前記表示部に表示する。また、ナビゲーション装置４０は、車両の現在位置から目的地までの経路などを演算し、該経路情報などを前記表示部へ表示し、前記音声出力部から経路案内などの音声出力を行う。
【００４５】
また、ナビゲーション装置４０で演算された車両の位置情報、走行道路の情報、及び走行予定経路の情報などが自動運転制御装置５０へ出力される。走行予定経路の情報には、自動運転区間の開始終了地点の情報、自動運転から手動運転への引き継ぎ区間の情報など、自動運転と手動運転との切り替え制御に関連する情報が含まれていてもよい。
【００４６】
自動運転制御装置５０は、車両の自動運転に関する各種制御を実行する装置であり、図示しない制御部、記憶部、及び入出力部などを備えた電子制御ユニットで構成されている。自動運転制御装置５０は、図示しない操舵制御装置、動力源制御装置、制動制御装置、操舵センサ、アクセルペダルセンサ、プレーキペダルセンサなどにも接続されている。これら制御装置及びセンサも自動運転システム１の構成に含めてもよい。
【００４７】
自動運転制御装置５０は、自動運転システム１に含まれる各部から取得した情報に基づいて、自動運転を行う制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御、自動速度調整制御、自動ブレーキ制御など）を行い、また、自動運転モードと手動運転モードとの切替制御なども行う。
【００４８】
自動運転とは、運転席にいる運転者が運転操作をすることなく、自動運転制御装置５０の行う制御によって車両を道路に沿って自動で走行させることをいう。例えば、予め設定された目的地までのルート、車外の状況や地図情報に基づいて自動的に生成された走行ルートなどに従って、自動で車両を走行させる運転状態が含まれる。そして、自動運転制御装置５０は、予め定められた自動運転の解除条件を満たした場合、自動運転を終了（解除）してもよい。例えば、自動運転制御装置５０は、自動運転中の車両が予め定められた自動運転の終了地点に到達したと判定した場合に自動運転を終了する制御を行ってもよい。また、自動運転制御装置５０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。手動運転とは、運転者が運転操作を行う主体となって車両を走行させる運転である。
【００４９】
周辺監視センサ６０は、車両の周辺に存在する対象物を検出するセンサである。前記対象物には、車、自転車、人などの移動物体の他、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物などが含まれていてもよい。周辺監視センサ６０は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging（ＬＩＤＥＲ）、及び超音波センサのうち少なくとも１つを含む。周辺監視センサ６０で検出された対象物の検出データが自動運転制御装置５０などへ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。
【００５０】
音声出力部６１は、運転者状態把握装置２０からの指示に基づく各種の通知などを音や音声で出力する装置であり、スピーカなどを含んで構成されている。
表示部６２は、運転者状態把握装置２０などからの指示に基づく各種の通知や案内を文字や図形で表示したり、又はランプ等を点灯点滅表示したりする装置であり、各種のディスプレイや表示ランプなどを含んで構成されている。
【００５１】
図３は、実施の形態（１）に係る運転者状態把握装置２０のハードウェア構成の一例を示したブロック図である。
運転者状態把握装置２０は、外部Ｉ／Ｆ２１、制御部２２、及び記憶部２６を含んで構成されている。外部Ｉ／Ｆ２１は、カメラ３１の他に、自動運転制御装置５０、周辺監視センサ６０、音声出力部６１、表示部６２など、自動運転システム１の各部と接続され、これら各部との間で信号の授受を行うためのインターフェース回路や接続コネクタなどで構成されている。
【００５２】
制御部２２は、状態把握データ取得部２２ａ、肩検出部２２ｂ、及び即応性判定部２２ｃを含んで構成され、さらに通知処理部２２ｆを含んで構成してもよい。記憶部２６は、状態把握データ記憶部２６ａ、肩検出方法記憶部２６ｂ、距離推定方法記憶部２６ｃ、及び判定方法記憶部２６ｄを含んで構成されている。
【００５３】
状態把握データ記憶部２６ａには、状態把握データ取得部２２ａで取得されたカメラ３１の画像データが記憶される。また、センサ３２の検出データが記憶されるようにしてもよい。
肩検出方法記憶部２６ｂには、制御部２２の肩検出部２２ｂで実行される肩検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【００５４】
距離推定方法記憶部２６ｃには、制御部２２の距離推定部２２ｄで実行される、運転者の肩と車両のハンドルとの距離を演算して推定する距離推定プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【００５５】
判定方法記憶部２６ｄには、制御部２２の判定部２２ｅで実行される、運転者がハンドルをすぐに把持できる状態にあるか否かを判定する判定プログラムや該プログラムの実行に必要なデータなどが記憶されている。例えば、距離推定部２２ｄで推定された前記距離に対して、運転者がハンドルをすぐに把持できる状態にあるか否かを判定するための推定距離の範囲データなどを記憶させてもよい。また、運転者がハンドルをすぐに把持できる状態は、予め定められた正常運転姿勢に基づいて定めることができ、これら定められた情報を判定方法記憶部２６ｄに記憶させてもよい。なお、前記正常運転姿勢には、例えば、運転者が両手でハンドルを把持している姿勢など含まれる。
【００５６】
制御部２２は、記憶部２６と協働して、記憶部２６に各種データを記憶する処理や記憶部２６に記憶された各種データや各種プログラムを読み出し、該プログラムをＣＰＵ２３で実行することで、状態把握データ取得部２２ａ、肩検出部２２ｂ、即応性判定部２２ｃ、距離推定部２２ｄ、判定部２２ｅ、及び通知処理部２２ｆの働きを実現する装置である。
【００５７】
制御部２２を構成する状態把握データ取得部２２ａは、カメラ３１で撮像された運転者の画像を取得する処理を行い、取得した画像を状態把握データ記憶部２６ａに記憶する処理を行う。運転者の画像は、静止画であってもよいし、動画であってもよい。運転者の画像の取得は、例えば、運転者状態把握装置２０の起動後に所定の間隔で取得するようにすればよい。また、センサ３２の検出データを取得して状態把握データ記憶部２６ａに記憶するようにしてもよい。
【００５８】
肩検出部２２ｂは、状態把握データ記憶部２６ａから画像データを読み出し、肩検出方法記憶部２６ｂから読み出したプログラムに基づいて画像データに対して所定の画像処理を施して、画像中における運転者の肩を検出する処理を行う。
【００５９】
肩検出部２２ｂにおける処理には、画像データを処理して運転者の肩を検出する各種の画像処理が採用され得る。例えば、運転席に着座している運転者のテンプレート画像を予め記憶しておき、これらテンプレート画像と、カメラ３１で撮像された画像とを比較照合し、撮像された画像から運転者を抽出して運転者の肩の位置を検出するテンプレートマッチング法を用いてもよい。また、運転席に運転者が着座していない背景画像を予め記憶しておき、該背景画像と、カメラ３１で撮像された画像との差分から運転者を抽出して運転者の肩の位置を検出する背景差分法を用いてもよい。また、運転席に着座している運転者の画像を学習器で予め機械学習させたモデルを記憶しておき、該学習モデルを用いて、カメラ３１で撮像された画像中の各画素の意味をラベル付けし、運転者の領域を認識して運転者の肩の位置を検出するセマンティック・セグメンテーション法を用いてもよい。また、カメラ３１に単眼３Ｄカメラを用いた場合は、該単眼３Ｄカメラで検出された運転者の各部位の検出位置や姿勢などの取得情報を用いて運転者の肩の位置を検出するようにしてもよい。
【００６０】
即応性判定部２２ｃは、距離推定部２２ｄと判定部２２ｅとを含んでいる。
距離推定部２２ｄは、肩検出部２２ｂでの処理に引き続いて、肩検出部２２ｂの検出情報に基づいて、運転者の肩と車両のハンドルとの距離を推定する処理を行う。
距離推定部２２ｄで行う距離推定処理には、例えば、肩検出部２２ｂで検出された画像中の運転者の肩の位置情報、カメラ３１の仕様や取付位置姿勢などの情報、及びカメラ３１とハンドルとの距離情報などを用いて、三角測量の原理に基づきハンドルから運転者の肩までの距離を演算により推定する処理を用いてもよい。また、センサ３２にＴＯＦセンサやキネクト（登録商標）センサを用いて、センサ３２から取得した測距データなどを用いて、運転者の肩と車両のハンドルまでの距離を推定する処理を行ってもよい。
【００６１】
図４は、距離推定部２２ｄによる運転者の肩と車両のハンドルとの距離を推定する方法の一例について説明するための図であり、（ａ）は車室内平面図、（ｂ）はカメラで撮像された画像データの一例である。
【００６２】
図４（ａ）は、運転者４が運転席３に着座している状態を示している。運転席３の正面前方にはハンドル５が設置されている。運転席３は、前後方向に位置調整可能となっている。カメラ３１は、ハンドル５のコラム部分に設置され、運転者４の顔を含む上半身（胸部から上の部分）を撮像可能となっている。なお、カメラ３１の取付位置姿勢はこの形態に限定されない。
【００６３】
図４（ａ）に示す例では、運転席３側から見て、ハンドル５の右端を原点ＯＲ、左端を原点ＯＬとし、原点ＯＲと原点ＯＬとを結ぶ線分をＬ１、原点ＯＲを通り線分Ｌ１と直交する線分をＬ２、原点ＯＬを通り線分Ｌ１と直交する線分をＬ３とし、線分Ｌ１に対するカメラ３１の取付角度θは、この場合は０°に設定され、カメラ３１の撮像面の中心Ｉと原点ＯＲ、ＯＬとの距離はそれぞれＤ１（等距離）に設定されている。
【００６４】
運転者４の右肩ＳＲが線分Ｌ２上にあり、運転者の左肩ＳＬが線分Ｌ３上にあるものとする。原点ＯＲは、カメラ３１と運転者４の右肩ＳＲとを結ぶ線分Ｌ４を斜辺とする直角三角形の直角の頂点となっている。同様に、原点ＯＬは、カメラ３１と運転者４の左肩ＳＬとを結ぶ線分Ｌ５を斜辺とする直角三角形の直角の頂点となっている。
また、カメラ３１の画角をα、画像３１ａの幅方向の画素数をWidthで示している。画像３１ａ中の運転者４ａの右肩位置（幅方向の画素数）をＸＲ、左肩位置（幅方向の画素数）をＸＬで示すものとする。
【００６５】
肩検出部２２ｂにおいて、カメラ３１で撮像された画像３１ａ中の運転者４ａの肩の位置ＸＲ、ＸＬを検出する。画像３１ａ中の運転者４ａの肩の位置ＸＲ、ＸＬを検出することができれば、既知の情報、すなわち、カメラ３１の仕様（画角α、幅方向の画素数Width）、カメラ３１の位置姿勢（線分Ｌ１に対する角度θ、原点ＯＲ、ＯＬからの距離Ｄ１）に関する情報を利用して、下記の式１で角度φＲ（線分Ｌ４と線分Ｌ２とのなす角）、式２で角度φＬ（線分Ｌ５と線分Ｌ３とのなす角）を求めることができる。なお、カメラ３１のレンズ歪み等を厳密に考慮する場合は、内部パラメータを用いたキャリブレーションを行ってもよい。
【００６６】
式１：φＲ＝９０°−（（９０°−θ）−α／２＋α×ＸＲ／Ｗｉｄｔｈ）
＝θ＋α／２−α×ＸＲ／Ｗｉｄｔｈ
式２：φＬ＝９０°−（（９０°−θ）−α／２＋α×ＸＬ／Ｗｉｄｔｈ）
＝θ＋α／２−α×ＸＬ／Ｗｉｄｔｈ
なお、図４（ａ）に示したカメラ３１の線分Ｌ１に対する角度θは０°である。
【００６７】
角度φＲを求めることができれば、原点ＯＲ、撮像面の中心Ｉ、右肩位置ＳＲを結んだ三角形が、原点ＯＲを直角の頂点とする直角三角形となるため、既知である原点ＯＲから撮像面の中心Ｉまでの距離Ｄ１、角度φＲを利用して、以下の式３により、運転者４の右肩ＳＲから原点ＯＲ（ハンドル５）までの距離ＤＲを推定することが可能となる。
同様に、角度φＬを求めることができれば、原点ＯＬ、撮像面の中心Ｉ、左肩位置ＳＬを結んだ三角形が、原点ＯＬを直角の頂点とする直角三角形となるため、既知である原点ＯＬから撮像面の中心Ｉまでの距離Ｄ１、角度φＬを利用して、以下の式４により、運転者４の左肩ＳＬから原点ＯＬ（ハンドル５）までの距離ＤＬを推定することができる。
【００６８】
式３：ＤＲ＝Ｄ１／ｔａｎφＲ
（なお、φＲ＝θ＋α／２−α×XR／Width）
（但し、θ＋α／２＞α×XR／Widthとする。）
式４：ＤＬ＝Ｄ１／ｔａｎφＬ
（なお、φＬ＝θ＋α／２−α×XL／Width）
（但し、θ＋α／２＞α×XL／Widthとする。）
【００６９】
判定部２２ｅは、距離推定部２２ｄでの処理に引き続いて、距離推定部２２ｄで推定された距離（例えば、図４で説明した距離ＤＲ、ＤＬ）が所定の範囲内であるか否かを判定する処理を行う。前記所定の範囲は、運転者がハンドルをすぐに把持できる距離を考慮して設定されている。また、運転者がハンドルをすぐに把持できる距離は、予め定められた正常運転姿勢に基づいて定めてもよい。
【００７０】
通知処理部２２ｆは、即応性判定部２２ｃで運転者がハンドルをすぐに把持できる状態にないと判定された場合、運転者に姿勢の適正化を促すための通知処理を行う。例えば、音声出力部６１や表示部６２に、ハンドルをすぐに把持できる姿勢をとることを促すための音声の出力処理や表示の出力処理を行う。また通知処理部２２ｆは、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
【００７１】
図５は、実施の形態（１）に係る運転者状態把握装置２０における制御部２２の行う処理動作を示すフローチャートである。ここでは、自動運転システム１が自動運転モードに設定されている状態、すなわち車両が自動運転制御で走行している状態にあるとして説明する。本処理動作は、自動運転モード中において繰り返し実行される。
【００７２】
まず、ステップＳ１では、カメラ３１で撮像された運転者の画像データを取得する処理を行う。画像データは、カメラ３１から１フレームずつ取得してもよいし、複数フレーム又は一定時間分をまとめて取得してもよい。次のステップＳ２では、取得した画像データを状態把握データ記憶部２６ａに記憶する処理を行い、その後ステップＳ３に進む。
【００７３】
ステップＳ３では、状態把握データ記憶部２６ａに記憶された画像データを読み出し、その後ステップＳ４に進む。画像データは、状態把握データ記憶部２６ａから１フレームずつ読み出してもよいし、複数フレーム又は一定時間分をまとめて読み出してもよい。ステップＳ４では、読み出した画像データから運転者の肩を検出する処理、例えば、画像中における運転者の肩の位置や肩の領域を検出する処理を行い、その後ステップＳ５に進む。
【００７４】
ステップＳ４で実行する、画像データから運転者の肩を検出する処理には、上記したテンプレートマッチング法を用いてもよいし、背景差分法を用いてもよいし、セマンティック・セグメンテーション法を用いてもよい。また、カメラ３１に単眼３Ｄカメラが含まれている場合は、該単眼３Ｄカメラで検出された運転者の各部位の検出位置や姿勢などの情報を取得し、該取得情報を用いて運転者の肩を検出するようにしてもよい。
【００７５】
テンプレートマッチング法を用いる場合、まず、肩検出方法記憶部２６ｂに記憶されているテンプレート画像、すなわち運転者の肩の部分を含む１つ以上のテンプレート画像を読み出す。次に、状態把握データ記憶部２６ａから読み出した画像に対して、テンプレート画像を移動させながら、テンプレート画像と重なる部分の画像の類似度を演算し、演算した画像の類似度が一定の類似条件を満たす領域を検出する処理を行う。そして、前記一定の類似条件を満たす領域を検出できた場合、その領域に運転者の肩があるものとして検出結果を出力する。
【００７６】
また、背景差分法を用いる場合、まず、肩検出方法記憶部２６ｂに記憶されている背景画像、すなわち、運転席に運転者が着座していない状態の画像を読み出す。次に、状態把握データ記憶部２６ａから読み出した画像と前記背景画像との画素ごとの画素値の差（背景差分）を演算する。次に、背景差分の演算結果から、運転者の抽出処理を行う。例えば、閾値処理により画像を２値化して運転者を抽出し、さらに運転者の頭部から肩、腕にかけての特徴的な形状領域（例えば、Ω形状部分、緩やかなＳ字形状部分など）から肩の位置を検出し、その検出結果を出力する。
【００７７】
また、セマンティック・セグメンテーション法を用いる場合、まず、肩検出方法記憶部２６ｂに記憶されている肩検出用の学習済みモデルを読み出す。該学習済みモデルには、例えば、運転席に着座している運転者の上半身が写った多数の画像（例えば、運転席、ハンドル、シートベルト、運転者の胴体、頭部、腕などの複数のクラスをラベル付けしたデータセット）を用いて予め機械学習させたモデルなどを採用できる。次に、前記学習済みモデルに、状態把握データ記憶部２６ａから読み出した画像を入力する。次に、該画像から特徴量を抽出し、画像中の各画素がどの物体や部位に属するのかをラベル付けする。そして、運転者の領域をセグメント化（分割）して、運転者を抽出し、さらに運転者の各部位のラベル付けの結果に基づいて、運転者の肩（例えば、胴体と腕の境界部など）の位置を検出して、その検出結果を出力する。
【００７８】
ステップＳ５では、運転者の肩が検出されたか否かを判断する。この場合に、運転者の肩が一定時間継続して検出されたか否かを判断してもよい。ステップＳ５において、運転者の肩が検出されなかったと判断すれば、ステップＳ８の通知処理に進む。運転者の肩が検出されなかった場合とは、例えば、運転席に運転者がいない状態、運転者が不適切な姿勢をとっているために、画像に運転者の肩が写っていない状態、又は運転者とカメラとの間に何らかの遮蔽物があり、運転者が検出できない状態が一定時間継続した場合などが含まれる。
【００７９】
一方ステップＳ５において、運転者の肩が検出されたと判断すればステップＳ６に進む。ステップＳ６では、運転者の肩と車両のハンドルとの距離を推定する処理を行い、その後ステップＳ７に進む。
【００８０】
ステップＳ６の距離推定処理では、例えば、図４で説明した処理方法、すなわち、ステップＳ５で検出された画像中の運転者の肩の位置情報、カメラ３１の仕様や取付位置姿勢情報、及びカメラ３１の位置とハンドル各部との距離情報などを用いて、三角測量の原理に基づきハンドルから運転者の肩までの距離、例えば、ハンドルの右端部から運転者の右肩までの距離やハンドルの左端部から運転者の左肩までの距離を演算により推定する処理を用いてもよい。また、センサ３２に上記したＴＯＦセンサやキネクト（登録商標）センサが用いられている場合には、センサ３２で検出された運転者までの距離データを取得し、該距離データを用いて運転者の肩と車両のハンドルとの距離を推定してもよい。
【００８１】
ステップＳ７では、ステップＳ６で推定した距離が所定の範囲内であるか否かを判定する。前記所定の範囲は、運転者の性別や体格差、正常運転姿勢などを考慮して、運転者がすぐにハンドルを把持することができる平均的範囲、例えば、４０ｃｍ〜７０ｃｍ程度の範囲に設定することができるが、この範囲に限定されるものではない。
また、前記所定の範囲として、運転者状態把握装置２０に予め運転者によって登録された距離範囲を用いてもよい。また、手動運転モード時の運転席の座面位置を検出し、該座面位置に基づいて設定された距離範囲を用いてもよい。また、手動運転モード時にカメラ３１で撮影された画像を用いて算出された運転者の肩とハンドルとの距離に基づいて設定された距離範囲を用いてもよい。
【００８２】
ステップＳ７において、前記推定した距離が所定の範囲内である、すなわち、運転者がすぐにハンドルを把持することができる状態にあると判断すれば、その後処理を終える。なお、別の実施の形態では、適切な姿勢であることを運転者に知らせるための通知処理、例えば、表示部６２に適正姿勢通知ランプを設け、該適正姿勢通知ランプを点灯するようにしてもよいし、また、自動運転制御装置５０に対して、運転者が適切な姿勢であることすなわち、自動運転を継続するのに適した状態であることを通知する信号を出力してもよい。
【００８３】
一方ステップＳ７において、前記推定した距離が所定の範囲内ではないと判断すればステップＳ８に進む。前記推定した距離が所定の範囲内ではない場合とは、ハンドルと肩との距離が近すぎる又は遠すぎる場合であって、運転者がすぐにハンドルを適切な姿勢で把持することができない状態になっている場合である。前記適切な姿勢とは、例えば、運転者が両手でハンドルを把持する姿勢である。
【００８４】
ステップＳ８では、運転者に姿勢の適正化を促すための通知処理を行う。通知処理としては、音声出力部６１から所定の音声を出力する処理を行ってもよいし、表示部６２に所定の表示を行ってもよい。前記通知処理は、運転者に対して、自動運転システム１に故障等が発生した場合などに、すぐにハンドルを把持することができる姿勢をとるように注意を喚起するための処理である。また、ステップＳ８では、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
【００８５】
上記実施の形態（１）に係る運転者状態把握システム１０によれば、運転者状態把握装置２０と、状態把握部３０のカメラ３１及び／又はセンサ３２とを含んで構成される。また、運転者状態把握装置２０によれば、肩検出部２２ｂによりカメラ３１で撮像された画像データから運転者の肩が検出され、該検出情報に基づいて、距離推定部２２ｄにより、運転者の肩と車両のハンドルとの距離が推定され、判定部２２ｅにより、推定された前記距離が、運転者が車両のハンドルをすぐに把持できる所定の範囲内であるか否かが判定されるので、該判定までの処理を効率よく実行することができる。
【００８６】
さらに、自動運転中であっても運転者がハンドルの操作を迅速に引き継ぐことができる姿勢であるかどうかを正確に把握できるとともに、自動運転中に自動運転システム１の故障等が発生した場合であっても、自動運転から手動運転への引き継ぎ、特にハンドル操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。
【００８７】
また、運転者状態把握装置２０によれば、即応性判定部２２ｃにより運転者が車両のハンドルをすぐに把持できる状態にないと判定された場合、通知処理部２２ｆにより運転者に姿勢の適正化を促すための通知処理が行われる。これにより、自動運転中であってもハンドルをすぐに把持できる姿勢を保つように、運転者に姿勢の適正化を速やかに促すことが可能となる。
【００８８】
図６は、実施の形態（２）に係る運転者状態把握装置２０Ａのハードウェア構成の一例を示すブロック図である。なお、図３に示した運転者状態把握装置２０と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
【００８９】
実施の形態（２）に係る運転者状態把握装置２０Ａが、実施の形態（１）に係る運転者状態把握装置２０と相違する構成は、制御部２２Ａの即応性判定部２２ｇで実行する処理、及び通知処理部２２ｊで実行する処理にある。
【００９０】
制御部２２Ａは、状態把握データ取得部２２ａ、肩検出部２２ｂ、即応性判定部２２ｇ、情報取得部２２ｉ、及び通知処理部２２ｊを含んで構成されている。記憶部２６Ａは、状態把握データ記憶部２６ａ、肩検出方法記憶部２６ｂ、及び判定方法記憶部２６ｅを含んで構成されている。
【００９１】
状態把握データ記憶部２６ａには、状態把握データ取得部２２ａで取得されたカメラ３１の画像データが記憶される。肩検出方法記憶部２６ｂには、制御部２２Ａの肩検出部２２ｂで実行される肩検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【００９２】
判定方法記憶部２６ｅには、制御部２２Ａの肩位置判定部２２ｈで実行される、運転者がハンドルをすぐに把持できる状態にあるか否かを判定する判定プログラムや該プログラムの実行に必要なデータなどが記憶されている。例えば、ハンドルをすぐに把持できる状態にあるか否かを判定するための肩位置判定領域データなどが記憶されている。
【００９３】
図７は、判定方法記憶部２６ｅに記憶されている肩位置判定領域データの一例を説明するための図である。
運転者が車両のハンドルを適切な姿勢で把持しようとした場合、運転者はハンドルと略対面した状態になる。そのため、車両のハンドルをすぐに把持できる状態では、画像３１ａ中における運転者４ａの肩は画像中の一定の領域内に位置することとなる。該画像中の一定の領域が肩位置判定領域３１ｂとして設定される。肩位置判定領域３１ｂは、予め定められた正常運転姿勢に基づいて定めることができる。肩検出部２２ｂで検出された、画像中における運転者４ａの肩の位置が、肩位置判定領域３１ｂ内に位置するか否かにより、車両のハンドルをすぐに把持できる状態にあるか否かが判定できるようになっている。
【００９４】
肩位置判定領域３１ｂは、性別や体格が異なる運転者がハンドルを把持している状態で撮像された複数の画像中における運転者の肩の位置に基づいて予め設定された領域としてもよい。また、手動運転モード中に撮像された運転者の画像から運転者の肩の位置を検出し、該検出された肩の位置に基づいて、肩位置判定領域３１ｂを運転者毎に設定するようにしてもよい。また、肩位置判定領域３１ｂは、右肩領域と左肩領域との２つの領域で構成してもよい。なお、カメラ３１には、固定焦点式のものを採用することが好ましい。
【００９５】
制御部２２Ａを構成する状態把握データ取得部２２ａは、カメラ３１で撮像された運転者の画像データを取得する処理を行い、取得した画像データを状態把握データ記憶部２６ａに記憶する処理を行う。
【００９６】
肩検出部２２ｂは、状態把握データ記憶部２６ａから画像データを読み出し、肩検出方法記憶部２６ｂから読み出したプログラムに基づいて画像データに対して画像処理を施して、画像中における運転者の肩を検出する処理を行う。例えば、画像処理により、運転者の頭部から肩、腕にかけてのエッジを抽出し、肩部分の特徴的形状、例えば、Ω形状や緩やかなＳ字形状を有する部分を肩として検出することが可能となる。
【００９７】
即応性判定部２２ｇは、肩位置判定部２２ｈを含んでいる。肩位置判定部２２ｈは、肩検出部２２ｂでの処理に引き続いて、肩検出部２２ｂの検出情報や判定方法記憶部２６ｅから読み出した肩位置判定領域データに基づいて、画像中における運転者の肩の位置が肩位置判定領域内に位置するか否かを判定する処理などを行う。該判定処理により、運転者がハンドルをすぐに把持できる状態にあるか否かが判定される。
【００９８】
情報取得部２２ｉは、自動運転システム１の各部から自動運転中の情報を取得する。該自動運転中の情報には、周辺監視センサ６０で検出される車両周囲の監視情報、及び自動運転制御装置５０から送出される自動運転から手動運転への引き継ぎ要請情報のうちの少なくともいずれかが含まれている。前記車両周囲の監視情報は、例えば、自車両近辺に他の車両が急接近してきた情報でもよいし、細い道の急カーブなど、システムの機能限界が想定される道路を走行する情報などでもよい。また、前記引き継ぎ要請情報は、例えば、自動運転から手動運転への引き継ぎ区間に入った情報などでもよいし、自動運転システム１の一部に異常や故障が発生した情報などでもよい。
【００９９】
通知処理部２２ｊは、即応性判定部２２ｇで、運転者がハンドルをすぐに把持できる状態にないと判定された場合に、情報取得部２２ｉで取得した自動運転中の情報に応じて運転者に姿勢の適正化を促すための通知処理を行う。例えば、音声出力部６１や表示部６２に、ハンドルをすぐに把持できる姿勢をとることを促すための音声の出力処理や表示の出力処理を行う。なお、別の実施の形態では、情報取得部２２ｉ、及び通知処理部２２ｊの代わりに、上記実施の形態（１）で説明した通知処理部２２ｆを制御部２２Ａに設ける構成としてもよい。また通知処理部２２ｊは、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
【０１００】
図８は、実施の形態（２）に係る運転者状態把握装置２０Ａにおける制御部２２Ａの行う処理動作を示すフローチャートである。図５に示したフローチャートの処理動作と同一内容の処理動作には同一符号を付すこととする。
まず、ステップＳ１では、カメラ３１で撮像された運転者の画像データを取得する処理を行い、次のステップＳ２に進み、取得した画像データを状態把握データ記憶部２６ａに記憶する処理を行う。次のステップＳ３では、状態把握データ記憶部２６ａから画像データを読み出し、ステップＳ４に進む。
【０１０１】
ステップＳ４では、読み出した画像から運転者の肩を検出する処理を行い、その後ステップＳ５に進む。ステップＳ４で実行する、画像から運転者の肩を検出する処理には、上記したテンプレートマッチング法を用いてもよいし、背景差分法を用いてもよいし、セマンティック・セグメンテーション法を用いてもよい。また、カメラ３１に上記した単眼３Ｄカメラが含まれている場合は、該単眼３Ｄカメラで検出された運転者の各部位の検出位置や姿勢などの情報を取得し、該取得情報を用いて運転者の肩を検出するようにしてもよい。
【０１０２】
ステップＳ５では、運転者の肩が検出されたか否かを判断する。この場合に、運転者の肩が一定時間継続して検出されたか否かを判断してもよい。ステップＳ５において、運転者の肩が検出されなかったと判断すれば、ステップＳ１５の重度の通知処理に進む一方、ステップＳ５において、運転者の肩が検出されたと判断すれば、ステップＳ１１に進む。
【０１０３】
ステップＳ１１では、判定方法記憶部２６ｅから肩位置判定領域データなどを読み出し、ステップＳ５で検出された、画像中における運転者の肩の位置が肩位置判定領域３１ｂ内にあるか否かを判定する。
【０１０４】
ステップＳ１１において、画像中における運転者の肩の位置が肩位置判定領域３１ｂ内にある、すなわち、運転者がすぐにハンドルを把持することができる状態にあると判断すれば、その後処理を終える。なお、別の実施の形態では、適切な姿勢であることを運転者に知らせるための通知処理、例えば、表示部６２に適正姿勢通知ランプを設け、該適正姿勢通知ランプを点灯するようにしてもよいし、また、自動運転制御装置５０に対して、運転者が適切な姿勢であること、すなわち、自動運転を継続するのに適した状態であることを通知する信号を出力してもよい。
【０１０５】
一方ステップＳ１１において、画像中における運転者の肩の位置が肩位置判定領域３１ｂ内にないと判断すればステップＳ１２に進む。ステップＳ１２では、自動運転システム１から情報を取得して、ステップＳ１３に進む。前記情報には、周辺監視センサ６０で検出された周辺監視情報や自動運転制御装置５０から出力される手動運転への引き継ぎ要請情報が含まれる。該引き継ぎ要請情報には、例えば、システムの異常（故障）発生信号、システムの機能限界信号、または引き継ぎ区間への進入信号などが含まれる。
【０１０６】
ステップＳ１３では、周辺監視センサ６０から取得した周辺監視情報に基づいて、車両周囲が安全な状態であるか否かを判断する。ステップＳ１３において、車両周囲が安全な状態ではない、例えば、車両の周囲（前方、側方、及び後方のいずれか）の一定範囲内に他車両、人、その他障害物を検出した情報、他の車両が急接近してきた情報、細い道の急カーブなど、システムの機能限界が想定される道路を走行する情報などを取得したと判断すれば、ステップＳ１５の重度の通知処理に進む。ステップＳ１５では、すぐにハンドルを把持することができる姿勢を速やかにとるように重度の通知処理を行い、その後処理を終える。重度の通知処理では、表示と音声とを組み合わせた通知を行うことが好ましい。
また、運転席等への振動付与など、表示や音声以外による通知を組み合わせてもよい。またステップＳ１５では、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
【０１０７】
一方ステップＳ１３において、車両周囲が安全な状態であると判断すればステップＳ１４に進む。ステップＳ１４では、自動運転制御装置５０から手動運転への引き継ぎ要請情報を取得したか、すなわち、引き継ぎ要請があったか否かを判断する。
ステップＳ１４において、引き継ぎ要請がなかったと判断すれば、ステップＳ１６の軽度の通知処理に進む。ステップＳ１６では、ハンドルを把持することができる姿勢をとるように軽度の通知処理を行い、その後処理を終える。軽度の通知処理では、表示のみの通知など、運転者にとってやさしい通知を行うことが、自動運転と運転者との調和を図る上で好ましい。
一方ステップＳ１４において、引き継ぎ要請があったと判断すれば、ステップＳ１７に進む。ステップＳ１７では、直ちにハンドルを把持して運転を引き継ぐように音声や表示による引継の通知を行い、その処理を終える。
【０１０８】
上記実施の形態（２）に係る運転者状態把握装置２０Ａによれば、肩検出部２２ｂによりカメラ３１で撮像された画像データから運転者の肩の位置が検出され、画像中における運転者の肩の位置が、肩位置判定領域３１ｂ内にあるか否を判定することにより、運転者が車両のハンドルをすぐに把持できる状態にあるか否かが判定されるので、該判定までの処理を効率よく実行することができる。
【０１０９】
さらに、自動運転中であっても運転者がハンドルの操作を迅速に引き継ぐことができる姿勢であるかどうかを正確に把握できるとともに、自動運転中に自動運転システム１の故障が発生した場合等であっても、自動運転から手動運転への引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。
【０１１０】
また、運転者状態把握装置２０Ａによれば、通知処理部２２ｊにより、情報取得部２２ｉで取得した自動運転中の情報に応じて運転者に姿勢の適正化を促すための通知処理が行われる。例えば、車両周囲が安全な状態ではないことを示す周辺監視情報を取得した場合は、通知処理部２２ｊで行う通知のレベルを上げて、ハンドルの操作をすぐに引き継ぐことができる姿勢をとるように、重度の通知により強い注意を促すことができる。また、車両周囲が安全であり、引き継ぎ要請もない状態のときは、軽度の通知により、運転者に姿勢の適正化をやさしく促すことができる。また、引き継ぎ要請があった場合は、すぐに引き継ぎ体勢をとるように運転者に通知を行うことが可能となる。これにより、自動運転システム１の状況に応じて、運転者に必要以上に多様な通知を行う必要がなくなり、該通知に必要な電力や処理を低減することができる。
また、システムの故障発生時や動作限界時、又は手動運転への引き継ぎ要請時などにおいて、運転者がハンドルを把持して運転操作の引き継ぎが完了するまでの時間を短くすることができ、自動運転システム１の状況に応じた、運転者にもやさしい、適切な通知を行うことが可能となる。
【０１１１】
なお、上記実施の形態（１）に係る運転者状態把握装置２０において、通知処理部２２ｆの代わりに、情報取得部２２ｉ及び通知処理部２２ｊを設け、図５のステップＳ８に代えて、図８のステップＳ１２〜Ｓ１７と同様の処理、すなわち、情報取得部２２ｉで取得した自動運転中の情報に応じて運転者に姿勢の適正化を促すための通知処理を行うようにしてもよい。
【符号の説明】
【０１１２】
１  自動運転システム
１０、１０Ａ  運転者状態把握システム
２０、２０Ａ  運転者状態把握装置
２１  外部Ｉ／Ｆ
２２、２２Ａ  制御部
２２ａ  状態把握データ取得部
２２ｂ  肩検出部
２２ｃ、２２ｇ  即応性判定部
２２ｄ  距離推定部
２２ｅ  判定部
２２ｆ、２２ｊ  通知処理部
２２ｈ  肩位置判定部
２２ｉ  情報取得部
２３  ＣＰＵ
２４  ＲＡＭ
２５  ＲＯＭ
２６、２６Ａ  記憶部
２６ａ  状態把握データ記憶部
２６ｂ  肩検出方法記憶部
２６ｃ  距離推定方法記憶部
２６ｄ、２６ｅ  判定方法記憶部
２７  プログラム
３０  状態把握部
３１  カメラ
３２  センサ
４０  ナビゲーション装置
５０  自動運転制御装置
６０  周辺監視センサ
６１  音声出力部
６２  表示部
【図１】
2019034574.tif 000003
【図２】
2019034574.tif 000004
【図３】
2019034574.tif 000005
【図４】
2019034574.tif 000006
【図５】
2019034574.tif 000007
【図６】
2019034574.tif 000008
【図７】
2019034574.tif 000009
【図８】
2019034574.tif 000010