(57)【要約】【課題】自動運転モードから手動運転モードへの切替時に、運転席に着座している本来の運転者がハンドルを把持しているか否かを精度良く検出できる運転者監視装置を提供すること。【解決手段】自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置１０であって、運転者撮像カメラ５４で撮像された運転者画像を取得する画像取得部１２ａと、画像取得部１２ａにより取得された運転者画像を記憶する画像記憶部１３ａと、自動運転モードから手動運転モードに切り替えられる場合に、画像記憶部１３ａから読み出した運転者画像を処理して車両のハンドル５２が運転者の手で把持されているか否かを判定する判定処理部１２ｃと、判定処理部１２ｃによる判定結果に基づく所定の信号を出力する信号出力部１２ｇとを装備する。【選択図】図２
2018190217.tif 000002
【特許請求の範囲】
【請求項１】
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
該画像取得部により取得された前記運転者画像を記憶する画像記憶部と、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記画像記憶部から読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定する判定処理部と、
該判定処理部による判定結果に基づく所定の信号を出力する信号出力部とを備えていることを特徴とする運転者監視装置。
【請求項２】
前記運転者画像が、前記運転者の肩から上腕にかけての一部と、前記ハンドルの一部とを少なくとも含む視野を撮像した画像であり、
前記判定処理部が、
前記運転者画像を処理して前記ハンドルの把持位置を検出する把持位置検出部と、
前記運転者画像を処理して前記運転者の肩腕部の姿勢を検出する姿勢検出部と、
前記把持位置検出部により検出された把持位置と、前記姿勢検出部により検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かを判定する把持判定部とを備えていることを特徴とする請求項１記載の運転者監視装置。
【請求項３】
前記運転者画像が、前記運転者の肩から上腕にかけての一部を少なくとも含む視野を撮像した画像であり、
前記ハンドルに設けられた、手の接触を検出する接触検出部からの信号を取得する接触信号取得部を備え、
前記判定処理部が、
前記接触信号取得部により取得した接触信号に基づいて、前記ハンドルの把持位置を検出する把持位置検出部と、
前記運転者画像を処理して前記運転者の肩腕部の姿勢を検出する姿勢検出部と、
前記把持位置検出部により検出された把持位置と、前記姿勢検出部により検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かを判定する把持判定部とを備えていることを特徴とする請求項１記載の運転者監視装置。
【請求項４】
前記信号出力部が、
前記把持位置検出部により前記把持位置が検出されなかった場合、前記車両に設けられた警報部に、前記ハンドルを前記運転者に把持させるための警告処理を実行させるための信号を出力するものであることを特徴とする請求項２又は請求項３記載の運転者監視装置。
【請求項５】
前記ハンドルを把持している前記運転者の画像と、前記ハンドルを把持していない前記運転者の画像とを教師データとして予め学習処理を行って作成された学習済み分類器を記憶する分類器記憶部を備え、
前記学習済み分類器が、
前記画像記憶部から読み出した前記運転者画像のデータが入力される入力層と、前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する出力層とを含み、
前記判定処理部が、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記分類器記憶部から読み出した前記学習済み分類器の前記入力層に前記運転者画像のデータを入力し、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する処理を行うものであることを特徴とする請求項１記載の運転者監視装置。
【請求項６】
ニューラルネットワークの階層数、各層のニューロン数、及び伝達関数を含む未学習の分類器に関する定義情報と、予め学習処理により求められた各層のニューロン間の重み係数及びしきい値を含む定数データとを記憶する分類器情報記憶部と、
該分類器情報記憶部から前記定義情報と前記定数データとを読み出して学習済み分類器を作成する学習済み分類器作成部とを備え、
前記学習済み分類器が、
前記画像記憶部から読み出した前記運転者画像のデータが入力される入力層と、前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する出力層とを含むものであり、
前記判定処理部が、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記学習済み分類器作成部により作成された前記学習済み分類器の前記入力層に前記運転者画像のデータを入力し、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する処理を行うものであることを特徴とする請求項１記載の運転者監視装置。
【請求項７】
前記信号出力部が、
前記判定処理部により前記ハンドルが前記運転者の手で把持されていると判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴とする請求項１〜６のいずれかの項に記載の運転者監視装置。
【請求項８】
前記信号出力部が、
前記判定処理部により前記ハンドルが前記運転者の手で把持されていないと判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可しない信号を出力するものであることを特徴とする請求項１〜６のいずれかの項に記載の運転者監視装置。
【請求項９】
記憶部と、
該記憶部に接続されたハードウェアプロセッサとを備えた装置を用い、
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視方法であって、
前記記憶部が、前記運転者を撮像する撮像部で撮像された運転者画像を記憶する画像記憶部を備え、
前記ハードウェアプロセッサが、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得するステップと、
該取得した前記運転者画像を前記画像記憶部に記憶させるステップと、
前記画像記憶部から前記運転者画像を読み出すステップと、
該読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定するステップと、
該判定した結果に基づく所定の信号を出力するステップと、を含んでいることを特徴とする運転者監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は運転者監視装置、及び運転者監視方法に関し、より詳細には自動運転モードと手動運転モードとを備えた車両の運転者を監視する運転者監視装置、及び運転者監視方法に関する。
【背景技術】
【０００２】
近年、車両の走行制御を自動的に行う自動運転の実現に向けて研究開発が活発に行われている。自動運転の技術レベルは、加減速、操舵、制動を含む走行制御のうち少なくとも一部を自動化したレベルから完全自動化のレベルまでいくつかのレベルに分類されている。
【０００３】
車両の操作及び周辺監視の主体を自動運転システムが担う自動化レベル（例えば、加速・操舵・制動を全て自動運転システムが行い、自動運転システムが要請したときは運転者が対応するレベル３）では、交通環境などの要因によって、自動運転モードから運転者による手動運転モードに切り替わる状況が発生することが想定されている。例えば、高速道路では自動運転が可能であるが、インターチェンジ付近で自動運転システムが運転者へ手動運転を要請するような状況である。
【０００４】
上記レベル３の自動運転モードでは、基本的に運転者は運転操作から解放されるため、自動運転中に運転者が運転以外の作業を行う可能性や運転者の覚醒度が低下する可能性がある。そのため、自動運転モードから手動運転モードに切り替わる際には、車両の安全を確保するため、車両のハンドル操作やペダル操作が自動運転システムから運転者に引き継ぎ可能な状態にある必要がある。自動運転システムから運転者に引き継ぎ可能な状態とは、例えば運転者がハンドルを把持している状態である。
【０００５】
例えば、運転者によるハンドル操作を検出する構成については、下記の特許文献１に開示されている把持検出装置などを用いることで、自動運転モードから手動運転モードに切り替わる際にハンドルの把持状態を検出することが可能になると考えられる。
【０００６】
［発明が解決しようとする課題］
しかしながら、上記特許文献１記載の把持検出装置では、ハンドルに接触している手が、本当に運転者の手であるか否かを正確に判定することができていない。例えば、運転者以外の同乗者（助手席や後部座席の人）がハンドルを握っている場合であっても、運転者がハンドルを把持しているものと判定されてしまう。
上記把持検出装置を用いた場合、自動運転モードから手動運転モードに切り替わる際に、運転者以外の同乗者がハンドルを把持している場合であっても手動運転に切り替わる虞があり、車両の安全を確保できない場合が生ずるという課題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−２０３６６０号公報
【発明の概要】
【課題を解決するための手段及びその効果】
【０００８】
本発明は上記課題に鑑みなされたものであって、自動運転モードから手動運転モードに切り替えられる場合に、運転席に着座している本来の運転者がハンドルを把持しているか否かを精度良く検出することができる運転者監視装置、及び運転者監視方法を提供することを目的としている。
【０００９】
上記目的を達成するために本発明に係る運転者監視装置（１）は、自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
前記運転者を撮像する撮像部で撮像された運転者画像を取得する画像取得部と、
該画像取得部により取得された前記運転者画像を記憶する画像記憶部と、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記画像記憶部から読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定する判定処理部と、
該判定処理部による判定結果に基づく所定の信号を出力する信号出力部とを備えていることを特徴としている。
【００１０】
上記運転者監視装置（１）によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記運転者画像を処理して前記ハンドルが前記運転者の手で把持されているか否かが判定され、該判定結果に基づく所定の信号が出力される。前記判定処理部での判定処理に前記運転者画像を用いることで、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別することが可能となり、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
【００１１】
また本発明に係る運転者監視装置（２）は、上記運転者監視装置（１）において、前記運転者画像が、前記運転者の肩から上腕にかけての一部と、前記ハンドルの一部とを少なくとも含む視野を撮像した画像であり、
前記判定処理部が、
前記運転者画像を処理して前記ハンドルの把持位置を検出する把持位置検出部と、
前記運転者画像を処理して前記運転者の肩腕部の姿勢を検出する姿勢検出部と、
前記把持位置検出部により検出された把持位置と、前記姿勢検出部により検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かを判定する把持判定部とを備えていることを特徴としている。
【００１２】
上記運転者監視装置（２）によれば、前記運転者画像を処理して検出された前記ハンドルの把持位置と、前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かが判定される。したがって、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と明確に区別することが可能となり、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを一層精度よく検出することができる。
【００１３】
また本発明に係る運転者監視装置（３）は、上記運転者監視装置（１）において、前記運転者画像が、前記運転者の肩から上腕にかけての一部を少なくとも含む視野を撮像した画像であり、
前記ハンドルに設けられた、手の接触を検出する接触検出部からの信号を取得する接触信号取得部を備え、
前記判定処理部が、
前記接触信号取得部により取得した接触信号に基づいて、前記ハンドルの把持位置を検出する把持位置検出部と、
前記運転者画像を処理して前記運転者の肩腕部の姿勢を検出する姿勢検出部と、
前記把持位置検出部により検出された把持位置と、前記姿勢検出部により検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かを判定する把持判定部とを備えていることを特徴としている。
【００１４】
上記運転者監視装置（３）によれば、前記接触検出部からの接触信号に基づいて検出された前記ハンドルの把持位置と、前記運転者画像を処理して検出された前記運転者の肩腕部の姿勢とに基づいて、前記ハンドルが前記運転者の手で把持されているか否かが判定される。したがって、前記運転者画像に前記ハンドルが写っていない場合であっても、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別して、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度よく検出することができる。
【００１５】
また本発明に係る運転者監視装置（４）は、上記運転者監視装置（２）又は（３）において、前記信号出力部が、前記把持位置検出部により前記把持位置が検出されなかった場合、前記車両に設けられた警報部に、前記ハンドルを前記運転者に把持させるための警告処理を実行させるための信号を出力するものであることを特徴としている。
【００１６】
上記運転者監視装置（４）によれば、前記把持位置検出部により前記把持位置が検出されなかった場合、前記ハンドルを前記運転者に把持させるための警告処理が実行されるので、前記運転者に前記ハンドルを把持するように促すことができる。
【００１７】
また本発明に係る運転者監視装置（５）は、上記運転者監視装置（１）において、前記ハンドルを把持している前記運転者の画像と、前記ハンドルを把持していない前記運転者の画像とを教師データとして予め学習処理を行って作成された学習済み分類器を記憶する分類器記憶部を備え、
前記学習済み分類器が、
前記画像記憶部から読み出した前記運転者画像のデータが入力される入力層と、前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する出力層とを含み、
前記判定処理部が、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記分類器記憶部から読み出した前記学習済み分類器の前記入力層に前記運転者画像のデータを入力し、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する処理を行うものであることを特徴としている。
【００１８】
上記運転者監視装置（５）によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記学習済み分類器の前記入力層に前記運転者画像のデータを入力することで、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データが出力される。したがって、前記判定処理部での処理に前記学習済み分類器を用いることで、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別することができ、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
【００１９】
また本発明に係る運転者監視装置（６）は、上記運転者監視装置（１）において、ニューラルネットワークの階層数、各層のニューロン数、及び伝達関数を含む未学習の分類器に関する定義情報と、予め学習処理により求められた各層のニューロン間の重み係数及びしきい値を含む定数データとを記憶する分類器情報記憶部と、
該分類器情報記憶部から前記定義情報と前記定数データとを読み出して学習済み分類器を作成する学習済み分類器作成部とを備え、
前記学習済み分類器が、
前記画像記憶部から読み出した前記運転者画像のデータが入力される入力層と、前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する出力層とを含むものであり、
前記判定処理部が、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記学習済み分類器作成部により作成された前記学習済み分類器の前記入力層に前記運転者画像のデータを入力し、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データを出力する処理を行うものであることを特徴としている。
【００２０】
上記運転者監視装置（６）によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記学習済み分類器を作成し、その前記入力層に前記運転者画像のデータを入力することで、前記出力層から前記ハンドルが前記運転者の手で把持されているか否かの判定データが出力される。したがって、前記判定処理部での処理に前記学習済み分類器を用いることで、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別することができ、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
【００２１】
また本発明に係る運転者監視装置（７）は、上記運転者監視装置（１）〜（６）のいずれかにおいて、前記信号出力部が、前記判定処理部により前記ハンドルが前記運転者の手で把持されていると判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号を出力するものであることを特徴としている。
【００２２】
上記運転者監視装置（７）によれば、前記ハンドルが前記運転者の手で把持されていると判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可する信号が出力される。したがって、前記運転者がハンドル操作を引き継いだ状態で、前記自動運転モードから前記手動運転モードへの切り替えを行うことができ、該切り替え時の前記車両の安全を確保することができる。
【００２３】
また本発明に係る運転者監視装置（８）は、上記運転者監視装置（１）〜（６）のいずれかにおいて、前記信号出力部が、前記判定処理部により前記ハンドルが前記運転者の手で把持されていないと判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可しない信号を出力するものであることを特徴としている。
【００２４】
上記運転者監視装置（８）によれば、前記ハンドルが前記運転者の手で把持されていないと判定された場合、前記自動運転モードから前記手動運転モードへの切り替えを許可しない信号が出力される。したがって、前記ハンドルの操作が前記運転者に引き継がれていない状態で、前記手動運転モードに切り替わることを防止することができる。
【００２５】
また本発明に係る運転者監視方法は、記憶部と、該記憶部に接続されたハードウェアプロセッサとを備えた装置を用い、
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視方法であって、
前記記憶部が、前記運転者を撮像する撮像部で撮像された運転者画像を記憶する画像記憶部を備え、
前記ハードウェアプロセッサが、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得するステップと、
該取得した前記運転者画像を前記画像記憶部に記憶させるステップと、
前記画像記憶部から前記運転者画像を読み出すステップと、
該読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定するステップと、
該判定した結果に基づく所定の信号を出力するステップと、を含んでいることを特徴としている。
【００２６】
上記運転者監視方法によれば、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得して、前記画像記憶部に記憶させ、前記画像記憶部から前記運転者画像を読み出し、該運転者画像を処理して前記ハンドルが前記運転者の手で把持されているか否かを判定し、該判定結果に基づく所定の信号を出力する。したがって、前記判定するステップに前記運転者画像を用いることで、前記運転者以外の同乗者が前記ハンドルを把持しているような状態と区別することが可能となり、前記運転席に着座している本来の運転者が前記ハンドルを把持しているか否かを精度良く検出することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態（１）に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。
【図２】実施の形態（１）に係る運転者監視装置のハードウェア構成を示すブロック図である。
【図３】（ａ）は、運転者撮像カメラで撮像される運転者画像の一例、（ｂ）は把持判定方法記憶部に記憶される判定テーブルの一例を示す図である。
【図４】実施の形態（１）に係る運転者監視装置における制御ユニットの行う処理動作を示したフローチャートである。
【図５】実施の形態（１）に係る運転者監視装置における制御ユニットの行う把持判定処理動作を示したフローチャートである。
【図６】実施の形態（２）に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。
【図７】実施の形態（２）に係る運転者監視装置のハードウェア構成を示すブロック図である。
【図８】実施の形態（２）に係る運転者監視装置における制御ユニットの行う把持判定処理動作を示したフローチャートである。
【図９】実施の形態（３）に係る運転者監視装置のハードウェア構成を示すブロック図である。
【図１０】実施の形態（３）に係る運転者監視装置の分類器記憶部に記憶される分類器を作成する学習装置のハードウェア構成を示すブロック図である。
【図１１】学習装置の学習制御ユニットが行う学習処理動作を示したフローチャートである。
【図１２】実施の形態（３）に係る運転者監視装置における制御ユニットの行う把持判定処理動作を示したフローチャートである。
【図１３】実施の形態（４）に係る運転者監視装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、本発明に係る運転者監視装置、及び運転者監視方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００２９】
図１は、実施の形態（１）に係る運転者監視装置を含む自動運転システムの要部構成を示すブロック図である。
自動運転システム１は、運転者監視装置１０と自動運転制御装置２０とを含み、自動運転制御装置２０は、車両の加減速、操舵、制動を含む走行制御のうち少なくとも一部をシステムが主体となって自動的に行う自動運転モードと、運転者が運転操作を行う手動運転モードとを切り替える構成を備えている。本実施の形態において、運転者とは、車両の運転席に着座する人を示している。
【００３０】
自動運転システム１は、運転者監視装置１０、及び自動運転制御装置２０の他に、操舵センサ３１、アクセルペダルセンサ３２、ブレーキペダルセンサ３３、操舵制御装置３４、動力源制御装置３５、制動制御装置３６、警報装置３７、始動スイッチ３８、周辺監視センサ３９、ＧＰＳ受信機４０、ジャイロセンサ４１、車速センサ４２、ナビゲーション装置４３、通信装置４４など、自動運転及び手動運転の各種制御に必要なセンサや制御装置などが含まれている。これら各種センサや制御装置が通信ライン５０を介して接続されている。
【００３１】
また、車両には、エンジンやモーターなどの動力源であるパワーユニット５１、運転者が操舵するハンドル（ステアリングホイール）５２を備えた操舵装置５３が装備されている。運転者監視装置１０のハードウェア構成については後述する。
【００３２】
自動運転制御装置２０は、車両の自動運転に関する各種制御を実行する装置であり、図示しない制御部、記憶部、入力部、出力部などを備えた電子制御ユニットで構成されている。前記制御部は１つ以上のハードウェアプロセッサを含み、前記記憶部に記憶されているプログラムを読み出して、各種の車両制御を実行する。
【００３３】
自動運転制御装置２０は、運転者監視装置１０の他、操舵センサ３１、アクセルペダルセンサ３２、ブレーキペダルセンサ３３、操舵制御装置３４、動力源制御装置３５、制動制御装置３６、周辺監視センサ３９、ＧＰＳ受信機４０、ジャイロセンサ４１、車速センサ４２、ナビゲーション装置４３、通信装置４４などに接続されている。自動運転制御装置２０は、これら各部から取得した情報に基づいて、自動運転を行う制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御、自動速度調整制御、自動制動制御など）を行う。
【００３４】
自動運転とは、運転席にいる運転者が運転操作をすることなく、自動運転制御装置２０の行う制御によって車両を道路に沿って自動で走行させることをいう。例えば、予め設定された目的地までのルート、車外の状況や地図情報に基づいて自動的に生成された走行ルートなどに従って、自動で車両を走行させる運転状態が含まれる。そして、自動運転制御装置２０は、予め定められた自動運転の解除条件を満たした場合、自動運転を終了（解除）する。例えば、自動運転制御装置２０は、自動運転中の車両が予め定められた自動運転の終了地点に到達したと判定した場合に自動運転を終了する。また、自動運転制御装置２０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。手動運転とは、運転者が運転操作を行う主体となって車両を走行させる運転である。
【００３５】
操舵センサ３１は、ハンドル５２に対する操舵量を検出するセンサであり、例えば、車両のステアリングシャフトに設けられ、運転者によりハンドル５２に与えられる操舵トルク又はハンドル５２の操舵角を検出する。操舵センサ３１で検出された、運転者のハンドル操作に応じた信号が自動運転制御装置２０や操舵制御装置３４へ出力される。
【００３６】
アクセルペダルセンサ３２は、アクセルペダルの踏込み量（アクセルペダルの位置）を検出するセンサであり、例えばアクセルペダルのシャフト部分に設けられる。アクセルペダルセンサ３２で検出されたアクセルペダルの踏込み量に応じた信号が自動運転制御装置２０や動力源制御装置３５へ出力される。
【００３７】
ブレーキペダルセンサ３３は、ブレーキペダルの踏込み量（ブレーキペダルの位置）又は操作力（踏力など）を検出するセンサである。ブレーキペダルセンサ３３で検出されたブレーキペダルの踏込み量や操作力に応じた信号が自動運転制御装置２０や制動制御装置３６へ出力される。
【００３８】
操舵制御装置３４は、車両の操舵装置（例えば、電動パワーステアリング装置）５３を制御する電子制御ユニットである。操舵制御装置３４は、車両の操舵トルクをコントロールするモーターを駆動させることにより、車両の操舵トルクを制御する。自動運転モードでは、自動運転制御装置２０からの制御信号に応じて操舵トルクを制御する。
【００３９】
動力源制御装置３５は、パワーユニット５１を制御する電子制御ユニットである。動力源制御装置３５は、例えば、エンジンに対する燃料の供給量及び空気の供給量、又はモーターに対する電気の供給量を制御することで車両の駆動力を制御する。自動運転モードでは、自動運転制御装置２０からの制御信号に応じて車両の駆動力を制御する。
【００４０】
制動制御装置３６は、車両のブレーキシステムを制御する電子制御ユニットである。制動制御装置３６は、例えば、液圧ブレーキシステムに付与する液圧を調整することで、車両の車輪へ付与する制動力を制御する。自動運転モードでは、自動運転制御装置２０からの制御信号に応じて車輪への制動力を制御する。
【００４１】
警報装置３７は、各種警告や案内を音や音声で出力する音声出力部、各種警告や案内を文字や図形で表示したり、又はランプを点灯表示したりする表示出力部（いずれも図示せず）などを含んで構成され、運転者監視装置１０や自動運転制御装置２０から出力された警告指示信号に基づいて動作する。
【００４２】
始動スイッチ３８は、パワーユニット５１を始動、停止させるためのスイッチであり、エンジンを始動させるイグニッションスイッチや走行用モーターを始動させるパワースイッチなどで構成されている。始動スイッチ３８の操作信号が、運転者監視装置１０や自動運転制御装置２０に入力される。
【００４３】
周辺監視センサ３９は、車両の周辺に存在する対象物を検出するセンサである。前記対象物には、車、自転車、人などの移動物体、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物などが含まれる。周辺監視センサ３９は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging（ＬＩＤＥＲ）、及び超音波センサのうち少なくとも１つを含む。周辺監視センサ３９で検出された対象物の検出データが自動運転制御装置２０などへ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。
【００４４】
ＧＰＳ受信機４０は、図示しないアンテナを介して人工衛星からのＧＰＳ信号を受信し、受信したＧＰＳ信号に基づいて自車位置を割り出す処理（ＧＰＳ航法）を行う装置である。ＧＰＳ受信機４０で、割り出された自車位置情報が自動運転制御装置２０やナビゲーション装置４３などへ出力される。
【００４５】
ジャイロセンサ４１は、車両の回転角速度（ヨーレート）を検出するセンサである。ジャイロセンサ４１で検出された回転角速度信号が自動運転制御装置２０やナビゲーション装置４３などへ出力される。
【００４６】
車速センサ４２は、車両の速度を検出するセンサであり、例えば、車輪やドライブシャフトなどに設けて車輪の回転速度を検出する車輪速センサなどで構成されている。車速センサ４２で検出された車速信号が自動運転制御装置２０やナビゲーション装置４３などへ出力される。
【００４７】
ナビゲーション装置４３は、ＧＰＳ受信機４０などで計測された車両の位置情報と地図データベース（図示せず）の地図情報とに基づいて、車両が走行する道路や車線を割り出し、車両の現在位置から目的地までの経路などを演算し、該経路を表示部（図示せず）へ表示し、音声出力部（図示せず）から経路案内などの音声出力を行う。ナビゲーション装置４３で求められた、車両の位置情報、走行道路の情報、及び走行予定経路の情報などが自動運転制御装置２０へ出力される。走行予定経路の情報には、自動運転区間の開始地点や終了地点、自動運転の開始予告地点や終了（解除）予告地点などの自動運転の切り替え制御に関連する情報も含まれている。ナビゲーション装置４３は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部などを含んで構成されている。
【００４８】
通信装置４４は、無線通信網（例えば、携帯電話網、ＶＩＣＳ（登録商標）、ＤＳＲＣ（登録商標）などの通信網）を介して各種の情報を取得する装置である。通信装置４４は、車々間通信機能や路車間通信機能を備えてもよい。例えば、道路脇に設けられた路側送受信機（例えば光ビーコン、ＩＴＳスポット（登録商標））などとの路車間通信により、車両の進路上の道路環境情報（車線規制情報など）を取得することができる。また、車々間通信により、他車両に関する情報（位置情報、走行制御に関する情報など）や他車両により検出された道路環境情報などを取得することができる。
【００４９】
運転者撮像カメラ（撮像部）５４は、運転席に着座している運転者を撮像する装置であり、図示しないレンズ部、撮像素子部、光照射部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、ＣＣＤ、ＣＭＯＳなどの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記光照射部は、ＬＥＤなどの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどを用いてもよい。前記制御部は、例えば、ＣＰＵ、メモリ、画像処理回路などを含んで構成されている。前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、前記撮像素子部でその反射光を撮像する制御を行う。
【００５０】
運転者撮像カメラ５４の数は、１台でもよいし、２台以上であってもよい。また、運転者撮像カメラ５４は、運転者監視装置１０と別体（別筐体）で構成してもよいし、運転者監視装置１０と一体（同一筐体）で構成してもよい。運転者撮像カメラ５４は、単眼カメラでもよいし、ステレオカメラであってもよい。
【００５１】
運転者撮像カメラ５４の車室内での設置位置は、運転者の顔と、肩から上腕にかけての一部と、運転席前方に設けられているハンドル５２の一部（例えば、上部）とを少なくとも含む視野を撮像できる位置であれば、特に限定されない。例えば、ハンドル５２、ハンドル５２のコラム部分、メーターパネル部分、ダッシュボードの上、ルームミラー近傍位置、Ａピラー部分、ナビゲーション装置４３などに設置することができる。運転者撮像カメラ５４で撮像された運転者画像データが運転者監視装置１０へ出力される。
【００５２】
図２は、実施の形態（１）に係る運転者監視装置１０のハードウェア構成を示したブロック図である。
運転者監視装置１０は、入出力インターフェース（Ｉ／Ｆ）１１、制御ユニット１２、及び記憶ユニット１３を含んで構成されている。
【００５３】
入出力Ｉ／Ｆ１１は、運転者撮像カメラ５４、自動運転制御装置２０、警報装置３７、始動スイッチ３８などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。
【００５４】
制御ユニット１２は、画像取得部１２ａ、運転モード判定部１２ｂ、判定処理部１２ｃ、及び信号出力部１２ｇを含んで構成されている。制御ユニット１２は、Central Processing Unit（ＣＰＵ）、Graphics processing unit（ＧＰＵ）などの１つ以上のハードウェアプロセッサを含んで構成されている。
【００５５】
記憶ユニット１３は、画像記憶部１３ａ、把持位置検出方法記憶部１３ｂ、姿勢検出方法記憶部１３ｃ、及び把持判定方法記憶部１３ｄを含んで構成されている。記憶ユニット１３は、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する１つ以上のメモリ装置を含んで構成されている。
【００５６】
画像記憶部１３ａには、画像取得部１２ａにより取得された運転者画像が記憶される。
把持位置検出方法記憶部１３ｂには、制御ユニット１２の把持位置検出部１２ｄで実行される把持位置検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【００５７】
姿勢検出方法記憶部１３ｃには、制御ユニット１２の姿勢検出部１２ｅで実行される運転者の肩腕部の姿勢を検出する姿勢検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【００５８】
把持判定方法記憶部１３ｄには、制御ユニット１２の把持判定部１２ｆで実行される把持判定プログラムや該プログラムの実行に必要なデータなどが記憶されている。例えば、ハンドル５２の把持位置と、運転者の肩腕部の姿勢（向きと角度）との対応関係を示す把持判定テーブルなどを記憶してもよい。
【００５９】
制御ユニット１２は、記憶ユニット１３と協働して、記憶ユニット１３に各種データを記憶する処理や記憶ユニット１３に記憶された各種データやプログラムを読み出し、該プログラムを実行する処理などを行う装置である。
【００６０】
制御ユニット１２を構成する画像取得部１２ａは、運転者撮像カメラ５４で撮像された運転者画像を取得する処理を実行し、取得した運転者画像を画像記憶部１３ａに記憶する処理を行う。運転者画像は、静止画であってもよいし、動画であってもよい。運転者画像を取得するタイミングは、例えば、始動スイッチ３８がオンされた後、所定の間隔で取得するようになっている。また、運転モード判定部１２ｂにおいて、自動運転モードの解除を予告する解除予告信号を検出した場合にも運転者画像を取得する。
【００６１】
運転モード判定部１２ｂは、例えば、自動運転制御装置２０から取得した自動運転モードの設定信号、自動運転モードの解除予告信号、自動運転モードの解除信号などを検出し、これら信号に基づいて、自動運転モードや手動運転モードを含む運転モードを判定する処理を実行する。自動運転モードの設定信号は、自動運転モードへの設定（切替）が完了した後に出力される信号である。自動運転モードの解除予告信号は、自動運転モードから手動運転モードへの切替前に（手動運転操作の引継区間に入った場合に）出力される信号である。自動運転モードの解除信号は、自動運転モードが解除され、手動運転モードに切り替わった後に出力される信号である。
【００６２】
判定処理部１２ｃは、把持位置検出部１２ｄ、姿勢検出部１２ｅ、把持判定部１２ｆを含み、運転モード判定部１２ｂにおいて自動運転モードの解除予告信号が検出された場合に、これら各部の処理が実行される。
把持位置検出部１２ｄは、自動運転モードの解除予告信号が検出された場合に、画像記憶部１３ａから運転者画像（例えば、自動運転モードの解除予告信号が検出された後に、運転者撮像カメラ５４で撮像され、画像記憶部１３ａに記憶された画像）を読み出し、運転者画像を処理し、ハンドル５２が把持されているかを検出し、把持されている場合は、ハンドル５２の把持位置を検出する処理を実行する。
上記運転者画像の処理には、例えば、次のような画像処理が含まれる。まず、エッジ検出などの画像処理によりハンドル５２のエッジ（輪郭）を抽出する。次に、抽出したハンドル５２のエッジに対して交差する形のエッジを抽出し、該交差する形のエッジを検出した場合は、該エッジの長さや間隔から手指に相当するか否かを判定する。手指に相当するエッジであると判定した場合、その手指に相当するエッジ位置をハンドル５２の把持位置として検出する。
【００６３】
姿勢検出部１２ｅは、把持位置検出部１２ｄでの処理に引き続いて、運転者画像を処理し、運転者の肩腕部の姿勢を検出する処理を実行する。
上記運転者画像の処理は、例えば、エッジ検出などの画像処理により運転者の肩腕部のエッジ（輪郭）、すなわち、肩から上腕部のエッジと、前腕部のエッジとを検出し、検出できた各エッジの方向（向き）や角度（例えば、鉛直方向に対する角度）を推定する処理を行う。運転者の肩腕部の姿勢には、少なくとも左右いずれかの上腕部、及び前腕部の方向、角度のうちのいずれかが含まれる。
【００６４】
把持判定部１２ｆは、姿勢検出部１２ｅの処理に引き続いて、把持位置検出部１２ｄで検出されたハンドル５２の把持位置と、姿勢検出部１２ｅで検出された運転者の肩腕部の姿勢とに基づいて、撮像されている運転者がハンドル５２を把持しているか否かを判定する処理を実行する。
【００６５】
例えば、把持判定方法記憶部１３ｄに記憶した、ハンドル５２の把持位置と、運転者の肩腕部の姿勢（向きと角度）との関係を示す判定テーブルを読み出し、該判定テーブルに、前記検出されたハンドル５２の把持位置と、運転者の肩腕部の姿勢とを当てはめて、ハンドル５２を把持している条件に当てはまるか否かを判定する。
【００６６】
図３（ａ）は、運転者撮像カメラ５４で撮像された運転者画像の一例、図３（ｂ）は、把持判定方法記憶部１３ｄに記憶された前記判定テーブルの一例を示す図である。
図３（ａ）に示した運転者画像は、運転者がハンドル５２の左右上部２箇所を把持している状態（適切な把持状態）を示している。図３（ｂ）に示した判定テーブルには、ハンドル５２の把持位置に対応する、右腕又は左腕の向きと角度を含む姿勢条件が設定されている。図３（ｂ）に示した一例では、ハンドル５２の把持位置が正面視左側上部の場合、運転者の左腕の上腕部の向きは前方で角度θＬは４０度〜７０度の範囲にあるという条件、ハンドル５２の把持位置が正面視右側上部の場合、運転者の右腕の上腕部の向きは前方で角度θＲは４０度〜７０度の範囲にあるという条件が設定されている。なお、前記判定テーブルに設定されている上腕部の角度（θＬ、θＲ）は、運転者撮像カメラ５４の設置位置、撮像視野、運転者の画像中での位置などの条件に応じて、適切な判定が可能となるように設定すればよい。
【００６７】
信号出力部１２ｇは、把持位置検出部１２ｄによりハンドル５２の把持位置が検出されなかった場合、警報装置（警報部）３７に、ハンドル５２を運転者に把持させるための警告処理を実行させるための信号を出力する。
また、信号出力部１２ｇは、把持判定部１２ｆでの判定結果に基づいて所定の信号を出力する。例えば、把持判定部１２ｆでの判定結果が、運転者がハンドル５２を把持している結果の場合、自動運転モードから手動運転モードへの切り替えを許可する信号を自動運転制御装置２０へ出力する。一方、判定結果が、運転者がハンドル５２を把持していない結果の場合、警報装置３７に警告処理を指示する信号を出力したり、自動運転で強制的に車両を退避（停車又は減速）させる強制退避を指示する信号を自動運転制御装置２０に出力したりする処理を実行する。
【００６８】
図４は、実施の形態（１）に係る運転者監視装置１０における制御ユニット１２の行う処理動作を示すフローチャートである。
まず、ステップＳ１では、始動スイッチ３８のオン信号を取得したか否かを判断し、始動スイッチ３８のオン信号を取得したと判断すればステップＳ２に進む。ステップＳ２では、運転者撮像カメラ５４を起動させて、運転者画像の撮像処理を開始し、次のステップＳ３では、運転者撮像カメラ５４で撮像された運転者画像を取得し、画像記憶部１３ａに記憶する処理を行い、その後ステップＳ４に進む。
【００６９】
ステップＳ４では、自動運転制御装置２０から自動運転モードの設定信号を取得したか否かを判断し、自動運転モードの設定信号を取得したと判断すればステップＳ５に進む。ステップＳ５では、自動運転モードでの運転者監視処理を行う。例えば、運転者撮像カメラ５４で自動運転中の運転者を撮像し、該撮像された運転者画像を解析して、運転者の状態を監視する処理を行い、その後ステップＳ６に進む。
【００７０】
ステップＳ６では、自動運転モードの解除予告信号（手動運転モードへの切替予告信号）を取得したか否かを判断し、前記自動運転モードの解除予告信号を取得していない（自動運転モード中）と判断すればステップＳ５に戻り、自動運転モードでの運転者監視処理を継続する。一方、ステップＳ６において、自動運転モードの解除予告信号を取得したと判断すればステップＳ７に進む。
【００７１】
ステップＳ７では、運転者撮像カメラ５４で撮像された運転者画像に基づいて、撮像された運転者がハンドル５２を把持しているか否かの判定処理を行い、その後ステップＳ８に進む。ステップＳ７の把持判定処理の詳細については後述する。
【００７２】
ステップＳ８では、自動運転モードの解除信号を取得したか否かを判断し、自動運転モードの解除信号を取得したと判断すればステップＳ９に進む。ステップＳ９では、手動運転モードでの運転者監視処理を行う。例えば、運転者撮像カメラ５４で手動運転中の運転者を撮像し、該撮像された運転者画像を解析して、運転者の状態を監視する処理を行い、その後ステップＳ１０に進む。
【００７３】
ステップＳ１０において、始動スイッチ３８のオフ信号を取得したか否かを判断し、オフ信号を取得したと判断すれば、その後処理を終える一方、オフ信号を取得していないと判断すればステップＳ３に戻る。
【００７４】
また、ステップＳ４において、自動運転モードの設定信号を取得していないと判断すればステップＳ１１に進み、手動運転モードでの運転者監視処理を行う。
また、ステップＳ８において、自動運転モードの解除信号を取得していないと判断すればステップＳ１２に進む。ステップＳ１２では、自動運転による強制退避の完了信号を取得したか否かを判断し、強制退避の完了信号を取得したと判断すればその後処理を終える一方、強制退避の完了信号を取得していないと判断すれば、ステップＳ８に戻る。
【００７５】
図５は、実施の形態（１）に係る運転者監視装置１０における制御ユニット１２の行う把持判定処理動作を示すフローチャートである。なお、本処理動作は、図４に示すステップＳ７に対応する処理であり、ステップＳ６において、自動運転モードの解除予告を検出した場合に実行される。
【００７６】
図４のステップＳ６において、自動運転モードの解除予告信号を検出すると、把持判定処理のステップＳ２１に進む。
ステップＳ２１では、画像記憶部１３ａに記憶されている運転者画像を読み出し、ステップＳ２２に進む。画像記憶部１３ａから読み出す運転者画像は、例えば、自動運転モードの解除予告信号を取得した後に、運転者撮像カメラ５４で撮像され、画像記憶部１３ａに記憶された運転者画像である。運転者画像は、ここでは、運転者の肩から上腕にかけての一部と、ハンドル５２の一部（例えば、上半分程度）とを少なくとも含む視野を撮像した画像として説明する。
【００７７】
ステップＳ２２では、読み出した運転者画像に対する画像処理を開始し、運転者画像からハンドル５２を検出する処理を行い、ステップＳ２３に進む。例えば、エッジ検出などの画像処理によりハンドルのエッジ（輪郭）を抽出する。
【００７８】
ステップＳ２３では、ハンドル５２が把持されているか否かを判断する。例えば、上記抽出されたハンドル５２のエッジに対して交差する形のエッジを抽出し、該交差する形のエッジの長さ、間隔などを検出し、そのエッジの形から人の手であるか否かを判断する。ハンドル５２が把持されている状態とは、ハンドル５２を手で握っている状態の他、ハンドル５２に手を添えている状態も含まれる。
【００７９】
ステップＳ２３において、ハンドル５２が把持されていると判断すればステップＳ２４に進む。ステップＳ２４では、ハンドル５２の把持位置が適切であるか否かを判断する。
ハンドル５２の把持位置が適切である場合とは、例えば、運転者画像から抽出したハンドル部分に２箇所把持位置が検出されている場合であるが、これに限定されない。また、ステップＳ２４の処理を省略してもよい。
【００８０】
ステップＳ２４において、ハンドル５２の把持位置が適切であると判断すればステップＳ２５に進む。ステップＳ２５では、運転者画像から運転者の肩腕部の姿勢を検出する処理を行う。例えば、エッジ検出などの画像処理により運転者の肩腕部のエッジ（輪郭）、すなわち、少なくとも左右いずれかの肩から上腕部のエッジと、前腕部のエッジとを検出し、検出できた各エッジの方向や角度を推定する処理を行う。
【００８１】
次のステップＳ２６では、運転者の少なくとも左右いずれかの肩、上腕部、及び前腕部（運転者の肩から手まで）を検出したか否かを判断し、検出したと判断すればステップＳ２７に進む。ステップＳ２７では、画像処理の結果に基づいて、前記検出された肩、上腕部、及び前腕部と、ハンドル５２の把持位置（手の位置）とか繋がっているか否かを判断する。
【００８２】
ステップＳ２７において、繋がっていると判断すればステップＳ２８に進む。ステップＳ２８では、自動運転モードから手動運転モードへの切替を許可する信号を自動運転制御装置２０に出力する処理を行い、その後、本処理動作を終え、図４のステップＳ８に進む。
【００８３】
一方ステップＳ２６において、運転者の肩、上腕部、及び前腕部を検出していない、すなわち、運転者の少なくとも左右いずれかの肩から上腕部を検出したと判断すればステップＳ２９に進む。ステップＳ２９では、ハンドル５２の把持位置と、運転者の肩上腕部の姿勢とを、把持判定方法記憶部１３ｄから読み出した把持判定テーブルに当てはめて、運転者によるハンドル５２の把持状態を推定する処理を行い、その後ステップＳ３０に進む。ステップＳ３０では、運転者がハンドル５２を把持しているか否かを判断し、把持していると判断すればステップＳ２８に進む。
【００８４】
一方、ステップＳ２３において、ハンドル５２が把持されていないと判断した場合、ステップＳ２４において、ハンドル５２の把持位置が適切でない、例えば、把持位置が１箇所しかないと判断した場合、ステップＳ２７において、運転者の肩、上腕部、及び前腕部と、ハンドル５２の把持位置とが繋がっていないと判断した場合、又はステップＳ３０において、運転者がハンドル５２を把持していないと判断した場合、ステップＳ３１に進む。
【００８５】
ステップＳ３１では、運転者にハンドル５２を適正な姿勢で握らせるための警告を既に行ったか否かを判断し、警告済みであると判断すればステップＳ３２に進む。ステップＳ３２では、自動運転制御装置２０に、強制退避指示信号を出力する処理を行い、その後処理を終え、図４のステップＳ８に進む。
【００８６】
一方ステップＳ３１において、警告済みではない（未警告である）と判断すれば、ステップＳ３３に進む。ステップＳ３３では、警報装置３７に対して、運転者にハンドル５２を適正な姿勢で握らせるための警告処理を実行させるための信号を出力し、その後ステップＳ２１に戻る。
【００８７】
上記実施の形態（１）に係る運転者監視装置１０によれば、自動運転制御装置２０により自立走行を制御する自動運転モードから運転者が操舵する手動運転モードに切り替えられる場合に、運転者撮像カメラ５４で撮像された運転者画像を処理して、ハンドル５２の把持位置と、運転者の肩腕部の姿勢とが検出される。そして、該検出されたハンドル５２の把持位置と、運転者の肩腕部の姿勢との関係に基づいて、ハンドル５２が運転者の手で把持されているか否かが判定される。したがって、運転者以外の同乗者がハンドル５２を把持しているような状態と明確に区別することが可能となり、運転席に着座している本来の運転者がハンドル５２を把持しているか否かを精度よく検出することができる。
【００８８】
また、把持位置検出部１２ｄによりハンドル５２の把持位置が検出されなかった場合や把持位置が適切でなかった場合、運転者に適正な姿勢（例えば、ハンドルの上部２箇所を把持する姿勢）でハンドル５２を把持させるための警告処理が実行されるので、運転者に適正な姿勢でのハンドル操作の引き継ぎを促すことができる。
【００８９】
また、ハンドル５２の把持位置と運転者の肩腕部の姿勢との関係に基づいてハンドル５２が運転者の手で把持されていると判定された場合、自動運転モードから前記手動運転モードへの切り替えを許可する信号が出力されるので、運転者がハンドル操作を引き継いだ状態で、自動運転モードから手動運転モードへの切り替えを行うことができ、該切り替え時の車両の安全を確保することができる。
【００９０】
また、ハンドル５２が運転者の手で把持されていないと判定された場合、自動運転モードから手動運転モードへの切り替えを許可しない信号が出力されるので、ハンドル５２の操作が運転者に引き継がれていない状態で、手動運転モードに切り替わることを防止することができる。
【００９１】
図６は、実施の形態（２）に係る運転者監視装置１０Ａを含む自動運転システム１Ａの要部構成を示すブロック図である。なお、図１に示した自動運転システム１の要部構成と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
【００９２】
実施の形態（２）に係る運転者監視装置１０Ａでは、ハンドル５２に設けられた接触検出センサ（接触検出部）５５からの信号を取得する接触信号取得部１２ｈをさらに備え、接触検出センサ５５から取得した信号を用いた処理を実行する点が、実施の形態（１）に係る運転者監視装置１０と大きく相違している。
【００９３】
ハンドル５２に設けられる接触検出センサ５５は、ハンドル５２に触れた手（特に掌や指の部分）を検出することができるセンサである。接触検出センサ５５には、例えば、静電容量式センサや感圧式センサなどが採用され得るが、これに限定されない。
前記静電容量式センサは、ハンドル５２に設けた電極部と手との間に生じる静電容量の変化を検出して、ハンドル５２への接触を検出するセンサである。
前記感圧式センサは、ハンドル５２に設けた電極部と検出部との接触面積（抵抗値）の変化により、ハンドル５２を把持したときの圧力を検出して、ハンドル５２への接触を検出するセンサである。接触検出センサ５５は、ハンドル５２の円周上やスポーク部分に複数設けてもよい。接触検出センサ５５で検出された信号が運転者監視装置１０Ａに出力される。
【００９４】
図７は、実施の形態（２）に係る運転者監視装置１０Ａのハードウェア構成を示すブロック図である。なお、図２に示した運転者監視装置１０のハードウェア構成と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
運転者監視装置１０Ａは、入出力インターフェース（Ｉ／Ｆ）１１、制御ユニット１２Ａ、及び記憶ユニット１３Ａを含んで構成されている。
【００９５】
入出力Ｉ／Ｆ１１は、運転者撮像カメラ５４、接触検出センサ５５、自動運転制御装置２０、警報装置３７、始動スイッチ３８などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。
【００９６】
制御ユニット１２Ａは、画像取得部１２ａ、接触信号取得部１２ｈ、運転モード判定部１２ｂ、判定処理部１２ｉ、及び信号出力部１２ｇを含んで構成され、ＣＰＵ、ＧＰＵなどの１つ以上のハードウェアプロセッサを含んで構成されている。
【００９７】
記憶ユニット１３Ａは、画像記憶部１３ａ、姿勢検出方法記憶部１３ｅ、及び把持判定方法記憶部１３ｆを含んで構成され、ＲＯＭ、ＲＡＭ、ＳＳＤ、ＨＤＤ、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する１つ以上のメモリ装置を含んで構成されている。
【００９８】
画像記憶部１３ａには、画像取得部１２ａにより取得された運転者画像（運転者撮像カメラ５４で撮像された画像）が記憶される。
姿勢検出方法記憶部１３ｅには、制御ユニット１２Ａの姿勢検出部１２ｋで実行される運転者の肩腕部の姿勢を検出する姿勢検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
【００９９】
把持判定方法記憶部１３ｆには、制御ユニット１２Ａの把持判定部１２ｍで実行される把持判定プログラムや該プログラムの実行に必要なデータなどが記憶されている。例えば、ハンドル５２の把持位置と、運転者の肩腕部の姿勢（向きと角度）との対応関係を示す把持判定テーブルなどを記憶してもよい。
【０１００】
制御ユニット１２Ａは、記憶ユニット１３Ａと協働して、記憶ユニット１３Ａに各種データを記憶する処理や、記憶ユニット１３Ａに記憶されたデータやプログラムを読み出し、該プログラムを実行するように構成されている。
【０１０１】
接触信号取得部１２ｈは、運転モード判定部１２ｂにおいて、自動運転モードの解除予告信号（自動運転モードから手動運転モードへの切替予告信号）が検出された場合に、接触検出センサ５５から接触信号を取得する処理を実行し、取得した接触信号を把持位置検出部１２ｊに送る。
【０１０２】
判定処理部１２ｉは、把持位置検出部１２ｊ、姿勢検出部１２ｋ、把持判定部１２ｍを含み、運転モード判定部１２ｂにおいて自動運転モードの解除予告信号が検出された場合に、これら各部の処理が実行される。
把持位置検出部１２ｊは、自動運転モードの解除予告信号が検出された場合に、接触信号取得部１２ｈから接触検出センサ５５で検出された接触信号を取り込み、該接触信号に基づいて、ハンドル５２が把持されているか否か、そして、ハンドル５２の把持位置を検出する処理を実行する。
【０１０３】
姿勢検出部１２ｋは、把持位置検出部１２ｊでの処理に引き続いて、運転者画像を処理し、運転者の肩腕部の姿勢を検出する処理を実行する。
上記運転者画像の処理は、例えば、エッジ検出などの画像処理により、画像に含まれる運転者の肩腕部のエッジ（輪郭）、すなわち、肩から上腕部のエッジと、前腕部のエッジとを検出し、検出できた各エッジの方向や角度（鉛直方向に対する角度）を推定する処理を行う。運転者の肩腕部の姿勢には、少なくとも左右いずれかの上腕部、及び前腕部の方向（向き）、角度のうちのいずれかが含まれる。
【０１０４】
把持判定部１２ｍは、姿勢検出部１２ｋの処理に引き続いて、把持位置検出部１２ｊで検出されたハンドル５２の把持位置と、姿勢検出部１２ｋで検出された運転者の肩腕部の姿勢とに基づいて、撮像されている運転者がハンドル５２を把持しているか否かを判定する処理を実行する。
【０１０５】
例えば、把持判定方法記憶部１３ｆに記憶されている、ハンドル５２の把持位置と、運転者の肩腕部の姿勢（向きと角度）との関係を示す把持判定テーブルを読み出し、該把持判定テーブルに、前記検出されたハンドル５２の把持位置と、運転者の肩腕部の姿勢とを当てはめて、把持している条件に当てはまるか否かを判定する。
【０１０６】
図８は、実施の形態（２）に係る運転者監視装置１０Ａにおける制御ユニット１２Ａの行う把持判定処理動作を示すフローチャートである。本処理動作は、図４に示すステップＳ７に対応する処理であり、ステップＳ６において、自動運転モードの解除予告を検出した場合に実行される。なお、図５に示した把持判定処理動作と同一内容の処理動作については同一符号を付し、その説明を省略する。
【０１０７】
図４のステップＳ６において、自動運転モードの解除予告信号を検出すると、把持判定処理のステップＳ４１に進む。ステップＳ４１では、画像記憶部１３ａに記憶されている運転者画像を読み出し、ステップＳ４２に進む。画像記憶部１３ａから読み出す運転者画像は、例えば、自動運転モードの解除予告信号を取得した後に、運転者撮像カメラ５４で撮像され、画像記憶部１３ａに記憶された運転者画像である。なお、運転者画像は、運転者の顔と、肩及び上腕部の一部とを少なくとも含む視野を撮像した画像であり、ハンドル５２は、写っていてもよいし、写っていなくてもよい。
【０１０８】
ステップＳ４２では、接触検出センサ５５から接触信号を取得する処理を行い、ステップＳ４３に進む。ステップＳ４３では、接触信号を取得したか（ハンドル５２が把持されているか）否かを判断し、接触信号を取得した（ハンドル５２が把持されている）と判断すればステップＳ４４に進む。
【０１０９】
ステップＳ４４では、接触信号が検出された箇所が２箇所であるか否かを判断し、２箇所であると判断すればステップＳ４５に進む。ステップＳ４５では、運転者画像から運転者の肩上腕部の姿勢を検出する処理を行う。
例えば、エッジ検出などの画像処理により運転者の肩腕部のエッジ（輪郭）、すなわち、少なくとも左右いずれかの肩から上腕部のエッジを検出し、検出できた各エッジの方向や角度を検出する処理を行い、その後ステップＳ４６に進む。
【０１１０】
ステップＳ４６では、ハンドル５２の把持位置と、運転者の肩上腕部の姿勢とを、把持判定方法記憶部１３ｆから読み出した把持判定テーブルに当てはめて、運転者によるハンドル５２の両手把持状態を判定する処理を行い、その後ステップＳ４７に進む。
ステップＳ４７では、運転者がハンドル５２を両手で把持しているか否かを判断し、両手で把持していると判断すればステップＳ２８に進み、その後把持判定処理を終える。
【０１１１】
一方ステップＳ４４において、接触信号が検出された箇所が２箇所ではない、すなわち、１箇所であると判断すればステップＳ４８に進む。ステップＳ４８では、運転者画像から運転者の肩上腕部の姿勢を検出する処理を行い、その後ステップＳ４９に進む。
ステップＳ４９では、ハンドル５２の把持位置と、運転者の肩上腕部の姿勢とを、把持判定方法記憶部１３ｆから読み出した把持判定テーブルに当てはめて、運転者によるハンドル５２の片手把持状態を判定する処理を行い、その後ステップＳ５０に進む。
ステップＳ５０では、運転者がハンドル５２を片手で把持しているか否かを判断し、片手で把持していると判断すればステップＳ２８に進み、その後把持判定処理を終える。
【０１１２】
一方、ステップＳ４３において、接触信号を取得していないと判断した場合、ステップＳ４７において、運転者が両手でハンドルを把持していないと判断した場合、又はステップＳ５０において、運転者が片手でハンドルを把持していないと判断した場合、ステップＳ３１〜Ｓ３３の処理に進む。
【０１１３】
上記実施の形態（２）に係る運転者監視装置１０Ａによれば、自動運転モードから手動運転モードに切り替えられる場合に、接触検出センサ５５から取得した接触信号に基づいてハンドル５２の把持位置を検出し、該検出されたハンドル５２の把持位置と、運転者画像を処理して検出された運転者の肩腕部の姿勢に基づいて、ハンドル５２が運転者の両手又は片手で把持されているか否かが判定される。
したがって、運転者画像にハンドル５２が写っていない場合であっても、運転者以外の同乗者がハンドル５２を把持しているような状態と区別して、運転席に着座している本来の運転者がハンドル５２を両手又は片手で把持しているか否かを精度よく検出することができる。
【０１１４】
なお、上記運転者監視装置１０Ａでは、ハンドル５２の把持位置を、接触検出センサ５５から取得した接触信号に基づいて検出するようになっているが、運転者画像にハンドル５２の一部（上半分程度）も写っている場合は、ハンドル５２の把持位置を検出する場合に、接触検出センサ５５から取得した接触信号に基づいて検出した把持位置と、運転者画像を処理して検出された把持位置とを照合して、ハンドルの把持位置を検出するようにしてもよい。
【０１１５】
図９は、実施の形態（３）に係る運転者監視装置１０Ｂのハードウェア構成を示すブロック図である。なお、図２に示した運転者監視装置１０のハードウェア構成と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。また、実施の形態（３）に係る運転者監視装置１０Ｂを含む自動運転システム１Ｂの要部構成は、図１に示した自動運転システム１と略同様であるため、同一機能を有する構成部品には同一符号を付し、その説明を省略する。
【０１１６】
実施の形態（３）に係る運転者監視装置１０Ｂでは、ハンドル５２を把持した状態の運転者画像と、ハンドル５２を把持していない状態の運転者画像とを教師データとして学習器で学習させて作成した分類器を用いて、運転者画像に写された運転者がハンドル５２を把持しているか否かを判定する処理を実行する点が、実施の形態（１）に係る運転者監視装置１０と大きく相違している。
【０１１７】
実施の形態（３）に係る運転者監視装置１０Ｂは、入出力インターフェース（Ｉ／Ｆ）１１、制御ユニット１２Ｂ、及び記憶ユニット１３Ｂを含んで構成されている。
入出力Ｉ／Ｆ１１は、運転者撮像カメラ５４、自動運転制御装置２０、警報装置３７、始動スイッチ３８などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。
【０１１８】
制御ユニット１２Ｂは、画像取得部１２ａ、運転モード判定部１２ｂ、判定処理部１２ｎ、及び信号出力部１２ｇを含んで構成され、ＣＰＵ、ＧＰＵなどの１つ以上のハードウェアプロセッサを含んで構成されている。
【０１１９】
記憶ユニット１３Ｂは、画像記憶部１３ａ、及び分類器記憶部１３ｇを含んで構成され、ＲＯＭ、ＲＡＭ、ＳＳＤ、ＨＤＤ、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する１つ以上のメモリ装置を含んで構成されている。
【０１２０】
画像記憶部１３ａには、画像取得部１２ａにより取得された運転者画像（運転者撮像カメラ５４で撮像された画像）が記憶される。
分類器記憶部１３ｇには、把持判定用の学習済み分類器が記憶されている。学習済み分類器は、後述する学習装置６０により、ハンドル５２を把持した状態の運転者画像と、ハンドル５２を把持していない状態の運転者画像とを教師データとして予め学習処理を行って作成した学習モデルであり、例えば、ニューラルネットワークなどで構成されている。
ニューラルネットワークは、階層型ニューラルネットワークでもよいし、畳み込みニューラルネットワークであってもよい。分類器記憶部１３ｇに記憶される学習済み分類器は、１つでもよいし、２つ以上であってもよい。運転者画像に写されている運転者の属性（男性、女性、体格など）に対応した、複数の学習済み分類器を記憶してもよい。
【０１２１】
学習済み分類器は、入力層と、隠れ層（中間層）と、出力層とを含む複数の層で区分けされた複数のニューロン（ユニットともいう）によって信号が処理され、出力層から分類結果が出力されるニューラルネットワークで構成されている。
入力層は、ニューラルネットワークに与える情報を取り込む層である。例えば、運転者画像の画素数に対応したユニット数を備え、各ニューロンに運転者画像の各画素情報が入力される。
【０１２２】
中間層のニューロンは、複数の入力値に重み係数を積算して加算し、さらにしきい値を減算した値を伝達関数（例えば、ステップ関数、シグモイド関数など）で処理した値を出力する処理を行い、入力層に入力された運転者画像の特徴を抽出していく。中間層の浅い層では、運転者画像における運転者の小さい特徴（線分など）が認識され、層が深くなる（出力側になる）につれて、小さい特徴が組み合わされて、運転者の大きな特徴（より広範囲の特徴）が認識される。
【０１２３】
出力層のニューロンは、ニューラルネットワークが算出した結果を出力する。例えば、２つのニューロンで構成し、ハンドルを把持している状態と、ハンドルを把持していない状態とのいずれに属するのかを分類（識別）した結果を出力する。
【０１２４】
制御ユニット１２Ｂは、記憶ユニット１３Ｂと協働して、記憶ユニット１３Ｂに各種データを記憶する処理や、記憶ユニット１３Ｂに記憶されたデータや分類器などを読み出し、該分類器を用いた把持判定処理を実行する。
【０１２５】
判定処理部１２ｎは、運転モード判定部１２ｂにおいて自動運転モードの解除予告信号が検出された場合に、分類器記憶部１３ｇから学習済み分類器を読み出すとともに、画像記憶部１３ａから運転者画像を読み出す。そして、学習済み分類器の入力層に運転者画像の画素データ（画素値）を入力し、ニューラルネットワークの中間層の演算処理を行い、出力層から、運転者がハンドルを把持している状態とハンドルを把持していない状態とのいずれに属するのかを分類（識別）した結果を出力する処理を行う。
【０１２６】
図１０は、運転者監視装置１０Ｂに記憶される学習済み分類器を生成する学習装置６０のハードウェア構成を示すブロック図である。
学習装置６０は、入出力インターフェース（Ｉ／Ｆ）６１、学習制御ユニット６２、及び学習記憶ユニット６３を含むコンピュータ装置で構成されている。
【０１２７】
入出力Ｉ／Ｆ６１は、学習用運転者撮像カメラ６４、入力部６５、表示部６６、外部記憶部６７などに接続され、これら外部機器との間で信号の授受を行うための回路や接続コネクタなどを含んで構成されている。
【０１２８】
学習用運転者撮像カメラ６４は、例えば、ドライビングシミュレータ装置に装備されたカメラであり、ドライビングシミュレータ装置の運転席に着座している運転者を撮像する装置である。学習用運転者撮像カメラ６４で撮像される視野は、車両に搭載される運転者撮像カメラ５４と同様の視野に設定されている。入力部６５は、キーボードなどの入力装置で構成されている。表示部６６は、液晶ディスプレイなどの表示装置で構成されている。外部記憶部６７は、外付けの記憶装置であり、ＨＤＤ、ＳＳＤ、フラッシュメモリなどで構成されている。
【０１２９】
学習制御ユニット６２は、学習画像取得部６２ａ、把持情報取得部６２ｂ、学習処理部６２ｃ、及びデータ出力部６２ｅを含んで構成され、ＣＰＵ、ＧＰＵなどの１つ以上のハードウェアプロセッサを含んで構成されている。
【０１３０】
学習記憶ユニット６３は、学習データセット記憶部６３ａ、未学習分類器記憶部６３ｂ、及び学習済み分類器記憶部６３ｃを含んで構成され、ＲＯＭ、ＲＡＭ、ＳＳＤ、ＨＤＤ、フラッシュメモリ、その他の不揮発性メモリ、揮発性メモリなど、半導体素子によってデータを記憶する１つ以上のメモリ装置を含んで構成されている。
【０１３１】
学習制御ユニット６２は、学習記憶ユニット６３と協働して、学習記憶ユニット６３に各種データ（学習済み分類器など）を記憶する処理や学習記憶ユニット６３に記憶されたデータやプログラム（未学習分類器など）を読み出して、該プログラムを実行するように構成されている。
【０１３２】
学習画像取得部６２ａは、学習用運転者撮像カメラ６４で撮像された学習用運転者画像を取得し、取得した学習用運転者画像を学習データセット記憶部６３ａに記憶する処理などを行う。学習用運転者画像には、ドライビングシミュレータ装置のハンドルを把持した運転者の画像と、ハンドルを把持していない運転者の画像が含まれる。
【０１３３】
把持情報取得部６２ｂは、学習画像取得部６２ａで取得される各学習用運転者画像に対応付ける教師データとしてのハンドル把持情報（把持状態の正解データ）を取得し、取得したハンドル把持情報を学習データセット記憶部６３ａに各学習用運転者画像と対応付けて記憶する処理などを行う。ハンドル把持情報には、ハンドル把持の有無に関する正解データが含まれている。ハンドル把持情報は入力部６５を介して設計者により入力される。
【０１３４】
学習処理部６２ｃは、未学習のニューラルネットワークなどの未学習分類器と、学習データセット（学習用運転者画像とハンドル把持情報）とを用いて学習処理を行って学習済み分類器を作成し、作成した学習済み分類器を学習済み分類器記憶部６３ｃに記憶する処理などを行う。
データ出力部６２ｅは、学習済み分類器記憶部６３ｃに記憶された学習済み分類器を外部記憶部６７に出力する処理などを行う。
【０１３５】
学習データセット記憶部６３ａには、学習用運転者画像と、その教師データ（正解データ）としてのハンドル把持情報とが対応付けて記憶されている。
未学習分類器記憶部６３ｂには、未学習のニューラルネットワークのプログラムなど、未学習の分類器に関する情報が記憶されている。
学習済み分類器記憶部６３ｃには、学習済みのニューラルネットワークのプログラムなど、学習済みの分類器に関する情報が記憶されている。
【０１３６】
図１１は、学習装置６０の学習制御ユニット６２が行う学習処理動作を示したフローチャートである。
まず、ステップＳ５１では、未学習分類器記憶部６３ｂから未学習の分類器を読み出し、次のステップＳ５２では、未学習の分類器を構成するニューラルネットワークの重みとしきい値などの定数を初期化して、ステップＳ５３に進む。
【０１３７】
ステップＳ５３では、学習データセット記憶部６３ａから学習データセット（学習用運転者画像とハンドル把持情報）を読み出し、次のステップＳ５４では、読み出した学習用運転者画像を構成する画素データ（画素値）を、未学習のニューラルネットワークの入力層に入力し、その後ステップＳ５５に進む。
【０１３８】
ステップＳ５５では、未学習のニューラルネットワークの出力層から把持判定データを出力し、次のステップＳ５６では、出力された把持判定データと、教師データであるハンドル把持情報とを比較し、ステップＳ５７に進む。
【０１３９】
ステップＳ５７では、出力の誤差が規定値以下になったか否かを判断し、出力の誤差が規定値以下になっていないと判断すればステップＳ５８に進む。ステップＳ５８では、出力の誤差が規定値以下になるようにニューラルネットワークを構成する中間層のニューロンの特性（重みやしきい値など）の調整を行い、その後ステップＳ５３に戻り、学習処理を継続する。ステップＳ５８では、誤差逆伝播法（バックプロバケーション）を用いてもよい。
【０１４０】
一方ステップＳ５７において、出力の誤差が規定値以下になったと判断すればステップＳ５９に進み、学習処理を終了し、ステップＳ６０に進む。ステップＳ６０では、学習済みのニューラルネットワークを学習済み分類器として学習済み分類器記憶部６３ｃに記憶して、その後処理を終える。
【０１４１】
学習済み分類器記憶部６３ｃに記憶された学習済み分類器は、データ出力部６２ｅにより外部記憶部６７に出力することができる。外部記憶部６７に記憶された学習済み分類器が、運転者監視装置１０Ｂの分類器記憶部１３ｇに格納されるようになっている。
【０１４２】
図１２は、実施の形態（３）に係る運転者監視装置１０Ｂにおける制御ユニット１２Ｂの行う把持判定処理動作を示したフローチャートである。なお、本処理動作は、図４に示すステップＳ７に対応する処理であり、ステップＳ６において、自動運転モードの解除予告を検出した場合に実行される。なお、図５に示した把持判定処理動作と同一内容の処理動作については同一符号を付し、その説明を省略する。
【０１４３】
図４のステップＳ６において、自動運転モードの解除予告信号を検出すると、把持判定処理のステップＳ６１に進む。ステップＳ６１では、画像記憶部１３ａに記憶されている運転者画像を読み出し、ステップＳ６２に進む。画像記憶部１３ａから読み出す運転者画像は、例えば、自動運転モードの解除予告信号を取得した後に、運転者撮像カメラ５４で撮像され、画像記憶部１３ａに記憶された運転者画像である。
【０１４４】
ステップＳ６２では、分類器記憶部１３ｇから学習済み分類器を読み出し、ステップＳ６３に進む。学習済み分類器は、ここでは、入力層と隠れ層（中間層）と出力層とを有するニューラルネットワークで構成されているものとする。ステップＳ６３では、読み出した学習済み分類器の入力層に、運転者画像の画素値を入力し、ステップＳ６４に進む。
ステップＳ６４では、学習済み分類器の中間層での演算処理を行い、その後ステップＳ６５に進む。
【０１４５】
ステップＳ６５では、学習済み分類器の出力層から把持判定データを出力し、次のステップＳ６６では、出力された把持判定データに基づき、運転者がハンドル５２を把持しているか否かを判断する。
【０１４６】
ステップＳ６６において、運転者がハンドル５２を把持していると判断すればステップＳ２８に進み、自動運転モードから手動運転モードへの切り替えを許可する信号を自動運転制御装置２０に出力し、その後、把持判定処理を終え、図４のステップＳ８に進む。
一方ステップＳ６６において、運転者がハンドル５２を把持していないと判断すればステップＳ３１〜Ｓ３３の処理へ進む。
【０１４７】
上記実施の形態（３）に係る運転者監視装置１０Ｂによれば、自動運転制御装置２０の制御により自動運転モードから手動運転モードに切り替えられる場合に、学習済み分類器の入力層に運転者画像のデータを入力することで、出力層からハンドル５２が運転者の手で把持されているか否かの判定データが出力される。
したがって、判定処理部１２ｎでの処理に学習済み分類器を用いることで、運転者以外の同乗者がハンドル５２を把持しているような状態と区別することができ、運転席に着座している本来の運転者がハンドル５２を把持しているか否かを精度良く検出することができる。
【０１４８】
図１３は、実施の形態（４）に係る運転者監視装置１０Ｃのハードウェア構成を示すブロック図である。また、実施の形態（４）に係る運転者監視装置１０Ｃを含む自動運転システム１Ｃの要部構成は、図１に示した自動運転システム１と略同様であるため、同一機能を有する構成部品には同一符号を付し、その説明を省略する。
実施の形態（４）に係る運転者監視装置１０Ｃは、実施の形態（３）に係る運転者監視装置１０Ｂの変更例であり、制御ユニット１２Ｃの学習済み分類器作成部１２ｐ、判定処理部１２ｒと、記憶ユニット１３Ｃの分類器情報記憶部１３ｈとが異なる構成となっている。
【０１４９】
実施の形態（４）に係る運転者監視装置１０Ｃは、入出力インターフェース（Ｉ／Ｆ）１１、制御ユニット１２Ｃ、及び記憶ユニット１３Ｃを含んで構成されている。
制御ユニット１２Ｃは、画像取得部１２ａ、運転モード判定部１２ｂ、学習済み分類器作成部１２ｐ、判定処理部１２ｒ、及び信号出力部１２ｇを含んで構成されている。
記憶ユニット１３Ｂは、画像記憶部１３ａ、及び分類器情報記憶部１３ｈを含んで構成されている。
【０１５０】
分類器情報記憶部１３ｈには、ニューラルネットワークの階層数、各層のニューロン数、及び伝達関数（例えば、ステップ関数、シグモイド関数など）を含む未学習の分類器に関する定義情報と、予め学習処理により求められた各層のニューロン間の重み係数及びしきい値を含む定数データとが記憶されている。未学習の分類器に関する定義情報は、１つの分類器でもよいし、２つ以上の分類器であってもよい。また、定数データは、運転者画像に写されている運転者の属性（男性、女性、体格など）に対応した複数の定数データの組を記憶してもよい。
【０１５１】
学習済み分類器作成部１２ｐは、運転モード判定部１２ｂにおいて、自動運転モードの解除予告信号を検出した場合、分類器情報記憶部１３ｈから定義情報と定数データとを読み出し、読み出した定義情報と定数データとを用いて学習済み分類器を作成する処理を行う。学習済み分類器は、ニューラルネットワークで構成されており、画像記憶部１３ａから読み出した運転者画像のデータが入力される入力層と、ハンドル５２が運転者の手で把持されているか否かの判定データを出力する出力層とを含んでいる。ニューラルネットワークは、階層型ニューラルネットワークでもよいし、畳み込みニューラルネットワークであってもよい。
【０１５２】
また、判定処理部１２ｒは、作成した学習済み分類器の入力層に運転者画像の画素データを入力し、出力層からハンドル５２が運転者の手で把持されているか否かの判定データを出力する処理を行うようになっている。
【０１５３】
上記実施の形態（４）に係る運転者監視装置１０Ｃによれば、自動運転モードから手動運転モードに切り替えられる場合に、分類器情報記憶部１３ｈに記憶されている未学習分類器の定義情報と定数データとを読み出し、学習済み分類器を作成し、作成した学習済み分類器の入力層に運転者画像のデータを入力することで、出力層からハンドル５２が運転者の手で把持されているか否かの判定データが出力される。
したがって、学習済み分類器作成部１２ｐで作成した学習済み分類器を用いることで、運転者以外の同乗者がハンドル５２を把持しているような状態と区別することができ、運転席に着座している本来の運転者がハンドル５２を把持しているか否かを精度良く検出することができる。
【０１５４】
（付記１）
自動運転モードと手動運転モードとを備えた車両の運転席に着座している運転者を監視する運転者監視装置であって、
前記運転者を撮像する撮像部で撮像された運転者画像を記憶する画像記憶部を備えたメモリと、
該メモリに接続された少なくとも１つのハードウェアプロセッサとを備え、
該少なくとも１つのハードウェアプロセッサは、
前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得して前記画像記憶部に記憶させ、
該画像記憶部から前記運転者画像を読み出し、
該読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定し、
該判定した結果に基づく所定の信号を出力する、ように構成されている運転者監視装置。
【０１５５】
（付記２）
運転席に着座している運転者を撮像する撮像部で撮像された運転者画像を記憶する画像記憶部を備えたメモリと、
該メモリに接続された少なくとも１つのハードウェアプロセッサとを備えた装置を用いて、
自動運転モードと手動運転モードとを備えた車両の前記運転者を監視する運転者監視方法であって、
前記少なくとも１つのハードウェアプロセッサによって、前記自動運転モードから前記手動運転モードに切り替えられる場合に、前記撮像部で撮像された運転者画像を取得するステップと、
前記少なくとも１つのハードウェアプロセッサによって、前記取得した前記運転者画像を前記画像記憶部に記憶させるステップと、
前記少なくとも１つのハードウェアプロセッサによって、前記画像記憶部から前記運転者画像を読み出すステップと、
前記少なくとも１つのハードウェアプロセッサによって、前記読み出した前記運転者画像を処理して前記車両のハンドルが前記運転者の手で把持されているか否かを判定するステップと、
前記少なくとも１つのハードウェアプロセッサによって、前記判定した結果に基づく所定の信号を出力するステップと、を含む運転者監視方法。
【符号の説明】
【０１５６】
１、１Ａ、１Ｂ、１Ｃ  自動運転システム
１０、１０Ａ、１０Ｂ、１０Ｃ  運転者監視装置
１１  入出力Ｉ／Ｆ
１２、１２Ａ、１２Ｂ、１２Ｃ  制御ユニット
１２ａ  画像取得部
１２ｂ  運転モード判定部
１２ｃ、１２ｉ、１２ｎ、１２ｒ  判定処理部
１２ｄ、１２ｊ  把持位置検出部
１２ｅ、１２ｋ  姿勢検出部
１２ｆ、１２ｍ  把持判定部
１２ｇ  信号出力部
１２ｈ  接触信号取得部
１２ｐ  学習済み分類器作成部
１３、１３Ａ、１３Ｂ、１３Ｃ  記憶ユニット
１３ａ  画像記憶部
１３ｂ  把持位置検出方法記憶部
１３ｃ、１３ｅ  姿勢検出方法記憶部
１３ｄ、１３ｆ  把持判定方法記憶部
１３ｇ  分類器記憶部
１３ｈ  分類器情報記憶部
２０  自動運転制御装置
３７  警報装置
５２  ハンドル
５４  運転者撮像カメラ
５５  接触検出センサ
【図１】
2018190217.tif 000003
【図２】
2018190217.tif 000004
【図３】
2018190217.tif 000005
【図４】
2018190217.tif 000006
【図５】
2018190217.tif 000007
【図６】
2018190217.tif 000008
【図７】
2018190217.tif 000009
【図８】
2018190217.tif 000010
【図９】
2018190217.tif 000011
【図１０】
2018190217.tif 000012
【図１１】
2018190217.tif 000013
【図１２】
2018190217.tif 000014
【図１３】
2018190217.tif 000015