(57)【特許請求の範囲】
【請求項１】
少なくとも距離センサを含む検出部による検出結果に基づいて、車両の運転者における複数の骨格部位の相対的な位置関係を含む運転姿勢を認識する認識部と、
正常な運転状態における当該運転者の前記運転姿勢である複数の正常運転姿勢を記憶する記憶部と、
前記記憶部に記憶した複数の前記正常運転姿勢に対して、前記認識部で認識した前記運転姿勢のマッチングを行い、当該運転姿勢が複数の前記正常運転姿勢の何れにも対応しない場合に、前記運転者の状態が異常と判定する判定部と、を備える運転者状態判定装置。
【請求項２】
前記判定部は、前記運転者の状態が異常と判定しない場合、前記認識部で認識した前記運転姿勢を前記正常運転姿勢として前記記憶部に記憶する、請求項１に記載の運転者状態判定装置。
【請求項３】
前記運転姿勢は、複数の前記骨格部位のうちの２つの組合せからなる項目毎においての、一方の骨格部位の座標に対する他方の骨格部位の座標の大小関係に関する相対位置情報を、前記相対的な位置関係として含む、請求項１又は２に記載の運転者状態判定装置。
【請求項４】
前記判定部は、
前記記憶部に記憶した複数の前記正常運転姿勢のそれぞれについて、前記認識部で認識した前記運転姿勢と類似する類似度を算出し、
複数の前記正常運転姿勢における前記類似度の最大値が、予め設定された閾値以下の場合に、前記運転者の状態が異常と判定する、請求項１〜３の何れか一項に記載の運転者状態判定装置。
【請求項５】
前記判定部による判定時以外のときに、前記認識部で認識した当該運転者の前記運転姿勢を前記正常運転姿勢として前記記憶部に記憶する学習部を備える、請求項１〜４の何れか一項に記載の運転者状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面は、運転者状態判定装置に関する。
【背景技術】
【０００２】
従来の運転者状態判定装置に関する技術として、例えば特許文献１に記載された技術が知られている。特許文献１に記載された技術では、運転席前方に設けられたカメラにより運転者の顔位置をカメラで撮像し、その撮像画像から運転者の顔が存在しない又は目をつむっている等の状況が所定期間継続して検出された場合、運転者の状態が異常と判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３３１６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、車両に乗車中の運転者の状態を見極め、運転者の状態が異常の場合には、例えば車両の走行を自動制御することによって障害物との接触時の被害を軽減するシステムの導入が望まれている。このようなシステムを実現するために、上述したような運転者状態判定装置においては、運転者の状態が異常か否かを精度よく判定することが重要とされる。
【０００５】
本発明の一側面は、上記実情に鑑みてなされたものであり、運転者の状態が異常か否かを精度よく判定することが可能な運転者状態判定装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の一側面に係る運転者状態判定装置は、少なくとも距離センサを含む検出部による検出結果に基づいて、車両の運転者における複数の骨格部位の相対的な位置関係を含む運転姿勢を認識する認識部と、正常な運転状態における当該運転者の運転姿勢である複数の正常運転姿勢を記憶する記憶部と、記憶部に記憶した複数の正常運転姿勢に対して、認識部で認識した運転姿勢のマッチングを行い、当該運転姿勢が複数の正常運転姿勢の何れにも対応しない場合に、運転者の状態が異常と判定する判定部と、を備える。
【０００７】
この運転者状態判定装置では、正常な運転状態における運転者の運転姿勢が記憶部に正常運転姿勢として記憶されている。この正常運転姿勢に対応しない運転姿勢が認識部で認識されると、当該運転者の状態が異常であると判定される。このように、予め定められた閾値のみを判定の基準とするのではなく、その運転者の正常な運転状態に係る正常運転姿勢を基準に判定できるため、運転者の体型等に左右されずに運転者の異常を判定することが可能となる。また、検出部が距離センサを含むことから、例えば車内が暗い場合でも、運転者の運転姿勢を精度よく検出することができる。したがって、本発明の一側面によれば、運転者の状態が異常か否かを精度よく判定することが可能となる。
【０００８】
本発明の一側面に係る運転者状態判定装置において、判定部は、運転者の状態が異常と判定しない場合、認識部で認識した運転姿勢を正常運転姿勢として記憶部に記憶してもよい。この構成によれば、判定部による判定に伴って、正常運転姿勢を記憶部に学習させることが可能となる。
【０００９】
本発明の一側面に係る運転者状態判定装置において、運転姿勢は、複数の骨格部位のうちの２つの組合せからなる項目毎においての、一方の骨格部位の座標に対する他方の骨格部位の座標の大小関係に関する相対位置情報を、相対的な位置関係として含んでいてもよい。この構成によれば、運転姿勢に係るデータ容量を抑え、処理速度を高めることができる。
【００１０】
本発明の一側面に係る運転者状態判定装置において、判定部は、記憶部に記憶した複数の正常運転姿勢のそれぞれについて、認識部で認識した運転姿勢と類似する類似度を算出し、複数の正常運転姿勢における類似度の最大値が、予め設定された閾値以下の場合に、運転者の状態が異常と判定してもよい。この構成によれば、記憶した複数の正常運転姿勢に対する運転姿勢のマッチングを、好適に実現可能となる。
【００１１】
本発明の一側面に係る運転者状態判定装置は、判定部による判定時以外のときに、認識部で認識した当該運転者の運転姿勢を正常運転姿勢として記憶部に記憶する学習部を備えていてもよい。この構成によれば、判定部による判定時以外のときの運転者の運転姿勢について、正常運転姿勢として記憶部に学習させることが可能となる。
【発明の効果】
【００１２】
本発明の一側面によれば、運転者の状態が異常か否かを精度よく判定することができる運転者状態判定装置を提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態に係る運転者状態判定装置の構成を示すブロック図である。
【図２】複数の骨格部位を説明する図である。
【図３】認識部により認識した運転姿勢の一例を示す図である。
【図４】図４（Ａ）は、運転者状態判定ＥＣＵにおいて実行される判定モードの処理を説明するフローチャートである。図４（Ｂ）は、運転者状態判定ＥＣＵにおいて実行される学習モードの処理を説明するフローチャートである。
【図５】図５（Ａ）は、閾値に対する辞書登録数を示すグラフである。図５（Ｂ）は、閾値に対する誤検知率と再現率を示すグラフである。
【図６】図６（Ａ）は、辞書作成サイクル数に対する辞書登録数を示すグラフである。図６（Ｂ）は、辞書作成サイクル数に対する誤検知率及び再現率を示すグラフである。
【図７】図７（Ａ）は、他人の辞書による再現率及び誤検知率を示すグラフである。図７（Ｂ）は、ジェスチャ認識率を示すグラフである。
【発明を実施するための形態】
【００１４】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。
【００１５】
図１は、一実施形態に係る運転者状態判定装置１００の構成を示すブロック図である。図２は、運転者１の複数の骨格部位２を説明する図である。図１に示すように、運転者状態判定装置１００は、自動車等の車両に乗車中の運転者１の状態が異常か否かを判定する装置である。車両としては、特に限定されるものではなく、例えば、トラックやバス等の商用車、普通乗用車、大型車両、中型車両、小型車両又は軽車両等の何れであってもよい。
【００１６】
運転者状態判定装置１００は、ＲＧＢ−Ｄセンサ（検出部）１０、運転者状態判定ＥＣＵ２０及び出力部３０を備えている。ＲＧＢ−Ｄセンサ１０は、カラー画像及び深度情報の双方を取得するセンサである。ＲＧＢ−Ｄセンサ１０は、対象物のカラー画像を取得するＲＧＢカメラと、対象物までの深度情報（距離画像）を取得する深度センサである赤外線センサと、を含んで構成されている。ＲＧＢ−Ｄセンサ１０は、車両の助手席側の窓とフロントガラスとの間に配置されている。ＲＧＢ−Ｄセンサ１０は、運転者１の上方から運転者１側に向かう方向に撮影可能とされている。なお、赤外線センサに代えてもしくは加えて、他の距離センサを含んでいてもよい。
【００１７】
図１及び図２に示すように、ＲＧＢ−Ｄセンサ１０は、運転者１の上半身のカラー画像及び深度情報を取得し、取得したカラー画像及び深度情報から運転者１における複数の骨格部位２の三次元座標（Ｘ軸座標、Ｙ軸座標及びＺ軸座標）を取得する。ＲＧＢ−Ｄセンサ１０は、当該三次元座標に関する情報を、センサ情報として運転者状態判定ＥＣＵ２０へ出力する。ＲＧＢ−Ｄセンサ１０としては、例えば、深度の取得可能範囲が０．５〜８．０［ｍ］、運転者１の検出可能範囲が０．５〜４．５［ｍ］、及び、骨格部位２の検出可能数が２０又は２５［箇所／人］のものが用いられる。なお、複数の骨格部位２の三次元座標を取得する手法としては、特に限定されず、公知の手法を採用することができる。
【００１８】
骨格部位２は、１又は複数の骨及び軟骨によって構成される構造部位である。骨格部位２は、骨格上において１又は複数のまとまりのある機能及び／又は構造を有する部位である。骨格部位２は、骨格ポイントとも称する。本実施形態の骨格部位２としては、運転者１の上半身の骨格の部位であって、例えば「頭」、「左肩」、「左肘」、「左腕」、「左手」、「右肩」、「右肘」、「右腕」、「右手」、「脊髄」、「背骨中央」、及び「腰」等が挙げられる。上半身とは、身体における頭から腰までの部分である。
【００１９】
運転者状態判定ＥＣＵ２０は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[RandomAccess Memory]等を有する電子制御ユニットである。運転者状態判定ＥＣＵ２０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の制御を実行する。運転者状態判定ＥＣＵ２０は、複数の電子制御ユニットから構成されていてもよい。運転者状態判定ＥＣＵ２０は、認識部２１、記憶部２２、判定部２３及び学習部２４を有する。
【００２０】
認識部２１は、ＲＧＢ−Ｄセンサ１０のセンサ情報に基づいて、運転者１の複数の骨格部位２における相対的な三次元の位置関係を含む運転姿勢を認識する。具体的には、まず、複数の骨格部位２のうちの二つの組合せからなる複数の項目を抽出する。抽出した複数の項目毎において、一方の骨格部位２の座標に対する他方の骨格部位２の三次元座標の大小関係を演算する。例えば当該大小関係は、Ｘ軸、Ｙ軸及びＺ軸それぞれにおいて、一方の骨格部位２の座標に対して他方の骨格部位２の座標が大きいか、小さいか、又は等しいかでビットパターン化されて表現される。そして、当該大小関係を相対位置情報（相対チェックポイントとも称する）とする。このような相対位置情報を複数の項目毎に有する一群の情報を、運転姿勢（姿勢モデルとも称する）として認識する。
【００２１】
図３は、認識部２１により認識した運転姿勢の一例を示す図である。図３に示す例では、運転姿勢は、例えば骨格部位２の数が１２箇所であるところ、６６通りの骨格部位２の組合せ（項目）を有する。各項目それぞれは、ＸＹＺ座標系において、一方の骨格部位２に対する他方の骨格部位２の三次元座標の大小関係に関する相対位置情報を有する。図示するように、例えば項目が「頭−左肩」では、頭のＸ軸座標が左肩のＸ軸座標よりも小さく「＜」とされ、頭のＹ軸座標が左肩のＹ軸座標と等しく「＝」とされ、頭のＺ軸座標は左肩のＺ軸座標よりも大きく「＞」とされている。つまり、複数の骨格部位２の組合せについての、座標の相対的大小関係を三軸で比較してなるベクタとして、一つの運転姿勢が記述されている。
【００２２】
図１に示すように、記憶部２２は、複数の正常運転姿勢を記憶して蓄積する。正常運転姿勢は、正常な運転状態における運転者１の運転姿勢である。記憶部２２は、後述するように、判定部２３で運転者１の状態が正常と判定されたときの運転姿勢、及び／又は、学習部２４で平常運転時（通常運転時）に認識された運転姿勢を、正常運転姿勢として記憶する。記憶部２２に記憶した複数の正常運転姿勢は、「辞書」、すなわち、多数の正常運転姿勢を集録する集合体を構築する。記憶部２２に記憶した複数の正常運転姿勢は、教師データとして用いられる。複数の正常運転姿勢は、相対位置情報のリストの形で構成されている。以下、記憶部２２に記憶した複数の正常運転姿勢を、単に「辞書」とも称する。
【００２３】
判定部２３は、記憶部２２に記憶した複数の正常運転姿勢と、認識部２１で認識した現在の運転姿勢（以下、「現在運転姿勢」という）とに基づいて、次の判定モード（検知モードとも称する）を実行する。すなわち、判定部２３は、複数の正常運転姿勢に対して現在運転姿勢のマッチングを行い、現在運転姿勢が複数の正常運転姿勢の何れにも対応しない場合に、運転者１の状態が異常と判定する。
【００２４】
具体的には、判定部２３は、記憶部２２に記憶した複数の正常運転姿勢のそれぞれについて、認識部２１で認識した現在運転姿勢と類似する類似度を算出する。複数の正常運転姿勢の各類似度のうち最大値が閾値以下の場合に、運転者の状態が異常と判定する。閾値は、運転者の状態が異常か否かを適切に判定するために、予め設定されて記憶された値である。閾値は、実験、過去の実績及び経験、並びにシミュレーション等に基づいて定めることができる。閾値は、固定の値であってもよいし、変動する値であってもよい。
【００２５】
より具体的には、判定部２３は、まず、一の正常運転姿勢について、その複数の項目の各相対位置情報と現在運転姿勢が有する複数の項目の各相対位置情報とを照合し、一致する相対位置情報の数を類似度として算出する。このとき、相対位置情報に含まれる、Ｘ軸座標の大小関係とＹ軸座標の大小関係とＺ軸座標の大小関係との全てが同じとき、相対位置情報が一致したとする。続いて、このような類似度の算出を、複数の正常運転姿勢の全てに対して実施する。そして、複数の正常運転姿勢の各類似度のうち最大値が閾値以下の場合、複数の正常運転姿勢が現在運転姿勢に対応しないと判断し、運転者１の状態が異常と判定する。他方、複数の正常運転姿勢の各類似度のうち最大値が閾値よりも大きい場合、最大値の類似度を有する正常運転姿勢が現在運転姿勢に対応すると判断し、運転者１の状態が正常であると判定する。
【００２６】
判定部２３は、運転者１の状態が異常と判定しない場合、認識部２１で認識した現在運転姿勢を正常運転姿勢として記憶部２２に記憶する。これにより、記憶部２２に蓄積されている複数の正常運転姿勢をアップデートする。
【００２７】
学習部２４は、判定部２３による判定時以外のときに、認識部２１で認識した現在運転姿勢を正常運転姿勢として学習する学習モード（辞書登録モード又は辞書強化モードとも称する）を実行する。具体的には、学習部２４は、例えばモード判定実行時以外の平常運転時に、認識部２１で認識した運転者１の現在運転姿勢を正常運転姿勢として記憶部２２に記憶して蓄積する。
【００２８】
出力部３０は、判定部２３による判定結果に応じた情報を運転者１へ報知する。出力部３０は、例えば、画像情報を表示するためのディスプレイ、及び音声出力のためのスピーカの少なくとも何れかを有している。出力部３０は、判定部２３で運転者の状態を異常と判定した場合、例えばディプレイパネル上に警告表示を表示する、及び／又は、警告メッセージ等の警告音声をスピーカから出力する。一方、出力部３０は、判定部２３で運転者の状態を正常と判定した場合、例えば現在運転姿勢が正常運転姿勢と対応している旨をディプレイパネル上に表示する、及び／又は、現在運転姿勢が正常運転姿勢と対応している旨の音声をスピーカから出力する。
【００２９】
なお、本実施形態では、運転者状態判定装置１００を走行支援装置（不図示）に適用し、判定部２３の判定結果に基づいて車両の走行を自動制御してもよい。例えば、判定部２３により運転者１の状態が異常と判定した場合、車両制御ＥＣＵ（不図示）によりステアリングアクチュエータ及びブレーキアクチュエータを制御して、車両を路肩に寄せて停車させてもよい。運転者状態判定装置１００は、種々の走行支援装置、運転支援装置及び走行安全装置等に採用可能である。
【００３０】
本実施形態において、判定部２３による判定モードの実行と学習部２４による学習モードの実行とについては、例えば運転者１によるモード切替部（不図示）の操作に応じて所望に切替え可能としてもよい。本実施形態において、骨格部位２の三次元座標の取得、相対的な位置関係とする表現（運転姿勢）への変換、及び、辞書に対するマッチングは、１秒間当たりの処理フレーム数を数十フレームとしてリアルタイム処理を行っている。
【００３１】
次に、運転者状態判定装置１００の処理について、図４に示すフローチャートを参照しつつ説明する。
【００３２】
図４（Ａ）は、運転者状態判定ＥＣＵ２０において実行される判定モードの処理を説明するフローチャートである。図４（Ａ）に示すように、運転者状態判定ＥＣＵ２０では、判定モードに係る以下の処理を所定周期で繰り返し実行する。
【００３３】
まず、ＲＧＢ−Ｄセンサ１０からセンサ情報を取得する（Ｓ１）。認識部２１により、ＲＧＢ−Ｄセンサ１０のセンサ情報に基づいて、運転者１の現在運転姿勢を認識する（Ｓ２）。判定部２３により、複数の正常運転姿勢に対して現在運転姿勢のマッチングを行う。すなわち、複数の正常運転姿勢のそれぞれに対して現在運転姿勢の類似度を算出する（Ｓ３）。
【００３４】
続いて、判定部２３により、算出した類似度の最大値が閾値よりも大きいか否かを判定する（Ｓ４）。上記Ｓ４でＹｅｓの場合、判定部２３により、運転者１の状態が正常であると判定し、現在運転姿勢を正常運転姿勢として記憶部２２に記憶する（Ｓ５及びＳ６）。その後、出力部３０から、現在運転姿勢が正常運転姿勢と対応している旨を出力させると共に、次周期の処理に移行する。
【００３５】
一方、上記Ｓ３でＮｏの場合、判定部２３により運転者１の状態が異常と判定する（Ｓ７）。その後、出力部３０から警告音声及び／又は警告表示を出力させると共に、次周期の処理に移行する。これに代えてもしくは加えて、車両制御ＥＣＵにより車両の走行を自動制御し、例えば車両を路肩に寄せて停車させる。
【００３６】
図４（Ｂ）は、運転者状態判定ＥＣＵ２０において実行される学習モードの処理を説明するフローチャートである。図４（Ｂ）に示すように、運転者状態判定ＥＣＵ２０では、例えばモード判定実行時以外の平常運転時において、判定モードに係る以下の処理を所定周期で繰り返し実行する。
【００３７】
まず、ＲＧＢ−Ｄセンサ１０からセンサ情報を取得する（Ｓ１１）。認識部２１により、ＲＧＢ−Ｄセンサ１０のセンサ情報に基づいて、運転者１の現在運転姿勢を認識する（Ｓ１２）。学習部２４により、現在運転姿勢を正常運転姿勢として記憶部２２に記憶する（Ｓ１３）。その後、次周期の処理に移行する。
【００３８】
以上、運転者状態判定装置１００では、正常な運転状態における運転者１の運転姿勢が記憶部２２に正常運転姿勢として（つまり、辞書として）記憶されている。正常運転姿勢に対応しない現在運転姿勢が認識部２１で認識されると、運転者１の状態が異常であると判定される。このように、予め定められた閾値のみを判定の基準とするのではなく、その運転者１の正常な運転状態に係る正常運転姿勢を基準に判定できるため、運転者１の体型等に左右されずに（運転者１の体格に対してロバストに）、当該運転者１の異常を判定することが可能となる。また、赤外線センサを含むＲＧＢ−Ｄセンサ１０を検出部として備えていることから、例えば車内が暗い場合でも、運転者１の運転姿勢を精度よく検出することができる。したがって、運転者状態判定装置１００によれば、運転者１の状態が異常か否かを精度よく判定することが可能となる。また、例えば運転者１が運転を他の運転者１に交代する場合でも、各運転者１それぞれに対して辞書を作成して又は辞書を共用して判定することが可能であり、汎用性を高めることができる。
【００３９】
運転者状態判定装置１００において、判定部２３は、運転者１の状態が異常と判定しない場合、認識部２１で認識した現在運転姿勢を正常運転姿勢として記憶部２２に記憶する。この構成によれば、判定部２３による判定に伴って、正常運転姿勢を記憶部２２に学習させることが可能となる。その結果、判定精度を向上（誤判定を抑制）することが可能となる。
【００４０】
運転者状態判定装置１００において、運転姿勢は、複数の骨格部位２のうちの２つの組合せからなる項目毎においての、一方の骨格部位２の座標に対する他方の骨格部位２の座標の大小関係に関する相対位置情報で構成されている。この構成によれば、運転姿勢に係るデータ容量を抑え、処理速度を高めることができる。例えば、１つの運転姿勢のデータ容量を、数百ビット程度（６６（項目数）×３（ＸＹＺ軸）×２（大小関係）＝３９６ビット）まで抑えることが可能となる。僅かな回数の演算で、運転者１の異常を判定することができる。運転者１の動画情報を記憶部２２に記憶する場合には、メガバイトオーダ又はギガバイトオーダの容量が記憶部２２に必要であるが、運転者状態判定装置１００では、キロバイトオーダでも大量の正常運転姿勢を記憶部２２に記憶することができる。
【００４１】
また、相対位置情報が、複数の骨格部位２における三次元の相対位置関係で表現されることから、簡潔かつ柔軟に運転者１の姿勢を表現することができる。このような相対位置情報では、運転者１の身体の傾き及びひねり等の微妙な動作や姿勢を、ロバストに記述することができる。
【００４２】
運転者状態判定装置１００において、判定部２３は、記憶部２２に記憶した複数の正常運転姿勢のそれぞれについて、認識部２１で認識した運転姿勢と類似する類似度を算出する。そして、複数の正常運転姿勢における類似度の最大値が閾値以下の場合に、運転者１の状態が異常と判定する。この構成によれば、複数の正常運転姿勢に対する運転姿勢のマッチングを、好適に実現可能となる。
【００４３】
運転者状態判定装置１００は、学習モードを実行する学習部２４を備える。学習モードでは、判定モード実行時以外の例えば平常運転時に、認識部２１で認識した運転者１の運転姿勢を記憶部２２に記憶する。これにより、例えば平常運転時の運転者１の運転姿勢を正常運転姿勢として記憶部２２に学習させることが可能となる。正常運転姿勢を繰り返し学習して辞書を強化することにより、記憶部２２に記憶された正常運転姿勢の数を増加させ、誤判定率を低減させることができる。
【００４４】
運転者状態判定装置１００で認識する運転姿勢は、運転者１の瞼や呼気等に比べて明確な運転者情報であり、また、運転者１の動画情報に比べても明確な運転者情報である。運転者状態判定装置１００で認識する運転姿勢は、運転者１のサングラスの着用及び日照等に対して、ロバスト性を有する。
【００４５】
運転者状態判定装置１００は、現在運転姿勢が正常運転姿勢に対応しない場合に運転者１の状態を異常と判定するホワイトリスト形式を採用している。ホワイトリスト形式では、記憶部２２に記憶される情報が多くなる可能性があるものの、記憶されていない情報を探索することになるため、現在運転姿勢の認識が正確であるならば、判定に漏れが生じるのを抑制可能となる。
【００４６】
運転者状態判定装置１００では、閾値を大きくすることにより、運転者１の状態を誤って異常と判定してしまうことを抑制できる。ただし、閾値は、ノイズの影響を軽減するために、類似度の最大値（相対位置情報の全数）の９割程度としてもよい。
【００４７】
運転者状態判定装置１００では、運転者１の状態が異常か否かの判定に基づいて、車両の走行を制御することができる。例えば、運転者１の状態を異常と判定することにより、運転者１の体調不良からの心神喪失や不正動作の存在を把握し、走行安全に寄与する運転支援を行うことができる。運転者状態判定装置１００は、安全停止等のトリガとして高い確信度を有する。
【００４８】
運転者状態判定装置１００では、複数の運転者１の間で辞書、すなわち、記憶部２２に記憶された複数の正常運転姿勢を共有してもよい。運転者１とは異なる他人の姿勢や動作を学習した辞書によっても、十分な精度を有して運転者１の異常を判定することができる。
【００４９】
なお、本実施形態の運転者状態判定装置１００では、運転者１の現在運転姿勢に基づき特定の動作時の運転姿勢であるジェスチャを認識し、認識したジェスチャに基づいて車内機器の動作を制御してもよい。具体的には、記憶部２２に、特定の動作毎にジェスチャを記憶する。記憶するジェスチャとしては、例えばエアーコンディショナ操作時のジェスチャ、カーナビゲーションシステム操作時のジェスチャ、オーディオ操作時のジェスチャ等が挙げられる。続いて、記憶部２２に記憶した複数のジェスチャそれぞれについて、認識部２１で認識した現在運転姿勢との類似度を算出する。類似度が閾値よりも大きくかつ最大値を有するジェスチャを、現在ジェスチャとして認識する。そして、認識した現在ジェスチャに対応する車内機器の動作制御を行う。これにより、現在ジェスチャに応じた運転支援を行うことができる。また、運転者１が実行しようとする操作を、音声認識よりも高精度に認識することができる。
【００５０】
［実施例］
以下、実測結果に基づいて上記運転者状態判定装置１００をより具体的に説明する。
【００５１】
（閾値を変化させた評価試験）
本評価試験では、運転者状態判定装置１００において閾値を変化させた場合の再現率と誤検知率とを調査する。被験者は男性５人とした。被験者は、学習モード（辞書強化モード）の実行下で車両を運転しながら、平常運転時の６つの動作、すなわち、直進時動作、左折時動作、右折時動作、カーナビ操作時動作、エアコン操作時動作及び自由動作を順番に行った。これを１サイクルの辞書作成サイクルとし、当該辞書作成サイクルを５サイクル繰り返し、辞書を作成した。その後、判定モード（検知モード）に切り替え、平常運転時の上記６つの動作を５回繰り返した。この過程では、被験者は平常運転時の動作のみ行うため、被験者の状態が異常との判定結果は誤検知である。
【００５２】
次に、被験者は、判定モードで車両を運転しながら、平常運転時に行わない４つの不正動作、すなわち、車両の前方、左方及び右方に身体を傾斜させる各動作と、腰がシートから落ちるような動作とを行った。そして、被験者の状態が異常と判定するかを確認した。下式のとおり、取得全フレームに対する誤検知数を誤検知率とした。
誤検知率＝誤検知数／全フレーム数
また、下式のとおり、不正動作数に対する認識数（不正動作時に異常と正しく判定できた数）を再現率とした。
再現率＝認識数／不正動作数
【００５３】
図５（Ａ）は、閾値に対する辞書登録数を示すグラフである。辞書登録数は、記憶部２２に記憶した複数の正常運転姿勢の数（データ数）である。図５（Ａ）に示すように、閾値を高くした場合、辞書登録数が多くなり、辞書のデータ容量が多くなることがわかる。
【００５４】
図５（Ｂ）は、閾値に対する誤検知率及び再現率を示すグラフである。図中において、誤検知率及び再現率は、複数の被験者の平均値を示している。図中において、動作Ａ、動作Ｂ及び動作Ｃのそれぞれは、車両の前方、左方及び右方に身体を傾斜させる動作であり、動作Ｄは、腰がシートから落ちるような動作である。これらは、以下の誤検知率、再現率及び動作Ａ〜Ｄについても同様である。図５（Ｂ）に示すように、閾値を高くするにしたがって、再現率は上がり誤検知率も僅かに上がっている。閾値が「３３」のときに、誤検知率は４％以下になっており、低い誤検知率を保ちながら再現率を上げることができた。
【００５５】
（辞書の繰返し強化の評価試験）
本評価試験では、運転者状態判定装置１００において、辞書強化の試行回数を増やして辞書のデータ量を増加させ、再現率、誤検知率及び辞書登録数の影響を調査する。被験者は男性３人とした。上記評価試験の結果に基づいて、閾値を「３３」に設定した。
【００５６】
図６（Ａ）は、辞書作成サイクル数に対する辞書登録数を示すグラフである。ここでの辞書作成サイクルは、上記評価試験における辞書作成サイクルと同様である。図６（Ａ）に示すように、辞書作成サイクル数を増やすに連れて、辞書登録数が多くなり、辞書のデータ量が多くなることがわかる。辞書作成サイクル数を増やすに連れて、辞書登録数の増加率が低くなっていることがわかる。これにより、辞書作成サイクル数を増やすに連れて、辞書登録数の増加は収束すると考えられる。
【００５７】
図６（Ｂ）は、辞書作成サイクル数に対する誤検知率及び再現率を示すグラフである。図６（Ｂ）に示すように、辞書作成サイクル数を増やすに連れて、辞書登録数が増加することから誤検知率が減少していることがわかる。辞書サイクル数が「５」の時に、誤検知率は２％以下となった。辞書の強化を繰り返し行うことによって、辞書登録数が増加し、誤検知率を低減できることがわかる。辞書の強化を繰り返し行うことによって、辞書登録数が増加しても、再現率を高く保っていることがわかる。
【００５８】
（他人の辞書による評価試験）
本評価試験では、運転者状態判定装置１００において、他人の辞書を用いた場合の誤検知率と再現率とを調査する。被験者は男性４人とした。一人の被験者の辞書を、上記評価試験と同様に作成した。別の３人の被験者は、作成した辞書を用いた判定モードの実行下で、４つの不正動作として上記動作Ａ〜Ｄを３回繰り返し行った。そして、別の３人の被験者の状態が異常と判定するかを確認した。
【００５９】
図７（Ａ）は、他人の辞書による再現率及び誤検知率を示すグラフである。図７（Ａ）に示すように、動作Ａ、動作Ｂ及び動作Ｃにおいて、再現率が１００％と高い値となり、誤検知率も低い値を保つことがわかる。これにより、各個人の特徴的動作を除けば、辞書を共有して運用できることがわかる。
【００６０】
（ジェスチャ認識評価試験）
本評価試験では、運転者状態判定装置１００を利用し、ジェスチャによって車内機器を操作（動作制御）できるか否かを評価する。被験者は、学習モードの実行下において、右手をハンドルに置くと共に、左手を上方、前方及び前側斜め上方に突き出した特定動作を行った。これにより、当該特定動作に関するジェスチャを記憶部２２に記憶し、辞書を作成した。その後、被験者は、判定モードの実行下において当該特定動作を行い、当該特定動作をジェスチャとして正しく認識するかを確認した。ジェスチャを正しく認識できる割合をジェスチャ認識率として求めた。被験者は男性３人とした。閾値は、上記評価試験の結果に基づいて「３３」に設定した。
【００６１】
図７（Ｂ）は、ジェスチャ認識率を示すグラフである。図中において、「上」は左手を上方に突き出した上記特定動作に係るジェスチャ、「前」は左手を前方に突き出した上記特定動作に係るジェスチャ、「斜め」は左手を前側斜め上方に突き出した上記特定動作に係るジェスチャである。図７（Ｂ）に示すように、全てのジェスチャについて正しく認識できることが分かる。したがって、今回の評価試験で行ったジェスチャをエアーコンディショナやカーナビゲーションシステム等の操作用ジェスチャへ割り当てることで、ジェスチャによって車内機器を操作させる運転支援を行うことが可能となる。
【００６２】
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用してもよい。
【００６３】
例えば上記実施形態では、検出部としてＲＧＢ−Ｄセンサ１０を用いたが、距離センサを含むその他のセンサを用いてもよい。要は、検出部の検出結果に基づいて、運転者１の複数の骨格部位２の相対的な位置関係を含む運転姿勢を認識できればよい。
【符号の説明】
【００６４】
１…運転者、２…骨格部位、１０…ＲＧＢ−Ｄセンサ（検出部）、２１…認識部、２２…記憶部、２３…判定部、２４…学習部、１００…運転者状態判定装置。
【図１】
0006507015.tif 000002
【図２】
0006507015.tif 000003
【図３】
0006507015.tif 000004
【図４】
0006507015.tif 000005
【図５】
0006507015.tif 000006
【図６】
0006507015.tif 000007
【図７】
0006507015.tif 000008