(57)【要約】【課題】移動体の乗員が異常状態になったことを速やかに識別すること。【解決手段】移動体の乗員の状態を識別する識別装置であって、撮像装置により得られた前記乗員が含まれる画像を入力する入力部と、前記画像から得られた、前記頭の位置の変化と前記頭以外の所定部位の位置の変化との関係性に基づいて、前記乗員の状態が異常状態であるか否かを識別する識別部と、を備える、識別装置。【選択図】図２
2020052869.tif 000002
【特許請求の範囲】
【請求項１】
移動体の乗員の状態を識別する識別装置であって、
撮像装置により得られた前記乗員が含まれる画像を入力する入力部と、
前記画像から得られた、前記乗員の頭の位置の変化と前記頭以外の所定部位の位置の変化との関係性に基づいて、前記乗員の状態が異常状態であるか否かを識別する識別部と、を備える、
識別装置。
【請求項２】
前記識別部は、前記頭の位置の変化と前記所定部位の位置の変化とが類似している場合、前記乗員の状態が異常状態であると識別する、
請求項１に記載の識別装置。
【請求項３】
前記識別部は、前記頭の位置の変化と前記所定部位の位置の変化との相関を示す値を算出し、前記相関を示す値と所定の閾値との比較に基づいて、前記頭の位置の変化と前記所定部位の位置の変化とが類似しているか否かを判定し、
前記頭の位置の変化と前記所定部位の位置の変化とが類似している場合、前記乗員の状態が異常状態であると識別する、
請求項２に記載の識別装置。
【請求項４】
前記識別部は、前記頭の位置および前記所定部位の位置が同時に下方向に変化したか否かに基づいて、前記乗員の状態が異常状態であるか否かを識別する、
請求項１〜３のいずれか一項に記載の識別装置。
【請求項５】
前記識別部は、前記頭の位置および前記所定部位の位置のうちのいずれか一方が下方向に移動し始めたことが検出されたタイミングから所定の時間以内に、前記頭の位置および前記所定部位の位置の両方が下方向に移動し続けていることが検出された場合、前記乗員の状態が異常状態であると識別する、
請求項１〜３のいずれか一項に記載の識別装置。
【請求項６】
前記識別部は、前記頭の位置の変化と前記所定部位の位置の変化とが類似していると判定されたとき、前記頭の位置の変化量および前記所定部位の位置の変化量に基づいて、前記乗員の状態が異常状態であるか否かを識別する、
請求項１〜５のいずれか一項に記載の識別装置。
【請求項７】
前記所定部位は、腕の関節である、
請求項１〜６のいずれか一項に記載の識別装置。
【請求項８】
前記腕は、前記移動体の操舵装置を操作している腕である、
請求項７に記載の識別装置。
【請求項９】
前記識別部での識別結果を警報装置に出力する出力部をさらに備える、
請求項１〜８のいずれか一項に記載の識別装置。
【請求項１０】
前記識別部での識別結果を運転支援装置に出力する出力部をさらに備える、
請求項１〜８のいずれか一項に記載の識別装置。
【請求項１１】
前記識別部での識別結果に基づいて前記移動体の運転支援を行う運転支援制御部をさらに備える、
請求項１〜８のいずれか一項に記載の識別装置。
【請求項１２】
移動体の乗員の状態を識別する識別方法であって、
撮像装置により得られた前記乗員が含まれる画像を入力するステップと、
前記画像から得られた、前記乗員の頭の位置の変化と前記頭以外の所定部位の位置の変化との関係性に基づいて、前記乗員の状態が異常状態であるか否かを識別するステップと、を備える、
識別方法。
【請求項１３】
コンピュータに、
撮像装置により得られた前記乗員が含まれる画像を入力する処理と、
前記画像から得られた、前記乗員の頭の位置の変化と前記頭以外の所定部位の位置の変化との関係性に基づいて、前記乗員の状態が異常状態であるか否かを識別する処理と、を実行させる、
識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、識別装置、識別方法および識別プログラムに関する。
【背景技術】
【０００２】
従来、車両のドライバーの状態を識別する技術が知られている。特許文献１には、ドライバーの生理学データ、車両の運転、および車両を運転するドライバーのモデルのうち少なくとも１つに基づいて、ドライバーの状態を識別することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６２１９９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ドライバーが異常状態になったことをより早期に識別することが求められる。そのため、特許文献１に記載の技術には、改善の余地がある。本開示の目的は、移動体の乗員が異常状態になったことをより早期に識別することである。
【課題を解決するための手段】
【０００５】
本開示の一形態は、移動体の乗員の状態を識別する識別装置であって、撮像装置により得られた前記乗員が含まれる画像を入力する入力部と、前記画像から得られた、前記乗員の頭の位置の変化と前記頭以外の所定部位の位置の変化との関係性に基づいて、前記乗員の状態が異常状態であるか否かを識別する識別部と、を備える、識別装置である。
【０００６】
なお、本開示の一形態は、方法およびプログラムのいずれかであってもよい。
【発明の効果】
【０００７】
本開示によれば、移動体の乗員が異常状態になったことをより早期に識別することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本開示の一実施形態に係る識別装置が搭載されたドライバーモニタリングシステムの構成を示すブロック図である。
【図２】図２は、識別処理の一例を示すフローチャートである。
【図３】図３は、撮像装置で撮影された車内空間の画像を示す模式図である。
【図４】図４は、ドライバーの頭の位置の変化、左肘の位置の変化および相関係数を示すタイムチャートである。
【図５】図５は、識別処理の第一変形例を示すフローチャートである。
【図６】図６は、識別処理の第二変形例を示すフローチャートである。
【図７】図７は、識別処理の第三変形例を示すフローチャートである。
【図８】図８は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本開示の一実施形態に係る識別装置１００が搭載されたドライバーモニタリングシステム（以下、「ＤＭＳ」）１について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は一例であり、本開示はこの実施形態により限定されるものではない。
【００１０】
ＤＭＳ１は例えば車両（自動車）に搭載される。車両は、本開示に係る移動体の一例である。以下、ＤＭＳ１は、車両のドライバーを監視するものとして説明を続けるが、かかる例に限定されない。例えば、ＤＭＳ１は、ドライバー以外の乗員（例えば、助手席や後席等に着座している乗員）を監視してもよく、この場合、後述する撮像装置２００は、ドライバー以外の乗員の上半身の前面を撮影可能な位置に取り付けられ得る。
【００１１】
ＤＭＳ１は、図１に示すように、撮像装置２００と、識別装置１００とを備える。
【００１２】
撮像装置２００は、車室内の画像を取得する１台の小型カメラであり得る。但し、かかる例に限定されず、撮像装置２００は、ＴоＦ（Time Of Flight）センサまたは赤外線センサなどであってもよい。撮像装置２００は、車室のコンソール部分に車室内を撮影可能に、特に、車室内のドライバー２（図３参照）の上半身の前面を撮影可能に取り付けられている。
【００１３】
なお、撮像装置２００の設置位置は、コンソール部分に限定されず、ステアリングコラムの上、センターディスプレイ付近、ルームミラー位置等、ドライバー２の上半身を撮影可能な位置であればよい。
【００１４】
識別装置１００は、例えばＥＣＵ（Electronic Control Unit）であって、車室内のドライバー２の状態を識別するために、制御基板上に実装された入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。本実施形態では、ドライバー２の状態として、異常状態および通常状態の２種類の状態が定められ得る。但し、かかる例に限定されず、ドライバー２の状態として、異常状態を少なくとも含む３種類以上の状態が定められてもよい。ここで、異常状態は、例えば、意識の喪失などの体調急変した状態であり得る。
【００１５】
プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して各種信号を出力する。
【００１６】
識別装置１００は、プロセッサがプログラムを実行することで、図１に示すように、入力部１２０、識別部１３０、記憶部１４０、出力部１５０等として機能する。
【００１７】
入力部１２０は、撮像装置２００から出力された画像信号の入力を受け付ける。
【００１８】
識別部１３０は、入力部１２０に入力された画像に基づいてドライバー２の状態（例えば異常状態であるか否かなど）を識別する。識別部１３０は、機能要素として、骨格情報取得部１３１、骨格判定部１３２、および体調急変判定部１３３を有する。
【００１９】
骨格情報取得部１３１は、入力部１２０に入力された画像から、ドライバー２の骨格情報を取得する。具体的には、骨格情報取得部１３１は、ドライバー２の頭の位置と、頭以外の所定部位の位置とを当該画像に基づいて検出する。以下、所定部位として左肘を例に説明を続けるが、左肘以外の部位（例えば、右肘、手首、肩等の腕の関節）であってもよい。
【００２０】
このような骨格情報は、公知の骨格検知技術を用いて取得することができる。例えば、骨格情報は、取得対象となる部位の周辺の画像の局所的な特徴量を用いて取得することができる。また、例えば、骨格情報は、畳み込みニューラルネットワーク（Convolutional Neural Network）に代表される深層学習（Deep Learning）等の機械学習によって取得することができる。
【００２１】
骨格判定部１３２は、骨格情報取得部１３１で取得されたドライバー２の頭の位置と、頭以外の所定部位の位置とに基づいて、ドライバー２の頭の位置の変化と頭以外の所定部位の位置の変化との相関関係を示す値（具体的には、相関係数）を算出（特定）する。
【００２２】
体調急変判定部１３３は、骨格判定部１３２で算出された、ドライバー２の頭の位置の変化と頭以外の所定部位の位置の変化との関係性（相関関係）に基づいて、ドライバー２の状態を識別する。例えば、体調急変判定部１３３は、まず、骨格判定部１３２により算出された、頭の位置の変化と当該所定部位の位置の変化との相関を示す値と、所定の閾値との比較に基づいて、頭の位置の変化と当該所定部位の位置の変化とが類似しているか否かを判定する。一例として、当該相関を示す値が当該所定の閾値よりも大きい場合には、体調急変判定部１３３は、頭の位置の変化と当該所定部位の位置の変化とが類似していると判定する。当該相関を示す値が当該所定の閾値以下である場合には、体調急変判定部１３３は、頭の位置の変化と当該所定部位の位置の変化とが類似していないと判定する。
【００２３】
そして、体調急変判定部１３３は、この判定結果に基づいて、ドライバー２の状態が異常状態であるか否かを識別する。例えば、ドライバー２の頭の位置の変化と当該所定部位の位置の変化とが類似していると判定した場合、体調急変判定部１３３は、ドライバー２の状態が異常状態であると識別する。頭の位置の変化と当該所定部位の位置の変化とが類似していないと判定した場合、体調急変判定部１３３は、ドライバー２の状態が通常状態であると識別する。
【００２４】
記憶部１４０は、識別部１３０において行われる処理で用いられる各種情報を記憶する。
【００２５】
出力部１５０は、車室内または車外への警報を出力する警報装置３００、および／または、車両の自動運転等を行うＡＤＡＳ（Advanced Driver Assistance System）  ＥＣＵ４００（「運転支援装置」の一例）等に識別部１３０での識別結果を出力する。なお、図１に示すように、警報装置３００およびＡＤＡＳ  ＥＣＵ４００は、ＤＭＳ１内（例えば車両内）に設置され得る。但し、かかる例に限定されず、警報装置３００は、所定の施設内に設置されてもよい。この場合、警報装置３００と車両とは無線通信および／または有線通信により通信可能に構成され得る。
【００２６】
識別装置１００の識別部１３０において行われる処理の一例について、図２のフローチャートを参照して詳細に説明する。なお、以下に示す処理は、例えば、撮像装置２００から画像を受け取る周期（例えば１０ｆｐｓ）で繰り返し行われる。また、以下では、上記の所定部位が左肘である例について説明する。
【００２７】
まず、ステップＳ１で、識別部１３０（具体的には、骨格情報取得部１３１）は、撮像装置２００から受け取った画像を用いて、ドライバー２の骨格情報を取得する。ドライバー２の骨格情報には、頭の位置の座標（以下、「頭位置情報」という。）および左肘の位置の座標（以下、「左肘位置情報」という。）が含まれる。
【００２８】
図３は、撮像装置２００で撮影された車内空間の画像を示す模式図である。なお、図３は、ドライバー２が運転席に正面を向いて着座した状態で、シートベルトを正常に着用し、両手でステアリングホイールを把持している状態を示している。
【００２９】
本例では、図３に示すように、撮像画像における左上端を原点とし、右方向を＋Ｘ方向、下方向を＋Ｙ方向として、ドライバー２の各部位の位置の座標を取得する。なお、座標の単位は、ピクセルである。
【００３０】
図３には、頭位置情報Ｈ（ＸH，ＹH）、右肩の位置の座標ＲＳ（ＸＲＳ，ＹＲＳ）、右手首の位置の座標ＲＷ（ＸＲＷ，ＹＲＷ）、左肩の位置の座標ＬＳ（ＸＬＳ，ＹＬＳ）、左肘位置情報ＬＥ（ＸＬＥ，ＹＬＥ）、および、左手首の位置の座標ＬＷ（ＸＬＷ，ＹＬＷ）が示されている。
【００３１】
なお、撮像画像における座標系は、撮像装置２００の種類、設置位置、ＦＯＶ（Field of View）等に応じて適宜決定され得る。
【００３２】
続くステップＳ２で、識別部１３０（具体的には、骨格情報取得部１３１）は、ステップＳ１において取得された骨格情報を記憶部１４０に記憶させる。記憶部１４０には、新たに取得された骨格情報を含む、直近の複数周期における骨格情報が蓄積される。
【００３３】
続くステップＳ３で、識別部１３０（具体的には、骨格判定部１３２）は、記憶部１４０に蓄積されている、新たに取得された骨格情報を含む直近の複数周期における骨格情報を用いて、頭位置情報Ｈと左肘位置情報ＬＥとの相関係数ｒを算出する。
【００３４】
相関係数ｒは、例えば以下の式（１）により表される。
【数１】
2020052869.tif 000003
【００３５】
ここで、ｎはデータの個数であり、Ａｉ（ｉは１からｎまでの自然数）は、ｉ番目のフレームから検出された頭の位置のＹ座標であり、
【数２】
2020052869.tif 000004
は頭の位置のＹ座標の平均値であり、Ｂｉ（ｉは１からｎまでの自然数）は、ｉ番目のフレームから検出された所定部位（左肘）の位置のＹ座標であり、
【数３】
2020052869.tif 000005
は所定部位（左肘）の位置のＹ座標の平均値である。
【００３６】
続くステップＳ４で、識別部１３０（具体的には、体調急変判定部１３３）は、ステップＳ３において算出された相関係数ｒが予め定められた所定の閾値よりも高いか否かを判定する。このような閾値としては、例えば０．７５が挙げられるが、これに限定されない。
【００３７】
なお、ステップＳ４では、誤判定を防止するため、相関係数ｒが所定の閾値よりも高い状態が所定時間継続したか否かを判定するようにしてもよい。
【００３８】
ステップＳ４で相関係数ｒが所定の閾値よりも高いと判定された場合（ステップＳ４：ＹＥＳ）、処理はステップＳ５に進む。
【００３９】
ステップＳ５で、識別部１３０（具体的には、体調急変判定部１３３）は、ドライバー２の状態が異常状態であることを示す信号（以下、「異常状態信号」という。）を出力部１５０に出力して、処理を終了する。
【００４０】
一方、ステップＳ４で相関係数ｒが所定の閾値よりも高いと判定されなかった場合（ステップＳ４：ＮＯ）、処理はステップＳ６に進む。
【００４１】
ステップＳ６で、識別部１３０（具体的には、体調急変判定部１３３）は、ドライバー２の状態が通常状態であることを示す信号（以下、「通常状態信号」という。）を出力部１５０に出力して、処理を終了する。
【００４２】
出力部１５０は、識別部１３０から異常状態信号を受け取った場合、警報装置３００、ＡＤＡＳ  ＥＣＵ４００等に、ドライバー２の状態が異常状態であることを示す信号を出力する。警報装置３００は、出力部１５０から当該信号を受け取った場合、車室内または車外へ警報（例えば、当該信号に対応する種類の警報）を出力する。ＡＤＡＳ  ＥＣＵ４００は、出力部１５０から当該信号を受け取った場合、当該信号に応じて車両の運転支援を実行する。例えば、ＡＤＡＳ  ＥＣＵ４００は、当該信号に基づき車両の運転状態を手動運転から自動運転に切り換え、車両を所定の停止領域（路肩、駐車場等）まで移動させ、そして、車両を安全に停止させる。
【００４３】
次に、図４を参照して、本実施形態の作用効果について説明する。図４は、ドライバーの頭の位置の変化、左肘の位置の変化および相関係数を示すタイムチャートである。図４において、横軸は時間を示しており、縦軸は、Ｙ座標および相関係数を示している。
【００４４】
図４中、実線は頭の位置のＹ座標を示し、破線は左肘の位置のＹ座標を示し、一点鎖線は相関係数を示している。
【００４５】
時刻ｔ０から時刻ｔ１までは、ドライバー２の頭位置座標Ｈおよび左肘位置座標ＬＥはほぼ変化せず、相関関係がみられない。そのため、相関係数ｒはほぼゼロである。
【００４６】
時刻ｔ１から時刻ｔ２まで、相関係数ｒが上昇している。これは、ドライバー２の頭の位置と左肘の位置とがやや相関を持って変化しているためである。しかしながら、相関係数ｒは所定の閾値ｒ１までは達しないため、識別部１３０は、ドライバー２の状態が通常状態であると判定する。
【００４７】
時刻ｔ３で、ドライバー２が意識を喪失し、ドライバー２の頭の位置および左肘の位置が共に下方向に大きく変化すると、頭位置座標ＨのＹ座標および左肘位置座標ＬＥのＹ座標が共にプラス方向に大きく変化し、相関係数ｒが大きく上昇する。
【００４８】
そのため、相関係数ｒが所定の閾値ｒ１を超えた時刻ｔ４で、識別部１３０は、ドライバー２の状態が異常状態であると判定する。
【００４９】
比較例として、ドライバー２の状態が異常状態であることを、頭の位置が通常の位置から外れた状態が所定時間継続したことに基づいて判定する方法が考えられる。しかしながら、この比較例では、時刻ｔ３で頭の位置が変化を開始しても、時刻ｔ５まではドライバー２の状態が異常状態であると判定されないという課題がある。
【００５０】
これに対して、本実施形態では、頭の位置の変化と左肘の位置の変化との相関を示す相関係数に基づいてドライバー２の状態が異常状態であると判定するため、時刻ｔ３の直後の時刻ｔ４でドライバー２の状態が異常状態であると判定することができる。
【００５１】
以上説明したように、本実施形態では、ドライバー２の頭の位置の変化と頭以外の所定部位の位置の変化とが類似している場合に、ドライバー２の状態が異常状態であると判定する。特に、ドライバー２の頭の位置の変化と頭以外の所定部位の位置の変化との相関を示す相関係数が所定の閾値よりも高い場合に、ドライバー２の状態が異常状態であると判定する。そのため、ドライバーの状態が異常状態になったことを速やかに識別することができる。
【００５２】
さらに、本実施形態によれば、ドライバーの状態が異常状態であるか否かを、公知技術よりも精度高く識別することができる。例えば、ドライバーが前方を覗き込む場合、後ろを振り返る場合、および、助手席の荷物を取る場合等であっても、ドライバーの状態が異常状態であると誤識別することを防止できる（つまり、これらの場合において、ドライバーの状態が通常状態であると正確に識別することができる。）
【００５３】
以下、本実施形態の変形例について説明する。
【００５４】
（第一変形例）
識別装置１００の識別部１３０において行われる処理の第一変形例について、図５のフローチャートを参照して詳細に説明する。上述の実施形態では、頭位置情報Ｈと左肘位置情報ＬＥとの相関係数に基づいて、ドライバー２の状態を識別した。これに対して、以下に示す第一変形例は、頭位置情報Ｈの変化方向と左肘位置情報ＬＥの変化方向とに基づいて、ドライバー２の状態を識別するものである。
【００５５】
第一変形例に係る体調急変判定部１３３は、ドライバー２の頭の位置および当該所定部位の位置が下方向（より詳細には、鉛直方向下向き）に変化したか否かに基づいて、ドライバー２の状態が異常状態であるか否かを識別し得る。例えば、ドライバー２の頭の位置および当該所定部位の位置のうちのいずれか一方が下方向に移動し始めたことが検出されたタイミングから所定の時間以内（例えば同時など）に、頭の位置および当該所定部位の位置の両方が下方向に移動し続けていることが検出された場合、体調急変判定部１３３は、ドライバー２の状態が異常状態であると識別する。ここで、当該所定の時間の長さは、例えば、複数の乗員の各々に対して予め行われた実験の結果に基づいた最適な長さに設定されてもよい。
【００５６】
以下では、一例として、ドライバー２の頭の位置および当該所定部位の位置の両方が「同時に」下方向に移動したことが検出された場合に、体調急変判定部１３３が、ドライバー２の状態が異常状態であると識別する例について説明する。
【００５７】
以下、図５を参照して、第一変形例の内容についてより詳細に説明する。ステップＳ１１およびステップＳ１２の処理内容は、上述のステップＳ１およびステップＳ２の処理内容と同様であるため、説明を省略する。
【００５８】
ステップＳ１２に続くステップＳ１３で、識別部１３０（具体的には、骨格判定部１３２）は、記憶部１４０に蓄積されている、新たに取得された骨格情報と、前回取得された骨格情報とを用いて、頭位置情報Ｈの変化方向および左肘位置情報ＬＥの変化方向を算出する。
【００５９】
なお、頭位置情報Ｈの変化方向および左肘位置情報ＬＥの変化方向の算出には、前回取得された骨格情報に代えて、さらに前に取得された骨格情報を用いてもよい。また、頭位置情報Ｈの変化方向および左肘位置情報ＬＥの変化方向の算出には、新たに取得された骨格情報を含む、直近の複数周期における骨格情報を用いてもよい。
【００６０】
続くステップＳ１４で、識別部１３０（具体的には、体調急変判定部１３３）は、頭位置情報Ｈの変化方向と、左肘位置情報ＬＥの変化方向とが、共に下向きであるか否かを判定する。
【００６１】
ステップＳ１４で頭位置情報Ｈの変化方向と左肘位置情報ＬＥの変化方向とが共に下向きであると判定された場合（ステップＳ１４：ＹＥＳ）、処理はステップＳ１５に進む。
【００６２】
一方、ステップＳ１４で頭位置情報Ｈの変化方向と左肘位置情報ＬＥの変化方向の少なくともいずれか一方が下向きではないと判定された場合（ステップＳ１４：ＮＯ）、処理はステップＳ１６に進む。
【００６３】
ステップＳ１５およびステップＳ１６の処理内容は、上述のステップＳ５およびステップＳ６の処理内容と同様であるため、説明を省略する。
【００６４】
第一変形例によれば、ドライバー２の頭の位置および頭以外の所定部位の位置が同時に下方向に変化した場合に、ドライバー２の状態が異常状態であると判定するようにしたため、相関係数を算出する必要がない。そのため、上述の実施形態と同様の効果に加え、ＥＣＵの処理負荷を軽減することができる。また、直近の２つの骨格情報のみで変化方向を算出することができるため、記憶部１４０の負荷を軽減することができる。
【００６５】
なお、第一変形例では、頭位置情報Ｈの変化方向と左肘位置情報ＬＥの変化方向とが共に下向きである場合に、ドライバー２の状態が異常状態であると判定したが、これに限定されない。
【００６６】
具体的には、例えば、頭位置情報Ｈの変化方向と左肘位置情報ＬＥの変化方向とが共に下向きで、かつ、頭位置情報Ｈの変化方向と左肘位置情報ＬＥの変化方向とのなす角が所定の角度未満である場合に、ドライバー２の状態が異常状態であると判定してもよい。
【００６７】
（第二変形例）
識別装置１００の識別部１３０において行われる処理の第二変形例について、図６のフローチャートを参照して詳細に説明する。上述の実施形態では、ドライバー２がステアリングホイールを両手で把持（操作）していることを前提に、頭位置情報Ｈと左肘位置情報ＬＥとの相関係数ｒに基づいて、ドライバー２の状態を識別した。これに対して、以下に示す第二変形例は、ドライバー２がステアリングホイールを片手で把持（操作）している場合にもドライバー２の状態を識別できるようにしたものである。
【００６８】
ステップＳ２１およびステップＳ２２の処理内容は、上述のステップＳ１およびステップＳ２の処理内容と同様であるため、説明を省略する。
【００６９】
ステップＳ２２に続くステップＳ２２−１で、識別部１３０は、ドライバー２のステアリング把持状態を取得（検知）する。
【００７０】
ドライバー２のステアリング把持状態は、例えば、公知のステアリング把持センサから出力される、ドライバー２のステアリング把持状態を示す信号を取得することにより取得することができる。
【００７１】
また、ドライバー２がステアリングホイールを両手で把持していない場合、ドライバー２のステアリング把持状態を示す信号には、左右いずれの手でステアリングホイールを把持しているのかを示す信号が含まれる。
【００７２】
続くステップＳ２２−２で、識別部１３０は、右肘の位置の座標（以下、「右肘位置情報」という。）ＲＥおよび左肘位置情報ＬＥのうち、ステアリングホイールを把持している手の位置情報（すなわち、骨格情報）を選択する。
【００７３】
続くステップＳ２３で、識別部１３０は、頭部位置情報と、ステップＳ２２−２で選択された右肘位置情報ＲＥまたは左肘位置情報ＬＥとの相関係数を算出する。
【００７４】
ステップＳ２４ないしステップＳ２６の処理内容は、上述のステップＳ４ないしステップＳ６の処理内容と同様であるため、説明を省略する。
【００７５】
第二変形例によれば、ステアリングホイールを把持している手の情報を用いることができ、ドライバー２の状態を的確に識別することができる。なお、第二変形例では、右肘位置情報ＲＥまたは左肘位置情報ＬＥを用いてドライバー２の状態を識別したが、これに限定されない。肩、手首等、他の部位を用いてもよい。
【００７６】
（第三変形例）
識別装置１００の識別部１３０において行われる処理の第三変形例について、図７のフローチャートを参照して詳細に説明する。上述の実施形態では、頭位置情報Ｈと左肘位置情報ＬＥとの相関係数に基づいて、ドライバー２の状態を識別した。これに対して、以下に示す第三変形例は、さらにその後のドライバー２の動きを検出することで、ドライバー２の状態の識別精度をさらに向上させたものである。具体的には、第三変形例に係る識別部１３０は、ドライバー２の頭の位置の変化と頭以外の所定部位の位置の変化とが類似していると判定されたとき、頭の位置の変化量および所定部位の位置の変化量に基づいて、ドライバー２の状態が異常状態であるか否かを識別する。以下、図７を参照して、第三変形例の内容についてより詳細に説明する。
【００７７】
ステップＳ３１ないしステップＳ３３の処理内容は、上述のステップＳ１ないしステップＳ３の処理内容と同様であるため、説明を省略する。
【００７８】
ステップＳ３３に続くステップＳ３４で、識別部１３０は、相関係数が所定の閾値よりも高いか否かを判定する。
【００７９】
ステップＳ３４で相関係数が所定の閾値よりも高いと判定された場合（ステップＳ３４：ＹＥＳ）、処理はステップＳ３４−１に進む。
【００８０】
ステップＳ３４−１で、識別部１３０は、頭位置情報Ｈおよび左肘位置情報ＬＥの変化量を算出する。なお、この際、頭位置情報Ｈおよび左肘位置情報ＬＥの変化量を示す指標として、記憶部１４０に蓄積されている、新たに取得された骨格情報を含む直近の複数周期における骨格情報の標準偏差を算出するようにしてもよい。
【００８１】
続くステップＳ３４−２で、識別部１３０は、頭位置情報Ｈおよび左肘位置情報ＬＥの変化量が予め定められた第二の所定の閾値よりも小さいか否かを判定する。
【００８２】
ステップＳ３４−２で頭位置情報Ｈおよび左肘位置情報ＬＥの変化量が第二の所定の閾値よりも小さいと判定された場合（ステップＳ３４−２：ＹＥＳ）、処理はステップＳ３５に進む。
【００８３】
一方、ステップＳ３４−２で頭位置情報Ｈおよび左肘位置情報ＬＥの変化量が第二の所定の閾値よりも小さくないと判定された場合（ステップＳ３４−２：ＮＯ）、処理はステップＳ３６に進む。
【００８４】
ステップＳ３４の説明に戻る。ステップＳ３４で相関係数が所定の閾値よりも高くないと判定された場合（ステップＳ３４：ＮＯ）、処理はステップＳ３６に進む。
【００８５】
ステップＳ３５およびステップＳ３６の処理内容は、上述のステップＳ５およびステップＳ６の処理内容と同様であるため、説明を省略する。
【００８６】
第三変形例によれば、頭位置情報Ｈと左肘位置情報ＬＥとの相関係数が所定の閾値よりも高いと判定された後、頭位置情報Ｈおよび左肘位置情報ＬＥの変化量が予め定められた第二の所定の閾値よりも小さい場合に、ドライバー２の状態が異常状態であると判定するようにしたため、ドライバー２の状態の識別精度をさらに向上させることができる。
【００８７】
なお、上述の実施形態、および各変形例は、適宜組み合わせて用いることができる。
【００８８】
また、上述の実施形態および各変形例では、頭以外の所定部位として、左肘または右肘を用いるものを例に説明を行ったが、これに限定されず、左肘または右肘以外の部位を用いることもできる。さらに、頭と、頭以外の複数の所定部位の情報を用いてドライバー２の状態を識別するようにしてもよい。
【００８９】
また、上述の実施形態および各変形例では、識別装置１００の外部に警報装置３００、ＡＤＡＳ  ＥＣＵ４００等が設けられたものを例に説明を行ったが、これに限定されない。識別装置１００、警報装置３００、ＡＤＡＳ  ＥＣＵ４００のうち少なくとも２つを一体的に設けることもできる。なお、識別装置１００とＡＤＡＳ  ＥＣＵ４００とが一体化された場合、識別装置１００は、運転支援制御部をさらに有し得る。この場合、運転支援制御部は、識別部１３０での識別結果に基づいて車両の運転支援を行い得る。
【００９０】
また、上述の実施形態および各変形例では、頭の位置および頭以外の所定部位の位置が共に下方向に変化した場合に、ドライバー２の状態が異常状態であると判定するものを例に説明を行ったが、これに限定されない。頭の位置および頭以外の所定部位の位置が共に上方向、前後方向、左右方向等に変化した場合に、ドライバー２の状態が異常状態であると判定してもよい。
【００９１】
また、上述の実施形態および各変形例では、移動体として、車両を例に説明を行ったが、これに限定されない。移動体の他の例としては、飛行機、電車、船舶等が挙げられる。
【００９２】
また、上述の実施形態および各変形例では、異常状態として、意識を喪失した状態を例に説明を行ったが、これに限定されない。異常状態の他の例としては、居眠りをした状態等が挙げられる。
【００９３】
図８は、上述した実施形態および変形例における各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。
【００９４】
図８に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
【００９５】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【００９６】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【００９７】
（本開示のまとめ）
本開示における識別装置は、移動体の乗員の状態を識別する識別装置であって、撮像装置により得られた前記乗員が含まれる画像を入力する入力部と、前記画像から得られた、前記乗員の頭の位置の変化と前記頭以外の所定部位の位置の変化との関係性に基づいて、前記乗員の状態が異常状態であるか否かを識別する識別部と、を備える。
【００９８】
本開示における識別装置において、前記識別部は、前記頭の位置の変化と前記所定部位の位置の変化とが類似している場合、前記乗員の状態が異常状態であると識別する。
【００９９】
本開示における識別装置において、前記識別部は、前記頭の位置の変化と前記所定部位の位置の変化との相関を示す値を算出し、前記相関を示す値と所定の閾値との比較に基づいて、前記頭の位置の変化と前記所定部位の位置の変化とが類似しているか否かを判定し、前記頭の位置の変化と前記所定部位の位置の変化とが類似している場合、前記乗員の状態が異常状態であると識別する。
【０１００】
本開示における識別装置において、前記識別部は、前記頭の位置および前記所定部位の位置が同時に下方向に変化したか否かに基づいて、前記乗員の状態が異常状態であるか否かを識別する。
【０１０１】
本開示における識別装置において、前記識別部は、前記頭の位置および前記所定部位の位置のうちのいずれか一方が下方向に移動し始めたことが検出されたタイミングから所定の時間以内に、前記頭の位置および前記所定部位の位置の両方が下方向に移動し続けていることが検出された場合、前記乗員の状態が異常状態であると識別する。
【０１０２】
本開示における識別装置において、前記識別部は、前記頭の位置の変化と前記所定部位の位置の変化とが類似していると判定されたとき、前記頭の位置の変化量および前記所定部位の位置の変化量に基づいて、前記乗員の状態が異常状態であるか否かを識別する。
【０１０３】
本開示における識別装置において、前記所定部位は、腕の関節である。
【０１０４】
本開示における識別装置において、前記腕は、前記移動体の操舵装置を操作している腕である。
【０１０５】
本開示における識別装置は、前記識別部での識別結果を警報装置に出力する出力部をさらに備える。
【０１０６】
本開示における識別装置は、前記識別部での識別結果を運転支援装置に出力する出力部をさらに備える。
【０１０７】
本開示における識別装置は、前記識別部での識別結果に基づいて前記移動体の運転支援を行う運転支援制御部をさらに備える。
【０１０８】
本開示における識別方法は、移動体の乗員の状態を識別する識別方法であって、撮像装置により得られた前記乗員が含まれる画像を入力するステップと、前記画像から得られた、前記乗員の頭の位置の変化と前記頭以外の所定部位の位置の変化との関係性に基づいて、前記乗員の状態が異常状態であるか否かを識別するステップと、を備える。
【０１０９】
本開示における識別プログラムは、コンピュータに、撮像装置により得られた前記乗員が含まれる画像を入力する処理と、前記画像から得られた、前記乗員の頭の位置の変化と前記頭以外の所定部位の位置の変化との関係性に基づいて、前記乗員の状態が異常状態であるか否かを識別する処理と、を実行させる。
【産業上の利用可能性】
【０１１０】
本開示に係る識別装置、識別方法および識別プログラムによれば、移動体の乗員が異常状態になったことを速やかに識別することができ、車載用途に好適である。
【符号の説明】
【０１１１】
１  ドライバーモニタリングシステム（ＤＭＳ）
２  ドライバー
１００  識別装置
１２０  入力部
１３０  識別部
１３１  骨格情報取得部
１３２  骨格判定部
１３３  体調急変判定部
１４０  記憶部
１５０  出力部
２００  撮像装置
２１００  コンピュータ
２１０１  入力装置
２１０２  出力装置
２１０３  ＣＰＵ
２１０４  ＲＯＭ
２１０５  ＲＡＭ
２１０６  記憶装置
２１０７  読取装置
２１０８  送受信装置
２１０９  バス
【図１】
2020052869.tif 000006
【図２】
2020052869.tif 000007
【図３】
2020052869.tif 000008
【図４】
2020052869.tif 000009
【図５】
2020052869.tif 000010
【図６】
2020052869.tif 000011
【図７】
2020052869.tif 000012
【図８】
2020052869.tif 000013