(57)【要約】【課題】人物の姿勢を識別すること。【解決手段】識別装置１００は、カメラで撮影された人物の画像情報を受け取る入力部１０１と、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する制御部１０２と、を備え、前記動作モデルは、前記制御部によって識別された前記人物の動作に基づいて生成される第１動作モデルと、予め生成されて記憶されている第２動作モデルと、を含む。【選択図】図５
2020095756.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された人物の画像情報を受け取る入力部と、
前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する制御部と、を備え、
前記動作モデルは、前記制御部によって識別された前記人物の動作に基づいて生成される第１動作モデルと、予め生成されて記憶されている第２動作モデルと、を含む、識別装置。
【請求項２】
前記制御部は、前記第１動作モデルの蓄積量に基づいて前記第１動作モデルと前記第２動作モデルとを切り替えて用いる、請求項１に記載の識別装置。
【請求項３】
前記制御部は、前記第１動作モデルの蓄積量が所定量未満の場合は第２動作モデルを用い、前記第１動作モデルの蓄積量が前記所定量以上となった場合に、用いる動作モデルを前記第２動作モデルから前記第１動作モデルに切り替える、請求項２に記載の識別装置。
【請求項４】
前記制御部は、前記第１動作モデルの蓄積量に基づいて前記第１動作モデルと前記第２動作モデルを組み合わせて用いる、請求項１に記載の識別装置。
【請求項５】
前記制御部は、前記第１動作モデルの蓄積量が所定量未満の場合は、前記第２動作モデルを用いると共に、前記第１動作モデルが生成された場合に、生成された動作モデルを用いて前記第２動作モデルを更新する、請求項４に記載の識別装置。
【請求項６】
前記制御部は、前記人物の動作を識別した際に、当該人物の人物情報、当該人物の部位情報又は当該人物の動作の識別結果を示す動作情報を前記第１動作モデルにフィードバックさせる、請求項１に記載の識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、識別装置に関する。
【背景技術】
【０００２】
近年、人物の姿勢を識別する技術が知られている。
【０００３】
例えば特許文献１には、カメラの画像から人物の手、肘及び肩の特徴点の位置を検出し、あらかじめ作成された関節モデルに適合するよう手、肘及び肩の特徴点位置を補正する装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２１１７０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の装置では、人物が革ジャケットなど近赤光に対する反射率の低い衣服を着用している場合に、体・腕部分の画素値が正常に得られず、肩及び肘の関節を検知することができないため、人物の姿勢を識別することができないという課題があった。
【０００６】
本発明の目的は、人物の姿勢を識別することができる識別装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る識別装置は、カメラで撮影された人物の画像情報を受け取る入力部と、前記画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する制御部と、を備え、前記動作モデルは、前記制御部によって識別された前記人物の動作に基づいて生成される第１動作モデルと、予め生成されて記憶されている第２動作モデルと、を含む。
【０００８】
なお、ここでいう「人物」とは、特定の個人の意味には限られず、任意の年齢、性別及び体格の人物一般も意味する。
【発明の効果】
【０００９】
本発明によれば、人物の姿勢を識別することができる。
【図面の簡単な説明】
【００１０】
【図１ａ】本発明の実施の形態に係る識別装置の構成の一例を示すブロック図
【図１ｂ】制御部の構成の一例を示すブロック図
【図２】骨格検知処理の一例を示す説明図
【図３】動作モデルの一例を示す説明図
【図４】本発明の実施の形態において人物情報及び部位情報を動作モデルと比較する様子を示す説明図
【図５】本発明の実施の形態に係る識別装置の主要な動作を説明するフロー図
【図６】変形例２において人物情報及び部位情報を動作モデルと比較する様子を示す説明図
【図７】各部の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。ただし、各実施の形態において、同一機能を有する構成には、同一符号を付し、重複する説明は省略する。
【００１２】
まず、本発明の実施の形態に係る識別装置１００の構成の一例について、図１ａを用いて説明する。図１ａは、本発明の実施の形態に係る識別装置１００の構成の一例を示すブロック図である。
【００１３】
図１ａに示す識別装置１００、カメラ２００、及び機器３００は、例えば、自動車、鉄道車両、船舶、航空機などの移動体に搭載される。本実施の形態では、識別装置１００、カメラ２００、及び機器３００が自動車に搭載される場合を例に挙げて説明する。
【００１４】
カメラ２００は、例えば、ステレオカメラ、ＴＯＦ（Time Of Flight）方式のカメラなどの測距カメラであり、車室内における人物の存在する範囲を撮影して画像情報を取得し、その画像情報を識別装置１００へ出力する。画像情報は、近赤外光の反射強度の強さを表す近赤画像を少なくとも含む。またステレオカメラまたはＴＯＦカメラの場合には距離の遠近を表す距離画像をさらに含んでも良い。
【００１５】
機器３００は、自動車において用いられる機器である。機器３００は、例えば、カーナビゲーション装置、オーディオ装置、エアコンディショナー装置、タブレット、スマートフォン、リアカメラ、サイドカメラ、フロントカメラ、ＥＴＣ車載器である。または、機器３００は、例えば、ハンドル、シフトレバー（ギアレバー）、ウィンカーレバー（ウィンカースイッチ）、ワイパーレバー（ワイパースイッチ）、ドアロックスイッチ、パワーウィンドウの昇降スイッチ、エンジンスタートスイッチ、アクセルペダル、ブレーキペダル、クラッチペダルなどでもよい。
【００１６】
機器３００は、有線ネットワーク（例えば、ＣＡＮ：Controller Area Network ）、無線ネットワーク（例えば、無線ＬＡＮ：Local Area Network）、または、有線ネットワークと無線ネットワークが混在したネットワークを介して識別装置１００と接続される。そして、機器３００は、識別装置１００から受け取る制御信号に基づき制御される。
【００１７】
識別装置１００は、入力部１０１、制御部１０２を備える。
【００１８】
入力部１０１は、カメラ２００から人物の画像情報を受け取り、制御部１０２に出力する。
【００１９】
制御部１０２は、入力部１０１から受け取った画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する。このような構成により、人物の姿勢を識別することができる。
【００２０】
次に、制御部１０２の構成の一例について、図１ｂを用いて説明する。図１ｂは、制御部の構成の一例を示すブロック図である。
【００２１】
図１ｂに示すように、制御部１０２は、検知制御部１１０、骨格検知部１２０、骨格動作識別部１３０、人物識別部１４０、動作モデル部１５０、部位検知部１６０、部位動作識別部１７０、機器制御部１８０を備える。
【００２２】
検知制御部１１０は、カメラ２００から画像情報を受け取り、画像情報を解析し、骨格検知部１２０、人物識別部１４０、部位検知部１６０に画像情報を出力する。具体的には、検知制御部１１０は、画像情報の解析により骨格検知が可能かどうかを判定し、骨格検知が可能であると判定された場合は、骨格検知部１２０及び人物識別部１４０に画像情報を出力する。一方、骨格検知が可能でないと判定された場合は、更に後述する動作モデルが利用可能かどうかを判定し、動作モデルが利用可能であると判定された場合は、人物識別部１４０及び部位検知部１６０に画像情報を出力する。骨格検知が可能かどうかの判定については後述する。
【００２３】
骨格検知部１２０は、検知制御部１１０から受け取った画像情報に基づいて、人物の骨格位置を検知し、検知した結果を示す骨格情報を骨格動作識別部１３０に出力する。人物の骨格位置とは頭、首、腰、肩、肘、手などの領域を表す代表点の位置を示すものである。代表点の位置は画像上の２次元座標として特定される。
【００２４】
図２は、骨格検知処理の例を示したものである。画像１０００は人物を撮影した画像の例であり、自動車を運転している人物がハンドルを握っている画像の模式図である。画像１００１は画像１０００における人物の骨格位置を検知した結果画像の例であり、頭、首、腰、左肩、左肘、左手、右肩、右肘、右手の代表点である９点の位置を検知した状態を示している。骨格情報とは検知した代表点の位置座標であり、画像上の代表点９点の位置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）・・・（Ｘ９，Ｙ９）として得られるものである。骨格検知は、例えば特許文献１に示されているような既存の方法を用いる事で実現が可能である。
【００２５】
また、画像１００１では、頭、首、腰、左肩、左肘、左手、右肩、右肘、右手の代表点である９点の位置を検知することができたため、検知制御部１１０は、骨格検知が可能であると判定する。一方、画像１００２は、撮影した人物が革ジャケットなど近赤光に対する反射率の低い衣服を着用している場合に得られる人物の骨格位置を検知した結果画像の例を示している。画像１００２では、頭、左手、右手の代表点である３点の位置しか検知できていないことがわかる。この場合、検知制御部１１０は、骨格検知が可能でないと判定する。
【００２６】
骨格動作識別部１３０は、骨格検知部１２０から受け取った骨格情報に基づいて、乗員の動作を識別する。乗員の動作とは、例えばエアコンディショナー装置、ハンドル、オーディオ装置等の機器を操作する動作、運転中の物探し、振り向きなどのしぐさ等である。
【００２７】
骨格情報に基づく動作の識別は、既存の手法、例えば比較対象パラメータの木構造に従う複数回の大小比較から既定のパターンのうちのひとつを特定する、いわゆるランダムフォレスト等の手法を使用することで行うことができる。
【００２８】
骨格動作識別部１３０は、上記のような乗員の動作の識別結果を示す動作情報及び骨格情報を、動作モデル部１５０に出力する。また、骨格動作識別部１３０は、動作情報を、機器制御部１８０に出力する。
【００２９】
人物識別部１４０は、検知制御部１１０から受け取った画像情報に基づいて、人物が誰であるのかを識別し、識別した結果を示す人物情報を動作モデル部１５０、及び部位動作識別部１７０に出力する。
【００３０】
人物識別の実現には例えば既存の顔認証の技術を利用することが可能である。例えば自動車を運転する複数人物の顔画像を予め登録しておき、それらの人物が実際に自動車を運転する際に顔画像を取得し、取得した顔画像と登録済の顔画像とを既存技術で照合することにより、どの登録者か識別することができる。顔識別の既存技術としては、顔の特徴量をＬＢＰ（Local Binary Pattern）またはＨＯＧ（Histogram of Oriented Gradient）といった手法で取得し、その特徴量を照合する方法がある。
【００３１】
動作モデル部１５０は、骨格動作識別部１３０からの動作情報、骨格情報、及び人物識別部１４０からの人物情報をもとに、動作モデルを生成し、記憶するとともに、記憶した動作モデルを部位動作識別部１７０に出力する。
【００３２】
動作モデルは、人物情報（登録された人物に対応した登録番号）、骨格情報（骨格の特徴点の位置座標）、及び動作情報（動作の種類に対応した動作番号）を関連付けて記憶したデータベースの形態とする。ここで、骨格情報としては、骨格検知部１２０から出力された全ての特徴点情報を登録するのではなく、後述する部位検知部１６０での部位検知処理で検知対象となる頭部、左手、及び右手の特徴点の情報のみを登録する。図３に例として、人物情報、頭部・左手・右手の骨格情報、及び動作情報の関連データベース１００３を示す。
【００３３】
本実施の形態では、動作モデルのデータベースは、骨格検知部１２０による骨格検知が可能な状態にて検知された骨格情報、人物情報及び動作情報を一定数以上蓄積できた後に利用可能となる。例えば、動作モデルのデータベースが利用可能となるためには、人物情報、骨格情報、及び動作情報の組合せを１００００組以上蓄積することを必要とする。
【００３４】
動作モデル部１５０は、動作モデルが利用可能かどうかの状態情報を検知制御部１１０に出力する。検知制御部１１０では動作モデルが利用可能かどうかに従って処理を分岐させる。
【００３５】
部位検知部１６０は、検知制御部１１０から受け取った画像情報に基づいて、人物の部位情報として頭部位置、左手位置、及び右手位置を検知し、検知結果の部位情報を部位動作識別部１７０に出力する。
【００３６】
上述した骨格検知部１２０においても、頭部位置、左手位置、右手位置を含む複数の特徴点の位置座標を検出しているが、ここでは人物の身体部分の画像情報が正常に得られない場合における検知手法を用いる。
【００３７】
例えば部位情報の検知を既存の手法の組合せにより実現する方法として、画像情報に含まれる距離情報を用いて等距離に存在する距離情報の固まりを検知し、その固まりの位置を複数フレーム間でトラッキングする手法を用いることが可能である。
【００３８】
部位動作識別部１７０は、人物識別部１４０からの人物情報、動作モデル部１５０からの動作モデル、及び部位検知部１６０からの部位情報に基づいて、乗員の動作を識別する。
【００３９】
部位動作識別部１７０において乗員の動作を識別する部位動作識別処理の手法について、図４を用いて説明する。
【００４０】
部位動作識別処理では、部位動作識別部１７０の入力情報２００１における人物情報及び部位情報を、既に動作モデルとして登録されている登録情報２００２における人物情報及び骨格情報と照合し、登録情報２００２の中から、人物情報が入力情報における人物情報と一致し、かつ、骨格情報が入力情報における部位情報に最も近いデータを検索する。
【００４１】
入力情報の部位情報に最も近い骨格情報を有する登録情報を検索する手法として、例えば、次に示す手法を採用することができる。まず、入力情報と登録情報との間の、対応する部位同士（例えば、頭部位置同士、左手位置同士、右手位置同士）の距離をそれぞれ算出する。そして、算出された各部位同士の距離の合計が最も小さい登録情報を、入力情報の部位情報に最も近い骨格情報を有する登録情報であると判断する。
【００４２】
入力情報と登録情報の照合を行う際には、動作の識別精度を考慮すると、人物情報が入力情報における人物情報と一致し、かつ、骨格情報が入力情報における部位情報と一致するデータを検索することが理想である。しかしながら、所定の動作をする場合の人の動きは常に同じとは限らないので、登録情報における骨格情報に、入力情報における部位情報と一致するものがない場合が考えられる。
【００４３】
このような場合を考慮して、本実施の形態では、入力情報と登録情報の照合を行う際には、人物情報が入力情報における人物情報と一致し、かつ、骨格情報が入力情報における部位情報に最も近いデータを検索する。
【００４４】
図４の例の場合には、入力情報２００１は、登録情報２００２のうち２００３のデータに最も近いため、部位動作識別部１７０は、動作情報は「６」であると識別し、部位動作情報を機器制御部１８０に出力する。
【００４５】
機器制御部１８０は、骨格動作識別部１３０からの動作情報または部位動作識別部１７０からの動作情報に基づいて、不図示の機器３００を制御するための制御情報を生成し、生成した制御情報を機器３００に出力する。
【００４６】
機器３００は、機器制御部１８０から受け取った制御情報に基づき制御される。
【００４７】
なお、図１ｂの例では、制御部１０２が骨格検知部１２０及び骨格動作識別部１３０を含む構成としたが、制御部１０２は、骨格検知部１２０及び骨格動作識別部１３０を含まない構成としてもよい。詳細については後述する。
【００４８】
また、図１ｂの例では、制御部１０２が機器制御部１８０を含む構成としたが、機器制御部１８０は、制御部１０２とは別に設けられていてもよい。
【００４９】
すなわち、制御部１０２は、少なくとも検知制御部１１０、人物識別部１４０、動作モデル部１５０、部位検知部１６０及び部位動作識別部１７０を含む構成であればよい。
【００５０】
次に、本実施の形態に係る制御部１０２の動作の一例について、図５を用いて説明する。図５は、本実施の形態に係る制御部１０２の動作の流れの一例を示すフロー図である。
【００５１】
まず、ステップＳ１０１で、検知制御部１１０は、カメラ２００から画像情報を受け取る。上述したとおり、画像情報は乗員を撮影した画像である。
【００５２】
続いて、ステップＳ１０２で、検知制御部１１０は、画像情報をもとに、骨格検知が可能な画像かどうかを判定する。具体的には、画像情報から検知すべき全ての代表点位置を検知することができた場合に、骨格検知が可能な画像であると判定し、画像情報から検知すべき代表点位置のうち一部の代表点位置しか検知することができなかった場合に、骨格検知が可能な画像でないと判定する。
【００５３】
ステップＳ１０２で骨格検知が可能な画像であると判定された場合（ステップＳ１０２：ＹＥＳ）、ステップＳ１０３に進み、ステップＳ１０３で、骨格検知部１２０は、骨格検知処理を行う。
【００５４】
続いて、ステップＳ１０４で、人物識別部１４０は、人物識別処理を行い、ステップＳ１０５で、骨格動作識別部１３０は、動作識別処理を行い、ステップＳ１０６で、機器制御部１８０は、機器制御情報生成処理を行う。
【００５５】
ステップＳ１０６に続くステップＳ１０７では、ステップＳ１０３の骨格検知処理で識別された骨格情報、ステップＳ１０４の人物識別処理で識別された人物情報、及びステップＳ１０５の動作識別処理で識別された動作情報に基づき、動作モデル部１５０は、動作モデルの更新を行う。具体的には、得られた骨格情報、人物情報及び動作情報を動作モデルのデータベースに加える作業を行う。なお、ステップＳ１０６とステップＳ１０７を行う順番は逆でもよく、また、ステップＳ１０６とステップＳ１０７を同時に行ってもよい。
【００５６】
ステップＳ１０２で骨格検知が可能な画像であると判定されなかった場合（ステップＳ１０２：ＮＯ）、ステップＳ１０８に進み、ステップＳ１０８で、検知制御部１１０は、動作モデルが利用可能かどうかを判定する。
【００５７】
ステップＳ１０８で動作モデルが利用可能であると判定された場合（ステップＳ１０８：ＹＥＳ）、ステップＳ１０９に進み、ステップＳ１０９で、部位検知部１６０は、部位検知処理を行う。
【００５８】
続いて、ステップＳ１１０で、人物識別部１４０は、人物識別処理を行う。
【００５９】
ステップＳ１１０に続くステップＳ１１１で、部位動作識別部１７０は、ステップＳ１０９の部位検知処理で識別された部位情報、ステップＳ１１０の人物識別処理で識別された人物情報、及び予め記憶された動作モデルに基づき、部位動作識別処理を行う。
【００６０】
ステップＳ１１１に続くステップＳ１１２で、機器制御部１８０は、機器制御情報生成処理を行う。
【００６１】
ステップＳ１０８で動作モデルが利用可能であると判定されなかった場合（ステップＳ１０８：ＮＯ）には、ステップＳ１１３に進み、ステップＳ１１３で、検知制御部１１０は、動作識別処理が不可能と判定して、動作識別処理の実行を禁止し、エラー情報を提示するなどして処理を終了する。
【００６２】
以上説明したように、本実施の形態の識別装置１００では、入力部１０１から受け取った画像情報に基づいて前記人物の識別及び前記人物の少なくとも頭部及び手の部位の検知を行い、識別された前記人物、検知された前記部位、及び人物の動作が人物毎に登録された動作モデルに基づいて前記人物の動作を識別する。
【００６３】
そのため、人物が革ジャケット等の近赤外光に対する反射率の低い衣服を着用しており、体・腕部分の距離が正常に出力されず、肩及び肘の関節を検知できない場合、部位情報だけでは動作識別を誤る可能性があるが、本実施の形態の識別装置１００は、そのような場合でも、人物の動作を正しく識別することができる。
【００６４】
また、例えば、人物の頭部、左手、右手の位置が同じであっても、人物のしぐさのクセまたは体格の違いにより、動作の種類に違いが生じてしまう場合がある。このような場合にも、本実施の形態の識別装置１００は、人物情報、部位情報及び基本動作モデルに基づいて人物の動作を識別するので、人物の違いによる動作の違いを吸収して、動作を正しく識別することができる。
【００６５】
以上、本発明の実施の形態について説明したが、本発明は、実施の形態の説明に限定されない。以下、各変形例について説明する。
【００６６】
＜変形例１＞
上述した実施の形態では、識別装置１００、カメラ２００、および機器３００が自動車に備えられる例を挙げて説明したが、これに限定されない。識別装置１００、カメラ２００、および機器３００は、自動車以外の移動体（例えば、鉄道車両、船舶、航空機等）に備えられてもよいし、移動体以外の場所に備えられてもよい。
【００６７】
＜変形例２＞
上述した実施の形態では、部位動作識別処理において、人物情報が入力情報における人物情報と同じであり、かつ、骨格情報が入力情報における部位情報に最も近い登録情報における動作情報を、入力情報の動作情報と識別するようにしたが、これに限定されない。
【００６８】
例えば、入力情報と登録情報の間で人物情報は一致するが、入力情報における部位情報と登録情報における骨格情報で一致するものがない場合に、入力情報における部位情報と近い順に登録情報を所定数検索し、これら所定数の登録情報における動作情報が全て同一である場合に、当該動作情報を入力情報における動作情報として用いるようにしてもよい。検索される登録情報の数については、予め決定しておく。
【００６９】
以下、変形例２の具体的態様について、図６を用いて説明する。なお、図６では、説明を容易にするため、登録情報のうち、人物情報が「２」であるもののみを示している。また、以下の説明では、検索される登録情報の数を３個とした例を示す。
【００７０】
図６において、登録情報３００２のうち、入力情報３００１における部位情報と近い登録情報として、最も近いデータである３００５のデータ、２番目に近いデータである３００７、及び３番目に近いデータである３００３のデータが検索される。そして、この場合、検索された３個のデータにおける動作情報が全て「１」であるので、入力情報における動作情報は「１」であると判定する。
【００７１】
このようにすれば、単純に入力情報における部位情報に最も近い登録情報における骨格情報を用いるよりも動作識別精度が向上する。特に、登録情報が少ない状態では、入力情報における部位情報に最も近い登録情報における骨格情報を用いると動作識別精度が低下することが懸念されるので、上述の方法を用いた動作情報の推定は効果的である。
【００７２】
＜変形例３＞
上述した実施の形態では、人物情報、骨格情報、及び動作情報の組合せを例えば１００００組以上蓄積するまでは動作モデルのデータベースを利用できない態様としたが、動作モデルの利用制限はこれに限定されない。
【００７３】
人物情報、骨格情報、及び動作情報の組合せの蓄積量が１００００組に満たない場合でも、ある程度信頼性を担保できるだけの情報が蓄積された段階で動作モデルのデータベースを利用可能とすることが可能である。また、人物情報、骨格情報、及び動作情報の組合せの蓄積量が少ない状態であっても、特定の動作についてのみ動作モデルのデータベースを利用可能とすることも可能である。
【００７４】
特に、変形例２に示した方法と組み合わせることにより、人物情報、骨格情報、及び動作情報の組合せの蓄積量が少ない状態でも、動作識別精度を確保しつつ動作モデルのデータベースを利用することができる。
【００７５】
＜変形例４＞
上述した実施の形態では、動作モデルを骨格検知が可能な画像に基づいて作成し、記憶する態様としたが、動作モデルを記憶させる態様についてはこれに限定されない。基本となる動作モデル（以下、「基本動作モデル」という）を、識別装置１００を出荷する時点で予め識別装置１００内に記憶させておくことも可能である。
【００７６】
基本動作モデルは、所定の年齢、性別、体格毎に、標準的な骨格情報と動作情報が登録されたものである。この基本動作モデルは、様々な実験および／または計算により得られたデータにより予め作成される。
【００７７】
基本動作モデルを利用する場合には、画像情報に基づいて乗員の年齢、性別、体格等を識別し、記憶してある複数の基本動作モデルの中から、適切な基本動作モデルを選択する。
【００７８】
また、識別装置１００内には、識別精度向上のため、年齢、性別、体格が異なる多数の基本動作モデルを記憶させておくことが好ましい。
【００７９】
＜変形例５＞
変形例５は、変形例４において、基本動作モデルのデータベースと、骨格検知が可能な画像に基づいて作成する動作モデルのデータベースとを別で準備しておき、基本動作モデルと、骨格検知が可能な画像に基づいて作成した動作モデルを切り替えて用いるようにしたものである。
【００８０】
具体的には、骨格検知が可能な画像に基づいて作成された動作モデルの蓄積量が少ない状態では、基本動作モデルを用い、骨格検知が可能な画像に基づいて作成した動作モデルの蓄積量が所定量以上となった場合に、用いる動作モデルを、基本動作モデルから、骨格検知が可能な画像に基づいて作成した動作モデルに切り替える。
【００８１】
このようにすれば、骨格検知が可能な画像に基づいて作成された動作モデルの蓄積量が少ない状態でも、動作識別精度を確保しつつ動作モデルのデータベースを利用することができる。
【００８２】
＜変形例６＞
変形例６は、変形例４において、基本動作モデルと、骨格検知が可能な画像に基づいて作成した動作モデルを組み合わせて用いるようにしたものである。
【００８３】
具体的には、骨格検知が可能な画像に基づいて作成された動作モデルの蓄積量が少ない状態で、基本動作モデルを用いると共に、骨格検知が可能な画像に基づいて動作モデルが作成された場合に、作成された動作モデルを用いて基本動作モデルのデータベースを更新する。具体的には、得られた骨格情報、人物情報及び動作情報を基本動作モデルのデータベースに加える作業を行う。
【００８４】
このようにすれば、骨格検知が可能な画像に基づいて作成された動作モデルの蓄積量が少ない状態でも、動作識別精度を確保しつつ動作モデルのデータベースを利用することができる。更に、基本動作モデルに骨格検知が可能な画像に基づいて作成された信頼性の高い動作モデルのデータを取り入れることで、動作モデルの信頼性を更に向上させることができる。
【００８５】
＜変形例７＞
上述した実施の形態では、骨格検知が可能な画像に基づいて動作モデルを作成する態様としたが、動作モデルの作成についてはこれに限定されない。例えば、動作モデルを用いて、部位動作識別部１７０で動作情報を識別した際に、その人物情報、部位情報及び動作情報を動作モデル部１５０にフィードバックさせるようにする。
【００８６】
具体的には、図５のフロー図において、ステップＳ１１１の後に、部位動作識別処理に用いた人物情報及び部位情報と、部位動作識別処理において識別された動作情報を、動作モデル部１５０に出力し、動作モデル部１５０において、動作モデルの更新を行う。
【００８７】
こうすることで、骨格検知が可能な画像に基づく動作モデルの作成に加え、人物情報、部位情報、及び動作モデルに基づいて識別した動作情報からも動作モデルを作成することができるので、動作モデルの蓄積量が飛躍的に増大する。なお、部位動作識別部から出力されるデータのうち、入力情報における部位情報と登録情報における骨格情報のうち複数が一致するもの等、動作の識別の信頼性が高いデータのみをフィードバックさせるようにすることで、動作モデルの信頼性の低下を防止することができる。
【００８８】
＜変形例８＞
上述した実施の形態では、乗員である運転者が近赤光に対する反射率の低い長袖の衣服を着用していることを想定し、部位検知部１６０で検知する部位を、露出している頭部、左手、右手の３箇所としたが、部位検知部１６０で検知する部位についてはこれに限定されない。検知する部位を３箇所より少なくしてもよいし、３箇所より多くしてもよい。また、手（手首から指先まで）に代えて、もしくは加えて、肘または肩など、上肢における所定の箇所を検知するようにしてもよい。
【００８９】
例えば、運転者が近赤光に対する反射率の低い半袖の衣服及び手袋を着用している場合を考えると、上述の実施の形態では、頭部を検知することはできるが両手を検知することができず、部位動作識別処理を行うことができない。しかしながら、手に代えて、肘を検知するようにすれば、部位動作識別処理を行うことができる。
【００９０】
また、運転席が車両進行方向右側である場合、運転者は機器３００を左手で操作することが多い。そこで、検知する部位を、頭部と、左上肢の１箇所以上とすれば、検知部位を少なくしたとしても、検知部位の動きが多いため、運転者の動作を正しく識別することができる。
【００９１】
＜変形例９＞
上述した実施の形態では、動作モデルにおいて記憶される骨格情報として、部位検知部１６０での部位検知処理で検知対象となる部位の骨格情報のみを登録する態様としたが、動作モデルに記憶させる骨格情報の種類については、これに限定されない。
【００９２】
例えば、動作モデルに全骨格情報を記憶させるようにしてもよい。その場合、部位動作識別部１７０では、画像情報から検知することができた部位の部位情報と、動作モデルにおける骨格情報のうち、画像情報から検知することができた部位に対応する部位の骨格情報を照合する。
【００９３】
このようにすれば、検知可能な部位の組合せが変わった場合でも、部位動作識別処理を行うことができる。
【００９４】
以上、本発明の実施の形態および変形例について説明した。
【００９５】
図７は、上述した実施の形態および変形例における各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。
【００９６】
図７に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
【００９７】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【００９８】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【産業上の利用可能性】
【００９９】
本発明に係る識別装置は、所定の機器を操作する人物を識別するのに有用である。
【符号の説明】
【０１００】
１００  識別装置
１０１  入力部
１０２  制御部
１１０  検知制御部
１２０  骨格検知部
１３０  骨格動作識別部
１４０  人物識別部
１５０  動作モデル部
１６０  部位検知部
１７０  部位動作識別部
１８０  機器制御部
２００  カメラ
３００  機器
１０００、１００１、１００２  画像
１００３  データベース
２００１  入力情報
２００２  登録情報
２００３  データ
２１００  コンピュータ
２１０１  入力装置
２１０２  出力装置
２１０３  ＣＰＵ
２１０４  ＲＯＭ
２１０５  ＲＡＭ
２１０６  記憶装置
２１０７  読取装置
２１０８  送受信装置
２１０９  バス
３００１  入力情報
３００２  登録情報
３００３、３００４、３００５、３００６、３００７  データ
【図１ａ】
2020095756.tif 000003
【図１ｂ】
2020095756.tif 000004
【図２】
2020095756.tif 000005
【図３】
2020095756.tif 000006
【図４】
2020095756.tif 000007
【図５】
2020095756.tif 000008
【図６】
2020095756.tif 000009
【図７】
2020095756.tif 000010