(57)【要約】【課題】車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定できる推定装置、学習装置、推定方法、及び推定プログラムを提供する。【解決手段】推定装置は、車両の装備に対する乗員の状態を推定する推定装置であって、機械学習により構築された推定モデルを記憶する記憶部と、装備を含む画像を入力として、推定モデルを用いて装備に対する乗員の状態を推定する処理部と、を備える。推定モデルは、装備を含む画像の入力に対して、乗員の特定部位の骨格位置を示す第１の情報と、装備に対する乗員の状態を示す第２の情報と、を出力するモデルである。【選択図】図２
2018132996.tif 000002
【特許請求の範囲】
【請求項１】
車両の装備に対する乗員の状態を推定する推定装置であって、
機械学習により構築されたモデルを記憶する記憶部と、
前記装備を含む画像を入力し、前記モデルを用いて前記乗員の状態を推定し、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する処理部と、
を備える推定装置。
【請求項２】
前記モデルは、ニューラルネットワークを利用したディープラーニングにより構築される、請求項１に記載の推定装置。
【請求項３】
前記装備は、車種にかかわらず、車室内における所定領域内に設置される、請求項１又は２に記載の推定装置。
【請求項４】
前記装備は、少なくともハンドル、カーナビゲーションシステムのタッチパネル、窓、ドアノブ、エアコンのコントロールパネル、バックミラー、ダッシュボード、シート、アームレスト、センターボックス、グローブボックスのいずれかを含む、請求項１乃至３のいずれか一項に記載の推定装置。
【請求項５】
車両の装備に対する乗員の状態を推定するために用いられるモデルを構築する学習装置であって、
前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを取得する入力部と、
前記画像を推定装置に入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように、前記モデルを構築する学習部と、
を含む学習装置。
【請求項６】
車両の装備に対する乗員の状態を推定する推定方法であって、
前記装備を含む画像を取得する第１工程と、
前記第１工程で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第２工程と、
前記第２工程による推定結果として、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する第３工程と、
を備える推定方法。
【請求項７】
車両の装備に対する乗員の状態を推定する推定装置のコンピューターに、
前記装備を含む画像を取得する第１処理と、
前記第１処理で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第２処理と、
前記第２処理による推定結果として、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する第３処理と、
を実行させる推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の車室内における装備に対する乗員の状態（姿勢及び行動）を推定する推定装置、学習装置、推定方法、及び推定プログラムに関する。
【背景技術】
【０００２】
近年、移動体（例えば、自動車等の車両）内における乗員の状態（動作やジェスチャー）を検知し、検知結果に基づいて乗員にとって有用な情報を提供する技術が開発されている（例えば、特許文献１、２）。
【０００３】
乗員の状態を検知する技術としては、例えば、車室内に設置された車載カメラから得られる画像に基づいて、乗員の状態を推定する推定装置がある。推定装置では、画像から乗員の特定部位を示す骨格位置が推定され、この骨格位置に基づいて、装備に対する乗員の状態が推定される。例えば、乗員の特定部位である「手」の骨格位置に基づいて、「ハンドルを握っている」や、「ナビゲーションシステムを操作している」という乗員の状態が推定される。装備に対する乗員の状態は、装備と特定部位との位置関係で表すことができる。
【０００４】
骨格位置は、例えば、機械学習により構築されたモデル（アルゴリズム）を利用して、推定される。特に、ディープラーニングにより構築されたモデルは、骨格位置の推定精度が高く、好適である。ディープラーニングとは、ニューラルネットワークを利用した機械学習である。
【０００５】
図１は、従来の推定装置５の一例を示す図である。ここでは、推定装置５が、運転者によるハンドルの把持状態を推定する場合について説明する。図１に示すように、従来の推定装置５は、骨格位置推定部５１及び状態推定部５３を備える。
【０００６】
骨格位置推定部５１は、推定モデルＭを用いて、車載カメラ２０から入力された画像ＤＩに含まれる乗員の特定部位（手）の骨格位置を推定し、骨格位置情報ＤＯ１を出力する。推定モデルＭは、入力（問題）となる画像に、出力（解答）となる骨格位置が関連付けられた訓練データ（または、教師データともいう）を用いた機械学習により構築されるモデルである。骨格位置情報は、入力画像ＤＩにおける特定部位の骨格位置を示す座標（ｘ，ｙ）で与えられる。
【０００７】
動作推定部５３は、骨格位置推定部５１からの骨格位置情報ＤＯ１と車両の装備情報５４とに基づいて、運転者によるハンドルの把持状態を推定し、ハンドルの把持状態を示す位置関係情報ＤＯ２を出力する。装備情報５４は、例えば、骨格位置と当該装備に対する状態（ここでは、ハンドルを把持しているか否か）とが関連付けられた判断テーブルである。図１に示す装備情報では、運転者の手がハンドルを把持していると判断する場合が「ＯＮ」、運転者の手がハンドルから離れていると判断する場合が「ＯＦＦ」として設定されている。つまり、動作推定部５３は、骨格位置情報に含まれる骨格位置座標（ｘ，ｙ）が、５０＜ｘ＜１００及び８０＜ｙ＜９０を満たす場合は、運転者がハンドルを把持していると推定し、骨格位置座標（ｘ、ｙ）が前記条件を満たさない場合は、運転者がハンドルを把持していないと推定する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−２２１６３６号公報
【特許文献２】特開２０１４−１７９０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の推定装置において、装備に対する運転者の状態を正確に推定するためには、推定装置が搭載される車両の仕様に応じて装備情報（判断テーブル）を用意する必要がある。全メーカーの全車種に対応するためには、膨大な装備情報が必要となり、今後新たな車種が投入されることも考えると、実用的でない。また、ユーザーによって車両の装備に変更が加えられると、推定精度が低下してしまう。
【００１０】
本発明の目的は、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定できる推定装置、学習装置、推定方法、及び推定プログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明に係る推定装置は、
車両の装備に対する乗員の状態を推定する推定装置であって、
機械学習により構築されたモデルを記憶する記憶部と、
前記装備を含む画像を入力し、前記モデルを用いて前記乗員の状態を推定し、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する処理部と、を備えることを特徴とする。
【００１２】
本発明に係る学習装置は、
車両の装備に対する乗員の状態を推定するために用いられるモデルを構築する学習装置であって、
前記装備を含む画像に、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、が関連付けられた訓練データを取得する入力部と、
前記画像を推定装置に入力したときに、当該画像に関連付けられた前記第１の情報及び前記第２の情報が出力されるように、前記モデルを構築する学習部と、を備える。
【００１３】
本発明に係る推定方法は、
車両の装備に対する乗員の状態を推定する推定方法であって、
前記装備を含む画像を取得する第１工程と、
前記第１工程で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第２工程と、
前記第２工程による推定結果として、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する第３工程と、を含む。
【００１４】
本発明に係る推定プログラムは、
車両の装備に対する乗員の状態を推定する推定装置のコンピューターに、
前記装備を含む画像を取得する第１処理と、
前記第１処理で取得した画像を入力し、機械学習により構築されたモデルを用いて前記装備に対する乗員の状態を推定する第２処理と、
前記第２処理による推定結果として、前記乗員の特定部位の骨格位置を示す第１の情報と、前記装備に対する乗員の状態を示す第２の情報と、を出力する第３処理と、を実行させる。
【発明の効果】
【００１５】
本発明によれば、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定することができる。
【図面の簡単な説明】
【００１６】
【図１】従来の推定装置の一例を示す図である。
【図２】本発明の一実施の形態に係る推定装置を示す図である。
【図３】推定モデルを構築するための学習装置の一例を示す図である。
【図４】図４Ａ〜図４Ｉは、運転者によるハンドルの把持状態を推定する推定モデルを構築する場合の訓練データの一例を示す図である。
【図５】学習装置の処理部が実行する学習処理の一例を示すフローチャートである。
【図６】推定装置の処理部が実行する推定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１８】
図２は、本発明の一実施の形態に係る推定装置１を示す図である。
推定装置１は、車両に搭載され、車載カメラ２０によって撮像された画像ＤＩに基づいて、当該画像ＤＩに含まれる車両の装備に対する乗員の状態（姿勢や行動）を推定する。
【００１９】
車載カメラ２０は、例えば、車室内に設置された赤外線カメラである。車載カメラ２０は、乗員の状態を推定する対象となる装備を含む領域を撮像する。車載カメラ２０は、例えば、推定装置１がハンドルに対する乗員の把持状態を推定する場合、撮像領域にハンドルが収まるように設置される。
【００２０】
車両の装備は、例えば、ハンドル、カーナビゲーションシステムのタッチパネル、窓、ドアノブ、エアコンのコントロールパネル、バックミラー、ダッシュボード、シート、アームレスト、センターボックス、グローブボックスなどであり、車種によって詳細なサイズや位置は異なるが、各装置の設置位置は車種にかかわらずある程度の領域に決まっているものである。
【００２１】
図２に示すように、推定装置１は、処理部１１及び記憶部１２等を備える。
処理部１１は、演算／制御装置としてのＣＰＵ１１１（Central Processing Unit）、主記憶装置としてのＲＯＭ１１２（Read Only Memory）及びＲＡＭ１１３（Random Access Memory）等を備える（いずれも図示略）。ＲＯＭ１１２には、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１１は、ＲＯＭ１１２又は記憶部１２から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムを実行することにより、所定の処理を実行する。
【００２２】
処理部１１は、例えば、推定プログラムを実行することにより、画像入力部１１Ａ、推定部１１Ｂ及び推定結果出力部１１Ｃとして機能する。具体的には、処理部１１は、車両の装備（例えば、ハンドル）を含む画像を入力として、推定モデルＭを用いて装備に対する乗員の状態（ハンドルを把持状態）を推定し、推定結果を出力する。画像入力部１１Ａ、推定部１１及び推定結果出力部１１Ｃの機能については、図６のフローチャートに従って詳述する。
【００２３】
記憶部１２は、例えばＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置である。記憶部１２は、ＣＤ（Compact Disc）、ＤＶＤ（Digital versatile Disc）等の光ディスク、ＭＯ（（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。また例えば、記憶部１２は、ＵＳＢメモリ、ＳＤカード等のメモリカードであってもよい。
【００２４】
記憶部１２は、例えば、オペーレーティングシステム（ＯＳ）、推定プログラム及び推定モデルＭを記憶する。推定プログラムは、ＲＯＭ１１２に記憶されてもよい。推定プログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、推定プログラムは、当該推定プログラムを保有するサーバ装置から、ネットワークを介してダウンロードにより提供されてもよい。推定モデルＭも同様に、ＲＯＭ１１２に記憶されてもよいし、可搬型記憶媒体又はネットワークを介して提供されてもよい。
【００２５】
推定モデルＭは、機械学習により構築されたアルゴリズムであり、装備を含む画像の入力に対して、乗員の特定部位の骨格位置を示す骨格位置情報と、装備と特定部位との位置関係を示す位置関係情報と、を出力する。推定モデルＭは、ニューラルネットワークを利用したディープラーニングにより構築されることが好ましい。ディープラーニングにより構築された推定モデルＭは、画像認識性能が高く、装備と特定部位との位置関係を高精度で推定することができる。推定モデルＭは、例えば、図３に示す学習装置２によって構築される。
【００２６】
図３は、推定モデルＭを構築するための学習装置２の一例を示す図である。
図３に示すように、学習装置２は、処理部２１及び記憶部２２を備える。これらの具体的な構成のうち、推定装置１の処理部１１及び記憶部１２と共通する部分については、ここでの説明を省略する。
【００２７】
処理部２１は、例えば、学習プログラムを実行することにより、訓練データ入力部２１Ａ及び学習部２１Ｂとして機能する。具体的には、処理部２１は、訓練データＴによる教師あり学習を行い、推定モデルＭの構築を行う。
【００２８】
訓練データＴは、車両の装備（例えば、ハンドル）と乗員の特定部位（例えば、手）とを含む画像Ｔ１、画像Ｔ１における乗員の特定部位（例えば、手）の骨格位置情報Ｔ２、及び、装備と特定部位の位置関係を示す位置関係情報Ｔ３を有する。画像Ｔ１に、骨格位置情報Ｔ２及び位置関係情報Ｔ３が関連付けられており、これらが１セットで訓練データＴを構成する。画像Ｔ１が推定モデルＭの入力であり、骨格位置情報Ｔ２及び位置関係情報Ｔ３が推定モデルＭの出力である。なお、画像Ｔ１は、装備だけの画像（乗員の特定部位を含まない画像）を含んでもよい。また、画像Ｔ１は、乗員の特定部位だけの画像（車両の特定の装備を含まない画像）を含んでもよい。
【００２９】
骨格位置情報Ｔ２は、画像Ｔ１における特定部位の骨格位置を示す座標（ｘ，ｙ）で与えられる。位置関係情報Ｔ３は、ＯＮ／ＯＦＦで与えられる。具体的には、位置関係情報Ｔ３が「ＯＮ」である場合、装備と手が重なっている（触れている）ことを示し、位置関係情報Ｔ３が「ＯＦＦ」である場合、装備と手が離れていることを示す。
【００３０】
なお、訓練データＴの画像Ｔ１は、車載カメラ２０による撮像画像の全体に対応する全体画像であってもよいし、全体画像から切り出した一部に対応する部分画像であってもよい。
推定装置１において、車載カメラ２０の撮像画像をそのまま推定モデルＭの入力として用いる場合、訓練データＴの画像Ｔ１として全体画像が準備され、骨格位置情報Ｔ２は全体画像上の座標で与えられる。また、推定装置１において、車載カメラ２０の撮像画像を切り出して推定モデルＭの入力として用いる場合、訓練データＴの画像Ｔ１として部分画像が準備され、骨格位置情報Ｔ２は部分画像上の座標で与えられる。つまり、学習時の訓練データＴの画像Ｔ１と推定時の推定モデルＭの入力としての画像とは、処理対象範囲（画像サイズと位置）が同じであることが望ましい。
【００３１】
図４Ａ〜図４Ｉは、運転者によるハンドルの把持状態を推定する推定モデルＭを構築する場合の訓練データＴの一例を示す図である。図４Ａ〜図４Ｉは、ハンドルの大きさの違いにより、手の骨格位置が同じであっても、手とハンドルの位置関係が異なることを示している。なお、図４Ａ〜図４Ｉは、ハンドル近傍の領域を示す部分画像を訓練データＴの画像Ｔ１とした場合を示している。
【００３２】
図４Ｃ、図４Ｅ及び図４Ｇに示す画像Ｔ１では、手がハンドルと重なっている（触れている）。したがって、図４Ｃ、図４Ｅ及び図４Ｇに示す画像Ｔ１には、位置関係情報Ｔ３として「ＯＮ」が関連付けられる。また、骨格位置情報Ｔ２としては、それぞれの手の骨格位置を示す座標（ｘ３，ｙ３）、（ｘ２，ｙ２）、（ｘ１，ｙ１）が関連付けられる。一方、図４Ｃ、図４Ｅ及び図４Ｇ以外の画像Ｔ１では、手がハンドルと離れている。したがって、これらの画像Ｔ１には、位置関係情報Ｔ３として「ＯＦＦ」が関連付けられる。また、骨格位置情報Ｔ２としては、それぞれの手の骨格位置を示す座標が関連付けられる。
【００３３】
訓練データＴの画像Ｔ１は、装備のサイズや位置が違う最低２車種の車両に設置された車載カメラ２０によって撮像されると想定される様々なパターンの画像を含む。すなわち、訓練データＴの画像Ｔ１として、ハンドルの形態（位置、サイズ、模様等を含む）及び／又は手の位置が異なる膨大な画像が用意され、それぞれに対して、骨格位置情報Ｔ２と位置関係情報Ｔ３が関連付けられる。画像Ｔ１として、できるだけ多くのパターンを用意することで、推定モデルＭによる推定精度を高めることができる。
【００３４】
図５は、学習装置２の処理部２１が実行する学習処理の一例を示すフローチャートである。この処理は、ＣＰＵ２１１が学習プログラムを実行することにより実現される。
【００３５】
ステップＳ１０１において、処理部２１は、１セットの訓練データＴを取得する（訓練データ入力部２１Ａとしての処理）。訓練データＴは、画像Ｔ１、骨格位置情報Ｔ２及び位置関係情報Ｔ３を含む。
【００３６】
ステップＳ１０２において、処理部２１は、取得した訓練データＴに基づいて、推定モデルＭを最適化する（学習部２１Ｂとしての処理）。具体的には、処理部２１は、記憶部２２から現在の推定モデルＭを読み出して、画像Ｔ１を推定モデルＭに入力したときの出力と、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び位置関係情報Ｔ３の値が等しくなるように、推定モデルＭを修正（再構築）する。例えば、ニューラルネットワークを利用したディープラーニングにおいては、ニューラルネットワークを構成するノード間の結合強度（パラメーター）が修正される。
【００３７】
ステップＳ１０３において、処理部２１は、未学習の訓練データＴがあるか否かを判定する。未学習の訓練データＴがある場合（ステップＳ１０３で“ＹＥＳ”）、ステップＳ１０１の処理に移行する。これにより、推定モデルＭの学習が繰り返し行われることになり、乗員の状態を推定するための推定モデルＭとしての確度が向上する。一方、未学習の訓練データＴがない場合（ステップＳ１０３で“ＮＯ”）、ステップＳ１０４の処理に移行する。
【００３８】
ステップＳ１０４において、処理部２１は、学習が十分に行われたか否かを判定する。例えば、処理部２１は、損失関数として、二乗誤差の平均値を用い、この値があらかじめ設定した閾値以下である場合に十分に学習が行われたと判断する。具体的には、処理部２１は、ステップＳ１０２で用いた、画像Ｔ１を推定モデルＭに入力したときの出力と、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び位置関係情報Ｔ３の二乗誤差の平均値を算出し、これが、あらかじめ設定した閾値以下かを判断する。
学習が十分であると判断された場合（ステップＳ１０４で“ＹＥＳ”）、ステップＳ１０５の処理に移行する。一方、学習が十分でないと判断された場合（ステップＳ１０４で“ＮＯ”）には、ステップＳＳ１０１以降の処理を繰り返す。
【００３９】
ステップＳ１０５において、処理部２１は、学習結果に基づいて、記憶部２２に記憶されている推定モデルＭを更新する。
【００４０】
このように、学習装置２は、車両の装備（例えば、ハンドル）に対する乗員の状態（例えば、ハンドルの把持状態）を推定するために用いられる推定モデルＭ（モデル）を構築する学習装置であって、装備を含む画像Ｔ１に、乗員の特定部位の骨格位置を示す骨格位置情報Ｔ２（第１の情報）と、装備に対する乗員の状態を示す位置関係情報Ｔ３（第２の情報）と、が関連付けられた訓練データＴを取得する訓練データ入力部２１Ａ（入力部）と、画像Ｔ１を推定装置１に入力したときに、当該画像Ｔ１に関連付けられた骨格位置情報Ｔ２及び位置関係情報Ｔ３が出力されるように、推定モデルＭを構築する学習部２１Ｂと、を備える。
【００４１】
学習装置２によって構築された推定モデルＭを用いることで、推定装置１は、車載カメラ２０からの画像に基づいて、装備（例えば、ハンドル）と特定部位（例えば、手）の位置関係、すなわち装備に対する乗員の状態を精度よく推定することができる。ハンドルなどの車の装備は、車種によって軽微な違いはあるものの、設置位置を含めて類似性は高い。したがって、学習装置２は、車の装備と乗員の特定部位との位置関係を一般化して学習することができる。
【００４２】
例えば、車載カメラ２０からの画像において、手からハンドルのような円弧状の物体が延びており、かつ、ハンドルの設置位置として想定しうる領域に手の骨格位置がある場合に、「ＯＮ」という位置関係情報が出力される。一方、車載カメラ２０からの画像において、手からハンドルのような円弧状の物体が延びているが、ハンドルの設置位置として想定しうる領域に手の骨格位置がない場合は、「ＯＦＦ」という位置関係情報が出力される。
【００４３】
ここで、推定装置１からの出力として要求されるのは、装備に対する乗員の状態を示す情報、すなわち装備と特定部位との位置関係を示す位置関係情報である。そのため、画像に位置関係情報だけを関連付けた訓練データを用いた機械学習により構築される推定モデルを用いて、装備に対する乗員の状態を推定することも考えられる。しかし、この場合、車載カメラ２０からの画像において、実際にはハンドルを把持していないにもかかわらず、手からハンドルのような円弧状の物体が延びていれば、「ＯＮ」という位置関係情報が出力され、誤推定となる虞がある。これに対して、本実施の形態の推定モデルＭは、ハンドルと手の位置関係だけでなく、手の骨格位置も合わせて学習しているので、運転者によるハンドルの把持状態を正確に推定することができる。
【００４４】
図６は、推定装置１の処理部１１が実行する推定処理の一例を示すフローチャートである。この処理は、ＣＰＵ１１１が推定プログラムを実行することにより実現される。なお、車載カメラ２０は、処理部１１に対して、１フレーム単位で画像ＤＩを連続的に送出している。
【００４５】
ステップＳ２０１において、処理部１１は、車載カメラ２０から画像ＤＩを取得する（画像入力部１１Ａとしての処理）。
【００４６】
ステップＳ２０２において、処理部１２は、画像ＤＩを入力として、推定モデルＭを用いて乗員の状態の推定を実行する（推定部１１Ｂとしての処理）。処理部１２は、推定結果として、骨格位置情報ＤＯ１及び／または位置関係情報ＤＯ２を出力する。
【００４７】
ステップＳ２０３において、処理部１１は、装備に対する乗員の状態を示す推定結果として、位置関係情報ＤＯ２を出力する（推定結果出力部１１Ｃとしての処理）。以上の処理が、１フレームの画像ＤＩごとに行われる。推定装置１から推定結果として出力される位置関係情報ＤＯ２は、例えば、推定装置１の後段に設けられる状態検知装置（アプリケーションプログラムを含む）で用いられる。状態検知装置は、装備に対する乗員の状態に応じて適当な処理を行う。例えば、ハンドルを把持していないという推定結果が得られた場合に、ハンドルを把持するように警告を行うことが考えられる。
【００４８】
このように、推定装置１は、車両の装備に対する乗員の状態を推定する推定装置であって、機械学習により構築された推定モデルＭ（モデル）を記憶する記憶部１２と、装備を含む画像ＤＩを入力し、推定モデルＭを用いて乗員の状態を推定し、乗員の特定部位の骨格位置を示す骨格位置情報ＤＯ１（第１の情報）と、装備に対する乗員の状態を示す位置関係情報ＤＯ２（第２の情報）と、を出力する処理部１１と、を備える。
【００４９】
また、推定装置１において行われる推定方法は、車両の装備に対する乗員の状態を推定する推定方法であって、装備を含む画像ＤＩを取得する第１工程（図６のステップＳ２０１）と、第１工程で取得した画像ＤＩを入力し、機械学習により構築された推定モデルＭ（モデル）を用いて装備に対する乗員の状態を推定する第２工程（図６のステップＳ２０２）と、第２工程による推定結果として、乗員の特定部位の骨格位置を示す骨格位置情報ＤＯ１（第１の情報）と、装備に対する乗員の状態を示す位置関係情報ＤＯ２（第２の情報）と、を出力する第３工程（図６のステップＳ２０３）と、を備える。
【００５０】
また、推定装置１において実行されるプログラムは、車両の装備に対する乗員の状態を推定する推定装置１の処理部１１（コンピューター）に、装備を含む画像ＤＩを取得する第１処理（図６のステップＳ２０１）と、第１処理で取得した画像ＤＩを入力し、機械学習により構築された推定モデルＭ（モデル）を用いて装備に対する乗員の状態を推定する第２処理（図６のステップＳ２０２）と、第２処理による推定結果として、乗員の特定部位の骨格位置を示す骨格位置情報ＤＯ１（第１の情報）と、装備に対する乗員の状態を示す位置関係情報ＤＯ２（第２の情報）と、を出力する第３処理（図６のステップＳ２０３）と、を実行させる。
【００５１】
推定装置１によれば、車両の仕様にかかわらず適用できるとともに、装備に対する乗員の状態を精度よく推定することができる。具体的には、推定装置１によれば、従来の装備情報のように、車種ごとに専用のデータを準備しなくてもよい。つまり、推定モデルＭは、特定部位の骨格位置と、特定部位と装備との位置関係を独立して学習しているので、車の装備のサイズや位置が異なる車種にも容易に対応することができる。また、従来の装備情報に比較して、推定モデルＭのデータ量は小さいので、推定処理を高速で行うことができる。
【００５２】
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
【００５３】
例えば、本発明の推定装置は、運転者によるハンドルの把持状態だけでなく、その他の装備に対する乗員の状態を推定することもできる。例えば、推定装置は、乗員によるナビゲーションシステムの操作、窓の開閉動作、ドアの開閉動作などを推定することができる。この場合、画像の入力に対して、各装備に対する乗員の状態が出力として得られる推定モデルが必要となる。
【００５４】
また例えば、推定装置は、装備と特定部位との位置関係を示す位置関係情報に、方向を含めるようにし、装備に対して特定部位がどの方向に離れているかを推定できるようにしてもよい。
【００５５】
また、推定モデルＭは、ディープラーニング以外の機械学習（例えば、ランダムフォレスト）によって構築されてもよい。
【００５６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００５７】
本発明は、車両等の車室内における装備のみならず、特定の箇所に対する人員の状態（姿勢及び行動）を推定する推定装置、学習装置、推定方法、及び推定プログラムに好適である。
【符号の説明】
【００５８】
１  推定装置
１１  処理部
１１Ａ  画像入力部
１１Ｂ  推定部
１１Ｃ  推定結果出力部
１２  記憶部
２  学習装置
２１  処理部
２１Ａ  訓練データ入力部
２１Ｂ  学習部
２２  記憶部
Ｍ  推定モデル
Ｔ  訓練データ
【図１】
2018132996.tif 000003
【図２】
2018132996.tif 000004
【図３】
2018132996.tif 000005
【図４】
2018132996.tif 000006
【図５】
2018132996.tif 000007
【図６】
2018132996.tif 000008