(57)【要約】【課題】撮影画像における人の姿勢によらず、当該人の姿勢を、機械学習に用いる学習データを抑制しつつ高精度に推定可能な姿勢推定システムを提供する【解決手段】撮影画像に基づいて対象者の姿勢を推定する姿勢推定システムであって、撮影画像における、対象者の画像を含む領域を人領域として検出する人領域検出部と、撮影画像における、対象者の頭部の画像を含む領域を頭部領域として検出する頭部領域検出部と、対象者の複数の姿勢がそれぞれ撮像された撮影画像における、人領域内の所定点に対する頭部領域の方向を、それぞれ撮影画像を回転させることで、所定方向に統一する画像回転部と、回転後の前記撮影画像に基づいて、機械学習により、対象者の関節点を姿勢として推定する姿勢推定部と、を有する。【選択図】図３
2019121045.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像に基づいて対象者の姿勢を推定する姿勢推定システムであって、
前記撮影画像における、前記対象者の画像を含む領域を人領域として検出する人領域検出部と、
前記撮影画像における、前記対象者の頭部の画像を含む領域を頭部領域として検出する頭部領域検出部と、
前記対象者の複数の姿勢がそれぞれ撮像された前記撮影画像における、前記人領域内の所定点に対する前記頭部領域の方向を、それぞれ前記撮影画像を回転させることで、所定方向に統一する画像回転部と、
回転後の前記撮影画像に基づいて、機械学習により、前記対象者の関節点を姿勢として推定する姿勢推定部と、
を有する姿勢推定システム。
【請求項２】
前記人領域は、前記対象者の画像の輪郭内の領域または前記対象者の画像の輪郭が外接する矩形内の領域であり、前記頭部領域は、前記対象者の頭部の画像の輪郭内の領域または前記頭部の画像の輪郭が外接する矩形内の領域である、請求項１に記載の姿勢推定システム。
【請求項３】
前記所定方向は、前記撮影画像における垂直上方向である、請求項１または２に記載の姿勢推定システム。
【請求項４】
前記頭部領域の方向は、前記所定点である前記人領域の重心から前記頭部領域の重心へ向かう方向である、請求項１〜３のいずれか一項に記載の姿勢推定システム。
【請求項５】
前記姿勢推定部は、Ｄｅｅｐ  Ｐｏｓｅにより前記対象者の姿勢を推定する、請求項１〜４のいずれか一項に記載の姿勢推定システム。
【請求項６】
前記撮影画像の中心から前記人領域までの距離を算出する距離算出部と、
前記距離が所定の閾値以下の場合、前記画像回転部による回転後の前記撮影画像において前記人領域の近似楕円を算出する近似楕円算出部と、
回転後の前記撮影画像を、前記近似楕円の長軸の方向が、前記撮影画像において水平方向となるように、再度回転させる画像再回転部と、をさらに有し、
前記姿勢推定部は、前記画像再回転部による回転後の前記撮影画像に基づいて、前記対象者の姿勢を推定する、請求項１〜５のいずれか一項に記載の姿勢推定システム。
【請求項７】
前記姿勢推定部は、前記機械学習で使用する辞書を、前記距離算出部により算出された前記距離に基づいて選択する、請求項６に記載の姿勢推定システム。
【請求項８】
前記撮影画像における前記頭部領域の大きさを、頭部サイズとして算出する頭部サイズ算出部をさらに有し、
前記姿勢推定部は、前記機械学習に使用する辞書を、前記頭部サイズに基づいて選択する、請求項６に記載の姿勢推定システム。
【請求項９】
前記人領域の面積の前記頭部領域の面積に対する比を、人体／頭部サイズ比として算出する人体／頭部サイズ比算出部をさらに有し、
前記姿勢推定部は、前記機械学習で使用する辞書を、前記人体／頭部サイズ比に基づいて選択する、請求項１〜６のいずれか一項に記載の姿勢推定システム。
【請求項１０】
前記人領域は前記対象者の画像の輪郭が外接する矩形内の領域であり、
前記矩形の縦辺の長さの横辺の長さに対する比であるアスペクト比を算出するアスペクト比算出部をさらに有し、
前記姿勢推定部は、前記機械学習で使用する辞書を、前記アスペクト比に基づいて選択する、請求項２に記載の姿勢推定システム。
【請求項１１】
前記撮影画像の中心から前記人領域までの距離を算出する距離算出部と、
前記撮影画像における前記頭部領域の大きさを、頭部サイズとして算出する頭部サイズ算出部と、
前記人領域の面積に対する前記頭部領域の面積の比を、人体／頭部サイズ比として算出する人体／頭部サイズ比算出部と、
前記人領域が前記対象者の画像の輪郭が外接する矩形内の領域である場合に、前記人領域の縦辺の長さの横辺の長さに対する比であるアスペクト比を算出するアスペクト比算出部と、をさらに有し、
前記姿勢推定部は、前記機械学習で使用する辞書を、算出された前記距離、前記頭部サイズ、前記人体／頭部サイズ比、および前記アスペクト比の少なくともいずれかに基づいて選択する、請求項１〜５のいずれか一項に記載の姿勢推定システム。
【請求項１２】
請求項１〜１１のいずれか一項に記載の姿勢推定システムと、
回転後の前記撮影画像に対応する前記関節点として推定された前記姿勢を逆回転することで回転前の前記撮影画像に対応する前記姿勢を算出する回転前姿勢算出部と、
前記回転前姿勢算出部により算出された、複数の前記姿勢の間の変化に基づいて前記対象者の行動を推定する行動推定部と、
を有する行動推定システム。
【請求項１３】
撮影画像における、対象者の画像を含む領域を人領域として検知する手順（ａ）と、
前記撮影画像における、前記対象者の頭部の画像を含む領域を頭部領域として検知する手順（ｂ）と、
前記対象者の複数の姿勢がそれぞれ撮像された前記撮影画像における、前記人領域内の所定点に対する前記頭部領域の方向を、前記撮影画像を回転させることで、所定方向に統一する手順（ｃ）と、
回転後の前記撮影画像に基づいて、機械学習により、前記対象者の関節位置を推定する手順（ｄ）と、
をコンピューターに実行させるための姿勢推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、姿勢推定システム、行動推定システム、および姿勢推定プログラムに関する。
【背景技術】
【０００２】
我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護を必要とする要介護者等の増加が想定される。
【０００３】
要介護者等は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落して怪我をする可能性が比較的高い。そのため、要介護者等がこのような状態になったときに介護士等がすぐに駆けつけられるようにするために、要介護者等の状態を検知するためのシステムの開発が進められている。
【０００４】
下記特許文献１には、次の技術が開示されている。すなわち、魚眼レンズカメラで撮影された、立位の姿勢にある人の画像を含む撮影画像を、当該人の画像を頭側が上に、脚側が下になるように回転して、人の向きを統一する。そして、回転後の画像中の人の位置に応じて選択した、ニューラルネットワークの物体検知方式により、人の存在を検知する。これにより、画像中の位置に応じて歪みが変化する魚眼レンズカメラの画像から、立位にある人の存在を高精度に検知できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１３／００１９４１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示された技術は、撮影画像中の立位の姿勢の人の存在は高精度に検知できるが、立位以外の姿勢の人の存在を高精度に検知できないという問題がある。また、立位の姿勢の人の存在を検知することに対応できても、撮影画像中の人の姿勢によらずに当該人の姿勢を高精度に検知することに対応できないという問題がある。
【０００７】
本発明は、このような問題を解決するためになされたものである。すなわち、撮影画像における人の姿勢によらず、当該人の姿勢を、機械学習に用いる学習データを抑制しつつ高精度に推定可能な姿勢推定システム、行動推定システム、および姿勢推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の上記課題は、以下の手段によって解決される。
【０００９】
（１）撮影画像に基づいて対象者の姿勢を推定する姿勢推定システムであって、前記撮影画像における、前記対象者の画像を含む領域を人領域として検出する人領域検出部と、前記撮影画像における、前記対象者の頭部の画像を含む領域を頭部領域として検出する頭部領域検出部と、前記対象者の複数の姿勢がそれぞれ撮像された前記撮影画像における、前記人領域内の所定点に対する前記頭部領域の方向を、それぞれ前記撮影画像を回転させることで、所定方向に統一する画像回転部と、回転後の前記撮影画像に基づいて、機械学習により、前記対象者の関節点を姿勢として推定する姿勢推定部と、を有する姿勢推定システム。
【００１０】
（２）前記人領域は、前記対象者の画像の輪郭内の領域または前記対象者の画像の輪郭が外接する矩形内の領域であり、前記頭部領域は、前記対象者の頭部の画像の輪郭内の領域または前記頭部の画像の輪郭が外接する矩形内の領域である、上記（１）に記載の姿勢推定システム。
【００１１】
（３）前記所定方向は、前記撮影画像における垂直上方向である、上記（１）または（２）に記載の姿勢推定システム。
【００１２】
（４）前記頭部領域の方向は、前記所定点である前記人領域の重心から前記頭部領域の重心へ向かう方向である、上記（１）〜（３）のいずれかに記載の姿勢推定システム。
【００１３】
（５）前記姿勢推定部は、Ｄｅｅｐ  Ｐｏｓｅにより前記対象者の姿勢を推定する、上記（１）〜（４）のいずれかに記載の姿勢推定システム。
【００１４】
（６）前記撮影画像の中心から前記人領域までの距離を算出する距離算出部と、前記距離が所定の閾値以下の場合、前記画像回転部による回転後の前記撮影画像において前記人領域の近似楕円を算出する近似楕円算出部と、回転後の前記撮影画像を、前記近似楕円の長軸の方向が、前記撮影画像において水平方向となるように、再度回転させる画像再回転部と、をさらに有し、前記姿勢推定部は、前記画像再回転部による回転後の前記撮影画像に基づいて、前記対象者の姿勢を推定する、上記（１）〜（５）のいずれかに記載の姿勢推定システム。
【００１５】
（７）前記姿勢推定部は、前記機械学習で使用する辞書を、前記距離算出部により算出された前記距離に基づいて選択する、上記（６）に記載の姿勢推定システム。
【００１６】
（８）前記撮影画像における前記頭部領域の大きさを、頭部サイズとして算出する頭部サイズ算出部をさらに有し、前記姿勢推定部は、前記機械学習に使用する辞書を、前記頭部サイズに基づいて選択する、上記（６）に記載の姿勢推定システム。
【００１７】
（９）前記人領域の面積の前記頭部領域の面積に対する比を、人体／頭部サイズ比として算出する人体／頭部サイズ比算出部をさらに有し、前記姿勢推定部は、前記機械学習で使用する辞書を、前記人体／頭部サイズ比に基づいて選択する、上記（１）〜（６）のいずれかに記載の姿勢推定システム。
【００１８】
（１０）前記人領域は前記対象者の画像の輪郭が外接する矩形内の領域であり、前記矩形の縦辺の長さの横辺の長さに対する比であるアスペクト比を算出するアスペクト比算出部をさらに有し、前記姿勢推定部は、前記機械学習で使用する辞書を、前記アスペクト比に基づいて選択する、上記（２）に記載の姿勢推定システム。
【００１９】
（１１）前記撮影画像の中心から前記人領域までの距離を算出する距離算出部と、前記撮影画像における前記頭部領域の大きさを、頭部サイズとして算出する頭部サイズ算出部と、前記人領域の面積に対する前記頭部領域の面積の比を、人体／頭部サイズ比として算出する人体／頭部サイズ比算出部と、前記人領域が前記対象者の画像の輪郭が外接する矩形内の領域である場合に、前記人領域の縦辺の長さの横辺の長さに対する比であるアスペクト比を算出するアスペクト比算出部と、をさらに有し、前記姿勢推定部は、前記機械学習で使用する辞書を、算出された前記距離、前記頭部サイズ、前記人体／頭部サイズ比、および前記アスペクト比の少なくともいずれかに基づいて選択する、上記（１）〜（５）のいずれかに記載の姿勢推定システム。
【００２０】
（１２）上記（１）〜（１１）のいずれかに記載の姿勢推定システムと、回転後の前記撮影画像に対応する前記関節点として推定された前記姿勢を逆回転することで回転前の前記撮影画像に対応する前記姿勢を算出する回転前姿勢算出部と、前記回転前姿勢算出部により算出された、複数の前記姿勢の間の変化に基づいて前記対象者の行動を推定する行動推定部と、を有する行動推定システム。
【００２１】
（１３）撮影画像における、対象者の画像を含む領域を人領域として検知する手順（ａ）と、前記撮影画像における、前記対象者の頭部の画像を含む領域を頭部領域として検知する手順（ｂ）と、前記対象者の複数の姿勢がそれぞれ撮像された前記撮影画像における、前記人領域内の所定点に対する前記頭部領域の方向を、前記撮影画像を回転させることで、所定方向に統一する手順（ｃ）と、回転後の前記撮影画像に基づいて、機械学習により、前記対象者の関節位置を推定する手順（ｄ）と、をコンピューターに実行させるための姿勢推定プログラム。
【発明の効果】
【００２２】
撮影画像における人の頭部の方向を、撮影画像を回転することで所定方向に統一し、回転後の撮影画像に基づいて機械学習により、人の関節点を姿勢として推定する。これにより、撮影画像の人の姿勢によらずに、少ない学習データで、当該人の姿勢を高精度に推定できる。
【図面の簡単な説明】
【００２３】
【図１】姿勢推定システムの概略構成を示す図である。
【図２】姿勢推定装置の構成を示すブロック図である。
【図３】姿勢推定装置の制御部の機能を示すブロック図である。
【図４】頭部方向を上方向に統一するための撮影画像の回転について説明するための説明図である。
【図５】回転前の撮影画像と回転後の撮影画像を示す説明図である。
【図６】回転後の撮影画像における人矩形の再算出について説明するための説明図である。
【図７】人シルエットを利用した、回転後の撮影画像における人矩形の再算出について説明するための説明図である。
【図８】再度の回転前の撮影画像と再度の回転後の撮影画像を示す説明図である。
【図９】機械学習に使用される、区分されたモデルごとの辞書の一覧を示す図である。
【図１０】対象距離が小さい場合であって、頭部サイズが大きい場合と小さい場合の撮影画像を示す説明図である。
【図１１】対象距離が大きい場合であって、対象者の姿勢が立位の場合と座位の場合の撮影画像を示す説明図である。
【図１２】対象距離が大きい場合であって、立位の姿勢の対象者の人矩形アスペクト比が小さい場合と大きい場合を示す説明図である。
【図１３】機械学習の入力画像である撮影画像と、出力される推定姿勢を示す説明図である。
【図１４】行動推定システムの動作を示すフローチャートである。
【図１５】行動推定システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の実施形態に係る姿勢推定システム、行動推定システム、および姿勢推定プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【００２５】
図１は、姿勢推定システムの概略構成を示す図である。
【００２６】
姿勢推定システム１０は、姿勢推定装置１００、撮影装置２００、通信ネットワーク３００を有する。姿勢推定装置１００は、通信ネットワーク３００により撮影装置２００と相互に通信可能に接続される。なお、姿勢推定システム１０は、姿勢推定装置１００のみにより構成され得る。また、姿勢推定システム１０は、行動推定システムを構成する。
【００２７】
姿勢推定装置１００は、撮影装置２００から受信した撮影画像に含まれる、対象者４００である人の姿勢を、機械学習により対象者４００の関節点を算出することで推定する。姿勢推定装置１００は、機械学習として、たとえば深層学習を使用し得る。深層学習には、たとえば、Ｄｅｅｐ  Ｐｏｓｅ、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、およびＲｅｓ  Ｎｅｔが含まれる。なお、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）およびＲａｎｄｏｍ  Ｆｏｒｅｓｔといった深層学習以外の機械学習を使用してもよい。
【００２８】
撮影装置２００は、たとえば近赤外線カメラにより構成され、所定の位置に設置されることで、当該所定の位置を視点として俯瞰される撮影領域を撮影する。すなわち、撮影装置２００は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで撮影領域を撮影し得る。撮影画像は近赤外線の反射率を各画素とするモノクロ画像であり得る。所定の位置は、たとえば対象者４００の居室の天井とし得る。撮影領域は、たとえば居室の床全体を含む三次元の領域とし得る。撮影装置２００は、たとえば１５ｆｐｓ〜３０ｆｐｓのフレームレートの、複数の撮影画像からなる動画として撮影領域を撮影し得る。
【００２９】
通信ネットワーク３００には、イーサネット（登録商標）などの有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク３００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信規格によるネットワークインターフェースを使用してもよい。
【００３０】
図２は、姿勢推定装置の構成を示すブロック図である。姿勢推定装置１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を有する。これらの構成要素は、バス１６０を介して相互に接続される。姿勢推定装置１００は、コンピューターにより構成され得る。
【００３１】
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により構成され、プログラムにしたがって姿勢推定装置１００の各部の制御および演算処理を行う。制御部１１０の作用については後述する。
【００３２】
記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびフラッシュメモリにより構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。フラッシュメモリは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。
【００３３】
表示部１３０は、たとえば液晶ディスプレイであり、各種情報を表示する。
【００３４】
入力部１４０は、たとえばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。
【００３５】
通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ  Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースが用いられ得る。通信部１５０は、撮影装置２００から撮影画像を受信する。また、通信部１５０は、外部機器である携帯端末（図示せず）へ、人の姿勢および行動の推定結果を送信し得る。
【００３６】
制御部１１０の作用について説明する。
【００３７】
図３は、姿勢推定装置の制御部の機能を示すブロック図である。制御部１１０は、人領域検出部１１１、頭部領域検出部１１２、画像回転部１１３、辞書選択部１１４、姿勢推定部１１５、画像逆回転部１１６、および行動推定部１１７を有する。画像回転部１１３は、距離算出部、近似楕円算出部、および画像再回転部を構成する。辞書選択部１１４は、頭部サイズ算出部、人体／頭部サイズ比算出部、およびアスペクト比算出部を構成する。画像逆回転部１１６は、回転前姿勢算出部を構成する。
【００３８】
人領域検出部１１１は、撮影装置２００による撮影画像における、対象者４００の画像を含む領域を人領域として検出する。人領域は、撮影画像における対象者４００の画像の輪郭内の領域、または対象者４００の画像の輪郭が外接する矩形内の領域である。撮影画像における対象者４００の画像の輪郭内の領域は、対象者４００の画像のシルエット（以下、「人シルエット」と称する）として検出され得る。撮影画像における対象者４００の画像の輪郭内の領域は、撮影画像における対象者４００の画像を構成する画素の集合体として検出されてもよい。対象者４００の画像の輪郭が外接する矩形内の領域は、対象者４００の画像の輪郭が外接する矩形（以下、「人矩形」と称する）として検出され得る。以下、説明を簡単にするために、人領域は人シルエットまたは人矩形内として検出されるものとして説明する。
【００３９】
人シルエットは、たとえば、撮影時刻が前後する画像を差分する時間差分により差分が相対的に大きい画素の範囲を抽出することで検出され得る。人シルエットは、撮影画像から背景画像を差分する背景差分により検出されてもよい。人矩形は、たとえば、人シルエットが外接する矩形を算出することで検出され得る。
【００４０】
頭部領域検出部１１２は、対象者４００の頭部の画像を含む領域を頭部領域として検出する。頭部領域は、撮影画像における対象者４００の頭部の画像の輪郭内の領域、または対象者４００の頭部の画像の輪郭が外接する矩形内の領域である。撮影画像における対象者４００の頭部の画像の輪郭内の領域は、撮影画像における対象者４００の頭部の画像のシルエット（以下、「頭部シルエット」と称する）として検出され得る。対象者４００の頭部の画像の輪郭が外接する矩形内の領域は、撮影画像における対象者４００の頭部の画像を構成する画素の集合体として検出されてもよい。対象者４００の頭部の画像の輪郭が外接する矩形内の領域は、撮影画像における対象者４００の頭部の画像の輪郭に外接する矩形（以下、「頭部矩形」と称する）として検出され得る。以下、説明を簡単にするために、頭部領域は頭部シルエットまたは頭部矩形として検出されるものとして説明する。
【００４１】
頭部シルエットは、たとえば、近赤外線に対する反射率が比較的高く、かつ略円形状の範囲を抽出することで検出され得る。人矩形は、たとえば、頭部シルエットが外接する矩形を算出することで検出され得る。
【００４２】
画像回転部１１３は、人領域検出部１１１により検出された人矩形または人シルエット、ならびに頭部領域検出部１１２により検出された頭部矩形または頭部シルエットから、頭部方向を算出する。頭部方向とは、撮影画像における、人領域内の所定点に対する頭部領域の方向である。以下、説明を簡単にするために、人矩形および頭部矩形から頭部方向が算出されるものとして説明する。所定点は、たとえば人矩形の重心であり得る。
【００４３】
画像回転部１１３は、撮影画像を回転させることで、算出した頭部方向を所定方向に統一する。ここで、撮影画像において撮影されている対象者４００の姿勢にかかわらず、撮影画像を回転することにより頭部方向を所定方向に統一する。すなわち、撮影画像において撮影されている対象者４００の姿勢が、立位、中腰、座位、臥位、およびその他の姿勢のいずれであっても、撮影画像を回転することにより頭部方向を所定方向に統一する。頭部方向は、たとえば、人矩形の重心に対する頭部矩形の重心であり得る。所定方向は、撮影画像における垂直上方向（矩形の撮像画像の縦辺と平行で、かつ撮像画像の上辺に向かう方向）であり得る。
【００４４】
撮影画像を回転して頭部方向を所定方向に統一することにより、機械学習による姿勢推定の対象となる撮影画像において、対象者４００の姿勢のバリエーションを減少させることができる。これにより、撮影画像において撮影されている対象者４００の姿勢が異なっていても、機械学習に使用する学習データの減少を抑制できるため、対象者４００の姿勢のバリエーションが増大することによる姿勢推定精度の劣化を防止できる。
【００４５】
図４は、頭部方向を上方向に統一するための撮影画像の回転について説明するための説明図である。
【００４６】
図４の例においては、頭部方向が撮影画像における垂直上方向となるように撮影画像を回転している。回転前の頭部方向の垂直上方向との角度差は＋１００度（＋は反時計回り方向を示す）である。したがって、撮影画像を、必要回転角として−１００度回転させることで、頭部方向を垂直上方向とすることができる。
【００４７】
図５は、回転前の撮影画像と回転後の撮影画像を示す説明図である。なお、図５においては、対象者４００の姿勢を明確に示すために簡単な線図によるイラストにより撮影画像を表している（以下、図６、図８、図１０〜図１３において同様）。図５の上段は回転前の撮影画像であり、下段は回転後の撮影画像である。
【００４８】
回転前の撮影画像においては、対象者４００の異なる姿勢を含む姿勢がそれぞれ撮像されており、頭部方向がそれぞれ異なっている。回転後の撮影画像は、対象者４００の頭部方向が垂直上方向に統一されている。
【００４９】
図６は、回転後の撮影画像における人矩形の再算出について説明するための説明図である。図６の上段は回転前の撮影画像であり、下段は回転後の撮影画像である。上段の各撮影画像には、回転前に算出された人矩形がグレーの線で示されている。下段の各撮影画像には、回転前に算出された人矩形がグレーの線で示され、回転後に再算出された人矩形が黒の線で示されている。
【００５０】
図６の上段においてグレーの線で示される人矩形、および下段において黒の線で示される人矩形において示されるように、人矩形は、縦辺が撮影画像における垂直上方向に平行で、横辺が撮影画像における水平方向（矩形の撮像画像の横辺と平行な方向）に平行になるように算出され得る。回転後の撮影画像は、頭部方向が撮影画像における垂直上方向となるため、回転後の撮影画像において人矩形を再算出することにより、人矩形のサイズを、撮影画像における対象者４００の画像のサイズにより近づけることができる。これにより、人矩形の算出精度を向上できるため、後述する、辞書選択部１１４による人矩形のサイズを利用した辞書選択において、より適切な辞書の選択が可能となる。ここで、辞書とは、機械学習の学習済みモデルを設定するためのデータであり、たとえば深層学習のニューラルネットワークにおける重み付けを定義するデータである。
【００５１】
図７は、人シルエットを利用した、回転後の撮影画像における人矩形の再算出について説明するための説明図である。図７の上段は回転前の撮影画像における人シルエットであり、下段は回転後の撮影画像における人シルエットである。上段の各人シルエットには、回転前に算出された人矩形がグレーの線で示されている。下段の各人シルエットには、回転前に算出された人矩形がグレーの線で示され、回転後に再算出された人矩形が黒の線で示されている。
【００５２】
図７に示すように、人矩形は人シルエットに基づいて、人シルエットに外接する矩形として算出し得る。したがって、回転前に人シルエットを算出し、算出した人シルエットを必要回転角だけ回転し、回転後の人シルエットについて人矩形を再算出してもよい。
【００５３】
画像回転部１１３は、撮影画像の中心から人領域までの距離（以下、「対象距離」と称する）を算出する。対象距離は、人領域である人矩形または人シルエットの重心の座標と撮影画像の中心の座標との距離として算出し得る。画像回転部１１３は、対象距離が所定の閾値以下の場合、回転後の撮影画像において、人シルエットの近似楕円を算出する。所定の閾値は、姿勢推定精度の観点から実験的に設定し得る。画像回転部１１３は、回転後の撮影画像を、算出した近似楕円の長軸の方向が水平方向になるように、再度回転する。すなわち、画像回転部１１３は、頭部方向を垂直上方向に統一するために撮影画像を回転した後、対象距離が所定の閾値以下の場合は、回転後の撮影画像を近似楕円の長軸の方向が水平方向になるように再度回転する。
【００５４】
図８は、再度の回転前の撮影画像と再度の回転後の撮影画像を示す説明図である。図８の上段は再度の回転前の撮影画像であり、下段は再度の回転後の撮影画像である。
【００５５】
再度の回転前の撮影画像においては、立位の姿勢でカメラの近くにいる対象者４００がそれぞれ撮像されており、人シルエットの近似楕円の長軸の方向が異なっている。再度の回転後の撮影画像は、近似楕円の長軸の方向が水平方向に統一されている。
【００５６】
辞書選択部１１４は、回転後（再度回転した場合は再度の回転後、以下同様）の撮影画像に基づく対象者４００の姿勢推定のための機械学習に使用する辞書を選択する。具体的には、辞書選択部１１４は、５つに区分されたモデルごとに記憶部１２０に記憶された辞書から、各モデルに対応した辞書を選択する。
【００５７】
図９は、機械学習に使用される、区分されたモデルごとの辞書の一覧を示す図である。
【００５８】
辞書１は、直下・立位モデルに対応する辞書である。直下・立位モデルは、対象者４００が撮影装置２００のカメラの直下で立位の姿勢にある場合に区分されるモデルである。撮影画像は、対象距離が小さく、頭部領域の大きさ（以下、「頭部サイズ」と称する）が大きい場合に、直下・立位モデルに区分される。これは、対象者４００がカメラの直下にいて、頭部サイズが大きい場合は、対象者４００の頭部がカメラの直下で近距離にある場合であるため、対象者４００がカメラの直下で立位の姿勢にある可能性が比較的高いからである。撮影画像が直下・立位モデルに区分される場合に、辞書１が選択される。
【００５９】
辞書２は、直下・座位臥位モデルに対応する辞書である。直下・座位臥位モデルは、対象者４００が撮影装置２００のカメラの直下で座位または臥位の姿勢にある場合に区分されるモデルである。撮影画像は、対象距離が小さく、頭部サイズが小さい場合に、直下・座位臥位モデルに区分される。これは、対象者４００がカメラの直下にいて、頭部サイズが小さい場合は、対象者４００の頭部がカメラの直下で遠い距離にある場合であるため、対象者４００がカメラの直下で座位または臥位の姿勢にある可能性が比較的高いからである。撮影画像が直下・座位臥位モデルに区分される場合に、辞書２が選択される。
【００６０】
図１０は、対象距離が小さい場合であって、頭部サイズが大きい場合と小さい場合の撮影画像を示す説明図である。左図は、対象距離が小さく、頭部サイズが大きい場合の撮影画像である。右図は、対象距離が小さく、頭部サイズが小さい場合の撮影画像である。なお、各撮影画像には、頭部矩形が実線で示されている。
【００６１】
図１０の左図のように、対象距離が小さく、頭部サイズが大きい場合は、辞書１が選択される。同図の例においては、カメラの直下で立位の姿勢にある対象者４００が撮影されている。左図のように、対象距離が小さく、頭部サイズが小さい場合は、辞書２が選択される。同図の例においては、カメラの直下で臥位の姿勢にある対象者４００が撮影されている。
【００６２】
辞書３は、遠方・斜め立位モデルに対応する辞書である。遠方・斜め立位モデルは、対象者４００がカメラの遠方でカメラに対し斜め向きの立位の姿勢にある場合に区分されるモデルである。撮影画像は、対象距離が大きく、人領域の大きさである人体サイズの頭部サイズに対する比である、人体／頭部サイズ比が大きく、かつ、人矩形の横辺（水平方向の辺）に対する縦辺（垂直方向の辺）の比である、人矩形アスペクト比が大きい場合に、遠方・斜め立位モデルに区分される。これは、人体／頭部サイズ比が大きいことから対象者４００が立位の姿勢にあり、矩形アスペクト比が大きいことから対象者４００が斜め向きであるため、対象者４００がカメラの遠方でカメラに対し斜め向きの立位の姿勢にある可能性が比較的高いからである。撮影画像が遠方・斜め立位モデルに区分される場合に、辞書３が選択される。
【００６３】
辞書４は、遠方・正面立位モデルに対応する辞書である。遠方・正面立位モデルは、対象者４００がカメラの遠方でカメラに対し正面（または裏面、以下同様）向きの立位の姿勢にある場合に区分されるモデルである。撮影画像は、対象距離が大きく、人体／頭部サイズ比が大きく、かつ、人矩形アスペクト比が小さい場合に、遠方・正面立位モデルに区分される。これは、人体／頭部サイズ比が大きいことから対象者４００が立位の姿勢にあり、矩形アスペクト比が小さいことから対象者４００が正面向きであるため、対象者４００がカメラの遠方でカメラに対し正面向きの立位の姿勢にある可能性が比較的高いからである。撮影画像が遠方・正面立位モデルに区分される場合に、辞書４が選択される。
【００６４】
辞書５は、遠方・座位臥位モデルに対応する辞書である。遠方・座位臥位モデルは、対象者４００がカメラから遠方で座位または臥位の姿勢にある場合に区分されるモデルである。撮影画像は、対象距離が大きく、かつ人体／頭部サイズ比が小さい場合に、遠方・座位臥位モデルに区分される。これは、人体／頭部サイズ比が小さいことから対象者４００が座位または臥位の姿勢にあるため、対象者４００がカメラの遠方で座位または臥位の姿勢にある可能性が比較的高いからである。撮影画像が遠方・座位臥位モデルに区分される場合に、辞書５が選択される。
【００６５】
図１１は、対象距離が大きい場合であって、対象者の姿勢が立位の場合と座位の場合の撮影画像を示す説明図である。図１２は、対象距離が大きい場合であって、立位の姿勢の対象者の人矩形アスペクト比が小さい場合と大きい場合を示す説明図である。
【００６６】
図１１の上図は、対象距離が大きく、人体／頭部サイズ比が大きい場合の撮影画像である。下図は、対象距離が大きく、人体／頭部サイズ比が小さい場合の撮影画像である。なお、各撮影画像の右側に、人矩形および頭部矩形の関係が実線で示されている。
【００６７】
図１２の上図は、対象距離が大きく、人体／頭部サイズ比が大きく、人矩形アスペクト比が小さい場合の撮影画像である。下図は、対象距離が大きく、人体／頭部サイズ比が大きく、人矩形アスペクト比が大きい場合の撮影画像である。なお、各撮影画像の右側に、人矩形が実線で示されている。
【００６８】
図１１の上図のように、対象距離が大きく、人体／頭部サイズ比が大きい場合は、遠方から立位の姿勢の対象者４００を撮影した撮影画像に該当する。また、同図においては、さらに矩形アスペクト比が小さい。したがって、辞書４が選択される。下図のように、対象距離が大きく、人体／頭部サイズ比が小さい場合は、遠方から座位の姿勢の対象者４００を撮影した撮影画像に該当する。したがって、辞書５が選択される。
【００６９】
図１２の上図のように、対象距離が大きく、人体／頭部サイズ比が大きく、人矩形アスペクト比が小さい場合は、遠方から立位の姿勢の対象者４００を正面から撮影した撮影画像に該当する。したがって、辞書４が選択される。下図のように、対象距離が大きく、人体／頭部サイズ比が大きく、人矩形アスペクト比が大きい場合は、遠方から立位の姿勢の対象者４００を斜めから撮影した撮影画像に該当する。したがって、辞書３が選択される。
【００７０】
辞書選択部１１４は、頭部サイズを、頭部シルエットの画素数として算出し得る。
【００７１】
辞書選択部１１４は、人体／頭部サイズ比を、人矩形内または人シルエットの画素数を頭部矩形内または頭部シルエットの画素数で除算することで算出し得る。以下、説明を簡単にするために、人体／頭部サイズ比は、人矩形内の画素数を頭部矩形内の画素数で除算することにより算出されるものとして説明する。
【００７２】
辞書選択部１１４は、矩形アスペクト比を、人矩形の縦辺の長さに対応する画素数を横辺の長さに対応する画素数で除算することにより算出し得る。
【００７３】
姿勢推定部１１５は、画像回転部１１３による回転後の撮影画像に基づいて、機械学習により対象者４００の関節点として姿勢を推定する。機械学習としては、Ｄｅｅｐ  Ｐｏｓｅが好ましく使用される。
【００７４】
図１３は、機械学習の入力画像である撮影画像と、出力される推定姿勢を示す説明図である。図１３の上段は入力画像である回転後の撮影画像であり、下段は関節点として推定された姿勢である。なお、上段の撮影画像には、推定姿勢である関節点が重畳されて示されている。
【００７５】
図１３に示すように、姿勢推定部１１５に入力される撮影画像は、頭部方向が垂直上方向に統一されている。このため、たとえば立位、臥位、および転倒の姿勢が撮影された撮影画像は、画像回転部１１３により回転されることで、頭部方向が垂直上方向に統一されているため、同一のモデル（たとえば遠方・正面立位モデル）に区分される可能性が比較的高くなる。このため、対象者４００の複数の姿勢について共通の辞書を使用して関節点の推定ができるため、時前機械学習に用いる学習データのデータ量を抑制できる。
【００７６】
画像逆回転部１１６は、関節点として推定された姿勢を逆回転することで回転前の撮影画像に対応する姿勢を算出する。すなわち、画像逆回転部１１６は、画像回転部１１３により撮影画像が回転された回転方向と同じ回転量だけ、回転後の撮像画像について関節点として推定された姿勢を逆回転する。回転量は、画像回転部１１３から取得し得る。上述したように、たとえば立位、臥位、および転倒の姿勢が撮影された撮影画像は、画像回転部１１３により回転されることで、頭部方向が垂直上方向に統一されているため、姿勢推定部１１５により関節点として推定された姿勢も頭部方向が垂直上方向になっている。そこで、画像逆回転部１１６により、関節点として推定された姿勢を逆回転することで回転前の撮影画像に対応する姿勢を算出し、後述する、行動推定部１１７による対象者４００の行動の推定に使用することにより、対象者４００の行動の推定精度を向上させる。
【００７７】
行動推定部１１７には、画像逆回転部１１６による逆回転後の対象者４００の関節点による姿勢が複数入力される。行動推定部１１７は、複数の関節点による姿勢の間の変化に基づいて対象者４００の行動を推定する。行動推定部１１７は、たとえば、関節点による姿勢の差分に基づいて対象者４００の行動を推定し得る。関節点による姿勢の差分は、複数の撮影画像からなる映像の隣接するフレームについてそれぞれ推定された関節点による姿勢の差分であり得る。たとえば、転倒の動作は、関節点による姿勢の差分が所定の閾値を超えた後、当該姿勢の差分がほとんどなくなることにより推定し得る。
【００７８】
図１４および図１５は、行動推定システムの動作を示すフローチャートである。本フローチャートは、姿勢推定装置１００の制御部１１０により、プログラムにしたがい実行され得る。
【００７９】
制御部１１０は、撮影装置２００から受信された撮影画像から、人領域を人矩形または人シルエットとして検出する（Ｓ１０１）。制御部１１０は、人領域を検出していないときは（Ｓ１０２：ＮＯ）、人領域の検出を継続する。
【００８０】
制御部１１０は、人領域を検出したときは（Ｓ１０２：ＹＥＳ）、頭部領域検出部１１２により頭部領域を頭部矩形または頭部シルエットとして検出する（Ｓ１０３）。
【００８１】
制御部１１０は、頭部方向が撮影画像における垂直上方向になるように撮影画像を回転する（Ｓ１０４）。
【００８２】
制御部１１０は、対象距離が所定の閾値以下である場合は（Ｓ１０５：ＹＥＳ）、人領域である人シルエットの近似楕円の長軸が撮影画像において水平になるように撮影画像を再度回転する（Ｓ１０６）。制御部１１０は、頭部サイズが所定の閾値以上である場合は（Ｓ１０７：ＹＥＳ）、直下・立位モデルに対応する辞書１を選択する（Ｓ１０８）。当該閾値は、姿勢推定精度の観点から実験的に設定され得る。制御部１１０は、頭部サイズが所定の閾値以上でない場合は（Ｓ１０７：ＮＯ）、直下・座位臥位モデルに対応する辞書２を選択する（Ｓ１０９）。
【００８３】
制御部１１０は、対象距離が所定の閾値以下でない場合は（Ｓ１０５：ＮＯ）、人体／頭部サイズ比が所定の閾値以上かどうか判断する（Ｓ１１０）。当該閾値は、姿勢推定精度の観点から実験的に設定され得る。制御部１１０は、人体／頭部サイズ比が所定の閾値以上の場合は（Ｓ１１０：ＹＥＳ）、アスペクト比が所定の閾値以上かどうか判断する（Ｓ１１１）。
【００８４】
制御部１１０は、アスペクト比が所定の閾値以上の場合は（Ｓ１１１：ＹＥＳ）、遠方・斜め立位モデルに対応する辞書３を選択する（Ｓ１１２）。制御部１１０は、アスペクト比が所定の閾値以上でない場合は（Ｓ１１１：ＮＯ）、遠方・正面立位モデルに対応する辞書４を選択する（Ｓ１１３）。
【００８５】
制御部１１０は、人体／頭部サイズ比が所定の閾値以上でない場合は（Ｓ１１０：ＮＯ）、遠方・座位臥位モデルに対応する辞書５を選択する（Ｓ１１４）。
【００８６】
制御部１１０は、撮影画像について、選択された辞書を使用した機械学習により関節点を算出することで、対象者４００の姿勢を推定する（Ｓ１１５）。
【００８７】
制御部１１０は、関節点による姿勢を逆回転することで回転前の撮影画像に対応する対象者４００の姿勢を関節点として算出する（Ｓ１１６）。
【００８８】
制御部１１０は、逆回転後の関節点による姿勢に基づいて対象者４００の行動を推定する（Ｓ１１７）。
【００８９】
本実施形態は、以下の効果を奏する。
【００９０】
撮影画像における対象者の頭部の方向を、撮影画像を回転することで所定方向に統一し、回転後の撮影画像に基づいて、機械学習により、対象者の関節点を姿勢として推定する。これにより、撮影画像における対象者の姿勢によらずに、少ない学習データで、当該対象者の姿勢を高精度に推定できる。
【００９１】
さらに、人領域を、人の画像の輪郭内の領域または人の画像の輪郭が外接する矩形内の領域として検知し、頭部領域を、対象者の頭部の画像の輪郭内の領域または頭部の画像の輪郭が外接する矩形内の領域として検出する。そして、撮影画像における人領域内の所定点に対する頭部領域の方向を頭部の方向とする。これにより、より正確に対象者の姿勢を推定できる。
【００９２】
さらに、頭部の方向を統一する所定方向を、撮影画像における垂直上方向とする。これにより、学習データを容易に増大できるため、当該対象者の姿勢を容易かつ高精度に推定できる。
【００９３】
さらに、頭部領域の方向を、所定点である人領域の重心から頭部領域の重心へ向かう方向とする。これにより、撮影画像の回転により頭部の方向を適切に統一できる。
【００９４】
さらに、関節点による対象者の姿勢の推定を、Ｄｅｅｐ  Ｐｏｓｅにより行う。これにより、信頼性の高い姿勢推定を実現できる。
【００９５】
さらに、撮影画像の中心から人領域までの距離が所定の閾値以下の場合、人領域の近似楕円を算出し、近似楕円の長軸の方向が、撮影画像において水平方向となるように、撮影画像を再度回転し、再度の回転後の撮影画像に基づいて姿勢を推定する。これにより、遠方から撮影されることで、頭部の方向が明確でない場合であっても、対象者の姿勢を高精度に推定できる。
【００９６】
さらに、機械学習に使用する辞書を、撮影画像の中心から人領域までの距離に基づいて選択する。これにより、近距離から撮影された撮影画像と遠距離から撮影された撮影画像とで辞書を変えることにより、対象者の姿勢の推定精度を向上できる。
【００９７】
さらに、機械学習に使用する辞書を、頭部サイズに基づいて選択する。これにより、特に近距離から撮影された撮影画像について立位の可能性が高いものと、それ以外のものとで辞書を変えることで、対象者の姿勢の推定精度を向上できる。
【００９８】
さらに、機械学習に使用する辞書を、人体／頭部サイズ比に基づいて選択する。これにより、特に遠距離から撮影された撮影画像について、立位の可能性が高いものと、それ以外のものとで辞書を変えることにより、対象者の姿勢の推定精度を向上できる。
【００９９】
さらに、機械学習に使用する辞書を、人矩形のアスペクト比に基づいて選択する。これにより、特に遠距離から撮影された対象者が立位の撮影画像について対象者が斜めから撮影された可能性が高いものと、正面または裏面から撮影された可能性が高いものとで辞書を変えることで、対象者の姿勢の推定精度を向上できる。
【０１００】
さらに、機械学習に使用する辞書を、撮影画像の中心から人領域までの距離、頭部サイズ、人体／頭部サイズ比、および前記アスペクト比の少なくともいずれかに基づいて選択する。これにより、より適当な辞書を選択することにより、より少ない学習データで、より高精度な姿勢推定を実現できる。
【０１０１】
さらに、回転後の撮影画像に対応する関節点として推定された姿勢を逆回転することで回転前の撮影画像に対応する姿勢を算出し、算出された、複数の姿勢の間の変化に基づいて対象者の行動を推定する。これにより、少ない学習データで、対象者の行動を高精度に推定できる。
【０１０２】
本発明は上述した実施形態に限定されない。
【０１０３】
たとえば、撮影画像を回転することにより、頭部方向を撮影画像の垂直上方向以外の所定方向に統一してもよい。たとえば、所定方向は撮影画像の水平方向であってもよい。
【０１０４】
また、撮像画像を５つのモデルに区分して機械学習に使用する辞書を選択しているが、モデルの数は５未満であってもよい。すなわち、たとえば対象距離の大小のみに基づく２つのモデルに区分して各モデルに対応する辞書を選択するようにしてもよい。
【０１０５】
また、実施形態においてプログラムにより実行される処理の一部または全部を回路などのハードウェアに置き換えて実行されてもよい。
【符号の説明】
【０１０６】
１０    姿勢推定システム、
１００    姿勢推定装置、
２００    撮影装置、
３００    通信ネットワーク。
【図１】
2019121045.tif 000003
【図２】
2019121045.tif 000004
【図３】
2019121045.tif 000005
【図４】
2019121045.tif 000006
【図５】
2019121045.tif 000007
【図６】
2019121045.tif 000008
【図７】
2019121045.tif 000009
【図８】
2019121045.tif 000010
【図９】
2019121045.tif 000011
【図１０】
2019121045.tif 000012
【図１１】
2019121045.tif 000013
【図１２】
2019121045.tif 000014
【図１３】
2019121045.tif 000015
【図１４】
2019121045.tif 000016
【図１５】
2019121045.tif 000017