(57)【要約】【課題】動体の画像に基づいて当該動体の行動をより正確に把握することの可能な行動推定システム、モデル学習システム、行動推定方法、モデル学習方法、プログラムを提供する。【解決手段】行動推定システムは、少なくとも１つの撮像装置によって撮像された動体の画像を取得する取得手段４１と、取得した画像に基づいて、動体の少なくとも１つの部位を検出する検出手段４２と、動体の少なくとも１つの部位の各々の角度に基づいて、動体の行動を推定する推定手段４３と、を備える。【選択図】図３
2022002065.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの撮像装置によって撮像された動体の画像を取得する取得手段と、
取得した画像に基づいて、前記動体の少なくとも１つの部位を検出する検出手段と、
前記動体の少なくとも１つの部位の各々の角度に基づいて、前記動体の行動を推定する推定手段と、
を備える行動推定システム。
【請求項２】
前記動体の複数の部位が検出された場合に、複数の部位間の距離に基づいて前記動体の個体識別を行う識別手段を備える、請求項１に記載の行動推定システム。
【請求項３】
前記推定手段は、前記少なくとも１つの部位の各々の角度と、前記少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて前記動体の行動を推定する、請求項１又は２に記載の行動推定システム。
【請求項４】
前記検出手段は、前記動体の少なくとも１つの関節を、前記動体の少なくとも１つの部位として検出する、請求項１〜３の何れかに記載の行動推定システム。
【請求項５】
前記取得手段は、前記少なくとも１つの撮像装置によって撮像された前記動体のステレオ画像を取得する、請求項１〜４の何れかに記載の行動推定システム。
【請求項６】
前記撮像装置は、全方位画像を撮像する撮像装置である、請求項１〜５の何れかに記載の行動推定システム。
【請求項７】
前記撮像装置は、赤外線画像を撮像する撮像装置である、請求項１〜６の何れかに記載の行動推定システム。
【請求項８】
所定の行動を行う動体の少なくとも１つの部位の各々の角度に関する情報を取得する角度情報取得手段と、
取得した少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習によって、前記動体の行動を推定するのに用いられるモデルを学習する学習手段と、
を備えるモデル学習システム。
【請求項９】
コンピュータが、
少なくとも１つの撮像装置によって撮像された動体の画像を取得するステップと、
取得した画像に基づいて、前記動体の少なくとも１つの部位を検出するステップと、
前記動体の少なくとも１つの部位の各々の角度に基づいて、前記動体の行動を推定するステップと、
の各ステップを実行する、行動推定方法。
【請求項１０】
コンピュータが、
所定の行動を行う動体の少なくとも１つの部位の各々の角度に関する情報を取得するステップと、
取得した少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習によって、前記動体の行動を推定するのに用いられるモデルを学習するステップと、
の各ステップを実行する、モデル学習方法。
【請求項１１】
コンピュータに、
少なくとも１つの撮像装置によって撮像された動体の画像を取得する機能と、
取得した画像に基づいて、前記動体の少なくとも１つの部位を検出する機能と、
前記動体の少なくとも１つの部位の各々の角度に基づいて、前記動体の行動を推定する機能と、
を実現させるためのプログラム。
【請求項１２】
コンピュータに、
所定の行動を行う動体の少なくとも１つの部位の各々の角度に関する情報を取得する機能と、
取得した少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習によって、前記動体の行動を推定するのに用いられるモデルを学習する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動推定システム、モデル学習システム、行動推定方法、モデル学習方法、プログラムに関する。
【背景技術】
【０００２】
近年、例えば医療、介護、セキュリティ、業務管理等の分野では、対象となる動体（例えば、人物、動物、機械等）を撮像して得られた画像に基づいて、当該動体の行動を推定する技術の研究が進められている。
【０００３】
例えば、特許文献１に記載された技術では、人物（動体）を連続的に撮影して得られた一連の入力画像から当該人物を表す人物領域を検知し、当該人物が所定時間以上静止している場合には、当該人物が転倒していると推定するようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】再表２０１８−０３００２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、例えば、動体が同じ場所で転倒以外の何らかの行動を行っていた場合であっても当該動体が転倒していると誤って推定されるので、動体の画像に基づいて当該動体の行動を正確に把握することが困難であった。
【０００６】
本発明は上記課題に鑑みてなされたものであり、動体の画像に基づいて当該動体の行動をより正確に把握することの可能な行動推定システム、モデル学習システム、行動推定方法、モデル学習方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第一に本発明は、少なくとも１つの撮像装置によって撮像された動体の画像を取得する取得手段と、取得した画像に基づいて、前記動体の少なくとも１つの部位を検出する検出手段と、前記動体の少なくとも１つの部位の各々の角度に基づいて、前記動体の行動を推定する推定手段と、を備える行動推定システムを提供する（発明１）。
【０００８】
かかる発明（発明１）によれば、動体の画像に基づいて当該動体の少なくとも１つの部位が検出され、当該動体の少なくとも１つの部位の各々の角度に基づいて当該動体の行動が推定されるので、例えば、動体が同じ場所で何らかの行動を行っていた場合であっても、当該動体の少なくとも１つの部位の各々の角度に基づいて当該行動を推定することが可能になる。これにより、動体の画像に基づいて当該動体の行動をより正確に把握することができる。
【０００９】
上記発明（発明１）においては、前記動体の複数の部位が検出された場合に、複数の部位間の距離に基づいて前記動体の個体識別を行う識別手段を備えてもよい（発明２）。
【００１０】
かかる発明（発明２）によれば、動体の画像に基づいて、当該動体の行動をより正確に把握するとともに、当該動体の個体識別も行うことができる。
【００１１】
上記発明（発明１〜２）においては、前記推定手段は、前記少なくとも１つの部位の各々の角度と、前記少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて前記動体の行動を推定してもよい（発明３）。
【００１２】
かかる発明（発明３）によれば、学習済モデルを用いることによって、動体の行動を容易に推定することができる。
【００１３】
上記発明（発明１〜３）においては、前記検出手段は、前記動体の少なくとも１つの関節を、前記動体の少なくとも１つの部位として検出してもよい（発明４）。
【００１４】
かかる発明（発明４）によれば、動体の少なくとも１つの関節の各々の角度に基づいて当該動体の行動を推定することができる。
【００１５】
上記発明（発明１〜４）においては、前記取得手段は、前記少なくとも１つの撮像装置によって撮像された前記動体のステレオ画像を取得してもよい（発明５）。
【００１６】
ここで、ステレオ画像とは、例えば、所定の視差を有する２つの画像のセットであってもよい。
【００１７】
かかる発明（発明５）によれば、動体のステレオ画像に基づいて当該動体の三次元モデルを生成することができるので、この三次元モデルに基づいて、当該動体の少なくとも１つの部位の三次元空間上の位置（座標）をもとめることが可能になる。これにより、例えば動体の二次元モデルを用いる場合と比較して、当該動体の少なくとも１つの部位の位置（ひいては角度）をより正確に捉えることが可能になるので、当該動体の行動の推定精度をさらに向上させることができる。
【００１８】
上記発明（発明１〜５）においては、前記撮像装置は、全方位画像を撮像する撮像装置であってもよい（発明６）。
【００１９】
かかる発明（発明６）によれば、撮像範囲が広がることによって、動体の行動を広範囲に亘って把握することができる。
【００２０】
上記発明（発明１〜６）においては、前記撮像装置は、赤外線画像を撮像する撮像装置であってもよい（発明７）。
【００２１】
かかる発明（発明７）によれば、例えば、動体が、視界の悪い環境（例えば、夜間、暗い場所、悪天候の場所等）に存在している場合であっても、撮像画像に基づいて動体の行動を把握することができる。
【００２２】
第二に本発明は、所定の行動を行う動体の少なくとも１つの部位の各々の角度に関する情報を取得する角度情報取得手段と、取得した少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習によって、前記動体の行動を推定するのに用いられるモデルを学習する学習手段と、を備えるモデル学習システムを提供する（発明８）。
【００２３】
かかる発明（発明８）によれば、所定の行動を行う動体の少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習によって、動体の行動を推定するのに用いられるモデルを学習することが可能になるので、このモデルを用いることによって、動体の行動をより正確に把握することができる。
【００２４】
第三に本発明は、コンピュータが、少なくとも１つの撮像装置によって撮像された動体の画像を取得するステップと、取得した画像に基づいて、前記動体の少なくとも１つの部位を検出するステップと、前記動体の少なくとも１つの部位の各々の角度に基づいて、前記動体の行動を推定するステップと、の各ステップを実行する、行動推定方法を提供する（発明９）。
【００２５】
第四に本発明は、コンピュータが、所定の行動を行う動体の少なくとも１つの部位の各々の角度に関する情報を取得するステップと、取得した少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習によって、前記動体の行動を推定するのに用いられるモデルを学習するステップと、の各ステップを実行する、モデル学習方法を提供する（発明１０）。
【００２６】
第五に本発明は、コンピュータに、少なくとも１つの撮像装置によって撮像された動体の画像を取得する機能と、取得した画像に基づいて、前記動体の少なくとも１つの部位を検出する機能と、前記動体の少なくとも１つの部位の各々の角度に基づいて、前記動体の行動を推定する機能と、を実現させるためのプログラムを提供する（発明１１）。
【００２７】
第六に本発明は、コンピュータに、所定の行動を行う動体の少なくとも１つの部位の各々の角度に関する情報を取得する機能と、取得した少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習によって、前記動体の行動を推定するのに用いられるモデルを学習する機能と、を実現させるためのプログラムを提供する（発明１２）。
【発明の効果】
【００２８】
本発明の行動推定システム、モデル学習システム、行動推定方法、モデル学習方法、プログラムによれば、動体の画像に基づいて当該動体の行動をより正確に把握することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係る行動推定システムの基本構成を概略的に示す図である。
【図２】推定装置の構成を示すブロック図である。
【図３】行動推定システム及びモデル学習システムで主要な役割を果たす機能を説明するための機能ブロック図である。
【図４】取得データの構成例を示す図である。
【図５】動体の少なくとも１つの部位の検出結果の一例を示す図である。
【図６】動体の少なくとも１つの部位の角度を説明するための図である。
【図７】学習用データの構成例を示す図である。
【図８】動体の複数の部位間の距離を説明するための図である。
【図９】個人識別データの構成例を示す図である。
【図１０】本発明の一実施形態に係るモデル学習システムの主要な処理の一例を示すフローチャートである。
【図１１】本発明の一実施形態に係る行動推定システムの主要な処理の一例を示すフローチャートである。
【図１２】行動推定データの構成例を示す図である。
【図１３】行動推定システム及びモデル学習システムの各機能について、推定装置と、学習装置との間の分担例を示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明の一実施形態について添付図面を参照して詳細に説明する。ただし、この実施形態は例示であり、本発明はこれに限定されるものではない。
【００３１】
（１）行動推定システム及びモデル学習システムの基本構成
図１は、本発明の一実施形態に係る行動推定システム及びモデル学習システムの基本構成を概略的に示す図である。図１に示すように、この行動推定システムでは、例えば屋内等の所定空間ＳＰに動体（本実施形態では、行動推定の対象である対象者Ｔ）が存在する場合に、空間ＳＰ内の所定位置（図１の例では、空間ＳＰの中央上部）に設けられた第１撮像装置１０と、第１撮像装置１０の下方（例えば、鉛直下方）に間隔をおいて設けられた第２撮像装置２０と、の各々によって撮像された画像を推定装置３０が取得すると、推定装置３０が、取得した画像に基づいて対象者Ｔの少なくとも１つの部位を検出し、検出した少なくとも１つの部位の各々の角度に基づいて、対象者Ｔの行動を推定するようになっている。ここで、第１撮像装置１０及び第２撮像装置２０の各々と、推定装置３０とは、例えばインターネットやＬＡＮ（Local Area Network）等の通信網ＮＷ（ネットワーク）に接続されている。
【００３２】
また、本実施形態に係るモデル学習システムでは、推定装置３０が、所定の行動を行う対象者Ｔの少なくとも１つの部位の各々の角度に関する情報を取得すると、取得した少なくとも１つの部位の各々の角度を学習用データとして用いた機械学習によって、対象者Ｔの行動を推定するのに用いられるモデルを学習するようになっている。
【００３３】
第１撮像装置１０及び第２撮像装置２０の各々は、例えば、動画像及び／又は静止画像を撮像する撮像装置（例えば、デジタルカメラやデジタルビデオカメラ等）であってもよく、空間ＳＰ内の所定位置及びその下方の位置において空間ＳＰを撮像するように設けられている。また、第１撮像装置１０及び第２撮像装置２０の各々は、例えば、所定のフレームレート（例えば、３０ｆｐｓ（flames per second）等）で撮像処理を行って、撮像した画像を推定装置３０に送信するように構成されている。なお、第１撮像装置１０及び第２撮像装置２０の各々は、推定装置３０から所定の撮像指示信号を受信した場合に撮像処理を行ってもよい。
【００３４】
ここで、第１撮像装置１０及び第２撮像装置２０の各々は、全方位画像（例えば、周囲３６０°（図１の例では、水平方向の周囲３６０°）の画像）を撮像する撮像装置（例えば、全方位カメラ等）であってもよい。この場合、撮像範囲が広がることによって、対象者Ｔの行動を広範囲に亘って把握することができる。
【００３５】
また、第１撮像装置１０及び第２撮像装置２０の各々は、赤外線画像を撮像する撮像装置（例えば、赤外線カメラ等）であってもよい。例えば、対象者Ｔが、視界の悪い環境（例えば、夜間、暗い場所、悪天候の場所等）に存在している場合であっても、撮像画像に基づいて対象者Ｔの行動を把握することができる。
【００３６】
なお、本実施形態では、２台の撮像装置（図の例では、第１撮像装置１０及び第２撮像装置２０）を用いて空間ＳＰを撮像する場合を一例として説明しているが、３台以上の撮像装置を用いて空間ＳＰを撮像してもよいし、１台の撮像装置（例えば、ステレオカメラ等）を用いて空間ＳＰを撮像してもよい。
【００３７】
推定装置３０は、通信網ＮＷを介して第１撮像装置１０及び第２撮像装置２０の各々と通信を行い、第１撮像装置１０及び第２撮像装置２０の各々が撮像した画像を、通信網ＮＷを介して経時的に取得するように構成されている。推定装置３０は、例えば、携帯端末、スマートフォン、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、双方向の通信機能を備えたテレビジョン受像機（いわゆる多機能型のスマートテレビも含む。）等のように、個々のユーザによって操作される端末装置であってもよい。
【００３８】
（２）推定装置の構成
図２を参照して推定装置３０の構成について説明する。図２は、推定装置３０の内部構成を示すブロック図である。図２に示すように、推定装置３０は、ＣＰＵ（Central Processing Unit）３１と、ＲＯＭ（Read Only Memory）３２と、ＲＡＭ（Random Access Memory）３３と、記憶装置３４と、表示処理部３５と、表示部３６と、入力部３７と、通信インタフェース部３８と、を備えており、各部間の制御信号又はデータ信号を伝送するためのバス３０ａが設けられている。
【００３９】
ＣＰＵ３１は、電源が推定装置３０に投入されると、ＲＯＭ３２又は記憶装置３４に記憶された各種のプログラムをＲＡＭ３３にロードして実行する。本実施形態では、ＣＰＵ３１は、ＲＯＭ３２又は記憶装置３４に記憶されたプログラムを読み出して実行することにより、後述する取得手段４１、検出手段４２、推定手段４３、識別手段４４、角度情報取得手段４５及び学習手段４６（図３に示す）の機能を実現する。
【００４０】
記憶装置３４は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）、磁気記憶装置（例えばＨＤＤ（Hard Disk Drive）、フロッピーディスク（登録商標）、磁気テープ等）、光ディスク等の不揮発性の記憶装置であってもよいし、ＲＡＭ等の揮発性の記憶装置であってもよく、ＣＰＵ３１が実行するプログラムやＣＰＵ３１が参照するデータを格納する。また、記憶装置３４には、後述する取得データ（図４に示す）、学習用データ（図７に示す）及び個人識別データ（図９に示す）が記憶されている。
【００４１】
表示処理部３５は、ＣＰＵ３１から与えられる表示用データを表示部３６に表示する。表示部３６は、例えば、マトリクス状に画素単位で配置された薄膜トランジスタを含むＬＣＤ（Liquid Crystal Display）モニタであり、表示用データに基づいて薄膜トランジスタを駆動することで、表示されるデータを表示画面に表示する。
【００４２】
推定装置３０が釦入力方式の装置である場合には、入力部３７は、ユーザの操作入力を受け入れるための方向指示釦及び決定釦等の複数の指示入力釦を含む釦群と、テンキー等の複数の指示入力釦を含む釦群とを備え、各釦の押下（操作）入力を認識してＣＰＵ３１へ出力するためのインタフェース回路を含む。
【００４３】
推定装置３０がタッチパネル入力方式の装置である場合には、入力部３７は、主として表示画面に指先又はペンで触れることによるタッチパネル方式の入力を受け付ける。タッチパネル入力方式は、静電容量方式等の公知の方式であってもよい。
【００４４】
また、推定装置３０が音声入力可能な装置である場合には、入力部３７は、音声入力用のマイクを含むように構成されてもよいし、外付けのマイクを介して入力された音声データをＣＰＵ３１へ出力するためのインタフェース回路を備えてもよい。さらに、推定装置３０が動画像及び／又は静止画像を入力可能な装置である場合には、入力部３７は、画像入力用のデジタルカメラやデジタルビデオカメラを含むように構成されてもよいし、外付けのデジタルカメラやデジタルビデオカメラで撮像された画像データを受け付けてＣＰＵ３１へ出力するためのインタフェース回路を備えてもよい。
【００４５】
通信インタフェース部３８は、通信網ＮＷを介して他の装置（例えば、第１撮像装置１０及び第２撮像装置２０等）と通信を行うためのインタフェース回路を含む。
【００４６】
（３）行動推定システム及びモデル学習システムにおける各機能の概要
本実施形態の行動推定システム及びモデル学習システムで実現される機能について、図３を参照して説明する。図３は、本実施形態の行動推定システム及びモデル学習システムで主要な役割を果たす機能を説明するための機能ブロック図である。図３の機能ブロック図では、取得手段４１、検出手段４２及び推定手段４３が本発明の行動推定システムの主要な構成に対応しており、角度情報取得手段４５及び学習手段４６が本発明のモデル学習システムの主要な構成に対応している。他の手段（識別手段４４）は必ずしも必須の構成ではないが、本発明をさらに好ましくするための構成要素である。
【００４７】
取得手段４１は、第１撮像装置１０及び第２撮像装置２０（少なくとも１つの撮像装置）によって撮像された対象者Ｔ（動体）の画像を取得する機能を備える。
【００４８】
また、取得手段４１は、第１撮像装置１０及び第２撮像装置２０（少なくとも１つの撮像装置）によって撮像された対象者Ｔ（動体）のステレオ画像を取得してもよい。ここで、ステレオ画像とは、例えば、所定の視差を有する２つの画像のセットであってもよい。この場合、対象者Ｔのステレオ画像に基づいて対象者Ｔの三次元モデルを生成することができるので、この三次元モデルに基づいて、対象者Ｔの少なくとも１つの部位の三次元空間上の位置（座標）をもとめることが可能になる。これにより、例えば対象者Ｔの二次元モデルを用いる場合と比較して、対象者Ｔの少なくとも１つの部位の位置（ひいては角度）をより正確に捉えることが可能になるので、対象者Ｔの行動の推定精度をさらに向上させることができる。
【００４９】
取得手段４１の機能は、例えば以下のように実現される。なお、ここでは、取得手段４１が、第１撮像装置１０及び第２撮像装置２０によって撮像された対象者Ｔのステレオ画像を取得する場合を一例として説明する。先ず、第１撮像装置１０及び第２撮像装置２０の各々は、例えば、対象者Ｔが空間ＳＰ内に存在する場合に、所定のフレームレート（例えば、３０ｆｐｓ（flames per second）等）で撮像処理を行い、撮像処理を行う毎に、撮像した画像（例えば、対象者Ｔを含む全方位画像）の画像データを、通信網ＮＷを介して推定装置３０に送信する。ここで、第１撮像装置１０及び第２撮像装置２０の各々によって撮像された画像の画像データは、撮像日時及び撮像装置の識別情報（例えば、撮像装置のシリアル番号やＭＡＣ（Media Access Control）アドレス等）と対応付けた状態で推定装置３０に送信されてもよい。また、第１撮像装置１０及び第２撮像装置２０の各々は、例えば、推定装置３０のＣＰＵ３１から送信された所定の撮像トリガ信号を同時に受信することによって、互いに同期して撮像処理を行ってもよい。
【００５０】
一方、推定装置３０のＣＰＵ３１は、第１撮像装置１０及び第２撮像装置２０の各々から送信された画像データを、通信インタフェース部３８を介して受信（取得）する毎に、受信した画像データを、当該画像の撮像日時、及び、当該画像を撮像した撮像装置の識別情報と対応付けた状態で例えば図４に示す取得データに記憶する。取得データは、撮像装置（図の例では、「第１撮像装置」及び「第２撮像装置」）毎に、画像データ及び当該画像の撮像日時が対応付けられた状態で記述されているデータである。ここで、第１撮像装置１０及び第２撮像装置２０の各々が互いに離間して設けられていることから、ＣＰＵ３１は、各撮像装置１０，２０が実質的に同じタイミングで撮像した２つの画像（例えば、撮像日時が同じ２つの画像であってもよいし、撮像日時の時間差が所定範囲（例えば、数ミリ秒〜数十ミリ秒等）内の２つの画像等であってもよい）を、所定の視差を有する画像のセット（つまり、ステレオ画像）として取得することが可能になる。このようにして、取得手段４１は、第１撮像装置１０及び第２撮像装置２０によって撮像された対象者Ｔのステレオ画像を取得することができる。
【００５１】
検出手段４２は、取得した画像に基づいて、対象者Ｔ（動体）の少なくとも１つの部位を検出する機能を備える。
【００５２】
また、検出手段４２は、対象者Ｔ（動体）の少なくとも１つの関節を、対象者Ｔの少なくとも１つの部位として検出してもよい。これにより、対象者Ｔの少なくとも１つの関節の各々の角度に基づいて対象者Ｔの行動を推定することができる。
【００５３】
検出手段４２の機能は、例えば以下のように実現される。なお、ここでは、検出手段４２が、取得した画像に基づいて、対象者Ｔの少なくとも１つの関節を、対象者Ｔの少なくとも１つの部位として検出する場合を一例として説明する。推定装置３０のＣＰＵ３１は、例えば、取得手段４１の機能に基づいて、第１撮像装置１０及び第２撮像装置２０の各々から送信された画像データを取得データに記憶する毎に、何れかの撮像装置（例えば、第１撮像装置１０）が撮像した画像において、対象者Ｔの少なくとも１つの関節の各々の位置に対応するノードを設定するとともに、各ノードの座標（二次元座標）を算出してもよい。ここで、各ノードの設定及び座標の算出は、例えば、深層学習による特徴点（キーポイント）検出技術（例えば、ＯｐｅｎＰｏｓｅ等）を用いて行われてもよい。
【００５４】
ＣＰＵ３１は、例えば図５に示すように、何れかの撮像装置（例えば、第１撮像装置１０）が撮像した画像において、対象者Ｔの少なくとも１つの関節（図の例では、「右肩関節」、「右肘関節」、「右股関節」、「右膝関節」、「左肩関節」、「左肘関節」、「左股関節」及び「左膝関節」等）の位置を検出し、検出した関節の各々に対応するノード（図の例では、１４個のノード）を設定する。ここで、各ノードの座標は、各ノードが設定された画像に対応付けられた状態で取得データに記憶されてもよい。
【００５５】
なお、ここでは、第１撮像装置１０が撮像した画像を用いて対象者Ｔの少なくとも１つの関節が検出される場合を一例として説明したが、例えば、第２撮像装置２０が撮像した画像を用いて対象者Ｔの少なくとも１つの関節が検出されてもよい。
【００５６】
推定手段４３は、対象者Ｔ（動体）の少なくとも１つの関節（部位）の各々の角度に基づいて、対象者Ｔの行動を推定する機能を備える。
【００５７】
また、推定手段４３は、少なくとも１つの関節（部位）の各々の角度と、少なくとも１つの関節の各々の角度を学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて対象者の行動を推定してもよい。これにより、学習済モデルを用いることによって、対象者Ｔの行動を容易に推定することができる。
【００５８】
推定手段４３の機能は、例えば以下のように実現される。推定装置３０のＣＰＵ３１は、検出手段４２の機能に基づいて、対象者Ｔの少なくとも１つの関節を検出すると、検出した少なくとも１つの関節の各々の角度をもとめる。
【００５９】
ここで、例えば、第１撮像装置１０及び第２撮像装置２０の各々が全方位画像を撮像する場合には、ＣＰＵ３１は、各撮像装置１０，２０が撮像した全方位画像をパノラマ画像に展開してもよい。また、ＣＰＵ３１は、各撮像装置１０，２０に対応するパノラマ画像に対して事前処理（例えば、ノイズ除去等）を実行してもよい。さらに、ＣＰＵ３１は、各撮像装置１０，２０に対応するパノラマ画像を用いて周知のステレオマッチング処理を実行して、対象者Ｔの三次元モデルを生成してもよい。
【００６０】
さらにまた、ＣＰＵ３１は、対象者Ｔの三次元モデルを用いて、対象者Ｔの少なくとも１つの関節の各々の角度をもとめてもよいし、対象者Ｔの二次元モデル（例えば、第１撮像装置１０及び第２撮像装置２０の各々によって撮像された画像のうち、対象者Ｔの少なくとも１つの関節の位置に対応するノードが設定された画像）を用いて、対象者Ｔの少なくとも１つの関節の各々の角度θをもとめてもよい。ここで、上述したように、対象者Ｔの三次元モデルを用いて、対象者Ｔの少なくとも１つの関節の各々の角度をもとめる場合には、例えば対象者Ｔの二次元モデルを用いる場合と比較して、対象者Ｔの少なくとも１つの部位の位置（ひいては角度）をより正確に捉えることが可能になるので、対象者Ｔの行動の推定精度をさらに向上させることができる。
【００６１】
少なくとも１つの関節の各々の角度θは、図６に示すように、当該関節を介して隣接する２つのセグメント間の画像の縦軸方向（図中Ｙ方向）の相対角度として算出することができる。例えば、右肘関節の角度を算出する場合には、右上腕及び右前腕を、隣接する２つのセグメントとして使用してもよい。また、右肩関節の角度を算出する場合には、右肩（右肩関節及び頸椎の間の部分）及び右上腕を、隣接する２つのセグメントとして使用してもよい。さらに、右膝関節の角度を算出する場合には、右上腿及び右下腿を、隣接する２つのセグメントとして使用してもよい。さらにまた、右股関節の角度を算出する場合には、右上腿及び右腰（右股関節及び腰椎の間の部分）を、隣接する２つのセグメントとして使用してもよい。ｕ及びｖを、隣接する２つのセグメントを表すベクトル（二次元又は三次元）とすると、ｕ及びｖ間の角度θを、以下の式（１）を用いて算出することができる。
【数１】
2022002065.tif 000003
【００６２】
本実施形態において、ＣＰＵ３１は、８つの関節（「右肩関節」、「右肘関節」、「右股関節」、「右膝関節」、「左肩関節」、「左肘関節」、「左股関節」、「左膝関節」）の各々の角度θを算出する。
【００６３】
次に、ＣＰＵ３１は、対象者Ｔの少なくとも１つの関節の各々の角度θを算出すると、算出した少なくとも１つの関節の各々の角度θを、少なくとも１つの関節の各々の角度θを学習用データとして用いた機械学習に基づく学習済モデル（後述する）に入力することによって、対象者Ｔの行動を推定してもよい。
【００６４】
学習用データの一例を図７に示す。図７に示す学習用データは、対象者Ｔが所定の行動（図の例では、「起床」、「離床」、「転倒」、「徘徊」等の何れか）を行っている場合の対象者Ｔの少なくとも１つの関節（図の例では、「右肩関節」、「右肘関節」、「右股関節」、「右膝関節」、「左肩関節」、「左肘関節」、「左股関節」、「左膝関節」）の角度θの時系列変化を、当該行動（正解ラベル）に対応付けた状態で記述されているデータである。これにより、機械学習の結果として、所定の行動を行う対象者Ｔの少なくとも１つの関節の角度θの時系列変化と、当該行動との関係を示す学習済モデルが構成される。
【００６５】
なお、学習用データに記述されるデータは、同一の対象者が異なる行動を行った場合のデータを含んでもよいし、異なる対象者が同一の行動を行った場合のデータを含んでもよい。
【００６６】
これにより、ＣＰＵ３１は、対象者Ｔの少なくとも１つの関節の各々の角度θの時系列変化を学習済モデルに入力することによって、対象者Ｔの行動（ここでは、「起床」、「離床」、「転倒」、「徘徊」等の何れか）を推定することができる。
【００６７】
なお、本実施形態では、対象者Ｔの少なくとも１つの関節の各々の角度θの時系列変化を学習済モデルに入力することによって、対象者Ｔの行動を推定する場合を一例として説明しているが、例えば、所定のタイミングにおける対象者Ｔの少なくとも１つの関節の各々の角度θを学習済モデルに入力することによって、当該所定のタイミングにおける対象者Ｔの行動を推定してもよい。
【００６８】
また、本実施形態では、対象者Ｔの複数（図の例では、８つ）の部位（関節）の各々の角度θに基づいて、対象者Ｔの行動を推定する場合を一例として説明しているが、例えば、対象者Ｔの１つの部位の角度θに基づいて、対象者Ｔの行動を推定してもよい。但し、それぞれの行動について特徴的な動きをする部位の数を多くするほど、行動の推定精度を向上させることができる。
【００６９】
また、ＣＰＵ３１は、推定された対象者Ｔの行動に関する情報を提示してもよい。例えば、ＣＰＵ３１は、対象者Ｔの行動を推定すると、推定された対象者Ｔの行動に関する情報を例えば表示部３６に表示してもよい。ここで、対象者Ｔの行動に関する情報は、テキストデータで構成されてもよいし、画像データ等で構成されてもよい。また、対象者Ｔの行動に関する情報が音声データで構成されている場合には、ＣＰＵ３１は、対象者Ｔの行動に関する情報を、スピーカ等の音声出力装置から出力してもよい。
【００７０】
また、ＣＰＵ３１は、推定された対象者Ｔの行動に関する情報を、通信網ＮＷを介して推定装置３０に接続された他のコンピュータ（例えば、サーバ等）に送信してもよい。
【００７１】
識別手段４４は、対象者Ｔ（動体）の複数の関節（部位）が検出された場合に、複数の関節間の距離に基づいて対象者Ｔの個人識別（個体識別）を行う機能を備える。これにより、対象者Ｔの画像に基づいて、対象者Ｔの行動をより正確に把握するとともに、対象者Ｔの個人識別も行うことができる。
【００７２】
識別手段４４の機能は、例えば以下のように実現される。推定装置３０のＣＰＵ３１は、検出手段４２の機能に基づいて対象者Ｔの複数の関節を検出すると、検出した複数の関節間の距離をもとめる。ここで、ＣＰＵ３１は、図８に示すように、複数の関節の各々に対応するノード間の少なくとも１つのセグメントの長さを、複数の関節間の距離としてもとめてもよい。図８の例では、左右の肩関節間の距離がＬ１としてもとめられ、右肩関節と右肘関節との間の距離（右上腕の長さ）がＬ２としてもとめられ、右肘関節と右手首関節との間の距離（右前腕の長さ）がＬ３としてもとめられ、右股関節と右膝関節との間の距離（右上腿の長さ）がＬ４としてもとめられ、右膝関節と右足首関節との間の距離（右下腿の長さ）がＬ５としてもとめられる。
【００７３】
次に、ＣＰＵ３１は、例えば図９に示す個人識別データを用いて、対象者Ｔの個人識別を行う。個人識別データは、複数の対象者（図の例では、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」等）毎に、所定の関節間の距離（図の例では、頸椎と腰椎との間の距離Ｓ）に対する各関節間の距離Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５の割合が対応付けられた状態で記述されているデータである。例えば、ＣＰＵ３１は、複数の対象者のうち、もとめた各関節間の距離Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５の距離Ｓに対する割合が最も近似している対象者（例えば、「Ａ」）を、撮像された対象者Ｔと同一であると識別してもよい。
【００７４】
なお、個人識別データは、例えば、複数の対象者毎に、各関節間の距離Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５が対応付けられた状態で記述されているデータであってもよい。この場合、ＣＰＵ３１は、個人識別データを参照して、複数の対象者のうち、対応する各関節間の距離Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５と、もとめた各関節間の距離Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５とが最も近似している対象者を、撮像された対象者Ｔと同一であると識別してもよい。
【００７５】
また、ＣＰＵ３１は、対象者Ｔの個人識別を行うと、対象者Ｔと同一であると識別された対象者に関する情報を提示してもよい。例えば、ＣＰＵ３１は、対象者Ｔと同一であると識別された対象者に関する情報を例えば表示部３６に表示してもよい。ここで、対象者Ｔと同一であると識別された対象者に関する情報は、テキストデータで構成されてもよいし、画像データ等で構成されてもよい。また、対象者Ｔと同一であると識別された対象者に関する情報が音声データで構成されている場合には、ＣＰＵ３１は、対象者Ｔと同一であると識別された対象者に関する情報を、スピーカ等の音声出力装置から出力してもよい。
【００７６】
さらに、ＣＰＵ３１は、対象者Ｔと同一であると識別された対象者に関する情報を、通信網ＮＷを介して推定装置３０に接続された他のコンピュータ（例えば、サーバ等）に送信してもよい。
【００７７】
このようにして、対象者Ｔの画像に基づいて、対象者Ｔの行動をより正確に把握とともに、対象者Ｔの個人識別も行うことが可能になる。ところで、従来の個人識別技術（例えば顔画像、耳形状、歩行動作等による個人識別技術）では、例えば顔や耳が撮像されていない場合や歩行動作が撮像されていない場合には、個人識別を行うことが困難であった。一方、本実施形態では、例えば顔や耳が撮像されていない場合や歩行動作が撮像されていない場合であっても、撮像された対象者Ｔの複数の関節間の距離をもとめることによって、対象者Ｔの個人識別を行うことができる。
【００７８】
角度情報取得手段４５は、所定の行動を行う対象者Ｔ（動体）の少なくとも１つの関節（部位）の各々の角度に関する情報を取得する機能を備える。
【００７９】
角度情報取得手段４５の機能は、例えば以下のように実現される。先ず、第１撮像装置１０及び第２撮像装置２０の各々は、例えば、対象者Ｔが空間ＳＰ内で所定の行動（例えば、「起床」、「離床」、「転倒」、「徘徊」等の何れか）を行っている場合に、所定のフレームレート（例えば、３０ｆｐｓ（flames per second）等）で撮像処理を行い、撮像処理を行う毎に、撮像した画像（例えば、対象者Ｔを含む全方位画像）の画像データを、通信網ＮＷを介して推定装置３０に送信する。
【００８０】
一方、推定装置３０のＣＰＵ３１は、取得手段４１の機能と同様に、第１撮像装置１０及び第２撮像装置２０の各々から送信された画像データを、通信インタフェース部３８を介して受信すると、検出手段４２の機能と同様に、画像（例えば、第１撮像装置１０が撮像した画像）内の対象者Ｔの少なくとも１つの関節の各々の位置に対応するノードを設定するとともに、各ノードの座標（二次元座標）を算出する。
【００８１】
次に、ＣＰＵ３１は、推定手段４３の機能と同様に、検出した少なくとも１つの関節の各々の角度θをもとめ（取得し）、もとめられた角度θを、図７に示す学習用データに記憶する。また、ＣＰＵ３１は、少なくとも１つの関節の各々の角度θが学習用データに記憶される毎に、対象者Ｔが、複数の行動（ここでは、「起床」、「離床」、「転倒」、「徘徊」等）のうち何れの行動を行っていたかを示す正解ラベルが入力部３７を用いて入力されると、入力された正解ラベルを、記憶された少なくとも１つの関節の各々の角度θに対応する「行動」の項目に記憶する。
【００８２】
学習手段４６は、取得した少なくとも１つの関節（部位）の各々の角度を学習用データとして用いた機械学習によって、対象者Ｔ（動体）の行動を推定するのに用いられるモデルを学習する機能を備える。
【００８３】
学習手段４６の機能は、例えば以下のように実現される。推定装置３０のＣＰＵ３１は、例えば、所定のモデル学習指示が入力部３７を用いて入力されると、図７に示す学習用データを用いてモデルの学習を行う。ＣＰＵ３１は、例えば、時系列対応型ニューラルネットワークモデルを用いて学習してもよい。ここで、時系列対応型ニューラルネットワークとして、例えば、ＲＮＮ（Recurrent Neural Network）や、ＲＮＮの発展型であるＬＳＴＭ（Long Short-Term Memory）等を適用することができる。また、ＣＰＵ３１は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル、サポートベクターマシン（ＳＶＭ）モデル、全結合ニューラルネットワーク（ＦＮＮ）モデル、勾配ブースティング（ＨＧＢ）モデル、ウェーブネット（ＷＮ）モデル等の複数のモデルのうち何れかのモデルを用いて学習してもよい。
【００８４】
（４）本実施形態のモデル学習システムの主要な処理のフロー
次に、本実施形態のモデル学習システムにより行われる主要な処理のフローの一例について、図１０のフローチャートを参照して説明する。
【００８５】
推定装置３０のＣＰＵ３１は、所定の行動を行う対象者Ｔ（動体）の少なくとも１つの関節（部位）の各々の角度に関する情報を取得する（ステップＳ１００）。具体的に説明すると、先ず、第１撮像装置１０及び第２撮像装置２０の各々は、例えば、対象者Ｔが空間ＳＰ内で所定の行動（例えば、「起床」、「離床」、「転倒」、「徘徊」等の何れか）を行っている場合に、所定のフレームレート（例えば、３０ｆｐｓ（flames per second）等）で撮像処理を行い、撮像処理を行う毎に、撮像した画像（例えば、対象者Ｔを含む全方位画像）の画像データを、通信網ＮＷを介して推定装置３０に送信する。
【００８６】
一方、推定装置３０のＣＰＵ３１は、第１撮像装置１０及び第２撮像装置２０の各々から送信された画像データを、通信インタフェース部３８を介して受信すると、画像（例えば、第１撮像装置１０が撮像した画像）内の対象者Ｔの少なくとも１つの関節の各々の位置に対応するノードを設定するとともに、各ノードの座標（二次元座標）を算出する。
【００８７】
また、ＣＰＵ３１は、検出した少なくとも１つの関節の各々の角度θをもとめ（取得し）、もとめられた角度θを学習用データに記憶する。さらに、ＣＰＵ３１は、少なくとも１つの関節の各々の角度θが学習用データに記憶される毎に、対象者Ｔが、複数の行動（ここでは、「起床」、「離床」、「転倒」、「徘徊」等）のうち何れの行動を行っていたかを示す正解ラベルが入力部３７を用いて入力されると、入力された正解ラベルを、記憶された少なくとも１つの関節の各々の角度θに対応する「行動」の項目に記憶する。
【００８８】
次に、ＣＰＵ３１は、取得した少なくとも１つの関節（部位）の各々の角度を学習用データとして用いた機械学習によって、対象者Ｔ（動体）の行動を推定するのに用いられるモデルを学習する（ステップＳ１０２）。具体的に説明すると、ＣＰＵ３１は、例えば、所定のモデル学習指示が入力部３７を用いて入力されると、学習用データを用いてモデルの学習を行う。ＣＰＵ３１は、例えば、時系列対応型ニューラルネットワークモデルを用いて学習してもよい。ここで、時系列対応型ニューラルネットワークとして、例えば、ＲＮＮ（Recurrent Neural Network）や、ＲＮＮの発展型であるＬＳＴＭ（Long Short-Term Memory）等を適用することができる。
【００８９】
このようにして、所定の行動を行う対象者（動体）の少なくとも１つの関節（部位）の各々の角度を学習用データとして用いた機械学習によって、対象者Ｔ（動体）の行動を推定するのに用いられるモデルを学習することが可能になる。
【００９０】
（５）本実施形態の行動推定システムの主要な処理のフロー
次に、本実施形態の行動推定システムにより行われる主要な処理のフローの一例について、図１１のフローチャートを参照して説明する。
【００９１】
先ず、推定装置３０のＣＰＵ３１は、第１撮像装置１０及び第２撮像装置２０によって撮像された対象者Ｔ（動体）の画像を取得する（ステップＳ２００）。具体的に説明すると、ＣＰＵ３１は、第１撮像装置１０及び第２撮像装置２０の各々から送信された画像データを、通信インタフェース部３８を介して受信（取得）する毎に、受信した画像データを、当該画像の撮像日時、及び、当該画像を撮像した撮像装置の識別情報と対応付けた状態で取得データに記憶する。
【００９２】
次に、ＣＰＵ３１は、取得した画像に基づいて、対象者Ｔ（動体）の少なくとも１つの関節（部位）を検出する（ステップＳ２０２）。具体的に説明すると、ＣＰＵ３１は、ステップＳ２００の処理において画像データを取得データに記憶する毎に、新たに記憶した画像（例えば、第１撮像装置１０が撮像した画像）内の対象者Ｔの少なくとも１つの関節の各々の位置に対応するノードを設定するとともに、各ノードの座標（二次元座標）を算出する。ここで、各ノードの設定及び座標の算出は、例えば、深層学習による特徴点（キーポイント）検出技術（例えば、ＯｐｅｎＰｏｓｅ等）を用いて行われてもよい。
【００９３】
次いで、ＣＰＵ３１は、対象者Ｔ（動体）の少なくとも１つの関節（部位）の各々の角度に基づいて、対象者Ｔの行動を推定する（ステップＳ２０４）。具体的に説明すると、ＣＰＵ３１は、少なくとも１つの関節の各々の角度θを、当該関節を介して隣接する２つのセグメント間の縦軸方向（図６のＹ方向）の相対角度として算出する。次に、ＣＰＵ３１は、対象者Ｔの少なくとも１つの関節の各々の角度θを算出すると、算出した少なくとも１つの関節の各々の角度θを、少なくとも１つの関節の各々の角度θを学習用データとして用いた機械学習に基づく学習済モデルに入力することによって、対象者Ｔの行動を推定してもよい。
【００９４】
また、ＣＰＵ３１は、対象者Ｔ（動体）の複数の関節（部位）が検出された場合に、複数の関節間の距離に基づいて対象者Ｔの個人識別（個体識別）を行う（ステップＳ２０６）。具体的に説明すると、ＣＰＵ３１は、ステップＳ２０２の処理において検出した複数の関節間の距離をもとめる。次に、ＣＰＵ３１は、個人識別データを用いて、対象者Ｔの個人識別を行ってもよい。ここで、ＣＰＵ３１は、個人識別データ内の複数の対象者のうち、もとめた各関節間の距離Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５の距離Ｓに対する割合が最も近似している対象者を、撮像された対象者Ｔと同一であると識別してもよい。
【００９５】
このようにして、対象者Ｔの少なくとも１つの関節の各々の角度θに基づいて、対象者Ｔの行動を推定することが可能になる。
【００９６】
上述したように、本実施形態の行動推定システム、行動推定方法、プログラムによれば、対象者Ｔ（動体）の画像に基づいて対象者Ｔの少なくとも１つの関節（部位）が検出され、対象者Ｔの少なくとも１つの関節の各々の角度θに基づいて対象者Ｔの行動が推定されるので、例えば、対象者Ｔが同じ場所で何らかの行動を行っていた場合であっても、対象者Ｔの少なくとも１つの関節の各々の角度θに基づいて当該行動を推定することが可能になる。これにより、対象者Ｔの画像に基づいて、対象者Ｔの行動をより正確に把握することができる。
【００９７】
また、本実施形態のモデル学習システム、モデル学習方法、プログラムによれば、所定の行動を行う対象者Ｔ（動体）の少なくとも１つの関節（部位）の各々の角度θを学習用データとして用いた機械学習によって、対象者Ｔの行動を推定するのに用いられるモデルを学習することが可能になるので、このモデルを用いることによって、対象者Ｔの行動をより正確に把握することができる。
【００９８】
以下、上述した実施形態の変形例について説明する。
（変形例）
上記実施形態では、推定手段４３が、少なくとも１つの関節（部位）の各々の角度θと、少なくとも１つの関節の各々の角度θを学習用データとして用いた機械学習に基づく学習済モデルと、に基づいて対象者Ｔの行動を推定する場合を一例として説明したが、この場合に限られない。例えば、推定手段４３は、少なくとも１つの関節の各々の角度θが、所定の行動に対応する所定の条件を満たす場合に、対象者Ｔが当該所定の行動を行っていると推定してもよい。ここで、所定の条件とは、例えば、少なくとも１つの関節（部位）の各々の角度θが、所定の行動に対応する関節（部位）の角度θの範囲に含まれることであってもよい。
【００９９】
この場合、推定装置３０のＣＰＵ３１は、図１２に示す行動推定データを参照して、対象者Ｔの行動を推定してもよい。行動推定データは、複数の行動（図の例では、「起床」、「離床」、「転倒」、「徘徊」等）毎に、対応する行動が行われているときの各関節（図の例では、「右肩関節」、「右肘関節」、「右股関節」、「右膝関節」、「左肩関節」、「左肘関節」、「左股関節」、「左膝関節」）の角度θの範囲が対応付けられた状態で記述されているデータである。行動推定データは、例えば記憶装置３４に記憶されていてもよい。
【０１００】
ＣＰＵ３１は、例えば、少なくとも１つの関節の各々の角度θの時系列変化が、行動推定データ内の何れかの行動に対応する各関節の角度θの範囲に含まれる場合に、対象者Ｔが当該何れかの行動（例えば、「転倒」）を行っていると推定してもよい。また、ＣＰＵ３１は、例えば、所定のタイミングにおける少なくとも１つの関節の各々の角度θが、行動推定データ内の何れかの行動に対応する各関節の角度θの範囲に含まれる場合に、対象者Ｔが、当該所定のタイミングにおいて、当該何れかの行動（例えば、「転倒」）を行っていると推定してもよい。
【０１０１】
このように、本変形例にかかる行動推定システム、モデル学習システム、行動推定方法、モデル学習方法、プログラムによれば、上述した実施形態と同様の作用効果を発揮することが可能である。
【０１０２】
なお、本発明のプログラムは、コンピュータで読み取り可能な記憶媒体に記憶されていてもよい。このプログラムを記録した記憶媒体は、図２に示す推定装置３０のＲＯＭ３２、ＲＡＭ３３又は記憶装置３４であってもよい。また、記憶媒体は、例えばＣＤ−ＲＯＭドライブ等のプログラム読取装置に挿入されることで読み取り可能なＣＤ−ＲＯＭ等であってもよい。さらに、記憶媒体は、磁気テープ、カセットテープ、フレキシブルディスク、ＭＯ／ＭＤ／ＤＶＤ等であってもよいし、半導体メモリであってもよい。
【０１０３】
以上説明した実施形態及び変形例は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施形態及び変形例に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１０４】
例えば、上述した実施形態では、動体が人物（対象者Ｔ）である場合を一例として説明したが、この場合に限られない。動体は、行動推定の対象となり得るものであれば如何なるものであってもよく、例えば、人物以外の動物であってもよいし、作業機械、車両、飛行体等のオブジェクトであってもよい。
【０１０５】
また、上述した実施形態では、対象者Ｔ（動体）の少なくとも１つの関節が、対象者Ｔの少なくとも１つの部位として検出される場合を一例として説明したが、関節以外の部位（例えば、頭、手、足等）が検出されてもよい。
【０１０６】
さらに、上述した実施形態では、空間ＳＰ内の１つの動体（対象者Ｔ）の行動が推定される場合を一例として説明したが、空間ＳＰ内の複数の動体の各々の行動が推定されてもよい。
【０１０７】
さらにまた、上述した実施形態では、「起床」、「離床」、「転倒」、「徘徊」のうち何れかの行動が動体（対象者Ｔ）の行動として推定される場合を一例として説明したが、行動の内容はこれらに限定されない。
【０１０８】
また、上述した実施形態では、１つの推定装置３０が設けられている場合を一例として説明したが、この場合に限られない。例えば、複数の推定装置３０が設けられてもよく、この場合には、何れかの推定装置３０上の操作内容及び処理結果等が他の推定装置３０上でリアルタイムに提示されてもよいし、何れかの推定装置３０での処理結果等が複数の推定装置３０間で共有されてもよい。
【０１０９】
さらに、上述した実施形態では、推定装置３０によって、取得手段４１、検出手段４２、推定手段４３、識別手段４４、角度情報取得手段４５及び学習手段４６の各機能を実現する構成としたが、この構成に限られない。例えば、インターネットやＬＡＮ等の通信網を介して推定装置３０と通信可能に接続されたコンピュータ等（例えば、汎用のパーソナルコンピュータやサーバコンピュータ等）から構成された学習装置５０（図１３に示す）であって、動体の行動を推定するのに用いられるモデルを学習するための学習装置５０が設けられてもよい。この場合、推定装置３０及び学習装置５０は、実質的に同一のハードウェア構成を採ることができるので、上記実施形態において説明した各手段４１〜４６のうち少なくとも１つの手段の機能を学習装置５０によって実現することが可能になる。例えば、図３に示した機能ブロック図の各機能は、図１３（ａ），（ｂ）に示すように、推定装置３０と学習装置５０との間で任意に分担されてもよい。
【０１１０】
さらにまた、上記各手段４１〜４６のうち少なくとも１つの手段の機能を、第１撮像装置１０及び／又は第２撮像装置２０によって実現する構成としてもよい。
【産業上の利用可能性】
【０１１１】
上述したような本発明の行動推定システム、モデル学習システム、行動推定方法、モデル学習方法、プログラムは、動体の行動をより正確に把握することができ、例えば、動体（例えば、作業者や作業機械等）の行動分析を行う業務管理システムや、動体（例えば、入院患者、施設の入居者、ペット等）のモニタリングシステム等に好適に利用することができるので、その産業上の利用可能性は極めて大きい。
【符号の説明】
【０１１２】
１０…第１撮像装置
２０…第２撮像装置
３０…推定装置
４１…取得手段
４２…検出手段
４３…推定手段
４４…識別手段
４５…角度情報取得手段
４６…学習手段
５０…学習装置
Ｔ…対象者
【図１】
2022002065.tif 000004
【図２】
2022002065.tif 000005
【図３】
2022002065.tif 000006
【図４】
2022002065.tif 000007
【図５】
2022002065.tif 000008
【図６】
2022002065.tif 000009
【図７】
2022002065.tif 000010
【図８】
2022002065.tif 000011
【図９】
2022002065.tif 000012
【図１０】
2022002065.tif 000013
【図１１】
2022002065.tif 000014
【図１２】
2022002065.tif 000015
【図１３】
2022002065.tif 000016