(57)【要約】【課題】モーションキャプチャにおいてポスト処理の簡略化を図ること。【解決手段】複数の関節を有する対象物上の複数のマーカをセンシングするセンサを用いる対象物認識方法であって、前記センサにより検出された前記マーカの位置情報を取得し、第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出することを含む、コンピュータにより実行される対象物認識方法が開示される。【選択図】図３
2019008726.tif 000002
【特許請求の範囲】
【請求項１】
複数の関節を有する対象物上の複数のマーカをセンシングするセンサを用いる対象物認識方法であって、
前記センサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出することを含む、コンピュータにより実行される対象物認識方法。
【請求項２】
前記複数のマーカが付与される前記対象物の各部位の相対関係の取り得る位置関係を規定するリンク関数を取得することを更に含み、
前記対応関係が前記制約を満たすか否かは、前記リンク関数に基づいて判定される、請求項１に記載の対象物認識方法。
【請求項３】
前記対応関係を導出することは、前記予測確率分布のそれぞれごとに、前記第２時点に係る前記位置情報のうちの、前記予測確率分布に対して所定条件を満たす前記位置情報を割り当てる割当処理を含む、請求項２に記載の対象物認識方法。
【請求項４】
前記割当処理は、ある前記予測確率分布である着目予測確率分布に対して複数の前記位置情報が割り当て可能である場合に、前記着目予測確率分布に割り当て可能な複数の前記位置情報のうちの、前記制約を満たす前記対応関係を生む位置情報を探索する探索処理を含む、請求項３に記載の対象物認識方法。
【請求項５】
前記対応関係を導出することは、統計的に所定の近傍関係にある前記予測確率分布同士が同一のグループになる態様で前記予測確率分布をグループ化するグループ化処理を更に含み、
前記割当処理は、前記グループごとに実行される、請求項４に記載の対象物認識方法。
【請求項６】
前記対応関係を導出することは、前記予測確率分布を補正する補正処理を更に含み、
前記補正処理は、前記制約を満たす対応関係を導出できないグループが存在する場合に実行され、
前記グループ化処理及び前記割当処理は、前記補正処理の後に再度実行される、請求項５に記載の対象物認識方法。
【請求項７】
前記対応関係を導出することは、前記リンク関数に基づいて、前記グループごとの前記割当処理の結果について、前記グループ間で妥当性を評価するグループ間評価処理を更に含み、
前記補正処理は、前記グループ間評価処理の結果、前記グループごとの前記割当処理の結果が前記グループ間で妥当でないと判定された場合にも実行される、請求項６に記載の対象物認識方法。
【請求項８】
前記対応関係を導出することは、前記対応関係の複数の候補がある場合に、前記複数の候補から１つの候補を選択する選択処理を更に含む、請求項７に記載の対象物認識方法。
【請求項９】
前記探索処理は、前記着目予測確率分布と該着目予測確率分布に割り当て可能な複数の前記位置情報との組み合わせを含む探索木を構築することを含む、請求項５〜８のうちのいずれか１項に記載の対象物認識方法。
【請求項１０】
前記対応関係を導出することは、前記複数のマーカの少なくとも１つの位置情報が前記センサにより検出されないときに生じる欠測点を、前記複数のマーカのうちのいずれかのマーカに対応付けることを更に含み、
前記探索処理は、前記第２時点に係る前記位置情報の数が前記複数のマーカの数よりも少なく、かつ、一のグループに属する前記予測確率分布の数よりも、該一のグループに属する前記予測確率分布の少なくともいずれかに対して前記所定条件を満たす前記位置情報の数が少ない場合、前記欠測点が該一のグループに属する前記予測確率分布のいずれにも対応付け可能な組み合わせを含む前記探索木を構築する、請求項９に記載の対象物認識方法。
【請求項１１】
前記探索処理は、前記探索木における探索ルート上の、あるノードにおいて、前記リンク関数に基づいて、該ノードに対応付けられた組み合わせであって、前記予測確率分布と前記位置情報との組み合わせの妥当性を評価することを含む、請求項１０に記載の対象物認識方法。
【請求項１２】
複数の関節を有する対象物上の複数のマーカをセンシングするセンサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出する、
処理をコンピュータに実行させる対象物認識プログラム。
【請求項１３】
複数の関節を有する対象物上の複数のマーカをセンシングするセンサを用いる対象物認識装置であって、
前記センサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出する、
ように構成される処理装置を含む、対象物認識装置。
【請求項１４】
複数の関節を有する対象物上の複数のマーカをセンシングするセンサと、
処理装置と含み、
前記処理装置は、
前記センサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出する、
ように構成される、対象物認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、対象物認識方法、対象物認識装置、対象物認識システム、及び対象物認識プログラムに関する。
【背景技術】
【０００２】
モーションキャプチャシステムにおいて、取得後のデータに対する修正や、編集などのポスト処理を行う技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平10-222668号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来技術では、モーションキャプチャにおいてポスト処理の簡略化を図ることが難しい。モーションキャプチャにおいて対象物の部位測定を実施する際に同時に自動ラベリング機能が行われるが、自動ラベリングの精度問題で運用上は全データ取得後に手作業で修正している。
【０００５】
そこで、１つの側面では、本発明は、モーションキャプチャにおいてポスト処理の簡略化を図ることを目的とする。
【課題を解決するための手段】
【０００６】
１つの側面では、複数の関節を有する対象物上の複数のマーカをセンシングするセンサを用いる対象物認識方法であって、
前記センサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出することを含む、コンピュータにより実行される対象物認識方法が提供される。
【発明の効果】
【０００７】
１つの側面では、本発明によれば、モーションキャプチャにおいてポスト処理の簡略化を図ることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】一実施例による対象物認識システムの概略構成を模式的に示す図である。
【図２】対象物認識装置のハードウェア構成の一例を示す図である。
【図３】対象物認識装置の機能の一例を示すブロック図である。
【図４】骨格モデルの一例の説明図である。
【図５】ラベル情報生成部の機能の一例を示すブロック図である。
【図６】ケース１での観測点割当処理の説明図である。
【図７】ケース１での観測点割当処理の説明図である。
【図８】ケース１での観測点割当処理の説明図である。
【図９】ケース２での観測点割当処理の説明図である。
【図１０】ケース２での観測点割当処理の説明図である。
【図１１】ケース２での観測点割当処理の説明図である。
【図１２】第１探索手法の説明図である。
【図１３】第１探索手法の説明図である。
【図１４】第２探索手法の説明図である。
【図１５】第２探索手法の説明図である。
【図１６】グループ間整合性チェック処理の説明図である。
【図１７】予測確率分布補正処理の説明図である。
【図１８】対象物認識装置による対象物認識処理の一例を示す概略フローチャートである。
【図１９】図１８のステップＳ１８１４の処理の一例を示す概略フローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００１０】
図１は、一実施例による対象物認識システム１の概略構成を模式的に示す図である。図１には、説明用に、対象者Ｓ（対象物の一例）が示されている。
【００１１】
対象物認識システム１は、光学式モーションキャプチャ技術に基づいて、対象者Ｓの状態（動きや形状など）を認識する。尚、光学式モーションキャプチャ技術に代えて、他の方式（例えば磁気式）のモーションキャプチャ技術が利用されてもよい。光学式モーションキャプチャにおいては、対象者Ｓには、光を反射するマーカＭが付与（例えば貼付）される。マーカＭは、複数個付与される。マーカＭは、対象者Ｓの関節に係る部位等に付与される。例えばマーカＭは、肩関節に係る部位である肩に付与される。本実施例では、一例として、マーカＭは、対象者Ｓの複数の所定の関節（例えば図４参照）に係る各部位に付与されるものとする。
【００１２】
対象物認識システム１は、複数のカメラ２１と、対象物認識装置１００とを含む。
【００１３】
カメラ２１は、対象者Ｓを撮像する画像センサ（センサの一例）である。複数のカメラ２１は、好ましくは、協動して全てのマーカＭが捕捉できるように、対象者Ｓに対して配置される。尚、複数のカメラ２１は、位置が固定される態様で設置されてもよいし、位置が可動な態様で設置されてもよい。
【００１４】
対象物認識装置１００は、複数のカメラ２１から得られる画像に基づいて、対象者Ｓ上の各マーカＭの位置を認識する。対象者Ｓは、人や人型のロボットであり、複数の関節を有する。以下では、一例として、対象者Ｓは、人であるものとする。対象者Ｓは、用途に応じて、特定の個人であってもよいし、不特定の人であってもよい。例えば、用途が体操等の競技時の動きの解析である場合、対象者Ｓは、競技選手であってよい。
【００１５】
対象物認識装置１００は、複数のカメラ２１に接続されるコンピュータの形態で実現されてもよい。対象物認識装置１００と複数のカメラ２１との接続は、有線による通信路、無線による通信路、又はこれらの組み合わせで実現されてよい。例えば、対象物認識装置１００が複数のカメラ２１に対して比較的遠隔に配置されるサーバの形態である場合、対象物認識装置１００は、ネットワークを介して複数のカメラ２１に接続されてもよい。この場合、ネットワークは、例えば、携帯電話の無線通信網、インターネット、World  Wide  Web、VPN（virtual  private  network）、WAN（Wide  Area  Network）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。他方、対象物認識装置１００が複数のカメラ２１に対して比較的近傍に配置される場合、無線による通信路は、近距離無線通信、ブルーツース（登録商標）、Ｗｉ−Ｆｉ（Wireless  Fidelity）等により実現されてもよい。また、対象物認識装置１００は、異なる２つ以上の装置（例えばコンピュータやサーバ等）により協動して実現されてもよい。
【００１６】
図２は、対象物認識装置１００のハードウェア構成の一例を示す図である。
【００１７】
図２に示す例では、対象物認識装置１００は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、入力部１０７を含む。
【００１８】
制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。制御部１０１は、例えばＣＰＵ（Central  Processing  Unit)やＧＰＵを含んでよい。
【００１９】
主記憶部１０２は、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００２０】
補助記憶部１０３は、ＨＤＤ（Hard  Disk  Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００２１】
ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【００２２】
記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して対象物認識装置１００にインストールされる。インストールされた所定のプログラムは、対象物認識装置１００により実行可能となる。
【００２３】
ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器と対象物認識装置１００とのインターフェースである。
【００２４】
入力部１０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやスライスパット等を有する。入力部１０７は、音声入力やジェスチャー等の他の入力方法に対応してもよい。
【００２５】
尚、図２に示す例において、以下で説明する各種処理等は、プログラムを対象物認識装置１００に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を対象物認識装置１００に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体１０５は、様々なタイプの記録媒体を用いることができる。例えば、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１０５には、搬送波は含まれない。
【００２６】
図３は、対象物認識装置１００の機能の一例を示すブロック図である。
【００２７】
対象物認識装置１００は、データ入力部１１０と、マーカ位置情報取得部１１２と、予測確率分布導出部１２０と、リンク関数取得部１３０と、ラベル情報生成部１４０とを含む。また、対象物認識装置１００は、ラベル情報記憶部１５０と、計測データ記憶部１５２とを含む。データ入力部１１０、予測確率分布導出部１２０、リンク関数取得部１３０、及びラベル情報生成部１４０は、図２に示す制御部１０１が主記憶部１０２に記憶された１つ以上のプログラムを実行することで実現できる。ラベル情報記憶部１５０及び計測データ記憶部１５２は、図２に示す補助記憶部１０３により実現されてよい。
【００２８】
データ入力部１１０には、複数のカメラ２１から画像（以下、「計測データ」と称する）が入力される。計測データは、例えばフレーム周期毎に入力されてよい。尚、計測データは、複数のカメラ２１から画像の集合からなる。尚、データ入力部１１０により取得された計測データは、計測データ記憶部１５２に記憶される。
【００２９】
マーカ位置情報取得部１１２は、フレーム周期ごとの計測データに基づいて、各マーカＭの位置情報を取得する。以下、計測データに基づく各マーカＭの位置情報を、「観測点」とも称する。観測情報は、例えば３次元の空間座標（ｘ，ｙ，ｚ）で表現されるＮ個の各観測点ｍｉ（ｉ＝１、２、・・・、Ｎ）の集合（ｍ１、ｍ２、・・・、ｍＮ）を表す。Ｎは、マーカＭの総数Ｎｔｏｔａｌに等しいが、フレームによっては、一部のマーカが認識されないこと（欠測）等に起因して、ＮがマーカＭの総数Ｎｔｏｔａｌと異なる場合もあり得る。尚、観測点の個数がマーカＭの総数Ｎｔｏｔａｌに満たないとき、欠測による不明点（欠測点）が生じる。尚、マーカ位置情報取得部１１２は、算出処理により観測情報を取得してもよいし、外部から観測情報を取得してもよい。
【００３０】
本実施例では、一例として、複数のマーカＭのそれぞれには、固有にラベル（識別子）が対応付けられている。例えば肩に位置するマーカＭには、肩に係るラベルが対応付けられる。従って、ラベルの個数は、マーカＭの総数Ｎｔｏｔａｌと一致する。
【００３１】
予測確率分布導出部１２０は、あるフレーム周期（一シーン）に係る各マーカＭの位置情報の予測値を、その誤差分布とともに導出する。即ち、予測確率分布導出部１２０は、マーカＭごとに（即ちラベルごとに）、マーカＭの位置情報の予測値、及び、その誤差分布を導出する。以下、マーカＭの位置情報の予測値、及び、その誤差分布を含む情報を「予測確率分布」と称する。予測確率分布の導出方法は、カルマンフィルタやパーティクルフィルタなどで用いられているような、あるフレーム周期の位置情報から次のフレーム周期の位置情報を誤差分布を伴って取得可能な手法であれば、任意である。本実施例では、一例として、マーカＭｉ（ｉ＝１、２、・・・、Ｎｔｏｔａｌ）に関する予測確率分布Ｐｉは、時刻ｔに係るフレーム周期では、平均値μｔｉと分散Σｔｉを有するものとする。この場合、平均値μｔｉは、マーカＭｉの位置情報の予測値に対応する。
【００３２】
例えば、あるフレーム周期（ｔ−１）に係るあるマーカＭの位置情報をｘｔ−１とすると、次のフレーム周期（ｔ）に係る同マーカＭの位置情報の予測値ｘｔは、次の通り表せる。
【００３３】
【数１】
2019008726.tif 000003
ここで、ｆ（ｘｔ−１、ξＳ、ｖｔ）は、引数を（ｘｔ−１、ξＳ、ｖｔ）とする予測式の関数であり、運動方程式や時系列解析モデル等に基づいてよい。ｖｔは、システムノイズであり、ｖｔ〜ｐ（ｖｔ）であり、ξＳは、パラメータである。尚、記号“〜”について、例えばｖｔ〜ｐ（ｖｔ）は、ｖｔがｐ（ｖｔ）から生成されていることを意味する（以下も同様である）。従って、数２の式のように表現できるので、予測値ｘｔは、次時刻の予測位置として確率分布を伴って取得されることになる。
【００３４】
【数２】
2019008726.tif 000004
【００３５】
リンク関数取得部１３０は、対象者Ｓの骨格情報に基づくリンク関数を取得する。リンク関数は、マーカＭが付与される各部位の相対関係の取り得る位置関係を規定する関数である。例えば、リンク関数は、対象者Ｓの骨格情報に係る骨格モデルに基づいて定義できる。使用する関節モデルは、対象者Ｓに係る任意のモデルであり、例えば、複数の関節と、関節間の骨格（リンク）とで表されるモデルである。本実施例では、一例として、マーカＭが付与される部位に係る関節を表す図４に示すような関節モデルが用いられる。図４では、マーカＭが付与される部位に係る各関節が“○”で示される。図４では、頭部、首、両肩、両手、腰、両ひざ、及び両足首の１１個の関節を持つ関節モデルである。尚、図４に示す関節モデルに代えて、頭部が１つ、胴部（胴体部）、両腕部、及び両脚部がそれぞれ３つの関節を持つ１６関節モデルなどが用いられてもよい。関節モデルは、リンクの長さ（図４の肩と手の間の長さＬ参照）が規定され、リンクの長さは、対象者Ｓに応じて異なってもよい。例えば、リンク関数は、各関節（即ち各ラベル）に係る位置情報を入力したときに、各リンクの長さが基準範囲以内であるか否かに応じた２値を出力する関数であってよい。本実施例では、一例として、リンク関数は、ラベルと位置情報（座標）の組について、２組を引数とし、該２組に係る対応関係（２組に係る観測点とラベルとの対応関係）が構造上可能かどうか（即ち構造上成り立つか否か）を返却する関数であるとする。
【００３６】
例えば、リンク関数は、以下の通りであってよい。
【００３７】
【数３】
2019008726.tif 000005
ここで、関数ｄｉｓｔ（ｍｉ，ｍｊ）の引数は、２つの観測点ｍｉ，ｍｊであり、εは誤差マージンである。関数ＤＩＳＴ（Ｌｉ，Ｌｊ）の引数Ｌｉ，Ｌｊは、観測点ｍｉ，ｍｊに割り当てられる各ラベルである。関数ＤＩＳＴは、骨格情報に基づく関数であり、ラベルＬｉ，Ｌｊに対応する対象者Ｓの関節間の距離を返す。数３のリンク関数では、ｄｉｓｔ（ｍｉ，ｍｊ）とＤＩＳＴ（Ｌｉ，Ｌｊ）の差の大きさがεより小さい場合は、構造上可能であることを表す値“１”を返し、それ以外の場合は、構造上可能でないことを表す値“０”を返す。
【００３８】
ラベル情報生成部１４０は、フレーム周期ごとに、各観測点に各ラベルが対応付けれたラベル情報を生成し、ラベル情報記憶部１５０に記憶する。具体的には、ラベル情報生成部１４０は、あるフレーム周期に係る観測情報と、同フレーム周期に係る予測確率分布と、リンク関数とに基づいて、同フレーム周期に係る観測情報（観測点の集合）と、複数のマーカＭとの対応関係を導出（同定）する。本実施例では、一例として、観測情報と複数のマーカＭとの対応関係に係る対応付けは、ラベル付け処理により実現される。この場合、ラベル情報生成部１４０は、観測情報に係る各位置情報に各ラベルを対応付けることで、観測情報と複数のマーカＭとの対応関係を導出する。例えば、ラベル情報生成部１４０は、肩に係る位置情報には、肩に係るラベルを対応付ける。
【００３９】
例えば、ラベル情報生成部１４０は、観測情報に含まれる各位置情報（各観測点）と、各予測確率分布とが１対１の関係でのみ整合する場合は、観測情報に含まれる各位置情報に、対応する予測確率分布に係るラベルを対応付ける。時刻ｔに係るフレーム周期に関して、位置情報ｍｊと予測確率分布Ｐｉとが整合するとは、例えば所定条件を満たす場合に対応する。所定条件を満たす場合とは、例えば、予測確率分布Ｐｉに係る平均値μｔｉと分散Σｔｉとで定まる標準偏差を“σｔｉ”としたとき、位置情報ｍｊが、平均値μｔｉに対して±３σｔｉ以内となる場合であってよい。即ち、時刻ｔに係るフレーム周期に関して、位置情報ｍｊと予測確率分布Ｐｉとが整合するとは、位置情報ｍｊの、平均値μｔｉに対する誤差の大きさが３σｔｉ以内となる関係であってよい。尚、３σｔｉに代えて、他の適切な閾値が用いられてもよい。尚、各予測確率分布とが１対１の関係でのみ整合する場合以外の場合については、後述する。
【００４０】
ラベル情報生成部１４０は、観測情報に含まれる各位置情報に、対応する予測確率分布に係るラベルを対応付けると、各ラベルの位置情報をリンク関数に適用することで、ラベル付け結果が、対象者Ｓの骨格情報に整合するか否かを判定する。ラベル付け結果が、対象者Ｓの骨格情報に整合する場合は、ラベル情報生成部１４０は、ラベル付け処理結果をそのままラベル情報として出力する。他方、ラベル付け処理結果が、対象者Ｓの骨格情報に整合しない場合は、ラベル情報生成部１４０は、必要に応じて、ラベル付け処理をやり直す。
【００４１】
次に、図５以降を参照して、ラベル情報生成部１４０を更に詳細に説明する。
【００４２】
図５は、ラベル情報生成部１４０の機能の一例を示すブロック図である。
【００４３】
ラベル情報生成部１４０は、予測分布グループ化部１４１と、観測点割当部１４２と、グループ間整合性チェック部１４４と、予測確率分布補正部１４６と、尤度評価部１４８とを含む。
【００４４】
予測分布グループ化部１４１は、フレーム周期ごとに、予測確率分布Ｐｉをグループ化する予測分布グループ化処理を行う。この際、予測分布グループ化部１４１は、統計的に近い予測確率分布同士（所定の近傍関係にある予測確率分布同士）が同一グループに属するように、予測分布グループ化処理を行う。例えば、予測分布グループ化部１４１は、ある予測確率分布Ｐｋが平均値μｔｋと分散Σｔｋとで定まる正規分布と仮定し、平均値μｔｋに対して±３σｔｋ以内に平均値μｔｊを有する予測確率分布Ｐｊがあれば、予測確率分布Ｐｋ、Ｐｊを同一のグループとする。この場合、所定の近傍関係とは、一方の平均値が他方の±３σ以内である関係である。尚、３σｔｉに代えて、他の適切な閾値が用いられてもよい。
【００４５】
観測点割当部１４２は、フレーム周期ごとに、観測点割当処理を行う。例えば、観測点割当部１４２は、位置情報ｍｊと予測確率分布Ｐｉとが整合する場合は、位置情報ｍｊ（観測点）を、予測確率分布Ｐｉが属するグループに割り当てる。観測点割当部１４２は、全ての観測点を割り当てた観測点割当処理の結果、あるグループに属する観測点の数が、同グループに属する予測確率分布の数を超える場合は、割り当て失敗とする。また、観測点割当部１４２は、全ての観測点を割り当てた観測点割当処理の結果、各グループで割り当てられない観測点の合計が不明点（欠測点）の数を超える場合は、割り当て失敗とする。割り当て失敗となった場合、観測点割当部１４２は、予測確率分布補正部１４６を介して予測確率分布を補正した上で、予測分布グループ化部１４１による予測分布グループ化処理を再度実行させてから、観測点割当処理を再度行う。観測点割当処理の更なる詳細は、図６乃至図１５を参照して以下で説明する。
【００４６】
図６乃至図８は、ケース１として、あるグループに属する観測点の数が、同グループに属する予測確率分布の数と一致する場合の、観測点割当処理の説明図である。尚、以下の説明において、「ある観測点を、ある予測確率分布に割り当てる」とは、「ある観測点を、ある予測確率分布に係るラベルに割り当てる」ことと同義である。ある予測確率分布には、固有のラベルが対応付けられているためである。
【００４７】
図６では、一例として、あるグループｇ１に属する３つの観測点ｍ１、ｍ２、ｍ３と同グループｇ１に属する３つの予測確率分布Ｐ１、Ｐ２、Ｐ３とが示される。図６では、横軸に位置を概念的に示し、縦軸に確率分布を概念的に示す。
【００４８】
図６では、予測確率分布Ｐ１と観測点ｍ１、ｍ２とが整合し、予測確率分布Ｐ２と観測点ｍ２、ｍ３とが整合し、予測確率分布Ｐ３と観測点ｍ２、ｍ３とが整合する。このとき、観測点ｍ１は予測確率分布Ｐ１に対してのみ整合する。従って、この場合、観測点割当部１４２は、観測点ｍ１を予測確率分布Ｐ１に割り当てる。他方、観測点ｍ２や観測点ｍ３は、２つの予測確率分布に割り当てることが可能である。従って、この場合、観測点割当部１４２は、例えば以下で説明する探索処理を行うことで、観測点ｍ２を、２つの予測確率分布のうちの一方に割り当てるとともに、観測点ｍ３を、２つの予測確率分布のうちの他方に割り当てる。
【００４９】
図７は、ケース１における探索木を用いた探索処理の説明図である。観測点割当部１４２は、図７に示すような２通りの組み合わせを定義する探索木に基づいて、観測点ｍ２及び観測点ｍ３の割当先（予測確率分布Ｐ２又はＰ３）を決定する。この場合、観測点割当部１４２は、探索木を辿る際に、リンク関数に基づいて、割当てが構造上成り立つか否かを判定する。探索木ノード上において、リンク関数に基づいて構造上成り立たない場合は、即座にバックトラックを行い、それ以降の探索を打ち切る（図７にて“打ち切り”を模式的に示す×マークＱ１参照）。例えば、図７では、観測点ｍ２が予測確率分布Ｐ２に割り当てられる側の探索ノードＮｄ１に進むと（矢印Ｒ０参照）、リンク関数に基づいて構造上成り立たないと判定されるものとする。尚、この際、リンク関数の引数は、観測点ｍ１の座標と予測確率分布Ｐ１に対応付けられるラベルの組と、観測点ｍ２の座標と予測確率分布Ｐ２に対応付けられるラベルの組とからなる。この場合、図７にて矢印ＢＴ１で模式的に示すように、観測点割当部１４２は、即座にバックトラックを行い、観測点ｍ３が予測確率分布Ｐ２に割り当てられる側の探索ノードＮｄ２へ移行する（矢印Ｒ１参照）。図７では、観測点ｍ３が予測確率分布Ｐ２に割り当てられる側の探索ノードＮｄ２については、リンク関数に基づいて構造上成り立つと判定されるものとする。尚、この際、リンク関数の引数は、観測点ｍ１の座標と予測確率分布Ｐ１に対応付けられるラベルの組と、観測点ｍ３の座標と予測確率分布Ｐ２に対応付けられるラベルの組とからなる。その場合、観測点割当部１４２は、更に探索を継続し、観測点ｍ２が予測確率分布Ｐ３に割り当てられる探索ノードＮｄ３へ移行する（矢印Ｒ２参照）。観測点割当部１４２は、探索ノードＮｄ３でも、リンク関数に基づいて、割当てが構造上成り立つか否かを判定する。この際、リンク関数の引数は、観測点ｍ３の座標と予測確率分布Ｐ２に対応付けられるラベルの組と、観測点ｍ２の座標と予測確率分布Ｐ３に対応付けられるラベルの組とからなる。図７では、観測点ｍ２が予測確率分布Ｐ３に割り当てられる側の探索ノードＮｄ３については、リンク関数に基づいて構造上成り立つと判定されるものとする。従って、グループｇ１については、図８に示すような割当結果が得られる。
【００５０】
図９乃至図１１は、ケース２として、あるグループに属する観測点の数が、同グループに属する予測確率分布の数と一致せず、かつ、不明点が存在する場合の、観測点割当処理の説明図である。
【００５１】
図９では、一例として、あるグループｇ２に属する３つの観測点ｍ１、ｍ２、ｍ３と同グループｇ２に属する４つの予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４とが示される。また、図９には、模式的に、不明点ｍ＊が示される。尚、不明点ｍ＊は、不明点であるが故に、位置情報を有していない。図９では、横軸に位置を概念的に示し、縦軸に確率分布を概念的に示す。
【００５２】
図９では、予測確率分布Ｐ１と観測点ｍ１、ｍ２とが整合し、予測確率分布Ｐ２と観測点ｍ１、ｍ２とが整合し、予測確率分布Ｐ３と観測点ｍ２、ｍ３とが整合し、予測確率分布Ｐ４と観測点ｍ２、ｍ３とが整合する。このとき、予測確率分布Ｐ１には観測点ｍ１のみが整合する。不明点ｍ＊は、予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４のいずれにも整合しうるものとして扱われる。
【００５３】
図１０は、ケース２における探索木を用いた探索処理の説明図である。観測点割当部１４２は、図１０に示すような整合する全通りの組み合わせを定義する探索木に基づいて、観測点ｍ１、ｍ２、ｍ３及び不明点ｍ＊の割当先（予測確率分布Ｐ１、Ｐ２、Ｐ３又はＰ４）を決定する。尚、図１０では、探索木の一部の図示が省略されている。
【００５４】
尚、探索処理自体は、図７を参照して上述した探索処理と同様である。図１０には、図７と同様、“打ち切り”を模式的に示す×マークが示されている。即ち、探索ノードに付された×マークは、当該探索ノードで、リンク関数に基づいて構造上成り立たないと判定されたことを表す。また、図１０において、探索ノードに付された符号“ＯＫ”は、当該探索ノードで、リンク関数に基づいて構造上成り立つと判定されたことを表す。
【００５５】
図１０では、観測点割当部１４２は、好ましくは、探索の効率化のため、図１０に示すように、割当可能数が最も少ない予測確率分布Ｐ１から割り当てが開始される探索木を構築する。割当可能数とは、その予測確率分布に整合する観測点の数であり、割当対象となる不明点ｍ＊の数が含められてもよい。
【００５６】
図１０では、観測点ｍ１が予測確率分布Ｐ１に割り当てられる側の探索木において、観測点ｍ２が予測確率分布Ｐ２に割り当てられる側の探索ノードＮｄ１０に進むと（矢印Ｒ１０参照）、最終的に“打ち切り”が生じる。また、観測点ｍ１が予測確率分布Ｐ１に割り当てられる側の探索木において、不明点ｍ＊が予測確率分布Ｐ２に割り当てられる側の探索ノードＮｄ１１に進むと（矢印Ｒ１１参照）、最終的に“打ち切り”が生じる。この場合、図１０にて矢印ＢＴ２で模式的に示すように、観測点割当部１４２は、即座にバックトラックを行い、不明点ｍ＊が予測確率分布Ｐ１に割り当てられる側の探索ノードＮｄ１３へ移行する（矢印Ｒ１３参照）。図１０では、探索ノードＮｄ１３では、リンク関数に基づいて構造上成り立つと判定されるものとする。尚、不明点ｍ＊が引数となる場合は、リンク関数に適用される不明点ｍ＊（位置情報）は、割当てられる予測確率分布Ｐ１に係る平均値であってよい。例えば、探索ノードＮｄ１３では、不明点ｍ＊の位置情報として、予測確率分布Ｐ１の平均値μが用いられる。観測点割当部１４２は、更に探索を継続し、観測点ｍ２が予測確率分布Ｐ３に割り当てられる探索ノードＮｄ１４へ移行する（矢印Ｒ１４参照）。観測点割当部１４２は、探索ノードＮｄ１４で、リンク関数に基づいて、割当てが構造上成り立つか否かを判定する。この際、リンク関数の引数は、観測点ｍ１の座標と予測確率分布Ｐ２に対応付けられるラベルの組と、観測点ｍ２の座標と予測確率分布Ｐ３に対応付けられるラベルの組とからなる。図１０では、探索ノードＮｄ１４については、リンク関数に基づいて構造上成り立つと判定されるものとする。その場合、観測点割当部１４２は、更に探索を継続し、観測点ｍ３が予測確率分布Ｐ４に割り当てられる探索ノードＮｄ１５へ移行する（矢印Ｒ１５参照）。観測点割当部１４２は、探索ノードＮｄ１５でも、リンク関数に基づいて、割当てが構造上成り立つか否かを判定する。この際、リンク関数の引数は、観測点ｍ２の座標と予測確率分布Ｐ３に対応付けられるラベルの組と、観測点ｍ３の座標と予測確率分布Ｐ４に対応付けられるラベルの組とからなる。従って、グループｇ２については、図１１に示すような割当結果が得られる。図１１では、不明点ｍ＊が予測確率分布Ｐ１に割り当てられている。この場合、不明点ｍ＊の位置情報として、予測確率分布Ｐ１の平均値μが割り当てられてよい。
【００５７】
このように図６乃至図１１に示す探索処理によれば、次の探索ノードに進むごとに、新たな探索ノードに対応付けられる予測確率分布と位置情報との組み合わせの妥当性が、リンク関数に基づいて評価される。この際、新たな探索ノードに対応付けられる予測確率分布と位置情報との組み合わせの妥当性は、直前の探索ノードに対応付けられる予測確率分布と位置情報との組み合わせに対して評価される。これにより、妥当でない場合（即ち構造上成立しない場合）は、即座にバックトラックが可能となり、効率的な探索が可能となる。
【００５８】
また、図９乃至図１１に示す探索処理によれば、不明点ｍ＊が存在する場合でも、不明点ｍ＊を予測確率分布（及びそれに伴い該予測確率分布に対応付けられるラベル）に対応付けることができる。
【００５９】
ここで、図１２乃至図１５を参照して、更なる効率的な探索手法（次の探索ノードの決定方法）として、第１探索手法及び第２探索手法を順に説明する。
【００６０】
図１２は、４つの予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４と３つの観測点ｍ１、ｍ２、ｍ３との関係が示される。予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４は、説明用に、円形で示される。観測点が円形内に位置することは、当該観測点と当該円形に係る予測確率分布とが整合することを表す。また、図１２には、模式的に、不明点ｍ＊が、予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４のいずれにも整合しない態様（整合するかどうか不明）で示される。
【００６１】
図１３は、第１探索手法の説明図である。第１探索手法は、整合する観測点と予測確率分布の組み合わせが複数通りあるとき、どの組み合わせから開始するかを決定する手法に関する。図１３には、複数の表Ａ乃至表Ｅが示される。第１探索手法では、後述するように、探索木における一の探索ノードから複数の探索ノードへの分岐する際、複数の探索ノードのうちの、より多くの探索ノードが探索継続側（葉ノードに向かう側）に接続される探索ノードへ、先ず進む態様で実行される。
【００６２】
表Ａは、４つの予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４と３つの観測点ｍ１、ｍ２、ｍ３との整合関係を示す表図であり、レ点（チェックマーク）があることは、“整合”を表し、レ点が無いことは、“不整合”を表す。これは、他の表Ｂ乃至表Ｅも同様である。また、表Ａでは、不明点ｍ＊が更に追加されており、不明点ｍ＊は４つの予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４のいずれとも整合するものとして扱われる。従って、表Ａに示すように、不明点ｍ＊に係る列には、全てレ点が付されている。
【００６３】
第１探索手法では、表Ｂにて“なし地”のハッチングで示すように、４×４の組み合わせのうちの、空白（レ点が無い欄）が相対的に多い列と行の交差範囲（以下、「最小レ点数の十字範囲」と称する）が選択される。表Ｂでは、最小レ点数の十字範囲は、観測点ｍ１に係る列と予測確率分布Ｐ２に係る行で規定される。この場合、レ点の数が“３”であり、最小であるためである。表Ｂに示す例では、観測点ｍ１は予測確率分布Ｐ２に対してのみ整合するので、観測点ｍ１は予測確率分布Ｐ２に割り当てられる。最小レ点数の十字範囲での割当てが完了すると、当該最小レ点数の十字範囲は、以後、無視され、表Ｃ及び表Ｆにそれぞれ示すように、空白を含む十字範囲が選択される。表Ｃでは、選択された十字範囲は、観測点ｍ２に係る列と予測確率分布Ｐ３に係る行で規定される。また、表Ｆでは、選択された十字範囲は、不明点ｍ＊に係る列と予測確率分布Ｐ３に係る行で規定される。表Ｃ及び表Ｆにそれぞれ示す十字範囲は、表Ｃに示す十字範囲の方が、表Ｆに示す十字範囲よりも、レ点の数が少ない。従って、表Ｃの方が、表Ｆよりも先に、リンク関数に基づき構造上の成立性が評価される。
【００６４】
表Ｃでは、観測点ｍ２と予測確率分布Ｐ３の組み合わせが選択される。この場合、選択された十字範囲は、以後、無視され、新たな空白を含む十字範囲が選択される。空白を含む十字範囲が無い場合は、表Ｄ及び表Ｉに示すように、２通りの十字範囲が選択される。
【００６５】
表Ｄでは、観測点ｍ３と予測確率分布Ｐ１の組み合わせが選択される。この結果、表Ｅに示すように、不明点ｍ＊と予測確率分布Ｐ４の組み合わせが選択される。この場合、最終的に、予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４は、それぞれ、観測点ｍ３、ｍ１、ｍ２及び不明点ｍ＊に対応付けられる。
【００６６】
表Ｉでは、不明点ｍ＊と予測確率分布Ｐ１の組み合わせが選択される。この結果、表Ｊに示すように、観測点ｍ３と予測確率分布Ｐ４の組み合わせが選択される。この場合、最終的に、予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４は、それぞれ、不明点ｍ＊及び観測点ｍ１、ｍ２、ｍ３に対応付けられる。
【００６７】
表Ｆでは、不明点ｍ＊と予測確率分布Ｐ３の組み合わせが選択される。この場合、選択された十字範囲は、以後、無視され、表Ｇに示すように、新たな空白を含む十字範囲が選択される。表Ｇでは、観測点ｍ３と予測確率分布Ｐ４の組み合わせが選択される。この結果、表Ｈに示すように、観測点ｍ２と予測確率分布Ｐ１の組み合わせが選択される。この場合、最終的に、予測確率分布Ｐ１、Ｐ２、Ｐ３、Ｐ４は、それぞれ、観測点ｍ２、ｍ１、不明点ｍ＊、及び観測点ｍ３に対応付けられる。
【００６８】
第１探索手法では、上述のように、レ点の数が少ない十字範囲から順に、リンク関数に基づき構造上の成立性が評価される。これにより、効率的な探索手法を実現できる。例えば、図１３に示す例では、表Ｃの方が、表Ｆよりも先に評価される。この場合、表Ｃに従って、観測点ｍ２と予測確率分布Ｐ３の組み合わせが選択された際に、上述のように、リンク関数に基づいて、かかる割当て（組み合わせ）が構造上成り立つか否かが判定される。そして、仮に、かかる割当て（組み合わせ）が構造上成り立たないと判定されると、表Ｄ以降と表Ｉ以降の評価が不要となる。即ち、この場合、４つの表に係る評価が不要となる。他方、仮に、表Ｆが表Ｃよりも先に評価される場合であって、リンク関数に基づき、表Ｆにしたがう割当て（組み合わせ）が構造上成り立たないと判定された場合、評価が不要となる表の数は最大で２つである。このように、レ点の数が少ない十字範囲から順に、リンク関数に基づき構造上の成立性を評価することで、リンク関数に基づき構造上成り立たないと判定された場合に以後の評価が不要となる組合せの数が多くなることが分かる。即ち、レ点の数が少ない十字範囲から順に、リンク関数に基づき構造上の成立性を評価することで、バックトラックによる探索ノードの削減数が増加する。従って、第１探索手法によれば、リンク関数に基づき構造上成り立つと判定される組み合わせを探索できるまでの評価回数を低減できる可能性が高くなる。この結果、処理負荷を低減できる可能性を高めることができる。
【００６９】
第２探索手法は、上述した第１探索手法に対して、以下のルールを追加的に適用する点が異なる。具体的には、「既に割当てが完了している予測確率分布に係るラベル（関節）に直接的にリンクしていない関節に係る予測確率分布を、その時点での選択対象から外す」、というルールが追加的に適用される。従って、探索処理は、探索木における一の探索ノードから複数の探索ノードへの分岐する際、リンク関数に基づく妥当性の評価済みの組み合わせに係る予測確率分布に対応付けられる関節に直接リンクしない関節に係る探索ノードへは進まない態様で実行される。尚、予測確率分布に対応付けられる関節とは、予測確率分布に対応付けられるラベルに係る関節である。
【００７０】
尚、本ルールは、割当完了済みの予測確率分布が全くない場合は適用されない。但し、本ルールは、以下の例外規定に基づいて適用される。例外規定として、観測点が唯一の予測確率分布に割当てられている場合、及び、予測確率分布が唯一の観測点に割当てられている場合、のうちのいずれかである場合、当該観測点が当該予測確率分布に自動的に対応付けられる。
【００７１】
図１４及び図１５は、第２探索手法の説明図である。図１４に示す表１４０１、１４０２の基本的な見方は、図１３と同様である。図１５は、第２探索手法に係るルールの説明のために、関節モデルを示す図である。図１５において、１５０１は、表１４０１に対応する状態を示し、１５０２は、表１４０２に対応する状態を示す。
【００７２】
図１４は、図１３で示した表Ｂの状態に対応する。即ち、第２探索手法においても、第１探索手法に従って、最小レ点数の十字範囲として、観測点ｍ１に係る列と予測確率分布Ｐ２に係る行で規定される十字範囲が選択されている。そして、上記の例外規定に従って、観測点ｍ１は予測確率分布Ｐ２に対してのみ整合するので、観測点ｍ１は予測確率分布Ｐ２に自動的に割り当てられる。この結果、図１４に取り消し線１４１０で模式的に示すように、当該最小レ点数の十字範囲は、以後、無視される。この場合、既に割当てが完了している予測確率分布に係るラベル（関節）は、図１５に１５０１内の囲みＴ１に示すように、例えば首であるとする。従って、第２探索手法に係るルールに従い、首に直接的にリンクしていない関節に係る予測確率分布が、その時点での選択対象から外される。首に直接的にリンクしていない関節に係る予測確率分布は、右手のラベルに対応付けれられた予測確率分布（図１５では、予測確率分布Ｐ３）である。従って、図１４に取り消し線１４１２で模式的に示すように、予測確率分布Ｐ３に係る組合せは、その時点での選択対象から外される。この結果、図１４にて表１４０２及び図１５にて囲みＴ２に示すように、観測点ｍ２と予測確率分布Ｐ４（首に直接的にリンクしている左肩のラベルに係る予測確率分布）の組み合わせが先に選択される。
【００７３】
第２探索手法によれば、上記の第１探索手法による効果に加えて、リンク関数に基づき構造上の成立性が評価される２つのラベルを、割当完了済みの予測確率分布に係るラベルと、該ラベルに係る関節に直接リンクする関節に係るラベルに限定できる。リンク関数による評価は、リンクの長さを考慮するので、直接リンクする関節間で実効的に機能する。従って、第２探索手法によれば、実効的でないリンク関数による評価回数を低減できる可能性が高くなることで、処理負荷を低減できる可能性を高めることができる。また、リンク関数に基づき成立性が否定される可能性を極力排除することで、バックトラックによる探索ノード削減の可能性を高めることができる。
【００７４】
グループ間整合性チェック部１４４は、フレーム周期ごとに、観測点割当部１４２による観測点割当処理結果に基づいて、グループ間整合性チェック処理を行う。グループ間整合性チェック処理は、リンク関数に基づいて、グループごとの割当結果が、グループ間でも妥当であるか否かを判定する処理である。具体的には、グループ間整合性チェック部１４４は、観測点割当部１４２による観測点割当処理結果をリンク関数に適用することで、グループ間でも構造上可能かどうか（即ち構造上成り立つか否か）をチェックする。グループ間整合性チェック部１４４は、グループ間で構造上可能でないと判定した場合は、割り当て失敗とする。割り当て失敗となった場合、グループ間整合性チェック部１４４は、予測確率分布補正部１４６を介して予測確率分布を補正した上で、予測分布グループ化部１４１による予測分布グループ化処理及び観測点割当部１４２による観測点割当処理を再度実行させる。
【００７５】
例えば、グループ間整合性チェック部１４４は、前出の図８に示す割当結果（グループｇ１に係る割当結果）と、前出の図１１に示す割当結果（グループｇ２に係る割当結果）とに基づいて、グループ間整合性チェック処理を行う。図１６は、グループｇ１とグループｇ２との間のグループ間整合性チェック処理の説明図である。図１６では、例えば、グループ間整合性チェック部１４４は、グループｇ１に属する各組（対応付けられた観測点とラベルの各組）と、グループｇ２に属する各組（対応付けられた観測点とラベルの各組）とに基づいて、全ての通り組み合わせを評価する。即ち、グループ間整合性チェック部１４４は、グループｇ１に属する組とグループｇ２に属する組とを引数として、リンク関数に基づき構造上の成立性を評価する。そして、１つでも構造上成り立たないと判定される組み合わせがあれば、割り当て失敗とする。或いは、グループ間整合性チェック部１４４は、グループｇ１に属する各組と、グループｇ２に属する各組との全通りの組み合わせのうち、直接リンクする関係にある関節同士の組合せについてのみ評価してもよい。
【００７６】
予測確率分布補正部１４６は、予測確率分布Ｐｉの分散Σｔｉを拡張する（即ち分散Σｔｉを大きくする）予測確率分布補正処理を行う。予測確率分布補正部１４６は、予測確率分布補正部１４６が予測確率分布Ｐｉの分散Σｔｉを拡張すると、予測分布グループ化部１４１による予測分布グループ化処理及び観測点割当部１４２による観測点割当処理が再度実行される。
【００７７】
図１７は、予測確率分布補正処理の説明図である。図１７では、一例として、あるグループｇ１に属する観測点と同グループｇ１に属する予測確率分布が示される。図１７では、横軸に位置を概念的に示し、縦軸に確率分布を概念的に示す。
【００７８】
図１７では、グループｇ１として、３種類のグループｇ１-１、ｇ１-２、ｇ１-３が示される。グループｇ１-２は、グループｇ１-１に対して予測確率分布補正処理を行った場合を示し、グループｇ１-３は、グループｇ１-２に対して予測確率分布補正処理を更に行った場合を示す。
【００７９】
グループｇ１-１で割り当て失敗となると、予測確率分布補正処理が実行される結果として（図１７のＲ１７０参照）、グループｇ１-２が得られる。グループｇ１-２では、グループｇ１-１のときと異なり、例えば観測点ｍ１が予測確率分布Ｐ２と整合する。この結果、探索範囲が広がり（即ち、対応付けが可能な予測確率分布と観測点との組み合わせの数が増加し）、割り当て失敗を回避できる可能性が高くなる。また、同様に、グループｇ１-２で割り当て失敗となると、予測確率分布補正処理が実行される結果として（図１７のＲ１７１参照）、グループｇ１-３が得られる。グループｇ１-３では、グループｇ１-２のときと異なり、予測確率分布Ｐ１、Ｐ２、Ｐ３以外の予測確率分布Ｐ４、Ｐ５がグループに加わっている。即ち、グループ間が結合（マージ）される。この結果、探索範囲が更に広がり、割り当て失敗を回避できる可能性が更に高くなる。但し、探索範囲が広がるほど、計算負荷が高くなりやすいため、予測確率分布補正処理は、好ましくは、割り当て失敗が発生した場合のみ実行される。換言すると、本実施例によれば、予測分布グループ化部１４１による予測分布グループ化処理を行うことで、割り当て失敗となる可能性を最小限に留めつつ、計算負荷を低減できる。
【００８０】
尤度評価部１４８は、観測点割当処理で得られる割当候補が複数ある場合に、尤度評価処理を行うことで、尤度関数が最大となる候補を選択する。尚、割当候補は、グループ間整合性チェック処理を経た候補であり、従って、リンク関数に基づき構造上の成立性が確認されている候補である。
【００８１】
例えば、予測確率分布Ｐを用いる場合、尤度評価部１４８は、次の通り、候補Ｎｃを選択してもよい。
【００８２】
【数４】
2019008726.tif 000006
ここで、ｎは、複数候補を表す変数であり、Ｓは全てのラベルの集合であり、ｍｌｎをｎ番目の候補に係るラベルｌに割り当てられた観測点である。また、Ｐｌは、ラベルｌに係る予測確率分布である。
【００８３】
或いは、マーカとラベルの組合せに対して尤もらしさが定義されている場合は、それを用いて候補の選択を行うこともできる。例えば、別の観測情報ｙｙ＝｛ｙｙｋ｝（例えば画像センサや、距離画像センサに基づく観測情報）が得られ、各ラベルと各座標点のセットｓ＝｛ｓｌ｝により観測情報を取得するメカニズムｈが使用可能である場合、観測情報は以下のとおりである。
【００８４】
【数５】
2019008726.tif 000007
ここで、ξｓはパラメータであり、εｓ〜ｐ（εｓ）で誤差分布を表す。この場合、条件付き確率であるｐ（ｍｌｎ｜ｙｙ）を尤度関数として用いることができる。即ち、尤度評価部１４８は、次の通り、候補Ｎｃを選択してもよい。
【００８５】
【数６】
2019008726.tif 000008
メカニズムｈとしては、距離画像センサで得られる対象者Ｓの点群データを円筒などの幾何モデルにフィッティングして、各ラベルに対応する対象者Ｓの関節位置を割り出すアルゴリズムなどがある。
【００８６】
ところで、現状のモーションキャプチャは一般に、物体動作分析や形状変位の計測機器として光学式モーションキャプチャが広く用いられる。対象物の部位に貼付した計測点（反射マーカ）を計測空間周囲へ配置したカメラにて撮像を行い、計測点の変位を調べることで物体形状や動作分析を行う。その際、各マーカが対象物のどの部位に該当するのか、自動的にラベリングを行う機能が備わっているモーションキャプチャシステムが多い。
【００８７】
しかし、工場作業によってはマーカが装置や作業台、作業者の体に隠れてしまったり、ノイズにより正確なマーカ位置を算出できない場合があり、現実には、データ取得後に手作業にてマーカのラベリングを修正することが行われる。この際、編集者がデータをビューワーでチェックしながら、経験や勘に従ってラベリングのおかしいものについて修正を行う。この作業は非常に時間がかかるため、例えば１キャプチャデータ（30fps/90秒程度）あたり5〜6時間ほど時間を要している。
【００８８】
このように、現状の自動ラベリングでは、精度に問題があり、間違いをポスト処理にて編集者の経験や勘を元に修正している。手作業で修正するため編集者の拘束時間が非常に長くなるという問題がある。
【００８９】
この点、本実施例によれば、現状のモーションキャプチャで生じる上述の問題を少なくとも部分的に解消することが可能である。
【００９０】
具体的には、本実施例によれば、上述のように、ラベル情報生成部１４０が備わり、ラベル情報生成部１４０は、ラベル情報を自動的に生成する。ラベル情報は、自動ラベリングで得られる情報と同じ属性であるが、精度が異なる。即ち、ラベル情報生成部１４０により生成されるラベル情報は、上述のように、予測確率分布と観測点との関係や、リンク関数に基づいて生成されるので、精度が良好となる。例えば、自動的なラベリングでは、対象者の骨格情報に整合しないラべリング結果が得られる場合があるが、本実施例によれば、リンク関数に基づいて、対象者の骨格情報に整合しないラベル情報が導出される可能性を低減できる。
【００９１】
また、本実施例によれば、予測確率分布と観測点との関係に応じて観測点割当処理が実行されるので、微小時間あたりの対象者Ｓの動きが微小変化である点（即ち微小時間後の位置が予測できる点）を利用してラベル情報の精度を高めることができる。
【００９２】
この結果、本実施例によれば、ラベル情報の精度が高くなることで、ラベル情報の修正のための作業（モーションキャプチャにおけるポスト処理）の簡略化を図ることが可能である。
【００９３】
尚、上述では、予測確率分布は１次元で説明されているが、以下の通り三次元に拡張することができる。具体的には、多次元正規分布を仮定した場合、ラベルｌに係る予測確率分布ｐｌを以下の通り表す。
【００９４】
【数７】
2019008726.tif 000009
ここで、Σｓは、共分散行列であり、ｍｌは、ラベルｌに係る観測点である。このとき、ラベルｌに係る予測確率分布のａσｌ範囲内に存在するかの判定はマハラノビス距離ＤＭを用いることができる。σｌは、標準偏差であり、ａは定数であり、例えば±３である。マハラノビス距離ＤＭは、以下のとおりである。
【００９５】
【数８】
2019008726.tif 000010
このとき、ＤＭ≦ａの場合は、予測確率分布ｐｌのａσｌ範囲内に存在すると定義する。即ち、ＤＭ≦ａとなる観測点ｍｉは、予測確率分布ｐｌに整合すると判定される。尚、二つの予測確率分布のａσ境界での交わり（重複）の判定は、以下のマハラノビス距離ＤＭを用いることができる。
【００９６】
【数９】
2019008726.tif 000011
尚、Σｓ、μは、予測確率分布ｐｌごとに（ラベルごとに）異なる。例えばあるラベルのΣｓ、μをΣｓ１、μ１とし、あるラベルのΣｓ、μをΣｓ２、μ２としたとき、ＤＭ（ｘｘ、μ１、Σｓ１）＝ａとＤＭ（ｘｘ、μ２、Σｓ２）＝ａがｘｘについて同一の解を持つか否かが判定される。ＤＭ（ｘｘｉ、μ１、Σｓ１）＝ａとＤＭ（ｘｘｊ、μ２、Σｓ２）＝ａがｘｘについて同一の解を持つ場合は、当該２つのラベルに係る予測確率分布が同一グループとしてグループ化されてよい。但し、共分散行列が等方性を有する場合は、以下のとおりである。
【００９７】
【数１０】
2019008726.tif 000012
ここで、Ｉは、単位行列である。尚、ここでは、３次元への拡張について説明したが、３次元以外にも２次元にも同様に拡張できる。
【００９８】
次に、図１８及び図１９を参照して、対象物認識装置１００の動作例について説明する。
【００９９】
図１８は、対象物認識装置１００による対象物認識処理の一例を示す概略フローチャートである。
【０１００】
ステップＳ１８００では、データ入力部１１０は、処理対象となるＮｆフレーム分の計測データを、計測データ記憶部１５２から読み出す。処理対象となるＮｆフレーム分の計測データは、例えばユーザから指定されてもよい。フレームの数Ｎｆは、任意である。
【０１０１】
ステップＳ１８０２では、リンク関数取得部１３０は、今回の処理対象となる計測データに係る対象者Ｓに対応するリンク関数を取得する。尚、リンク関数が１種類だけ用意されている場合は、リンク関数取得部１３０は、当該リンク関数を取得する。リンク関数は、外部から取得されてもよいし、対象物認識装置１００内に保存されているものが取得されてもよい。
【０１０２】
ステップＳ１８０４では、ラベル情報生成部１４０は、ｋ１＝１に設定する。ｋ１は、フレームを管理するパラメータである。
【０１０３】
ステップＳ１８０６では、マーカ位置情報取得部１１２は、ｋ１番目のフレームに係る計測データに基づいて、各マーカＭの位置情報（観測点）を取得する。尚、この段階では、各マーカＭの位置情報は、どの位置情報がどのマーカＭに対応するかは未確定である。
【０１０４】
ステップＳ１８０８では、予測確率分布導出部１２０は、マーカＭごとに（即ちラベルごとに）、ｋ１−１番目のフレームに係るラベル情報に基づいて、ｋ１番目のフレームに係る予測確率分布を導出する。尚、ｋ１＝１の場合など、直前のフレームに係るラベル情報を利用できない場合等は、予測確率分布導出部１２０は、所定の予測確率分布を導出してよい。
【０１０５】
ステップＳ１８１０では、予測分布グループ化部１４１は、ステップＳ１８０８で得た予測確率分布に基づいて、予測分布グループ化処理を行う。予測分布グループ化処理は、上述のとおりである。ここでは、予測分布グループ化処理の結果としてＮｇ（≧１）個のグループが得られるものとする。
【０１０６】
ステップＳ１８１２では、ラベル情報生成部１４０は、ｋ２＝１に設定する。ｋ２は、グループを管理するパラメータである。
【０１０７】
ステップＳ１８１４では、観測点割当部１４２は、ステップＳ１８０２で得たリンク関数と、ステップＳ１８０６で得た観測点と、ステップＳ１８０８で得た予測確率分布と、ｋ２番目のグループに対して観測点割当処理を行う。観測点割当処理は、上述のとおりであるが、一例は図１９を参照して後述する。
【０１０８】
ステップＳ１８１６では、ラベル情報生成部１４０は、観測点割当処理の結果が割り当て失敗であるか否かを判定する。図１８では、一例として、予測確率分布補正部１４６は、後述の割当失敗フラグの状態（“１”又は“０”）に基づいて、観測点割当処理の結果が割り当て失敗であるか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１８１８に進み、それ以外の場合は、ステップＳ１８２０に進む。
【０１０９】
ステップＳ１８１８では、予測確率分布補正部１４６は、予測確率分布補正処理を行う。予測確率分布補正処理は、上述のとおりであり、ステップＳ１８０８で得た予測確率分布（又はその後に予測確率分布補正処理を受けた予測確率分布）の分散Σを拡張することを伴う。
【０１１０】
ステップＳ１８２０では、ラベル情報生成部１４０は、ｋ２＝Ｎｇであるか否かを判定する。即ち、ラベル情報生成部１４０は、Ｎｇ個の全てのグループに対して観測点割当処理が完了したか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１８２４に進み、それ以外の場合は、ステップＳ１８２２を介して、ステップＳ１８１４に戻る。
【０１１１】
ステップＳ１８２２では、ラベル情報生成部１４０は、ｋ２を“１”だけインクリメントする。
【０１１２】
ステップＳ１８２４では、グループ間整合性チェック部１４４は、ステップＳ１８０２で得たリンク関数と、ステップＳ１８１４で得たＮｇ個のグループに係る観測点割当処理の結果とに基づいて、グループ間整合性チェック処理を行う。グループ間整合性チェック部１４４は、Ｎｇ個のグループ間でグループ間整合性チェック処理を行ってよい。グループ間整合性チェック処理は、上述のとおりである。尚、Ｎｇ＝１の場合は、ステップＳ１８２４及びステップＳ１８２６をスキップしてステップＳ１８２８に進んでよい。
【０１１３】
ステップＳ１８２６では、グループ間整合性チェック部１４４は、グループ間整合性チェック処理の結果が割り当て失敗であるか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１８１８に進み、それ以外の場合は、ステップＳ１８２８に進む。
【０１１４】
ステップＳ１８２８では、尤度評価部１４８は、ステップＳ１８２６で割り当て成功となった割当候補が複数ある場合は、尤度評価処理を行うことで、尤度関数が最大となる候補を選択する。尤度評価処理は、上述のとおりである。
【０１１５】
ステップＳ１８３０では、ラベル情報生成部１４０は、ｋ１＝Ｎｆであるか否かを判定する。即ち、ラベル情報生成部１４０は、Ｎｆフレーム分の計測データの全てを処理したか否かを判定する。判定結果が“ＹＥＳ”の場合は、終了し、それ以外の場合は、ステップＳ１８３２及びステップＳ１８３４を介して、ステップＳ１８０６に戻る。
【０１１６】
ステップＳ１８３２では、ラベル情報生成部１４０は、ｋ１番目のフレームに係るラベル情報（ステップＳ１８２６で割り当て成功となった割当候補に基づくラベル情報）をラベル情報記憶部１５０に記憶する。尚、このようにしてラベル情報記憶部１５０に記憶されるラベル情報は、次のフレームに係る予測確率分布の導出のために利用できる。
【０１１７】
ステップＳ１８３４では、ラベル情報生成部１４０は、ｋ１を“１”だけインクリメントする。
【０１１８】
図１９は、図１８の観測点割当処理（ステップＳ１８１４）の処理の一例を示す概略フローチャートである。
【０１１９】
ステップＳ１９００では、観測点割当部１４２は、ステップＳ１８０６で得た観測点のうちから、ｋ２番目のグループに属する１つ以上の予測確率分布と整合する観測点を抽出する。このようにして抽出される観測点は、ｋ２番目のグループに属する観測点となる。
【０１２０】
ステップＳ１９０１では、観測点割当部１４２は、ｋ２番目のグループに属する観測点の数が、ｋ２番目のグループに属する予測確率分布の数と一致するか否かを判定する。即ち、観測点割当部１４２は、ケース１（図６乃至図８参照）であるか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１９０２に進み、それ以外の場合は、ステップＳ１９０４に進む。
【０１２１】
ステップＳ１９０２では、観測点割当部１４２は、ｋ２番目のグループに属する観測点とｋ２番目のグループに属する１つ以上の予測確率分布との整合関係に基づいて、探索木を構築する。
【０１２２】
ステップＳ１９０４では、観測点割当部１４２は、ｋ２番目のグループに属する観測点の数が、ｋ２番目のグループに属する予測確率分布の数と一致せず、かつ、不一致（不足）を補う数の不明点が存在するか否かを判定する。即ち、観測点割当部１４２は、ケース２（図９乃至図１１参照）であるか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１９０６に進み、それ以外の場合は、ステップＳ１９０８に進む。
【０１２３】
ステップＳ１９０６では、観測点割当部１４２は、ｋ２番目のグループに属する観測点とｋ２番目のグループに属する１つ以上の予測確率分布との整合関係に基づいて、不明点の組み合わせを含む探索木（図１０参照）を構築する。
【０１２４】
ステップＳ１９０８では、観測点割当部１４２は、割当失敗フラグを“１”にセットして、終了する。割当失敗フラグが“１”であることは、割り当て失敗であることを表す。
【０１２５】
ステップＳ１９１０では、観測点割当部１４２は、ステップＳ１９０２又はステップＳ１９０４で構築した探索木における開始ノードを決定する。開始ノードは、例えば上述した第１探索手法及び第２探索手法に基づき決定されてよい。
【０１２６】
ステップＳ１９１２では、観測点割当部１４２は、現在の探索ノードから次の探索ノードに移り、当該２つの探索ノードに係る引数（リンク関数用の引数）を導出する。引数は、２つの探索ノードに係る観測点の座標と予測確率分布に対応付けられるラベルの組（計２組）である。
【０１２７】
ステップＳ１９１４では、観測点割当部１４２は、ステップＳ１９１２で得た引数に基づいて、リンク関数を用いて、割当てが構造上成り立つか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１９１６に進み、それ以外の場合は、ステップＳ１９１５に進む。
【０１２８】
ステップＳ１９１５では、観測点割当部１４２は、探索が完了したか否かを判定する。探索は、例えば、可能性のあるすべての組み合わせに対する評価が終了したときに完了する。判定結果が“ＹＥＳ”の場合は、ステップＳ１９２６に進み、それ以外の場合は、ステップＳ１９１６に進む。
【０１２９】
ステップＳ１９１６では、観測点割当部１４２は、バックトラックを行い、探索木の別の根ノードに戻り又は直近の分岐に係る探索ノードに移り、ステップＳ１９１２から再び探索を行う。
【０１３０】
ステップＳ１９１８では、観測点割当部１４２は、現在の探索ノードが、今回辿った探索ルートの最終の探索ノードであるか否かを判定する。最終の探索ノードとは、探索木の最も下側（探索木の根ノードから遠い側）のノード（葉ノード）である。判定結果が“ＹＥＳ”の場合は、ステップＳ１９２０に進み、それ以外の場合は、ステップＳ１９１９を介してステップＳ１９１２に戻る。
【０１３１】
ステップＳ１９１９では、観測点割当部１４２は、探索木における次の探索ノードを決定する。次の探索ノードは、例えば上述した第１探索手法及び第２探索手法に基づき決定されてよい。
【０１３２】
ステップＳ１９２０では、観測点割当部１４２は、探索木における今回辿った探索ルートに係る割当結果を、“割当候補”として記憶する。
【０１３３】
ステップＳ１９２２では、観測点割当部１４２は、ステップＳ１９１５と同様、探索が完了したか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１９２６に進み、それ以外の場合は、ステップＳ１９２４を介してステップＳ１９１２に戻る。
【０１３４】
ステップＳ１９２４では、観測点割当部１４２は、次の開始ノードを決定する。次の開始ノードは、例えば上述した第１探索手法及び第２探索手法に基づき決定されてよい。
【０１３５】
ステップＳ１９２６では、観測点割当部１４２は、１つ以上の割当候補が記憶されたか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１９２８に進み、それ以外の場合は、ステップＳ１９０８を介して終了する。
【０１３６】
ステップＳ１９２８では、観測点割当部１４２は、割当失敗フラグを“０”にセットして、終了する。割当失敗フラグが“０”であることは、割り当て成功であることを表す。
【０１３７】
図１８及び図１９に示す処理によれば、前回フレームで得られたラベル情報に基づく予測確率分布と、リンク関数とに基づいて、精度良く今回フレームに係るラベル情報を生成できる。
【０１３８】
尚、図１８及び図１９に示す処理は、計測データが得られた後に実行される非リアルタイム処理であるが、計測データが得られている間に実行されるリアルタイム処理として実現されてもよい。
【０１３９】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【０１４０】
例えば、上述した実施例では、マーカＭは、対象者Ｓの関節に係る部位に付与されているが、これに代えて又は加えて、対象者Ｓの関節以外の部位に付与されてもよい。
【０１４１】
例えば、上述した実施例では、リンク関数は、ラベルと位置情報（座標）の組について、２組を引数とし、該２組に係る対応関係が構造上可能かどうか（即ち構造上成り立つか否か）を返却する関数であるが、これに限られない。例えば、リンク関数は、３組以上を引数とし、該３組以上に係る対応関係が構造上可能かどうかを返却する関数であってもよい。
【０１４２】
なお、以上の実施例に関し、さらに以下の付記を開示する。
［付記１］
複数の関節を有する対象物上の複数のマーカをセンシングするセンサを用いる対象物認識方法であって、
前記センサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出することを含む、コンピュータにより実行される対象物認識方法。
［付記２］
前記複数のマーカが付与される前記対象物の各部位の相対関係の取り得る位置関係を規定するリンク関数を取得することを更に含み、
前記対応関係が前記制約を満たすか否かは、前記リンク関数に基づいて判定される、付記１に記載の対象物認識方法。
［付記３］
前記リンク関数は、前記位置情報と、該位置情報に対応付けられる一の前記マーカとの組について、２組以上を引数として、該２組以上の前記位置情報と前記マーカとの対応関係に関する妥当性を出力する、付記２に記載の対象物認識方法。
［付記４］
前記対応関係を導出することは、前記予測確率分布のそれぞれごとに、前記第２時点に係る前記位置情報のうちの、前記予測確率分布に対して所定条件を満たす前記位置情報を割り当てる割当処理を含む、付記２又は３に記載の対象物認識方法。
［付記５］
前記割当処理は、ある前記予測確率分布である着目予測確率分布に対して複数の前記位置情報が割り当て可能である場合に、前記着目予測確率分布に割り当て可能な複数の前記位置情報のうちの、前記制約を満たす前記対応関係を生む位置情報を探索する探索処理を含む、付記４に記載の対象物認識方法。
［付記６］
前記対応関係を導出することは、統計的に所定の近傍関係にある前記予測確率分布同士が同一のグループになる態様で前記予測確率分布をグループ化するグループ化処理を更に含み、
前記割当処理は、前記グループごとに実行される、付記５に記載の対象物認識方法。
［付記７］
前記対応関係を導出することは、前記予測確率分布を補正する補正処理を更に含み、
前記補正処理は、前記制約を満たす対応関係を導出できないグループが存在する場合に実行され、
前記グループ化処理及び前記割当処理は、前記補正処理の後に再度実行される、付記６に記載の対象物認識方法。
［付記８］
前記予測確率分布は、平均値と分散とを含み、
前記予測確率分布を補正することは、前記分散を大きくすることを含む、付記７に記載の対象物認識方法。
［付記９］
前記対応関係を導出することは、前記リンク関数に基づいて、前記グループごとの前記割当処理の結果について、前記グループ間で妥当性を評価するグループ間評価処理を更に含み、
前記補正処理は、前記グループ間評価処理の結果、前記グループごとの前記割当処理の結果が前記グループ間で妥当でないと判定された場合にも実行される、付記７又は８に記載の対象物認識方法。
［付記１０］
前記対応関係を導出することは、前記対応関係の複数の候補がある場合に、前記複数の候補から１つの候補を選択する選択処理を更に含む、付記９に記載の対象物認識方法。
［付記１１］
前記選択処理は、前記複数の候補のうちから、尤度関数が最大となる候補を選択することを含む、付記１０に記載の対象物認識方法。
［付記１２］
前記探索処理は、前記着目予測確率分布と該着目予測確率分布に割り当て可能な複数の前記位置情報との組み合わせを含む探索木を構築することを含む、付記６〜１１のうちのいずれか１項に記載の対象物認識方法。
［付記１３］
前記対応関係を導出することは、前記複数のマーカの少なくとも１つの位置情報が前記センサにより検出されないときに生じる欠測点を、前記複数のマーカのうちのいずれかのマーカに対応付けることを更に含み、
前記探索処理は、前記第２時点に係る前記位置情報の数が前記複数のマーカの数よりも少なく、かつ、一のグループに属する前記予測確率分布の数よりも、該一のグループに属する前記予測確率分布の少なくともいずれかに対して前記所定条件を満たす前記位置情報の数が少ない場合、前記欠測点が該一のグループに属する前記予測確率分布のいずれにも対応付け可能な組み合わせを含む前記探索木を構築する、付記１２に記載の対象物認識方法。
［付記１４］
前記探索処理は、前記探索木における探索ルート上の、あるノードにおいて、前記リンク関数に基づいて、該ノードに対応付けられた組み合わせであって、前記予測確率分布と前記位置情報との組み合わせの妥当性を評価することを含む、付記１３に記載の対象物認識方法。
［付記１５］
前記探索処理は、前記あるノードにおいて、前記組み合わせが妥当でないと評価した場合に、バックトラックを行う、付記１４に記載の対象物認識方法。
［付記１６］
前記探索処理は、前記探索木における一のノードから複数のノードへの分岐する際、前記複数のノードのうちの、より多くのノードが探索継続側に接続されるノードへ、先ず進む態様で実行される、付記１４又は１５に記載の対象物認識方法。
［付記１７］
前記探索処理は、前記探索木における一のノードから複数のノードへの分岐する際、前記複数のノードのうちの、前記妥当性の評価済みの前記組み合わせに係る前記予測確率分布に基づいて、該予測確率分布に係る前記対象物の部位にリンクしない部位に係るノードへは進まない態様で実行される、付記１４〜１６のうちのいずれか１項に記載の対象物認識方法。
［付記１８］
複数の関節を有する対象物上の複数のマーカをセンシングするセンサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出する、
処理をコンピュータに実行させる対象物認識プログラム。
［付記１９］
複数の関節を有する対象物上の複数のマーカをセンシングするセンサを用いる対象物認識装置であって、
前記センサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出する、
ように構成される処理装置を含む、対象物認識装置。
［付記２０］
複数の関節を有する対象物上の複数のマーカをセンシングするセンサと、
処理装置と含み、
前記処理装置は、
前記センサにより検出された前記マーカの位置情報を取得し、
第１時点での前記複数のマーカの各位置に基づいて、前記複数のマーカのそれぞれごとに、前記第１時点より後の第２時点における前記マーカの位置に関する予測確率分布を導出し、
前記第２時点に係る前記位置情報と、前記予測確率分布と、前記対象物の構造上の制約とに基づいて、前記第２時点に係る前記位置情報と、前記複数のマーカとの対応関係であって、前記制約を満たす対応関係を導出する、
ように構成される、対象物認識システム。
【符号の説明】
【０１４３】
１  対象物認識システム
２１  カメラ
１００  対象物認識装置
１１０  データ入力部
１１２  マーカ位置情報取得部
１２０  予測確率分布導出部
１３０  リンク関数取得部
１４０  ラベル情報生成部
１４１  予測分布グループ化部
１４２  観測点割当部
１４４  グループ間整合性チェック部
１４６  予測確率分布補正部
１４８  尤度評価部
１５０  ラベル情報記憶部
１５２  計測データ記憶部
【図１】
2019008726.tif 000013
【図２】
2019008726.tif 000014
【図３】
2019008726.tif 000015
【図４】
2019008726.tif 000016
【図５】
2019008726.tif 000017
【図６】
2019008726.tif 000018
【図７】
2019008726.tif 000019
【図８】
2019008726.tif 000020
【図９】
2019008726.tif 000021
【図１０】
2019008726.tif 000022
【図１１】
2019008726.tif 000023
【図１２】
2019008726.tif 000024
【図１３】
2019008726.tif 000025
【図１４】
2019008726.tif 000026
【図１５】
2019008726.tif 000027
【図１６】
2019008726.tif 000028
【図１７】
2019008726.tif 000029
【図１８】
2019008726.tif 000030
【図１９】
2019008726.tif 000031