(57)【特許請求の範囲】
【請求項１】
コンピュータに、
複数の対象の各々の状態を示す複数の種別のオブジェクトの各々で観測されたイベントを、該オブジェクトの種別毎に取得し、
前記イベントが取得されたいずれかの種別のオブジェクトと、該いずれかの種別のオブジェクトに対応することを仮想した他の種別の仮想オブジェクトとを含む異なる種別のオブジェクト間の組み合わせ毎に、該組み合わせに含まれるオブジェクトの各々が示す前記対象が同一である確からしさが高いほど大きくなる紐付度合いを算出し、
算出された紐付度合いに基づいて、異なる種別のオブジェクト間の紐付けの組合せを決定する
ことを含む処理を実行させるオブジェクト紐付方法。
【請求項２】
前記紐付度合いを、一方の種別のオブジェクトまたは仮想オブジェクトの各々を行に対応させ、他方の種別のオブジェクトまたは仮想オブジェクトの各々を列に対応させた正方行列の各要素の値として算出する請求項１記載のオブジェクト紐付方法。
【請求項３】
前記コンピュータに、
前記イベントが取得されなくなったオブジェクトに対応する行または列を前記正方行列から削除すると共に、該オブジェクトについての仮想オブジェクトに対応する列または行を前記正方行列から削除する
ことをさらに含む処理を実行させる請求項２記載のオブジェクト紐付方法。
【請求項４】
前記紐付度合いを、前記組み合わせに含まれるオブジェクトの各々が示す前記対象の各状態に対する確信度の各々のうち、最大の確信度とする請求項１〜請求項３のいずれか１項記載のオブジェクト紐付方法。
【請求項５】
取得されたいずれかの種別のオブジェクトで観測されたイベント、該イベントが取得された時点を含む所定のタイムウインドウ内で取得された他の種別のオブジェクトで観測されたイベント、及び予め定めた確率モデルに基づいて、前記確信度を算出する請求項４記載のオブジェクト紐付方法。
【請求項６】
前記タイムウインドウ内で、前記他の種別のオブジェクトで観測されたイベントが取得されていない場合には、イベントが無観測であることを示す無観測イベントを用いて、前記確信度を算出する請求項５記載のオブジェクト紐付方法。
【請求項７】
前記確率モデルとして、いずれかの種別のオブジェクトで観測されたイベントと、対応する他の種別のオブジェクトで観測されたイベントとの取得時間差に基づく時間差確率モデルを用いる請求項５または請求項６記載のオブジェクト紐付方法。
【請求項８】
前記時間差確率モデルは、前記タイムウインドウ内で、前記他の種別のオブジェクトで観測されたイベントが取得されていない場合には、前記取得時間差が、前記タイムウインドウ内で一様分布であるとした請求項７記載のオブジェクト紐付方法。
【請求項９】
前記時間差確率モデルは、前記いずれかの種別のオブジェクトで観測されたイベント、及び前記タイムウインドウ内で取得された他の種別のオブジェクトで観測されたイベントの各々について、前記対象の状態の遷移に応じて観測されるイベントの確率を含む請求項７または請求項８記載のオブジェクト紐付方法。
【請求項１０】
前記確率モデルとして、前記対象の状態の遷移に応じて観測されるイベントを確率的に推定する観測確率モデルであって、前記観測されるイベントとして、イベントが無観測であることを示す無観測イベントを含む観測確率モデルを用いる請求項５〜請求項９のいずれか１項記載のオブジェクト紐付方法。
【請求項１１】
前記紐付度合いの和が最大となる組み合わせを、前記異なる種別のオブジェクト間の紐付けの組合せとして決定する請求項１〜請求項１０のいずれか１項記載のオブジェクト紐付方法。
【請求項１２】
前記紐付度合いの和が最大となる組み合わせと、前記紐付度合いが２番目に大きい組み合わせとで、前記紐付度合いの和の差が所定値以上の場合に、前記紐付度合いの和が最大となる組み合わせを、前記異なる種別のオブジェクト間の紐付けの組み合わせとして決定する請求項１〜請求項１０のいずれか１項記載のオブジェクト紐付方法。
【請求項１３】
複数の対象の各々の状態を示す複数の種別のオブジェクトの各々で観測されたイベントを、該オブジェクトの種別毎に取得する取得部と、
前記取得部によりイベントが取得されたいずれかの種別のオブジェクトと、該いずれかの種別のオブジェクトに対応することを仮想した他の種別の仮想オブジェクトとを含む異なる種別のオブジェクト間の組み合わせ毎に、該組み合わせに含まれるオブジェクトの各々が示す前記対象が同一である確からしさが高いほど大きくなる紐付度合いを算出する算出部と、
前記算出部により算出された紐付度合いに基づいて、異なる種別のオブジェクト間の紐付けの組合せを決定する決定部と、
を含むオブジェクト紐付装置。
【請求項１４】
コンピュータに、
複数の対象の各々の状態を示す複数の種別のオブジェクトの各々で観測されたイベントを、該オブジェクトの種別毎に取得し、
前記イベントが取得されたいずれかの種別のオブジェクトと、該いずれかの種別のオブジェクトに対応することを仮想した他の種別の仮想オブジェクトとを含む異なる種別のオブジェクト間の組み合わせ毎に、該組み合わせに含まれるオブジェクトの各々が示す前記対象が同一である確からしさが高いほど大きくなる紐付度合いを算出し、
算出された紐付度合いに基づいて、異なる種別のオブジェクト間の紐付けの組合せを決定する
ことを含む処理を実行させるためのオブジェクト紐付プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、オブジェクト紐付方法、オブジェクト紐付装置、及びオブジェクト紐付プログラムに関する。
【背景技術】
【０００２】
ある場所（領域）に存在する個人を特定した情報は、マーケティング調査や、ユーザの嗜好やニーズに合わせたサービスを提供するために有用な情報となる。近年、情報通信インフラ、センサネットワークの発達、携帯端末の普及などに伴い、様々な方式で個人特定を行う技術が提案されている。
【０００３】
例えば、顔認識のような生体情報を利用して個人認識を行う技術が存在する。このような生体情報を利用した個人認識では、例えば、顔パターンなどの生体情報をユーザ毎に登録しておく必要がある。そのため、例えば、公共の場所などに存在する不特定のユーザを対象に個人を特定することは困難である。
【０００４】
そこで、携帯端末が普及している現在、周辺環境の状態を検知可能な環境側センサネットワークにより取得される情報と、個人が所持する携帯端末から取得される情報とを連携して、所定領域に存在する個人を特定する技術が提案されている。この技術によれば、顔パターンなどの生体情報を登録するなどの事前情報登録を行うことなく、特定された個人が保持する携帯端末に対して、特定のサービスを提供することができる。
【０００５】
例えば、カメラ画像中から抽出される特徴点を追跡して得られる加速度データと、携帯端末に内蔵された加速度センサから得られる加速度データとの相関に基づいて、カメラ視野内から加速度センサが存在する位置を推定する技術が提案されている。
【０００６】
また、カメラを用いたトラッキングシステムで得られた、環境に存在する全てのユーザの位置情報を定期的に携帯端末に送信する技術が提案されている。この技術では、携帯端末は、連続的に受信した位置情報から軌跡を生成し、シンボル化した列として保持すると共に、携帯端末に内蔵されたモーションセンサから得られたデータから、ユーザの歩行状態を連続的に推定し、時系列に保持する。そして、軌跡と歩行状態とを照合し、全ての軌跡から携帯端末のユーザ自身の軌跡を特定する。
【０００７】
また、カメラ画像上の移動物体の動作変化と、移動物体に装着した加速度センサから得られた動作変化とをマッチングすることで、カメラ画像上の移動物体を同定する技術が提案されている。
【０００８】
また、ビデオカメラ映像と加速度センサデータとの統合により、被写体の３次元位置データを求める手法が提案されている。この手法では、複数センサのデータ統合に積分や微分を行わず、センサにより得られた加速度と、カメラ画像のフレーム間差分から得られた速度を照合し、被写体のＩＤを照合する。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】槇優一、鏡慎吾、橋本浩一、「画像特徴点運動に基づくカメラ視野内の加速度センサの位置推定と追跡」、計測自動制御学会東北支部  第２６４回研究集会、２０１１年３月
【非特許文献２】岩本健嗣、小林亜令、西山智、「軌跡情報とモーションセンサ情報による位置トラッキング手法の設計と実装」、情報処理学会論文誌  Ｖｏｌ．５０、Ｎｏ．４、ｐ．１２２５−１２３７、２００９年４月
【非特許文献３】丸橋尚佳、寺田努、塚本昌彦、「カメラと加速度センサを用いた複数移動物体の同定手法」、情報処理学会研究会、２０１０年
【非特許文献４】河合純、田島潤一、金田重郎、新谷公朗、江守貞治、芳賀博英、「ビデオ画像とセンサ情報の統合に基づいた位置検出手法」、情報処理学会研究報告、２０１２年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、従来技術の手法では、カメラ画像から携帯端末を保持していない人が抽出された場合や、携帯端末を保持している人がカメラ画像から抽出できなかった場合などに、カメラ画像上の人と携帯端末との紐付け精度が低下する、という問題がある。
【００１１】
開示の技術は、一つの側面として、異なる種別のオブジェクト間の紐付け精度を向上させることを目的とする。
【課題を解決するための手段】
【００１２】
開示の技術は、一つの態様として、複数の対象の各々の状態を示す複数の種別のオブジェクトの各々で観測されたイベントを、該オブジェクトの種別毎に取得する。そして、前記イベントが取得されたいずれかの種別のオブジェクトと、該いずれかの種別のオブジェクトに対応することを仮想した他の種別の仮想オブジェクトとを含む異なる種別のオブジェクト間の組み合わせ毎に、紐付度合いを算出する。紐付度合いは、該組み合わせに含まれるオブジェクトの各々が示す前記対象が同一である確からしさが高いほど大きくなる値である。さらに、算出された紐付度合いに基づいて、異なる種別のオブジェクト間の紐付けの組合せを決定する。
【発明の効果】
【００１３】
開示の技術は、一つの側面として、異なる種別のオブジェクト間の紐付け精度を向上させることができる、という効果を有する。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の概要を説明するための図である。
【図２】オブジェクト紐付システムの機能ブロック図である。
【図３】イベント履歴データベース（ＤＢ）の一例を示す図である。
【図４】退場リストの一例を示す図である。
【図５】状態イベントの仮紐付けパターンの抽出を説明するための図である。
【図６】確信度行列の一例を示す図である。
【図７】確信度行列の生成を説明するための図である。
【図８】確信度行列の形状の更新を説明するための図である。
【図９】確信度の更新対象の要素を説明するための図である。
【図１０】状態遷移確率モデルの一例を示す図である。
【図１１】観測確率モデルの概念図である。
【図１２】観測確率モデルの一例を示す図である。
【図１３】イベント到来時間を説明するための図である。
【図１４】イベント到来時間差を説明するための図である。
【図１５】到来時間差確率モデルの一例を示す図である。
【図１６】紐付けスコア行列の生成を説明するための図である。
【図１７】退場リストに基づく確信度行列の行及び列の削除を説明するための図である。
【図１８】退場リストに基づく確信度行列の行及び列の削除を説明するための図である。
【図１９】オブジェクト紐付装置として機能するコンピュータの概略構成を示すブロック図である。
【図２０】オブジェクト紐付処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。本実施形態では、図１に示すように、所定領域に存在する携帯端末３０を保持した人３１をカメラ３６で撮影して追跡した動線の各々に、携帯端末３０の識別情報を紐付ける場合について説明する。詳細は後述するが、動線とは、カメラ画像上で追跡された人３１の軌跡である。なお、動線及び携帯端末３０は、開示の技術の「オブジェクト」の一例であり、人３１は、開示の技術の「対象」の一例である。
【００１６】
図２に示すように、オブジェクト紐付システム１００は、オブジェクト紐付装置１０と、複数の携帯端末３０と、アクセスポイント（ＡＰ）３２と、センサデータ処理装置３４と、カメラ３６と、人追跡装置３８とを含む。
【００１７】
携帯端末３０は、例えば、携帯電話、スマートフォン、タブレット等の装置である。また、携帯端末３０は、携帯端末３０を保持した人３１の状態を検知可能な慣性センサを備える。慣性センサは、例えば、加速度センサ、ジャイロセンサ等である。
【００１８】
ＡＰ３２は、携帯端末３０を保持した人３１が所定領域に入場した際に、携帯端末３０が接続する無線ＬＡＮアクセスポイントである。ＡＰ３２は、携帯端末３０と後述するセンサデータ処理装置３４との通信を中継する。従って、ＡＰ３２に対する携帯端末３０の接続状態に基づいて、携帯端末３０を保持した人３１の所定領域に対する入退場を認識することができる。
【００１９】
センサデータ処理装置３４は、ＡＰ３２を介して、携帯端末３０から、携帯端末３０の識別情報（以下、「端末ＩＤ」という）、及び携帯端末３０が備える慣性センサにより検知されたセンサデータを取得する。
【００２０】
センサデータ処理装置３４は、取得したセンサデータに基づいて、携帯端末３０を保持した人３１の状態を示す状態イベントを発生させる。本実施形態では、人３１の状態として、その人３１が移動中であることを表す「移動」と、停止中であることを表す「停止」の２つを扱う。センサデータ処理装置３４は、例えば、センサデータが所定値以上の場合には「移動」、センサデータが所定値以下の場合には「停止」を観測する。そして、センサデータ処理装置３４は、観測した状態が「停止」から「移動」に、または「移動」から「停止」に変化した際に「状態イベント」を発生させる。例えば、「停止」から「移動」に遷移した場合には、状態イベント＝１、「移動」から「停止」に遷移した場合には、状態イベント＝０とすることができる。そして、センサデータ処理装置３４は、発生させた状態イベントを、対応する携帯端末３０の端末ＩＤと共に、オブジェクト紐付装置１０へ送信する。
【００２１】
また、センサデータ処理装置３４は、携帯端末３０からのＡＰ３２に対する接続が切れた際に、携帯端末３０を保持した人３１が所定領域を退場したことを示す「退場イベント」を発生させ、端末ＩＤと共に、オブジェクト紐付装置１０へ送信する。
【００２２】
カメラ３６は、ＡＰ３２により携帯端末３０を保持した人３１の入退場を認識可能な所定領域と同等の所定領域を撮影し、撮影したカメラ画像を出力する。
【００２３】
人追跡装置３８は、カメラ３６から出力されたカメラ画像を取得し、カメラ画像の各フレームから人３１を示す領域（特徴点集合）を検出してカメラ画像上の位置情報を取得し、フレーム間で特徴点を対応付けながら、カメラ画像上の人３１を追跡する。フレーム毎に検出した各人３１を示す領域のカメラ画像上の位置情報を時系列に並べた軌跡を「動線」という。なお、カメラ画像を用いた人３１の追跡は、従来既知の手法を用いることができるため、ここでは詳細な説明は省略する。人追跡装置３８は、カメラ画像上に追跡対象となる人３１を示す領域が新たに出現した場合に、その領域を追跡して得られる動線に対して、識別情報である動線ＩＤを付与する。
【００２４】
また、人追跡装置３８は、人３１の追跡結果である動線に基づいて、その動線に対応する人３１の状態を示す状態イベントを発生させる。状態は、上記と同様、「移動」及び「停止」の２つである。人追跡装置３８は、例えば、動線の変化量、すなわち、カメラ画像の各フレームにおける位置情報の変化量が所定値以上の場合には「移動」、動線の変化量が所定値以下の場合には「停止」を観測する。人追跡装置３８は、認識した状態が「停止」から「移動」に、または「移動」から「停止」に変化した際に「状態イベント」を発生させる。例えば、「停止」から「移動」に変化した場合には、状態イベント＝１、「移動」から「停止」に変化した場合には、状態イベント＝０とすることができる。そして、人追跡装置３８は、発生させた状態イベントを、対応する動線の動線ＩＤと共に、オブジェクト紐付装置１０へ送信する。
【００２５】
さらに、人追跡装置３８は、カメラ画像上における人３１を示す領域を追跡できなくなった際に、追跡できなくなった動線に対応する人３１が所定領域を退場したことを示す「退場イベント」を発生させ、動線ＩＤと共に、オブジェクト紐付装置１０へ送信する。
【００２６】
オブジェクト紐付装置１０は、図２に示すように、機能部として、取得部１１と、算出部１２と、決定部１３とを含む。また、オブジェクト紐付装置１０の所定の記憶領域には、イベント履歴データベース（ＤＢ）２１と、退場リスト２２と、確率モデルＤＢ２３と、確信度行列ＤＢ２４とが記憶される。
【００２７】
取得部１１は、センサデータ処理装置３４及び人追跡装置３８の各々から送信された状態イベント及び退場イベントを取得する。取得部１１は、取得した状態イベントを、その状態イベントが観測されたオブジェクトの種別毎に、イベント履歴ＤＢ２１に記憶する。
【００２８】
図３に、イベント履歴ＤＢ２１の一例を示す。本実施形態では、携帯端末３０、及び動線の２つの種別のオブジェクトを扱う。そこで、図３に示すように、イベント履歴ＤＢ２１に、携帯端末３０用のイベント履歴テーブル２１Ａと、動線用のイベント履歴テーブル２１Ｂを含める。イベント履歴テーブル２１Ａ、２１Ｂには、状態イベントと共に取得した端末ＩＤまたは動線ＩＤ毎に、状態イベントの値が取得時刻に対応付けて記憶される。取得部１１は、新たな端末ＩＤまたは動線ＩＤと共に状態イベントを取得した場合には、イベント履歴テーブル２１Ａ、２１Ｂに行を追加する。また、イベント履歴テーブル２１Ａ、２１Ｂで保持する状態イベントの値は、一定時間内の履歴のみとし、一定時間を経過した取得時刻の列は削除する。
【００２９】
以下では、端末ＩＤまたは動線ＩＤが「ｘ」のオブジェクトから発生し、時刻ｔに取得部１１により取得された状態イベントを、「ｏｘ，ｔ」と表記し、説明に時刻ｔが必要ない場合には、「ｏｘ」と表記する。また、本実施形態では、端末ＩＤを、ｍ１、ｍ２、・・・、ｍｋとし、動線ＩＤを、ｈ１、ｈ２、・・・、ｈｋ’とする。
【００３０】
また、取得部１１は、センサデータ処理装置３４または人追跡装置３８から退場イベントを取得すると、例えば、図４に示すような退場リスト２２に、退場イベントと共に取得した端末ＩＤまたは動線ＩＤを記憶する。
【００３１】
算出部１２は、イベント履歴テーブル２１Ａ、２１Ｂを参照して、携帯端末３０から観測された状態イベント（以下、「携帯端末３０の状態イベント」という）と、動線から観測された状態イベント（以下、「動線の状態イベント」という）とを仮紐付けする。具体的には、算出部１２は、取得時刻ｔに携帯端末３０の状態イベントが取得されている場合には、取得時刻ｔのタイムウインドウ内で取得されている動線の状態イベントのうち、携帯端末３０の状態イベントと値が同じ状態イベントを抽出する。同様に、算出部１２は、取得時刻ｔに動線の状態イベントが取得されている場合には、取得時刻ｔのタイムウインドウ内で取得されている携帯端末３０の状態イベントのうち、動線の状態イベントと値が同じ状態イベントを抽出する。なお、取得時刻ｔのタイムウインドウとは、取得時刻ｔを含む所定期間であり、ここでは、取得時刻ｔから所定時間前までの期間とする。
【００３２】
例えば、図３に示すイベント履歴テーブル２１Ａ、２１Ｂを参照して、取得時刻ｔに取得された状態イベントについての仮紐付けを行う場合について説明する。なお、所得時刻ｔのタイムウインドウ（ＴＷ）を０＜ＴＷ≦ｔの期間とする。図３のイベント履歴テーブル２１Ａに示すように、取得時刻ｔにおいて、携帯端末３０の状態イベントｏｍ２，ｔ＝１及びｏｍｋ，ｔ＝０が取得されている。ｏｍ２，ｔ＝１の仮紐付対象の状態イベントとして、イベント履歴テーブル２１Ｂから、動線の状態イベントｏｈ１，ｊ＝１及びｏｈ２，ｔ＝１が抽出される。同様に、ｏｍｋ，ｔ＝０の仮紐付対象の状態イベントとして、イベント履歴テーブル２１Ｂから、動線の状態イベントｏｈ２，ｉ＝０及びｏｈｋ’，ｔ＝０が抽出される。
【００３３】
また、図３のイベント履歴テーブル２１Ｂに示すように、取得時刻ｔにおいて、動線の状態イベントｏｈ２，ｔ＝１及びｏｈｋ’，ｔ＝０が取得されている。ｏｈ２，ｔ＝１の仮紐付対象の状態イベントとして、イベント履歴テーブル２１Ａから、携帯端末３０の状態イベントｏｍ１，ｉ＝１及びｏｍ２，ｔ＝１が抽出される。同様に、ｏｈｋ’，ｔ＝０の仮紐付対象の状態イベントとして、イベント履歴テーブル２１Ａから、携帯端末３０の状態イベントｏｍ２，ｊ＝０及びｏｍｋ，ｔ＝０が抽出される。
【００３４】
この結果、図５に示すように、携帯端末３０の状態イベントと動線の状態イベントとの仮紐付けのパターンが抽出される。なお、重複するパターンについては、１つを残して削除する。また、一方の種別のオブジェクトの状態イベントと値が同じ他方の種別のオブジェクトの状態イベントがタイムウインドウ内に存在しない場合には、対応する状態イベントが無観測であることを示す「ｎｕｌｌ」イベントと仮紐付けする。
【００３５】
また、算出部１２は、仮紐付けされた状態イベントを観測したオブジェクト間の紐付けが正解であることの確からしさを示す紐付度合いを算出する。オブジェクト同士の紐付けが正解であるとは、各オブジェクト（携帯端末３０及び動線）に対応する人３１が同一であることである。各オブジェクトに対応する人３１が同一である確からしさが高いほど、紐付度合いも高くなる。本実施形態では、取得した状態イベント、仮紐付けした状態イベント、及び予め用意した確率モデルに基づいて、状態イベントが取得された際に、各オブジェクトに対応する人３１が各状態であることの確信度を算出する。この確信度を紐付度合いとして用いる。ここでは、各状態は「移動」または「停止」である。
【００３６】
具体的には、算出部１２は、図６に示すように、一方の種別のオブジェクトを行に、他方の種別のオブジェクトを列に対応させた正方行列を確信度行列とし、この確信度行列を状態の種類毎に作成し、確信度行列ＤＢ２４に記憶する。そして、算出部１２は、正方行列の各要素の値を、その要素に対応する行及び列のオブジェクトの組の紐付度合いである確信度として算出する。なお、図６において、ｓｔは、時刻ｔにおける人３１の状態の推定値であり、ｂｅｌ（ｓｔ＝ｘ）は、人３１の状態が「ｘ」である確信度である。また、ｓｔ＝１は状態「移動」を表し、ｓｔ＝０は状態「停止」を表す。また、図６において、「ｍ−１」の表記は、オブジェクトｈ１に対応することを仮想して生成した仮想オブジェクトである。仮想オブジェクトについては後述する。
【００３７】
ここで、まず、確信度行列の生成及び形状の更新について説明する。
【００３８】
具体的には、算出部１２は、初期設定として、状態毎の確信度行列を空にする。そして、例えば、ある時刻ｉで初めて状態イベントが取得され、仮紐付けのパターン｛ｏｈｋ’，ｉ，ｏｍｋ，ｉ｝が抽出されたとする。この場合、算出部１２は、図７上段の図に示すように、ｈｋ’を列、ｍｋを行とする１行１列の行列を生成する。行列の要素の値は初期値として、「１．０」とする。
【００３９】
ここで、所定領域に入場する人３１が、携帯端末３０を保持していない場合や、携帯端末３０に慣性センサが内蔵されていない場合などが想定される。また、所定領域に存在する人３１がカメラ３６の死角に入るなどして、カメラ画像上で動線が抽出されない場合もある。すなわち、携帯端末３０の状態イベントは観測されるが、対応する動線の状態イベントが観測されない、または、動線の状態イベントは観測されるが、対応する携帯端末３０の状態イベントが観測されない場合がある。このような場合に、観測された状態イベントに対応するオブジェクト同士のみで仮紐付けを行うと、正しい紐付けパターンを含まない仮紐付けパターンのみが抽出され、最終的な紐付け精度が低下する。
【００４０】
そこで、算出部１２は、図７中段の図に示すように、列に追加されたオブジェクトに対応することを仮想した仮想オブジェクトを行に追加する。同様に、図７下段の図に示すように、行に追加されたオブジェクトに対応することを仮想した仮想オブジェクトを列に追加する。このように、行及び列の双方に仮想オブジェクトを導入することにより、確信度行列を正方行列に保つ。確信度行列が正方行列であることで、一方の種別のオブジェクトと他方の種別のオブジェクトとを１対１で紐付けるという条件の拘束で、異なる種別のオブジェクト間を紐付けることができる。
【００４１】
また、確信度行列が空ではない状態で、ある時刻ｊで状態イベントが取得され、仮紐付けのパターン｛ｏｈ１，ｊ，ｏｍｋ，ｊ｝が抽出されたとする。この場合、算出部１２は、確信度行列に存在しない新たなオブジェクトが抽出されている場合には、そのオブジェクトの種別に応じて、行または列を追加する。ここでは、更新前の確信度行列が図７下段の図に示す状態であるとする。図８の左図に示すように、ｍｋは行に存在するが、ｈ１は列に存在しないため、算出部１２は、確信度行列に列ｈ１を追加する。また、算出部１２は、新たに追加したオブジェクトに対応する仮想オブジェクトも行または列に追加する。ここでは、図８の右図に示すように、算出部１２は、確信度行列に行ｍ−１を追加する。
【００４２】
次に、確信度行列の各要素の値、すなわち確信度の算出について説明する。算出部１２は、状態イベントが取得される都度、確信度を更新する。更新の対象となる確信度行列の要素は、仮紐付けパターンが｛ｏｈｋ’，ｏｍｋ｝の場合には、図９に示す確信度行列の「Ａ」で示す要素である。また、仮紐付けパターンが｛ｏｈｋ’，ｎｕｌｌ｝の場合には、図９に示す確信度行列の「Ａ」及び「Ｂ」で示す要素である。また、仮紐付けパターンが｛ｎｕｌｌ，ｏｍｋ｝の場合には、図９に示す確信度行列の「Ａ」及び「Ｃ」で示す要素である。
【００４３】
算出部１２は、取得された状態イベント、並びに確率モデルＤＢ２３に記憶された状態遷移確率モデル２３Ａ、観測確率モデル２３Ｂ、及び到来時間差確率モデル２３Ｃに基づいて、確信度ｂｅｌ（ｓｔ（ｎ））を算出する。具体的には、以下に示すように、ベイジアンフィルタを用いた状態推定により、確信度ｂｅｌ（ｓｔ（ｎ））を算出する。
【００４４】
まず、下記（１）式に示す予測式により、今回（ｎ）の予測状態ｓｔ（ｎ）￣に対する確信度ｂｅｌ（ｓｔ（ｎ）￣）を得る。（１）式の予測式は、前回（ｎ−１）状態イベントを取得した際に更新した確信度ｂｅｌ（ｓｔ（ｎ−１））に、状態遷移確率ｐ（ｓｔ（ｎ）｜ｓｔ（ｎ−１））を乗算して、確信度ｂｅｌ（ｓｔ（ｎ）￣）を予測するものである。なお、ｎは状態イベントの取得回数であり、ｔ（ｎ）はｎ回目の状態イベントの取得時刻である。また、ｓｔ（ｎ）￣は、数式内では、文字（「ｓｔ（ｎ）」）の上にオーバーライン（「￣」）を付して表記している。
【００４５】
【数１】
0006428277.tif 000002
【００４６】
また、今回取得（観測）した状態イベントを用いた更新式は、下記（２）式である。
【００４７】
【数２】
0006428277.tif 000003
【００４８】
（１）式に示す予測式を、（２）式に示す更新式に代入して統合した統合式を、下記（３）式に示す。
【００４９】
【数３】
0006428277.tif 000004
【００５０】
（３）式に示す統合式が、時刻ｔ（ｎ）における人３１の状態ｓｔ（ｎ）に対する確信度である。また、ηは正規化係数、ｐ（ｒ）は到来時間差確率モデル２３Ｃから得られる確率である。また、ｐ（ｏｈ（またはｍ）｜ｓｔ（ｎ−１）＝０（または１）→ｓｔ（ｎ））は、観測確率モデル２３Ｂから得られる確率であり、人３１の状態がｓｔ（ｎ−１）からｓｔ（ｎ）へ遷移したときに状態イベントｏｈ（またはｍ）が観測される確率である。また、ｐ（ｓｔ（ｎ）｜ｓｔ（ｎ−１）＝０（または１））は、状態遷移確率モデル２３Ａから得られる確率であり、人３１の状態がｓｔ（ｎ−１）からｓｔ（ｎ）へ遷移する確率である。また、ｂｅｌ（ｓｔ（ｎ−１）＝０（または１））は、前回更新した人３１の状態ｓｔ（ｎ−１）に対する確信度である。以下、確率モデルＤＢ２３に含まれる各確率モデルについて説明する。
【００５１】
まず、状態遷移確率モデル２３Ａについて説明する。算出部１２は人３１の現在の状態を直接観測することはできない。そこで、算出部１２は、オブジェクトの状態イベントに基づいて、現在の人３１の状態を推定する。本実施形態では、２つの状態（「移動」及び「停止」）を扱うため、図１０に示すように状態遷移をモデリングする。図１０の上図は、状態遷移確率モデル２３Ａの概念図であり、丸記号が状態、状態間の矢印が状態遷移を表す。矢印の始点側の状態が前回推定された状態ｓｔ（ｎ−１）であり、矢印の終点側の状態が今回推定される状態ｓｔ（ｎ）である。また、矢印に併記した数値が状態遷移確率である。ここでは、人３１がある状態を続けるのか、または他の状態に変えるのかは、その人３１の意思であるため、状態遷移確率を均等としている。例えば、前回推定された状態が「停止」の場合、今回の状態が「移動」である確率は０．５（５０％）、「停止」である確率は０．５であることを表す。なお、状態遷移確率は、それぞれ異なる確率を設定してもよい。
【００５２】
確率モデルＤＢ２３には、例えば、図１０の下図に示すように、状態遷移確率モデル２３Ａを、状態遷移確率をパラメータとするテーブル形式で記憶しておく。状態遷移確率モデル２３Ａのパラメータは、（３）式のｐ（ｓｔ（ｎ）｜ｓｔ（ｎ−１）＝０（または１））として用いられる。
【００５３】
次に、観測確率モデル２３Ｂについて説明する。本実施形態では、状態イベントは、オブジェクトでの観測が変化した際に発生することとしている。しかし、センサ観測の誤りなどによって、人３１の状態が遷移していない場合に状態イベントを発生させてしまったり、状態が遷移したにもかかわらず状態イベントを発生しなかったりする可能性がある。観測確率モデル２３Ｂでは、このようなセンサの観測の誤りなどを考慮して、取得（観測）された状態イベントの確実性を確率的にモデリングする。
【００５４】
図１１に、観測確率モデル２３Ｂの概念図を示す。状態イベントが無観測であることを表す「ｎｕｌｌ」イベントを含めて考えると、携帯端末３０及び動線の各々から観測される状態イベントは、「状態イベント＝０（停止）」、「状態イベント＝１（移動）」、及び「ｎｕｌｌ」である。人３１の状態が「停止」から「移動」に遷移した場合には、「状態イベント＝１（移動）」が観測される確率が最も高く、「移動」から「停止」に遷移した場合には、「状態イベント＝０（停止）」が観測される確率が最も高い。また、人３１の状態に変化がない場合には、「ｎｕｌｌ」イベントが観測される確率が最も高い。観測確率モデル２３Ｂは、状態の遷移または遷移なしの種類毎に、「状態イベント＝０（停止）」、「状態イベント＝１（移動）」、及び「ｎｕｌｌ」イベントの各々が観測される確率（観測確率）をパラメータとして定めたものである。
【００５５】
なお、「ｎｕｌｌ」イベントを用いることで、状態イベントを観測できない場合であっても、観測確率モデル２３Ｂを用いて、確率的に状態を推定することができる。
【００５６】
観測確率モデル２３Ｂのパラメータは、学習によって獲得することができる。例えば、人３１が（１）「停止」状態を継続、（２）「停止」から「移動」へ遷移、（３）「移動」状態を継続、（４）「移動」から「停止」へ遷移した際の各オブジェクト（携帯端末３０及び動線）の状態イベントを観測する。そして、各オブジェクトで観測される「状態イベント＝０（停止）」、「状態イベント＝１（移動）」、及び「ｎｕｌｌ」イベントの各々の頻度を求め、パラメータを設定することができる。
【００５７】
確率モデルＤＢ２３には、例えば、図１２に示すように、観測確率モデル２３Ｂを、観測確率をパラメータとするテーブル形式で記憶しておく。観測確率モデル２３Ｂのパラメータは、（３）式のｐ（ｏｈ（またはｍ）｜ｓｔ（ｎ−１）＝０（または１）→ｓｔ（ｎ））として用いられる。なお、図１２に示す観測確率モデル２３Ｂのパラメータの値は一例である。人３１が停止しても、携帯端末３０内蔵の慣性センサは微小な動きも検知する可能性があるため、図１２の例では、動線から観測される状態イベントの観測確率よりも、携帯端末３０で観測される状態イベントの観測確率の方が高くなっている。
【００５８】
最後に、到来時間差確率モデル２３Ｃについて説明する。図１３に示すように、人３１が状態を変えた時刻から、取得部１１で状態イベントを取得する時刻までの時間を、イベント到来時間という。なお、状態イベントを発生させるセンサデータ処理装置３４、及び人追跡装置３８の時刻を完全に合わせることは困難であるので、ここで、イベント到来の相対時間差を利用する。
【００５９】
図１４に示すように、本実施形態では、一方の種別のオブジェクトの状態イベントを取得部１１で取得した時刻と、他方の種別のオブジェクトの状態イベントを取得部１１で取得した時刻との間の時間差を「イベント到来時間差」という。本実施形態では、オブジェクトは携帯端末３０及び動線であるので、携帯端末３０から観測された状態イベントと、動線から観測された状態イベントとの取得時刻の差がイベント到来時間差である。イベント到来時間差は、人３１が状態を変化させてから、センサデータ処理装置３４、及び人追跡装置３８の各々で状態イベントが発生されるまでのレスポンの速さなどの要素に影響される。また、センサデータ処理装置３４、及び人追跡装置３８の各々と、オブジェクト紐付装置１０との間のネットワークトラフィックなどの要素にも影響される。これらの要素による影響は学習で獲得することができる。
【００６０】
到来時間差確率モデル２３Ｃでは、上述のイベント到来時間差がｒである確率をモデリングしたものである。具体的には、動線の状態イベントｏｈの取得時刻をｔ（ｎ−１）、携帯端末３０の状態イベントｏｍの取得時刻をｔ（ｎ−１）＋ｒとする。なお、ｒが負の場合には、時間を遡ることを意味する。すなわち、状態イベントｏｍが状態イベントｏｈより先に取得されたことを表す。そして、下記（４）式に示す状態イベントｏｈの観測確率、及び下記（５）式に示す状態イベントｏｍの観測確率を用いて、下記（６）式及び（７）式に示すように、イベント到来時間差がｒである確率ｐ（ｒ）をガウシアン的にモデリングする。状態イベントｏｈの観測確率、及び状態イベントｏｍの観測確率を用いることで、イベント到来時間差だけでなく、各状態イベントの確実性も考慮した上で、確率ｐ（ｒ）をモデリングすることができる。
【００６１】
【数４】
0006428277.tif 000005
【００６２】
なお、ｒ￣（数式内では、文字（「ｒ」）の上にオーバーライン（「￣」）を付して表記）は、イベント到来時間差ｒの平均、Σｒは、イベント到来時間差ｒの分散である。到来時間差確率モデル２３Ｃは、取得部１１で取得した状態イベントの値の各々と、その状態イベントと仮紐付けされた状態イベントの値の各々または「ｎｕｌｌ」イベントとの組み合わせ毎に、確率ｐ（ｒ）をパラメータとして定めたものである。
【００６３】
確率モデルＤＢ２３には、例えば、図１５に示すように、到来時間差確率モデル２３Ｃを、イベント到来時間差がｒである確率ｐ（ｒ）をパラメータとするテーブル形式で記憶しておく。観測確率モデル２３Ｂのパラメータは、（３）式のｐ（ｒ）として用いられる。なお、ｒ￣ｉｉは、取得された一方の種別のオブジェクトの状態イベント、及び仮紐付けされた他方の種別のオブジェクトの状態イベントの値が「ｉ」の場合のイベント到来時間差ｒの平均、Σｒｉｉは分散である。また、図１５の例では、仮紐付けされたイベントが「ｎｕｌｌ」イベントの場合には、イベント到来時間差ｒはタイムウインドウ（ＴＷ）内で一様分布であると仮定している。｜ＴＷ｜はタイムウインドウの大きさである。このように、「ｎｕｌｌ」イベントを用いることで、状態イベントが無観測の場合でも、イベント到来時間差を確率的に反映して、状態を推定することができる。
【００６４】
決定部１３は、図１６に示すように、状態毎の確信度行列から、同じ行列の要素の値（確信度）を比較して大きい方を取り出し、負の対数に変換する。決定部１３は、変換した値を紐付けスコアとし、紐付けスコア行列の同じ行列の各要素に埋め込む。紐付けスコア行列は、確信度行列ＤＢ２４に記憶される。
【００６５】
また、決定部１３は、紐付けスコア行列の行に対応するオブジェクト（携帯端末３０）と列に対応するオブジェクト（動線）とを一対一で紐付ける。そして、決定部１３は、紐付けの組み合わせ毎に、紐付けスコアの和を求め、紐付けスコアの和が最大となる紐付けの組み合わせ、及び２番目となる紐付けの組み合わせを抽出する。この２つの組み合わせは、例えば、Ｋ−ｂｅｓｔ法を用いて抽出することができる。そして、決定部１３は、紐付けスコアの和が最大と２番目との差が閾値以上の場合に、紐付けスコアの和が最大となる紐付けの組み合わせを、紐付け結果として決定する。
【００６６】
例えば、図１６に示す紐付けスコア行列から、紐付けスコアの和が最大となる紐付けの組み合わせが、Ｈ１＝｛ｍ１−ｈ１，ｍ−１−ｈ２，ｍ−２−ｈ−１｝であり、そのときの紐付けスコアの和がＳ（Ｈ１）であるとする。また、紐付けスコアの和が２番目となる紐付けの組み合わせが、Ｈ２＝｛ｍ１−ｈ２，ｍ−１−ｈ１，ｍ−２−ｈ−１｝であり、そのときの紐付けスコアの和がＳ（Ｈ２）であるとする。決定部１３は、Ｓ（Ｈ１）−Ｓ（Ｈ２）＞Ｔｈ（閾値）の場合には、Ｈ１を出力する。なお、例えば、｛ｍ１−ｈ１，ｍ１−ｈ２，ｍ−２−ｈ−１｝のような組み合わせは、一方の種別のオブジェクトと他方の種別のオブジェクトとを一対一で紐付けるという拘束条件に違反するため、採用されない。
【００６７】
なお、紐付け結果の決定方法は上記の例に限定されず、紐付けスコアを用いた最適化を行って紐付け結果を決定すればよい。例えば、紐付けスコアの和が最大となる紐付けの組み合わせを紐付け結果としたり、紐付けスコアの和の最大値が所定値以上の場合に、紐付けスコアの和が最大となる紐付けの組み合わせを紐付け結果としたりしてもよい。
【００６８】
また、決定部１３は、退場リスト２２を参照して、所定領域から退場した携帯端末３０、または追跡できなくなった動線、それらに対応して生成した仮想オブジェクトに対応する確信度行列の行及び列を削除する。例えば、退場リスト２２に端末ＩＤ＝ｍｋが記憶されている場合には、決定部１３は、図１７に示すように、状態毎の確信度行列の各々から、ｍｋの行を削除すると共に、ｍｋに対する仮想オブジェクトであるｈ−ｋの列も削除する。また、退場リスト２２に動線ＩＤ＝ｈｋ’が記憶されている場合には、決定部１３は、図１８に示すように、状態毎の確信度行列の各々から、ｈｋ’の列を削除すると共に、ｈｋ’に対する仮想オブジェクトであるｍ−ｋ’の行も削除する。また、決定部１３は、確信度行列の行及び列の削除が終了した端末ＩＤまたは動線ＩＤを退場リスト２２から削除する。これにより、次に状態イベントを取得した際に、不要な確信度の計算が実行されないため、処理速度の低下を防止できる。
【００６９】
オブジェクト紐付装置１０は、例えば、図１９に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４１、一時記憶領域としてのメモリ４２、及び不揮発性の記憶部４３を備える。また、コンピュータ４０は、表示装置及び入力装置等の入出力装置４８が接続される入出力インターフェース（Ｉ／Ｆ）４４を備える。また、コンピュータ４０は、記録媒体４９に対するデータの読み込み及び書き込みを制御するｒｅａｄ／ｗｒｉｔｅ（Ｒ／Ｗ）部４５、及びインターネット等のネットワークに接続されるネットワークＩ／Ｆ４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力Ｉ／Ｆ４４、Ｒ／Ｗ部４５、及びネットワークＩ／Ｆ４６は、バス４７を介して互いに接続される。
【００７０】
記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（solid state drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０をオブジェクト紐付装置１０として機能させるためのオブジェクト紐付プログラム５０が記憶される。また、記憶部４３は、イベント履歴ＤＢ２１、退場リスト２２、確率モデルＤＢ２３、及び確信度行列ＤＢ２４の各々を構成するデータが記憶されるデータ記憶領域６０を有する。
【００７１】
ＣＰＵ４１は、オブジェクト紐付プログラム５０を記憶部４３から読み出してメモリ４２に展開し、オブジェクト紐付プログラム５０が有するプロセスを順次実行する。また、ＣＰＵ４１は、データ記憶領域６０からデータを読み出して、イベント履歴ＤＢ２１、退場リスト２２、確率モデルＤＢ２３、及び確信度行列ＤＢ２４の各々をメモリ４２に展開する。
【００７２】
オブジェクト紐付プログラム５０は、取得プロセス５１と、算出プロセス５２と、決定プロセス５３とを有する。ＣＰＵ４１は、取得プロセス５１を実行することで、図２に示す取得部１１として動作する。また、ＣＰＵ４１は、算出プロセス５２を実行することで、図２に示す算出部１２として動作する。また、ＣＰＵ４１は、決定プロセス５３を実行することで、図２に示す決定部１３として動作する。これにより、オブジェクト紐付プログラム５０を実行したコンピュータ４０が、オブジェクト紐付装置１０として機能することになる。
【００７３】
なお、オブジェクト紐付装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
【００７４】
次に、本実施形態に係るオブジェクト紐付装置１０の作用について説明する。所定領域に入場した人３１が保持する携帯端末３０がＡＰ３２に接続すると、センサデータ処理装置３４が、ＡＰ３２を介して、携帯端末３０から、端末ＩＤ、及び携帯端末３０が備える慣性センサにより検知されたセンサデータを取得する。センサデータ処理装置３４は、取得したセンサデータに基づいて、状態イベントを発生させ、対応する携帯端末３０の端末ＩＤと共に、オブジェクト紐付装置１０へ送信する。また、センサデータ処理装置３４は、携帯端末３０からＡＰ３２に対する接続が切れた際に、「退場イベント」を発生させ、端末ＩＤと共に、オブジェクト紐付装置１０へ送信する。
【００７５】
また、カメラ３６が、所定領域に存在する人３１を撮影し、撮影したカメラ画像を出力する。そして、人追跡装置３８が、カメラ３６から出力されたカメラ画像を取得し、カメラ画像から人３１を追跡し動線を抽出する。人追跡装置３８は、動線に基づいて、状態イベントを発生させ、対応する動線の動線ＩＤと共に、オブジェクト紐付装置１０へ送信する。さらに、人追跡装置３８は、カメラ画像上における人３１を示す領域を追跡できなくなった際に、退場イベントを発生させ、動線ＩＤと共に、オブジェクト紐付装置１０へ送信する。
【００７６】
そして、オブジェクト紐付装置１０では、図２０に示すオブジェクト紐付処理が実行される。
【００７７】
ステップＳ１１で、取得部１１が、センサデータ処理装置３４及び人追跡装置３８の各々から送信された状態イベント及び退場イベントを取得する。
【００７８】
次に、ステップＳ２１で、取得部１１が、取得した状態イベントを、その状態イベントが示すオブジェクトの種別毎に、イベント履歴ＤＢ２１に記憶する。具体的には、携帯端末３０の状態イベントについては、携帯端末３０用のイベント履歴テーブル２１Ａに記憶し、動線の状態イベントについては、動線用のイベント履歴テーブル２１Ｂに記憶する。また、取得部１１は、退場イベントと共に取得した端末ＩＤまたは動線ＩＤを、退場リスト２２に記憶する。本ステップで状態イベントを取得した時刻をｔ（２）とする。
【００７９】
次に、ステップＳ１３で、算出部１２が、取得部１１により取得された状態イベントが、携帯端末３０の状態イベントか否かを判定する。携帯端末３０の状態イベントの場合には、処理はステップＳ１４へ移行し、動線の状態イベントの場合には、処理はステップＳ１５へ移行する。
【００８０】
ステップＳ１４では、算出部１２が、動線用のイベント履歴テーブル２１Ｂを参照する。そして、算出部１２は、取得時刻ｔ（２）のタイムウインドウ内で取得されている動線の状態イベントのうち、取得された携帯端末３０の状態イベントと値が同じ状態イベントを抽出する。
【００８１】
一方、ステップＳ１５では、算出部１２が、携帯端末３０用のイベント履歴テーブル２１Ａを参照する。そして、算出部１２は、取得時刻ｔ（２）のタイムウインドウ内で取得されている携帯端末３０の状態イベントのうち、取得された動線の状態イベントと値が同じ状態イベントを抽出する。
【００８２】
ここでは、時刻ｔ（２）に、動線の状態イベントｏｈ１＝０を取得したものとし、ステップＳ１５で、時刻ｔ（２）のタイムウインドウ内である時刻ｔ（１）に取得された携帯端末３０の状態イベントｏｍ１＝０を抽出したものとする。なお、この場合のイベント到来時間差ｒは、ｒ＝ｔ（２）−ｔ（１）である。
【００８３】
次に、ステップＳ１６で、携帯端末３０の状態イベントｏｍ１＝０と、動線の状態イベントｏｈ１＝０とを仮紐付けし、仮紐付けパターン｛ｏｈ１，ｏｍ１｝を抽出する。
【００８４】
次に、ステップＳ１７で、状態毎の確信度行列が生成されていない場合には、算出部１２が、ｈ１を列、ｍ１を行とする１行１列の行列を生成する。既に確信度行列が生成されている場合には、算出部１２が、確信度行列にｈ１の列が存在しない場合にはｈ１の列を追加し、ｍ１の行が存在しない場合にはｍ１の行を追加する。さらに、算出部１２は、生成または追加した列ｈ１に対する仮想オブジェクトｍ−１を行に追加し、生成または追加した行ｍ１に対する仮想オブジェクトｈ−１を列に追加する。算出部１２は、生成または追加した行列の要素の値は初期値として、「１．０」とする。
【００８５】
次に、ステップＳ１８で、算出部１２が、図９に示すように、仮紐付けパターンにより定まる更新対象の確信度を、（３）式により算出する。ここでは、ｈ１の列、ｍ１の行に対応する確信度ｂｅｌ（ｓｔ（２））を算出する。なお、時刻ｔ（１）で算出された確信度ｂｅｌ（ｓｔ（１）＝０）＝０．５、及び確信度ｂｅｌ（ｓｔ（１）＝１）＝０．５が、更新前の確信度行列のｈ１の列、ｍ１の行に対応する要素の値として記憶されているものとする。
【００８６】
具体的には、まず、ｂｅｌ（ｓｔ（２）＝１）について、算出部１２は、状態遷移確率モデル２３Ａから、ｓｔ（１）＝０（停止）からｓｔ（２）＝１（移動）に遷移する確率ｐ（ｓｔ（２）｜ｓｔ（１）＝０）＝０．５を取得する。また、算出部１２は、ｓｔ（１）＝１（移動）からｓｔ（２）＝１に遷移する確率ｐ（ｓｔ（２）｜ｓｔ（１）＝１）＝０．５を取得する。
【００８７】
また、算出部１２は、観測確率モデル２３Ｂの＜停止→移動＞テーブルを参照する。そして、算出部１２は、オブジェクトが「動線」及び「携帯端末」の各々で、イベントが「停止」に対応する観測確率ｐ（ｏｈ｜ｓｔ（１）＝０→ｓｔ（２））＝０．０５、及びｐ（ｏｍ｜ｓｔ（１）＝０→ｓｔ（２））＝０．０５を取得する。また、算出部１２は、観測確率モデル２３Ｂの＜移動→移動＞テーブルを参照する。そして、算出部１２は、オブジェクトが「動線」及び「携帯端末」の各々で、イベントが「停止」に対応する観測確率ｐ（ｏｈ｜ｓｔ（１）＝１→ｓｔ（２））＝０．０５、及びｐ（ｏｍ｜ｓｔ（１）＝１→ｓｔ（２））＝０．１を取得する。
【００８８】
さらに、算出部１２は、到来時間差確率モデル２３Ｃの＜動線の状態イベントを取得した場合＞テーブルから、「停止（ｏｈ＝０）」と「停止（ｏｍ（ｒ）＝０）」とのイベント到来時間差がｒである確率ｐ（ｒ）＝Ｎ（ｒ￣００，Σｒ００）を取得する。
【００８９】
算出部１２は、取得した各確率を（３）式に代入し、下記（８）式に示すようにｂｅｌ（ｓｔ（２）＝１）を算出する。
【００９０】
【数５】
0006428277.tif 000006
【００９１】
同様に、ｂｅｌ（ｓｔ（２）＝０）について、算出部１２は、状態遷移確率モデル２３Ａから、ｓｔ（１）＝０（停止）からｓｔ（２）＝０（停止）に遷移する確率ｐ（ｓｔ（２）｜ｓｔ（１）＝０）＝０．５を取得する。また、算出部１２は、ｓｔ（１）＝１（移動）からｓｔ（２）＝０に遷移する確率ｐ（ｓｔ（２）｜ｓｔ（１）＝０）＝０．５を取得する。
【００９２】
また、算出部１２は、観測確率モデル２３Ｂの＜停止→停止＞テーブルを参照する。そして、算出部１２は、オブジェクトが「動線」及び「携帯端末」の各々で、イベントが「停止」に対応する観測確率ｐ（ｏｈ｜ｓｔ（１）＝０→ｓｔ（２））＝０．１、及びｐ（ｏｍ｜ｓｔ（１）＝０→ｓｔ（２））＝０．２を取得する。また、算出部１２は、観測確率モデル２３Ｂの＜移動→停止＞テーブルを参照する。そして、算出部１２は、オブジェクトが「動線」及び「携帯端末」の各々で、イベントが「停止」に対応する観測確率ｐ（ｏｈ｜ｓｔ（１）＝１→ｓｔ（２））＝０．９、及びｐ（ｏｍ｜ｓｔ（１）＝１→ｓｔ（２））＝０．８を取得する。
【００９３】
さらに、算出部１２は、到来時間差確率モデル２３Ｃの＜動線の状態イベントを取得した場合＞テーブルから、「停止（ｏｈ＝０）」と「停止（ｏｍ（ｒ）＝０）」とのイベント到来時間差がｒである確率ｐ（ｒ）＝Ｎ（ｒ￣００，Σｒ００）を取得する。
【００９４】
算出部１２は、取得した各確率を（３）式に代入し、下記（９）式に示すようにｂｅｌ（ｓｔ（２）＝０）を算出する。
【００９５】
【数６】
0006428277.tif 000007
【００９６】
上記ステップＳ１６で、仮紐付けパターンが複数抽出されている場合には、それぞれの仮紐付けパターンについて、上記ステップＳ１７及びＳ１８を繰り返す。
【００９７】
次に、ステップＳ１９で、決定部１３が、状態毎の確信度行列から、同じ行列の要素の値（確信度）を比較して大きい方を取り出し、負の対数に変換する。決定部１３は、変換した値を紐付けスコアとし、紐付けスコア行列の同じ行列の各要素に埋め込む。決定部１３は、紐付けスコア行列を、確信度行列ＤＢ２４に記憶する。
【００９８】
次に、ステップＳ２０で、決定部１３が、紐付けスコア行列の行に対応するオブジェクト（携帯端末３０）と列に対応するオブジェクト（動線）とを一対一で紐付けた各組み合わせについて、紐付けスコアの和を求める。そして、決定部１３は、紐付けスコアの和が最大となる紐付けの組み合わせＨ１、及び２番目となる紐付けの組み合わせＨ２を抽出する。紐付けの組み合わせＨ１の紐付けスコアの和はＳ（Ｈ１）、紐付けの組み合わせＨ２の紐付けスコアの和はＳ（Ｈ２）である。
【００９９】
次に、ステップＳ２１で、決定部１３が、Ｓ（Ｈ１）−Ｓ（Ｈ２）＞Ｔｈ（閾値）か否かを判定する。Ｓ（Ｈ１）−Ｓ（Ｈ１）＞Ｔｈの場合には、処理はステップＳ２２へ移行し、決定部１３が、オブジェクトの紐付け結果として、Ｈ１を出力する。Ｓ（Ｈ１）−Ｓ（Ｈ２）≦Ｔｈの場合には、ステップＳ２２の処理をスキップする。
【０１００】
次に、ステップＳ２３で、決定部１３が、退場リスト２２に端末ＩＤまたは動線ＩＤが記憶されているか否かを判定する。記憶されている場合には、処理はステップＳ２４へ移行する。ステップＳ２４では、決定部１３が、状態毎の確信度行列の各々から、退場リスト２２に記憶されている端末ＩＤまたは動線ＩＤに対応する行または列を削除すると共に、その行または列のオブジェクトに対する仮想オブジェクトの列または行も削除する。そして、決定部１３は、確信度行列の行及び列の削除が終了した端末ＩＤまたは動線ＩＤを退場リスト２２から削除する。退場リスト２２に端末ＩＤまたは動線ＩＤが記憶されていない場合には、ステップＳ２４の処理をスキップする。
【０１０１】
次に、ステップＳ２５で、オブジェクト紐付処理の終了指示を受け付けたか否かを判定する。受け付けていない場合には、処理はステップＳ１１に戻り、受け付けた場合には、オブジェクト紐付処理は終了する。
【０１０２】
以上説明したように、本実施形態に係るオブジェクト紐付装置によれば、いずれかの種別のオブジェクトに対応する他の種別の仮想オブジェクトも含めて、異なる種別のオブジェクト間を１対１で紐付けする。異なる種別のオブジェクト間を１対１で紐付けるために、行に一方の種別のオブジェクトを対応させ、列に他方の種別のオブジェクトを対応させた正方行列を用いる。そして、異なる種別のオブジェクト間の紐付度合いを、正方行列の各要素の値として算出する。このため、一方の種別のオブジェクトの状態イベントは観測されるが、対応する他方の種別のオブジェクトの状態イベントが観測されない場合も考慮して、紐付けを決定することができ、異なる種別のオブジェクト間の紐付け精度を向上させることができる。
【０１０３】
また、確信度を算出する際に、確率モデルを用いて、状態イベントの観測に対する不確かさを確率的に扱うため、異なる種別のオブジェクト間の紐付け精度をより向上させることができる。
【０１０４】
また、異なる種別のオブジェクト間の紐付けの組み合わせの紐付スコアを用いて最適化して、紐付結果を決定するため、異なる種別のオブジェクト間の紐付け精度をより向上させることができる。
【０１０５】
なお、本実施形態では、人の状態として、「移動」及び「停止」の２つの状態を扱う場合について説明したが、３つ以上の状態を扱ってもよい。その場合、状態毎の確信度行列は、扱う状態の数だけ用意すればよい。また、状態遷移確率モデル２３Ａ、観測確率モデル２３Ｂ、及び到来時間差確率モデル２３Ｃの各々について、状態数に応じたパラメータを設ければよい。また、（３）式に示す確信度ｂｅｌ（ｓｔ（ｎ））の統合式も、ｓｔ（ｎ−１）とｓｔ（ｎ）との組み合わせが、３つ以上の状態のうちの２つの状態の組み合わせの全てを含むように変更すればよい。
【０１０６】
なお、上記では、オブジェクト紐付プログラム５０が記憶部４３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るオブジェクト紐付プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。
【０１０７】
以上の実施形態に関し、更に以下の付記を開示する。
【０１０８】
（付記１）
コンピュータに、
複数の対象の各々の状態を示す複数の種別のオブジェクトの各々で観測されたイベントを、該オブジェクトの種別毎に取得し、
前記イベントが取得されたいずれかの種別のオブジェクトと、該いずれかの種別のオブジェクトに対応することを仮想した他の種別の仮想オブジェクトとを含む異なる種別のオブジェクト間の組み合わせ毎に、該組み合わせに含まれるオブジェクトの各々が示す前記対象が同一である確からしさが高いほど大きくなる紐付度合いを算出し、
算出された紐付度合いに基づいて、異なる種別のオブジェクト間の紐付けの組合せを決定する
ことを含む処理を実行させるオブジェクト紐付方法。
【０１０９】
（付記２）
前記紐付度合いを、一方の種別のオブジェクトまたは仮想オブジェクトの各々を行に対応させ、他方の種別のオブジェクトまたは仮想オブジェクトの各々を列に対応させた正方行列の各要素の値として算出する付記１記載のオブジェクト紐付方法。
【０１１０】
（付記３）
前記コンピュータに、
前記イベントが取得されなくなったオブジェクトに対応する行または列を前記正方行列から削除すると共に、該オブジェクトについての仮想オブジェクトに対応する列または行を前記正方行列から削除する
ことをさらに含む処理を実行させる付記２記載のオブジェクト紐付方法。
【０１１１】
（付記４）
前記紐付度合いを、前記組み合わせに含まれるオブジェクトの各々が示す前記対象の各状態に対する確信度の各々のうち、最大の確信度とする付記１〜付記３のいずれか１項記載のオブジェクト紐付方法。
【０１１２】
（付記５）
取得されたいずれかの種別のオブジェクトで観測されたイベント、該イベントが取得された時点を含む所定のタイムウインドウ内で取得された他の種別のオブジェクトで観測されたイベント、及び予め定めた確率モデルに基づいて、前記確信度を算出する付記４記載のオブジェクト紐付方法。
【０１１３】
（付記６）
前記タイムウインドウ内で、前記他の種別のオブジェクトで観測されたイベントが取得されていない場合には、イベントが無観測であることを示す無観測イベントを用いて、前記確信度を算出する付記５記載のオブジェクト紐付方法。
【０１１４】
（付記７）
前記確率モデルとして、いずれかの種別のオブジェクトで観測されたイベントと、対応する他の種別のオブジェクトで観測されたイベントとの取得時間差に基づく時間差確率モデルを用いる付記５または付記６記載のオブジェクト紐付方法。
【０１１５】
（付記８）
前記時間差確率モデルは、前記タイムウインドウ内で、前記他の種別のオブジェクトで観測されたイベントが取得されていない場合には、前記取得時間差が、前記タイムウインドウ内で一様分布であるとした付記７記載のオブジェクト紐付方法。
【０１１６】
（付記９）
前記時間差確率モデルは、前記いずれかの種別のオブジェクトで観測されたイベント、及び前記タイムウインドウ内で取得された他の種別のオブジェクトで観測されたイベントの各々について、前記対象の状態の遷移に応じて観測されるイベントの確率を含む付記７または付記８記載のオブジェクト紐付方法。
【０１１７】
（付記１０）
前記確率モデルとして、前記対象の状態の遷移に応じて観測されるイベントを確率的に推定する観測確率モデルであって、前記観測されるイベントとして、イベントが無観測であることを示す無観測イベントを含む観測確率モデルを用いる付記５〜付記９のいずれか１項記載のオブジェクト紐付方法。
【０１１８】
（付記１１）
前記紐付度合いの和が最大となる組み合わせを、前記異なる種別のオブジェクト間の紐付けの組合せとして決定する付記１〜付記１０のいずれか１項記載のオブジェクト紐付方法。
【０１１９】
（付記１２）
前記紐付度合いの和が最大となる組み合わせと、前記紐付度合いが２番目に大きい組み合わせとで、前記紐付度合いの和の差が所定値以上の場合に、前記紐付度合いの和が最大となる組み合わせを、前記異なる種別のオブジェクト間の紐付けの組み合わせとして決定する付記１〜付記１０のいずれか１項記載のオブジェクト紐付方法。
【０１２０】
（付記１３）
複数の対象の各々の状態を示す複数の種別のオブジェクトの各々で観測されたイベントを、該オブジェクトの種別毎に取得する取得部と、
前記取得部によりイベントが取得されたいずれかの種別のオブジェクトと、該いずれかの種別のオブジェクトに対応することを仮想した他の種別の仮想オブジェクトとを含む異なる種別のオブジェクト間の組み合わせ毎に、該組み合わせに含まれるオブジェクトの各々が示す前記対象が同一である確からしさが高いほど大きくなる紐付度合いを算出する算出部と、
前記算出部により算出された紐付度合いに基づいて、異なる種別のオブジェクト間の紐付けの組合せを決定する決定部と、
を含むオブジェクト紐付装置。
【０１２１】
（付記１４）
前記算出部は、前記紐付度合いを、一方の種別のオブジェクトまたは仮想オブジェクトの各々を行に対応させ、他方の種別のオブジェクトまたは仮想オブジェクトの各々を列に対応させた正方行列の各要素の値として算出する付記１３記載のオブジェクト紐付装置。
【０１２２】
（付記１５）
前記算出部は、前記取得部によりイベントが取得されなくなったオブジェクトに対応する行または列を前記正方行列から削除すると共に、該オブジェクトについての仮想オブジェクトに対応する列または行を前記正方行列から削除する付記１４記載のオブジェクト紐付装置。
【０１２３】
（付記１６）
前記算出部は、前記紐付度合いを、前記組み合わせに含まれるオブジェクトの各々が示す前記対象の各状態に対する確信度の各々のうち、最大の確信度とする付記１３〜付記１５のいずれか１項記載のオブジェクト紐付装置。
【０１２４】
（付記１７）
前記算出部は、前記取得部により取得されたいずれかの種別のオブジェクトで観測されたイベント、該イベントが取得された時点を含む所定のタイムウインドウ内で取得された他の種別のオブジェクトで観測されたイベント、及び予め定めた確率モデルに基づいて、前記確信度を算出する付記１６記載のオブジェクト紐付装置。
【０１２５】
（付記１８）
前記算出部は、前記タイムウインドウ内で、前記他の種別のオブジェクトで観測されたイベントが取得されていない場合には、イベントが無観測であることを示す無観測イベントを用いて、前記確信度を算出する付記１７記載のオブジェクト紐付装置。
【０１２６】
（付記１９）
前記算出部は、前記確率モデルとして、いずれかの種別のオブジェクトで観測されたイベントと、対応する他の種別のオブジェクトで観測されたイベントとの取得時間差に基づく時間差確率モデルを用いる付記１７または付記１８記載のオブジェクト紐付装置。
【０１２７】
（付記２０）
前記時間差確率モデルは、前記タイムウインドウ内で、前記他の種別のオブジェクトで観測されたイベントが取得されていない場合には、前記取得時間差が、前記タイムウインドウ内で一様分布であるとした付記１９記載のオブジェクト紐付装置。
【０１２８】
（付記２１）
前記時間差確率モデルは、前記いずれかの種別のオブジェクトで観測されたイベント、及び前記タイムウインドウ内で取得された他の種別のオブジェクトで観測されたイベントの各々について、前記対象の状態の遷移に応じて観測されるイベントの確率を含む付記１９または付記２０記載のオブジェクト紐付装置。
【０１２９】
（付記２２）
前記算出部は、前記確率モデルとして、前記対象の状態の遷移に応じて観測されるイベントを確率的に推定する観測確率モデルであって、前記観測されるイベントとして、イベントが無観測であることを示す無観測イベントを含む観測確率モデルを用いる付記１７〜付記２１のいずれか１項記載のオブジェクト紐付装置。
【０１３０】
（付記２３）
前記決定部は、前記紐付度合いの和が最大となる組み合わせを、前記異なる種別のオブジェクト間の紐付けの組合せとして決定する付記１３〜付記２２のいずれか１項記載のオブジェクト紐付装置。
【０１３１】
（付記２４）
前記決定部は、前記紐付度合いの和が最大となる組み合わせと、前記紐付度合いが２番目に大きい組み合わせとで、前記紐付度合いの和の差が所定値以上の場合に、前記紐付度合いの和が最大となる組み合わせを、前記異なる種別のオブジェクト間の紐付けの組み合わせとして決定する付記１３〜付記２２のいずれか１項記載のオブジェクト紐付装置。
【０１３２】
（付記２５）
コンピュータに、
複数の対象の各々の状態を示す複数の種別のオブジェクトの各々で観測されたイベントを、該オブジェクトの種別毎に取得し、
前記イベントが取得されたいずれかの種別のオブジェクトと、該いずれかの種別のオブジェクトに対応することを仮想した他の種別の仮想オブジェクトとを含む異なる種別のオブジェクト間の組み合わせ毎に、該組み合わせに含まれるオブジェクトの各々が示す前記対象が同一である確からしさが高いほど大きくなる紐付度合いを算出し、
算出された紐付度合いに基づいて、異なる種別のオブジェクト間の紐付けの組合せを決定する
ことを含む処理を実行させるためのオブジェクト紐付プログラム。
【０１３３】
（付記２６）
前記紐付度合いを、一方の種別のオブジェクトまたは仮想オブジェクトの各々を行に対応させ、他方の種別のオブジェクトまたは仮想オブジェクトの各々を列に対応させた正方行列の各要素の値として算出する付記２５記載のオブジェクト紐付プログラム。
【０１３４】
（付記２７）
前記コンピュータに、
前記イベントが取得されなくなったオブジェクトに対応する行または列を前記正方行列から削除すると共に、該オブジェクトについての仮想オブジェクトに対応する列または行を前記正方行列から削除する
ことをさらに含む処理を実行させるための付記２６記載のオブジェクト紐付プログラム。
【０１３５】
（付記２８）
前記紐付度合いを、前記組み合わせに含まれるオブジェクトの各々が示す前記対象の各状態に対する確信度の各々のうち、最大の確信度とする付記２５〜付記２７のいずれか１項記載のオブジェクト紐付プログラム。
【０１３６】
（付記２９）
取得されたいずれかの種別のオブジェクトで観測されたイベント、該イベントが取得された時点を含む所定のタイムウインドウ内で取得された他の種別のオブジェクトで観測されたイベント、及び予め定めた確率モデルに基づいて、前記確信度を算出する付記２６〜付記２８のいずれか１項記載のオブジェクト紐付プログラム。
【０１３７】
（付記３０）
前記タイムウインドウ内で、前記他の種別のオブジェクトで観測されたイベントが取得されていない場合には、イベントが無観測であることを示す無観測イベントを用いて、前記確信度を算出する付記２９記載のオブジェクト紐付プログラム。
【０１３８】
（付記３１）
前記確率モデルとして、いずれかの種別のオブジェクトで観測されたイベントと、対応する他の種別のオブジェクトで観測されたイベントとの取得時間差に基づく時間差確率モデルを用いる付記２９または付記３０記載のオブジェクト紐付プログラム。
【０１３９】
（付記３２）
前記時間差確率モデルは、前記タイムウインドウ内で、前記他の種別のオブジェクトで観測されたイベントが取得されていない場合には、前記取得時間差が、前記タイムウインドウ内で一様分布であるとした付記３１記載のオブジェクト紐付プログラム。
【０１４０】
（付記３３）
前記時間差確率モデルは、前記いずれかの種別のオブジェクトで観測されたイベント、及び前記タイムウインドウ内で取得された他の種別のオブジェクトで観測されたイベントの各々について、前記対象の状態の遷移に応じて観測されるイベントの確率を含む付記３１または付記３２記載のオブジェクト紐付プログラム。
【０１４１】
（付記３４）
前記確率モデルとして、前記対象の状態の遷移に応じて観測されるイベントを確率的に推定する観測確率モデルであって、前記観測されるイベントとして、イベントが無観測であることを示す無観測イベントを含む観測確率モデルを用いる付記２９〜付記３３のいずれか１項記載のオブジェクト紐付プログラム。
【０１４２】
（付記３５）
前記紐付度合いの和が最大となる組み合わせを、前記異なる種別のオブジェクト間の紐付けの組合せとして決定する付記２５〜付記３４のいずれか１項記載のオブジェクト紐付プログラム。
【０１４３】
（付記３６）
前記紐付度合いの和が最大となる組み合わせと、前記紐付度合いが２番目に大きい組み合わせとで、前記紐付度合いの和の差が所定値以上の場合に、前記紐付度合いの和が最大となる組み合わせを、前記異なる種別のオブジェクト間の紐付けの組み合わせとして決定する付記２５〜付記３４のいずれか１項記載のオブジェクト紐付プログラム。
【０１４４】
（付記２７）
コンピュータに、
複数の対象の各々の状態を示す複数の種別のオブジェクトの各々で観測されたイベントを、該オブジェクトの種別毎に取得し、
前記イベントが取得されたいずれかの種別のオブジェクトと、該いずれかの種別のオブジェクトに対応することを仮想した他の種別の仮想オブジェクトとを含む異なる種別のオブジェクト間の組み合わせ毎に、該組み合わせに含まれるオブジェクトの各々が示す前記対象が同一である確からしさが高いほど大きくなる紐付度合いを算出し、
算出された紐付度合いに基づいて、異なる種別のオブジェクト間の紐付けの組合せを決定する
ことを含む処理を実行させるためのオブジェクト紐付プログラムを記憶した記憶媒体。
【符号の説明】
【０１４５】
１０   オブジェクト紐付装置
１１   取得部
１２   算出部
１３   決定部
２１   イベント履歴ＤＢ
２１Ａ イベント履歴テーブル
２１Ｂ イベント履歴テーブル
２２   退場リスト
２３   確率モデルＤＢ
２３Ａ 状態遷移確率モデル
２３Ｂ 観測確率モデル
２３Ｃ 到来時間差確率モデル
２４   確信度行列ＤＢ
３０   携帯端末
３１   人
３２   アクセスポイント
３４   センサデータ処理装置
３６   カメラ
３８   人追跡装置
４０   コンピュータ
４１   ＣＰＵ
４２   メモリ
４３   記憶部
５０   オブジェクト紐付プログラム
１００ オブジェクト紐付システム
ｍ、ｈ オブジェクト
ｍ−、ｈ−    仮想オブジェクト
ｏ     状態イベント
【図１】
0006428277.tif 000008
【図２】
0006428277.tif 000009
【図３】
0006428277.tif 000010
【図４】
0006428277.tif 000011
【図５】
0006428277.tif 000012
【図６】
0006428277.tif 000013
【図７】
0006428277.tif 000014
【図８】
0006428277.tif 000015
【図９】
0006428277.tif 000016
【図１０】
0006428277.tif 000017
【図１１】
0006428277.tif 000018
【図１２】
0006428277.tif 000019
【図１３】
0006428277.tif 000020
【図１４】
0006428277.tif 000021
【図１５】
0006428277.tif 000022
【図１６】
0006428277.tif 000023
【図１７】
0006428277.tif 000024
【図１８】
0006428277.tif 000025
【図１９】
0006428277.tif 000026
【図２０】
0006428277.tif 000027