(57)【要約】【課題】撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、対象を追尾する処理部を備える、情報処理装置が、提供される。【選択図】図８
2018135095.tif 000002
【特許請求の範囲】
【請求項１】
撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾する処理部を備える、情報処理装置。
【請求項２】
前記処理部は、識別情報が付与されている前記対象の軌跡を検出することによって、前記対象を追尾する、請求項１に記載の情報処理装置。
【請求項３】
前記処理部は、
前記撮像画像に基づいて前記対象を追尾し、
前記撮像画像に基づいて追尾することができない場合に、前記センサ情報に基づいて前記対象を追尾する、請求項１に記載の情報処理装置。
【請求項４】
前記処理部は、前記撮像画像に基づいて前記対象に対して付与されている識別情報を特定することができない非特定状態となった後、前記センサ情報に基づいて前記対象に対して識別情報を新たに付与して、前記対象を追尾する、請求項３に記載の情報処理装置。
【請求項５】
前記処理部は、識別情報が付与されている前記対象と他の前記対象との間の距離が設定されている閾値以下となった場合、または、前記距離が前記閾値より小さくなった場合に、前記非特定状態であると判定する、請求項４に記載の情報処理装置。
【請求項６】
前記処理部は、前記非特定状態であると判定された後に前記距離が前記閾値より大きくなった場合、または、前記非特定状態であると判定された後に前記距離が前記閾値以上となった場合に、前記センサ情報に基づいて前記対象に対して識別情報を新たに付与する、請求項５に記載の情報処理装置。
【請求項７】
前記処理部は、前記撮像画像に基づいて前記対象を検出することができない非検出状態である場合に、前記センサ情報に基づいて前記対象の軌跡を補間することによって、前記対象を追尾する、請求項３に記載の情報処理装置。
【請求項８】
前記処理部は、前記撮像画像と前記センサ情報とに基づいて前記対象を識別する、請求項１に記載の情報処理装置。
【請求項９】
前記処理部は、前記撮像画像に基づき検出されるイベントと、前記センサ情報に基づき検出されるイベントとを対応付けることによって、前記対象を識別する、請求項８に記載の情報処理装置。
【請求項１０】
前記センサは、前記対象の位置または前記対象の動きをセンシングするセンサである、請求項１に記載の情報処理装置。
【請求項１１】
前記センサは、位置センサまたは慣性センサである、請求項１０に記載の情報処理装置。
【請求項１２】
撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を識別する処理部を備える、情報処理装置。
【請求項１３】
撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾するステップを有する、情報処理装置により実行される情報処理方法。
【請求項１４】
前記追尾するステップでは、
前記撮像画像に基づいて前記対象が追尾され、
前記撮像画像に基づいて追尾することができない場合に、前記センサ情報に基づいて前記対象が追尾される、請求項１３に記載の情報処理方法。
【請求項１５】
撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を識別するステップを有する、情報処理装置により実行される情報処理方法。
【請求項１６】
前記識別するステップでは、前記撮像画像に基づき検出されるイベントと、前記センサ情報に基づき検出されるイベントとを対応付けることによって、前記対象が識別される、請求項１５に記載の情報処理方法。
【請求項１７】
撮像デバイスと、
対象をセンシングするセンサと、
前記撮像デバイスにより撮像された撮像画像と、前記センサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾する処理部を備える情報処理装置と、
を有する、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、および情報処理システムに関する。
【背景技術】
【０００２】
スポーツ競技の競技エリアを撮像した競技エリア画像上に、設定された追尾目標の位置を重畳して表示する技術が開発されている。上記技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２７６３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えばスポーツの試合の解析や防犯などの様々な目的のために、撮像デバイスにより撮像された撮像画像（動画像、または、静止画像）が利用されている。撮像画像を利用した例としては、例えば特許文献１に記載の例のように、競技エリアを撮像した競技エリア画像上に追尾目標の位置を重畳して表示する例が、挙げられる。【０００５】
スポーツを例に挙げると、撮像画像を利用する場合には、選手やボールなどの追尾する対象（以下、単に「対象」と示す。）を撮像画像に基づき検出・追尾することが可能である。しかしながら、単に撮像画像に基づき対象を追尾する場合には、例えば選手が密集することや選手およびボールが密集することなどのように、追尾する対象が密集することによって、対象の誤検出、誤追尾が生じる恐れがある。よって、単に撮像画像に基づき対象を追尾する場合には、対象を精度よく追尾することができるとは限らない。【０００６】
本開示では、撮像画像に基づき対象を追尾する場合における精度の向上を図ることが可能な、新規かつ改良された情報処理装置、情報処理方法、および情報処理システムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、上記対象を追尾する処理部を備える、情報処理装置が、提供される。【０００８】
また、本開示によれば、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、上記対象を識別する処理部を備える、情報処理装置が、提供される。【０００９】
また、本開示によれば、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、上記対象を追尾するステップを有する、情報処理装置により実行される情報処理方法が、提供される。【００１０】
また、本開示によれば、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、上記対象を識別するステップを有する、情報処理装置により実行される情報処理方法が、提供される。【００１１】
また、本開示によれば、撮像デバイスと、対象をセンシングするセンサと、上記撮像デバイスにより撮像された撮像画像と、上記センサから通信により取得されたセンサ情報とに基づいて、上記対象を追尾する処理部を備える情報処理装置と、を有する、情報処理システムが、提供される。
【発明の効果】
【００１２】
本開示によれば、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。【００１３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】単に撮像画像に基づき対象を追尾するときに対象を精度よく追尾することができない場合の一例を説明するための説明図である。
【図２】単に撮像画像に基づき対象を追尾するときに対象を精度よく追尾することができない場合の一例を説明するための説明図である。
【図３】本実施形態に係る情報処理方法に係る対象を追尾する処理の第１の例を説明するための説明図である。
【図４】本実施形態に係る情報処理方法に係る対象を追尾する処理の第２の例を説明するための説明図である。
【図５】本実施形態に係る情報処理方法に係る対象を追尾する処理の第２の例を説明するための説明図である。
【図６】本実施形態に係る情報処理方法に係る対象を識別する処理の一例を説明するための説明図である。
【図７】本実施形態に係る情報処理方法が適用される本実施形態に係る情報処理システムの一例を示す説明図である。
【図８】本実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図９】本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る情報処理方法
２．本実施形態に係る情報処理システム
３．本実施形態に係るプログラム
【００１７】
（本実施形態に係る情報処理方法）
まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。
【００１８】
上述したように、単に撮像画像に基づき対象を追尾する場合には、対象を精度よく追尾することができるとは限らない。
【００１９】
図１、図２は、単に撮像画像に基づき対象を追尾するときに対象を精度よく追尾することができない場合の一例を説明するための説明図である。図１は、サッカー（スポーツの一例）の試合が撮像された撮像画像の一例を示している。また、図２のＡは、対象Ｏ１および対象Ｏ２それぞれの軌跡の一例を示しており、図２のＢは、対象Ｏ１および対象Ｏ２それぞれの軌跡の他の例を示している。
【００２０】
例えば図１に示すように選手（対象の一例。以下、同様とする。）が密集している場合、すなわち、撮像画像において対象が重なっている場合には、対象を検出することができないことが起こりうる。上記のように対象を検出することができない場合には、対象を追尾することができない、誤った追尾が行われるなど、対象の追尾精度の低下が生じる。
【００２１】
また、例えば同じチームの選手が交差した場合には、単に撮像画像を処理したとしても、図２のＡの状態であるのか、または、図２のＢの状態であるのかを、一意に区別することができるとは限らない。よって、例えば同じチームの選手が交差した場合には対象の誤検出が生じる恐れがあり、その結果、誤った追尾が行われるなどの対象の追尾精度の低下が生じうる。
【００２２】
さらに、例えば、撮像画像において選手の顔や背番号などの対象の特定に用いる領域が検出できない場合や、撮像画像の解像度が不足している場合（撮像画像の解像度が、対象を特定することができる程度の解像度ではない場合）には、対象を識別することができない。上記のように対象を識別することができない場合には、誤った追尾が行われるなどの対象の追尾精度の低下が生じうる。
【００２３】
上記のように、単に撮像画像に基づき対象を追尾する場合には、対象を精度よく追尾することができるとは限らない。
【００２４】
また、対象を追尾するための他の方法としては、慣性センサの検出結果を用いる方法が、考えられる。慣性センサとしては、例えば、加速度センサ、角速度センサ、地磁気センサのうちの１または２以上のセンサが、挙げられる。
【００２５】
慣性センサの検出結果を用いる場合には、オクルージョンや対象間の距離などの、撮像画像に基づく対象の追尾に影響を与えうる要因の影響を受けずに、対象の移動量と対象の位置とをそれぞれ推定することが可能である。一例を挙げると、慣性センサから得られた加速度を２回積分することによって、対象の移動量を推定することができ、また、慣性センサから得られた加速度から対象の歩数を推定することにより対象の移動量を推定することができる。また、対象の移動量が推定されることによって、ある位置に存在すると認識をされていた対象の位置を推定することが可能である。
【００２６】
しかしながら、慣性センサの検出結果を用いる場合には、対象の絶対位置を求めることはできず、また、推定される移動量および位置と実際の移動量および位置との誤差は、時間経過と共に大きくなる。
【００２７】
よって、単に慣性センサの検出結果を用いたとしても、対象を精度よく追尾することができるとは限らない。
【００２８】
そこで、本実施形態に係る情報処理装置は、下記に示す（１）に示す処理〜（３）に示す処理のいずれかを行うことによって、撮像画像に基づき対象を追尾する場合における精度の向上を図る。
【００２９】
（１）第１の情報処理方法に係る処理：対象を追尾する処理
本実施形態に係る情報処理装置は、撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、対象を追尾する。
【００３０】
本実施形態に係る撮像デバイスは、本実施形態に係る情報処理装置の外部の撮像デバイスであってもよいし、本実施形態に係る情報処理装置が備える撮像デバイスであってもよい。本実施形態に係る撮像デバイスが外部の撮像デバイスである場合、本実施形態に係る情報処理装置は、撮像デバイスと通信を行うことによって、撮像デバイスにおいて生成された撮像画像を取得する。
【００３１】
撮像デバイスは、例えば、“コートやグラウンド（スポーツの試合の解析が目的である場合の一例）”、“防犯対策を施す空間（防犯が目的である場合の一例）”などの、対象を撮像しうる領域を撮像する。
【００３２】
本実施形態に係るセンサとしては、例えば、慣性センサおよび位置センサの一方または双方など、対象の動きと位置との一方または双方をセンシングすることが可能な任意のセンサが、挙げられる。位置センサとしては、例えば、“ＧＮＳＳ（Global  Navigation  Satellite  System）デバイスのような絶対位置を検出するセンサ”や、“ＵＷＢ（Ultra  Wide  Band）のような無線通信方式を利用して位置を推定するデバイスなど、任意の通信方式の通信を利用して位置を推定するデバイス”などが、挙げられる。
【００３３】
本実施形態に係るセンサは、例えば、選手などの対象となる人が身に付けて用いる物（例えば、靴、衣服、腕時計などのアクセサリ、あるいは、任意のウェアラブルデバイス）に設けられ、または、ボールなどの対象となる物に設けられる。なお、本実施形態に係るセンサは、例えば対象となる物体（生体も含む。）に埋め込まれるなど、対象をセンシングすることが可能な任意の方法により設けられていてもよい。
【００３４】
本実施形態に係る対象は、例えば識別情報が付与されることによって、識別される。本実施形態に係る識別情報としては、例えばＩＤなどの対象を識別することが可能な、任意の形式のデータが挙げられる。
【００３５】
本実施形態に係る情報処理装置は、例えば識別情報が付与されている対象の動きの軌跡（以下、「対象の軌跡」と示す。）を検出することによって、対象を追尾する。本実施形態に係る情報処理装置は、例えば、撮像画像から識別情報が付与されている対象を検出し、検出された対象の移動軌跡を求めることによって、対象の軌跡を検出する。なお、対象の軌跡を検出する方法は、上記に示す例に限られず、本実施形態に係る情報処理装置は、軌跡を求めることが可能な任意の方法を用いて、対象の軌跡を検出することが可能である。
【００３６】
ここで、対象の識別は、例えば後述する（２）の処理によって、行われる。なお、対象の識別は、例えば本実施形態に係る情報処理装置のユーザによる識別情報を付与する操作などの、所定の操作によって行われてもよい。
【００３７】
より具体的には、本実施形態に係る情報処理装置は、撮像画像に基づいて対象を追尾する。
【００３８】
本実施形態に係る情報処理装置は、撮像画像から対象を検出することによって、対象を追尾する。本実施形態に係る情報処理装置は、例えば、撮像画像から顔や背番号などの対象における所定の領域を検出すること、撮像画像から特定の色のパターン（例えば、ユニフォームなど）を検出すること、あるいはこれらの組み合わせなど、撮像画像から対象を検出することが可能な任意の処理を行うことによって、対象を検出する。
【００３９】
上述したように、単に撮像画像に基づき対象を追尾する場合には、対象を精度よく追尾することができるとは限らない。
【００４０】
そこで、本実施形態に係る情報処理装置は、撮像画像に基づいて追尾することができない場合に、センサ情報に基づいて対象を追尾する。なお、本実施形態に係る情報処理装置は、撮像画像とセンサ情報との双方に基づいて、対象を追尾してもよい。
【００４１】
ここで、撮像画像に基づいて追尾することができない場合としては、例えば、非検出状態である場合と、非特定状態である場合とが挙げられる。
【００４２】
本実施形態に係る非検出状態とは、撮像画像に基づいて識別されている対象を検出することができない状態である。本実施形態に係る情報処理装置は、例えば撮像画像に基づいて識別されている対象が検出できない状態が設定されている期間を越えた場合に、非検出状態であると判定する。
【００４３】
また、本実施形態に係る非特定状態とは、撮像画像に基づいて対象に対して付与されている識別情報を特定することができない状態である。非特定状態としては、例えば図２に示す例のように、“対象は検出されているが、検出されている対象を一意に特定することができない状態”が挙げられる。
【００４４】
本実施形態に係る情報処理装置は、例えば、識別情報が付与されている対象と他の対象との間の距離に基づいて、非特定状態であるか否かを判定する。本実施形態に係る情報処理装置は、例えば、識別情報が付与されている対象と他の対象との間の距離が設定されている閾値以下となった場合、または、当該距離が当該閾値より小さくなった場合に、非特定状態であると判定する。
【００４５】
ここで、非特定状態の判定に係る閾値は、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などによって変更可能な可変値であってもよい。
【００４６】
本実施形態に係る情報処理装置は、例えば下記の（１−１）の処理および下記の（１−２）の処理の一方または双方を行うことによって、撮像画像およびセンサ情報に基づいて対象を追尾する。
【００４７】
（１−１）対象を追尾する処理の第１の例：対象が非検出状態であると判定された場合における処理
本実施形態に係る情報処理装置は、非検出状態である場合には、センサ情報に基づいて対象の軌跡を補間することによって、対象を追尾する。つまり、本実施形態に係る情報処理装置は、センサ情報に基づいて対象の動きを補間することによって、非検出状態を解消する。
【００４８】
図３は、本実施形態に係る情報処理方法に係る対象を追尾する処理の第１の例を説明するための説明図である。図３のＡは、非検出状態であると判定される期間を含むある期間における、対象の軌跡の一例を示しており、図３のＢは、当該非検出状態であると判定される期間における、センサ情報に基づき推定される対象の軌跡の一例を示している。また、図３のＣは、図３のＡに示す非検出状態であると判定される期間における対象の軌跡が、図３のＢに示すセンサ情報に基づき推定される対象の軌跡を用いて補間された結果の一例を、示している。
【００４９】
例えば図３に示すように、“非検出状態であると判定される期間における対象の軌跡”、すなわち、“撮像画像を処理した結果、対象が見失われた期間における対象の軌跡”を、センサ情報に基づき推定される対象の軌跡で補間する。本実施形態に係る情報処理装置は、例えば、撮像画像のタイムスタンプとセンサ情報のタイムスタンプとをそれぞれ参照することなどによって、非検出状態であると判定される期間における対象の軌跡を、センサ情報に基づき推定される対象の軌跡で補間する。
【００５０】
本実施形態に係る情報処理装置は、例えば、図３のＡに示す撮像画像に基づく対象の軌跡と、図３のＢに示すセンサ情報に基づき推定される対象の軌跡とを合成することによって、対象の軌跡を補間する。本実施形態に係る情報処理装置は、例えば、センサ情報に基づき推定される対象の軌跡に対してアフィン変換を行うこと、カルマンフィルタを用いることなどによって、図３のＡに示す撮像画像に基づく対象の軌跡と、図３のＢに示すセンサ情報に基づき推定される対象の軌跡とを合成する。
【００５１】
（１−２）対象を追尾する処理の第２の例：対象が非特定状態となった後における処理
本実施形態に係る情報処理装置は、非特定状態となった後、センサ情報に基づいて対象に対して識別情報を新たに付与することによって、識別されている対象を追尾する。対象に対して識別情報が新たに付与されることによって、当該対象は、識別可能な状態となる。つまり、本実施形態に係る情報処理装置は、センサ情報に基づいて対象を特定することによって、非特定状態を解消する。
【００５２】
上述したように、本実施形態に係る情報処理装置は、識別情報が付与されている対象と他の対象との間の距離が設定されている閾値以下となった場合、または、当該距離が当該閾値より小さくなった場合に、非特定状態であると判定する。非特定状態であると判定された後が、対象が非特定状態となった後に該当する。
【００５３】
また、本実施形態に係る情報処理装置は、例えば、“非特定状態であると判定された後に、上記識別情報が付与されている対象と他の対象との間の距離が上記閾値より大きくなった場合”、または、“非特定状態であると判定された後に、上記識別情報が付与されている対象と他の対象との間の距離が上記閾値以上となった場合”に、センサ情報に基づいて対象に対して識別情報を新たに付与して、対象を特定する。
【００５４】
図４は、本実施形態に係る情報処理方法に係る対象を追尾する処理の第２の例を説明するための説明図である。図４のＡは、非特定状態であると判定される期間を含むある期間における、対象の軌跡の一例を示しており、図４のＢは、当該ある期間におけるセンサ情報に基づき推定される対象の軌跡の一例を示している。また、図４のＣは、センサ情報に基づいて対象を特定することにより、非特定状態が解消された状態の一例を示している。
【００５５】
例えば図４のＢに示すようなセンサ情報に基づき推定される対象の軌跡を用いることによって、非特定状態となっている対象がどのような動きをしていたのかを特定することが可能となる。よって、本実施形態に係る情報処理装置は、非特定状態を解消することができる。
【００５６】
図５は、本実施形態に係る情報処理方法に係る対象を追尾する処理の第２の例を説明するための説明図であり、図４に示す非特定状態を解消するための処理の一例をより具体的に示している。図５のＡは、図４のＡと同様に、非特定状態であると判定される期間を含むある期間における、対象の軌跡の一例を示しており、図５のＢは、図４のＢと同様に、当該ある期間におけるセンサ情報に基づき推定される対象の軌跡の一例を示している。また、図５のＣは、図４のＣと同様に、センサ情報に基づいて対象を特定することにより、非特定状態が解消された状態の一例を示している。
【００５７】
図５のＡに示すように、本実施形態に係る情報処理装置は、撮像画像から求められる各対象の２次元位置を、ｐｉ１（ｘｉ１，ｙｉ１）、ｐｉ２（ｘｉ２，ｙｉ２）とおく。
【００５８】
また、図５のＣに示すように、本実施形態に係る情報処理装置は、非特定状態であると判定された後に上記識別情報が付与されている対象と他の対象との間の距離が上記閾値より大きくなった場合（または、非特定状態であると判定された後に、上記識別情報が付与されている対象と他の対象との間の距離が上記閾値以上となった場合）に、図５のＡに示す撮像画像に基づく対象の軌跡を、図５のＢに示すセンサ情報に基づき推定される対象の軌跡で補間する。本実施形態に係る情報処理装置は、図５のＣに示すように、補間後の各対象の２次元位置を、ｐｓ１（ｘｓ１，ｙｓ１）、ｐｓ２（ｘｓ２，ｙｓ２）とおく。
【００５９】
そして、本実施形態に係る情報処理装置は、ｐｉ１およびｐｉ２と、ｐｓ１およびｐｓ２との距離の組み合わせの中で、距離が最小となる組み合わせを求め、求められた組み合わせが示す２次元位置を各対象の位置とする。本実施形態に係る情報処理装置は、例えばハンガリー法（Hungarian  method）などを用いることによって、上記に示す距離が最小となる組み合わせを求める。
【００６０】
本実施形態に係る情報処理装置は、例えば上記（１−１）の処理および上記（１−２）の処理の一方または双方を行うことによって、撮像画像およびセンサ情報に基づいて対象を追尾する。
【００６１】
ここで、例えば、上記（１−１）の処理が行われることによって図３のＣに示すように非検出状態が解消され、また、上記（１−２）の処理が行われることによって図４のＣに示すように非特定状態が解消される。
【００６２】
したがって、本実施形態に係る情報処理装置は、第１の情報処理方法に係る処理（対象を追尾する処理）を行うことによって、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。
【００６３】
また、撮像画像に基づき対象を追尾する場合における精度の向上が図られることによって、対象を追尾する際に、手動で修正を行わなければならない事態が発生する可能性を、より低減することが可能となる。よって、本実施形態に係る情報処理装置は、第１の情報処理方法に係る処理（対象を追尾する処理）を行うことによって、撮像画像に基づき対象を追尾する場合における利便性の向上を図ることができる。
【００６４】
（２）第２の情報処理方法に係る処理：対象を識別する処理
本実施形態に係る情報処理装置は、撮像画像とセンサ情報とに基づいて対象を識別する。
【００６５】
より具体的には、本実施形態に係る情報処理装置は、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付けることによって、対象を識別する。本実施形態に係る情報処理装置は、例えば、撮像画像のタイムスタンプとセンサ情報のタイムスタンプとをそれぞれ参照することなどによって、同時刻（または、同時刻とみなすことが可能な設定されている期間。以下、同様とする。）において発生したイベントを対応付ける。
【００６６】
本実施形態に係るイベントとしては、例えば、“ボールを蹴る、ボールを打つ、スイングを行うなどの、スポーツにおける設定されているプレー動作が行われたこと”（例えば、本実施形態に係る情報処理方法が、スポーツの試合の解析に適用される場合におけるイベントの一例）や、“歩いている状態から走っている状態へと変化する、周りを頻繁に見回すなどの、設定されている所定の動作が行われたこと”（例えば、本実施形態に係る情報処理方法が、防犯に適用される場合におけるイベントの一例）などが、挙げられる。なお、本実施形態に係るイベントの例が、上記に示す例に限られないことは、言うまでもない。
【００６７】
図６は、本実施形態に係る情報処理方法に係る対象を識別する処理の一例を説明するための説明図である。図６のＡは、撮像画像に基づき検出されるイベントの一例を示しており、図６のＢは、センサ情報に基づき検出されるイベントの一例を示している。また、図６のＣは、撮像画像に基づき検出されるイベントとセンサ情報に基づき検出されるイベントとを対応付けた結果の一例を示している。図６では、検出されるイベントの一例として、テニスのスイングを示している。
【００６８】
例えば図６のＡに示す撮像画像に基づき検出される“スイング（フォア）”と、Ａさん（対象の一例）に対応するセンサ情報に基づき検出される“スイング（フォア）”とのように、同時刻に発生した同種のイベントが存在する場合、本実施形態に係る情報処理装置は、図６のＣに示すように、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。本実施形態に係る情報処理装置は、例えば、イベントを対応付けた結果を示す情報を、記憶部（後述する）などの記録媒体に保持することによって、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。
【００６９】
また、検出されたイベントに紐付く情報が複数ある場合、本実施形態に係る情報処理装置は、複数のイベントに紐付く情報に基づいて、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付けてもよい。
【００７０】
イベントがテニスのスイングである場合を例に挙げて、本実施形態に係るイベントに紐付く情報の一例を挙げると、例えば、スイングの種類（例えば、フォアであるかバックであるか）、スイングの強さ（例えば、ラケットの加速度変化などにより求められる強さ）ボールの初速などが、挙げられる。なお、本実施形態に係るイベントに紐付く情報の例が、上記に示す例に限られないことは、言うまでもない。
【００７１】
本実施形態に係る情報処理装置は、例えば、“撮像画像に基づき検出されるイベントに紐付く情報が示す、複数の特徴量”と、“センサ情報に基づき検出されるイベントに紐付く情報が示す、複数の特徴量”とを利用することによって、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。
【００７２】
一例を挙げると、本実施形態に係る情報処理装置は、例えば、各特徴量間の距離の重み付き二乗誤差などを、イベント間の距離として算出する。そして、本実施形態に係る情報処理装置は、算出されたイベント間の距離が設定されている閾値より小さい場合、または、当該イベント間の距離が当該閾値以下の場合に、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。
【００７３】
また、複数の対象に対応するセンサ情報に基づき、同時刻に複数の対象により行われたイベントが検出された場合には、本実施形態に係る情報処理装置は、複数の対象に対応するセンサ情報それぞれに対してイベント間の距離を算出する。そして、本実施形態に係る情報処理装置は、“イベント間の距離が最小となる、撮像画像に基づき検出されるイベントとセンサ情報に基づき検出されるイベントとの組み合わせ”を求めることによって、撮像画像に基づき検出されるイベントと、センサ情報に基づき検出されるイベントとを対応付ける。本実施形態に係る情報処理装置は、例えばハンガリー法を用いて、イベント間の距離が最小となる上記組み合わせを求める。
【００７４】
本実施形態に係る情報処理装置は、例えば上記のような処理を行うことによって、撮像画像とセンサ情報とに基づいて対象を識別する。
【００７５】
ここで、例えば非特定状態が生じた場合であっても、上記のような処理が行われることにより対象が識別されることによって、非特定状態が解消される。
【００７６】
したがって、本実施形態に係る情報処理装置は、第２の情報処理方法に係る処理（対象を識別する処理）を行うことによって、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。
【００７７】
また、撮像画像に基づき対象を追尾する場合における精度の向上が図られることによって、対象を追尾する際に、手動で修正を行わなければならない事態が発生する可能性を、より低減することが可能となる。よって、本実施形態に係る情報処理装置は、第２の情報処理方法に係る処理（対象を識別する処理）を行うことによって、撮像画像に基づき対象を追尾する場合における利便性の向上を図ることができる。
【００７８】
さらに、第２の情報処理方法に係る処理（対象を識別する処理）が行われることによって対象が識別されるので、自動的な対象の識別が実現される。つまり、第２の情報処理方法に係る処理が行われる場合には、例えば本実施形態に係る情報処理装置のユーザは、識別情報を付与する操作などの対象の識別のための所定の操作を行う必要はない。よって、本実施形態に係る情報処理装置が第２の情報処理方法に係る処理を行うことによって、撮像画像に基づき対象を追尾する場合における利便性の向上を図ることができる。
【００７９】
（３）第３の情報処理方法に係る処理：対象を追尾する処理と対象を識別する処理との組み合わせ
本実施形態に係る情報処理装置は、上記（１）に示す処理（対象を追尾する処理）と、上記（２）に示す処理（対象を識別する処理）との双方を行ってもよい。
【００８０】
上記（１）に示す処理（対象を追尾する処理）と、上記（２）に示す処理（対象を識別する処理）との双方が行われることによって、上記（１）に示す処理（対象を追尾する処理）および上記（２）に示す処理（対象を識別する処理）それぞれにより奏される効果が、奏される。
【００８１】
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）のいずれかの処理を行うことによって、撮像画像に基づき対象を追尾する場合における精度の向上を図る。
【００８２】
なお、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）それぞれは、便宜上、本実施形態に係る情報処理方法に係る処理を切り分けたものである。よって、本実施形態に係る情報処理方法に係る各処理は、例えば、任意の切り分け方によって２以上の処理と捉えることも可能である。
【００８３】
（本実施形態に係る情報処理システム）
次に、上述した本実施形態に係る情報処理方法が適用される本実施形態に係る情報処理システムの一例について、説明する。
【００８４】
図７は、本実施形態に係る情報処理方法が適用される本実施形態に係る情報処理システム１０００の一例を示す説明図である。
【００８５】
情報処理システム１０００は、例えば、情報処理装置１００と、撮像デバイス２００、…と、センサ３００とを有する。
【００８６】
なお、図７では、１つの撮像デバイス２００を示しているが、本実施形態に係る情報処理システムは、複数の撮像デバイス２００を有していてもよい。本実施形態に係る情報処理システムが複数の撮像デバイス２００を有する場合、複数の撮像デバイス２００のうちの一部は、情報処理装置１００が備える撮像デバイスであってもよい。
【００８７】
また、図７では、１つのセンサ３００を示しているが、本実施形態に係る情報処理システムは、複数のセンサ３００を有していてもよい。本実施形態に係る情報処理システムが複数のセンサを有する場合、各センサは、例えば、各センサが対応する対象それぞれをセンシングする。また、本実施形態に係る情報処理システムが複数のセンサを有する場合、１つの対象に対して、複数のセンサ３００が対応していてもよい。
【００８８】
以下では、図７に示す情報処理システム１０００を例に挙げて、情報処理システム１０００を構成する装置について、説明する。
【００８９】
情報処理装置１００、撮像デバイス２００、およびセンサ３００は、例えば、ネットワーク４００を介して無線または有線で接続される。ネットワーク４００としては、例えば、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）などの有線ネットワーク、ＷＬＡＮ（Wireless  Local  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。なお、本実施形態に係る情報処理システムでは、情報処理装置１００と、撮像デバイス２００およびセンサ３００それぞれとは、ネットワーク４００を介さずに、直接的に通信を行うことも可能である。
【００９０】
［１］撮像デバイス２００
撮像デバイス２００は、例えば、“コートやグラウンド（スポーツの試合の解析が目的である場合の一例）”、“防犯対策を施す空間（防犯が目的である場合の一例）”などの、対象を撮像しうる領域を撮像する。撮像デバイス２００の位置と姿勢との一方または双方は、固定であってもよいし、変化してもよい。
【００９１】
撮像デバイス２００は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。
【００９２】
なお、撮像デバイス２００の構成は、上記に示す例に限られず、後述する撮像デバイス２００の適用例に応じた構成をとることが可能である。
【００９３】
［２］センサ３００
センサ３００は、対象をセンシングするセンサである。センサ３００としては、上述したように、慣性センサおよび位置センサの一方または双方などが、挙げられる。
【００９４】
また、上述したように、センサ３００は、例えば、選手などの対象となる人が身に付けて用いる物（例えば、靴、衣服、腕時計などのアクセサリ、あるいは、任意のウェアラブルデバイス）に設けられ、または、ボールなどの対象となる物に設けられる。
【００９５】
［３］情報処理装置１００
情報処理装置１００は、本実施形態に係る情報処理方法に係る処理を行う。
【００９６】
図８は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
【００９７】
また、情報処理装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、情報処理装置１００の使用者が操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００９８】
ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
【００９９】
記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、本実施形態に係る情報処理方法に係るデータや各種アプリケーションなどの、様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。
【０１００】
操作部（図示せず）としては、後述する操作入力デバイスが挙げられる。また、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
【０１０１】
［情報処理装置１００のハードウェア構成例］
図９は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。また、情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。
【０１０２】
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する処理部１１０の役目を果たす。なお、処理部１１０は、専用の（または汎用の）回路（例えば、ＭＰＵ１５０とは別体のプロセッサなど）で構成されていてもよい。
【０１０３】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１０４】
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、本実施形態に係る情報処理方法に係るデータや各種アプリケーションなどの、様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。
【０１０５】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）（登録商標）端子、各種処理回路などが挙げられる。
【０１０６】
また、操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
【０１０７】
また、表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display）や有機ＥＬディスプレイ（Organic  Electro-Luminescence  Display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  Display）ともよばれる。）などが挙げられる。
【０１０８】
なお、入出力インタフェース１５８が、情報処理装置１００の外部の操作入力デバイス（例えば、キーボードやマウスなど）や外部の表示デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチパネルなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１０９】
通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワーク４００を介して（あるいは、直接的に）、撮像デバイス２００やセンサ３００などの外部デバイス、サーバなどの外部装置などと、無線または有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、通信インタフェース１６４は、ネットワーク４００に対応する任意の構成であってもよい。
【０１１０】
情報処理装置１００は、例えば図９に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図９に示す構成に限られない。
【０１１１】
例えば、情報処理装置１００は、接続されている外部の通信デバイスを介して外部装置などと通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、通信インタフェース１６４は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
【０１１２】
また、情報処理装置１００は、例えば、情報処理システム１０００において撮像デバイス２００として機能する撮像デバイスを、さらに備えていてもよい。情報処理装置１００が撮像デバイスを備える場合、当該撮像デバイスは、撮像により撮像画像（動画像または静止画像）を生成する撮像部（図示せず）として機能する。
【０１１３】
また、情報処理装置１００は、例えば、記録媒体１５６や、操作入力デバイス１６０、表示デバイス１６２を備えない構成をとることが可能である。
【０１１４】
また、情報処理装置１００は、例えば、後述する情報処理装置１００の適用例に応じた構成をとることが可能である。
【０１１５】
また、例えば、図９に示す構成（または変形例に係る構成）の一部または全部は、１、または２以上のＩＣ（Integrated  Circuit）で実現されてもよい。
【０１１６】
再度図８を参照して、情報処理装置１００の構成の一例について説明する。通信部１０２は、情報処理装置１００が備える通信手段であり、ネットワーク４００を介して（あるいは、直接的に）、撮像デバイス２００やセンサ３００などの外部装置と、無線または有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。
【０１１７】
ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路などの通信を行うことが可能な任意の規格に対応する構成や、ネットワーク４００を介して外部装置と通信可能な任意の構成をとることができる。また、通信部１０２は、複数の通信方式によって、１または２以上の外部装置などと通信を行うことが可能な構成であってもよい。
【０１１８】
制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、処理部１１０を有し、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
【０１１９】
処理部１１０は、本実施形態に係る情報処理方法に係る処理として、例えば、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）のいずれかの処理を行う。
【０１２０】
上記（１）に示す処理（対象を追尾する処理）を行う場合、処理部１１０は、撮像画像とセンサ情報とに基づいて識別されている対象を追尾する。
【０１２１】
また、上記（２）に示す処理（対象を識別する処理）を行う場合、処理部１１０は、撮像画像とセンサ情報とに基づいて、対象を識別する。
【０１２２】
また、上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）を行う場合、処理部１１０は、撮像画像とセンサ情報とに基づいて識別されている対象を追尾し、かつ、撮像画像とセンサ情報とに基づいて識別されている対象を追尾する。
【０１２３】
制御部１０４は、例えば、処理部１１０を有することにより、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
【０１２４】
なお、制御部１０４の構成は、図８に示す例に限られない。例えば、制御部１０４は、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成を有することが可能である。
【０１２５】
情報処理装置１００は、例えば図８に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）のいずれかの処理）を行う。したがって、情報処理装置１００は、例えば図８に示す構成によって、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。
【０１２６】
また、例えば図８に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。
【０１２７】
なお、本実施形態に係る情報処理装置の構成は、図８に示す構成に限られない。
【０１２８】
例えば、本実施形態に係る情報処理装置は、図８に示す処理部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。
【０１２９】
また、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図８に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。
【０１３０】
また、例えば、通信部１０２と同様の機能、構成を有する外部の通信デバイスを介して外部装置と通信を行う場合には、本実施形態に係る情報処理装置は、通信部１０２を備えていなくてもよい。
【０１３１】
［４］本実施形態に係る情報処理システムを構成する各装置の適用例
以上、本実施形態に係る情報処理システムの構成要素として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ＰＣ（Personal  Computer）やサーバなどのコンピュータ”や、“タブレット型の装置”、“ゲーム機”、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。
【０１３２】
また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”などが、挙げられる。
【０１３３】
また、本実施形態に係る情報処理システムの構成要素として、撮像デバイスを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“デジタルスチルカメラやデジタルビデオカメラなどのカメラ”や、“スマートホンや携帯電話などの撮像を行うことが可能な通信装置”、“撮像を行うことが可能なタブレット型の装置”、“撮像を行うことが可能なゲーム機”など、撮像機能を有する任意の装置が、挙げられる。また、上述したように、本実施形態に係る情報処理システムでは、本実施形態に係る情報処理装置が撮像デバイスの役目を果たしてもよい。
【０１３４】
また、本実施形態に係る情報処理システムの構成要素として、センサを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“ヘッドマウントディスプレイや、アイウェア型の装置、時計型の装置、腕輪型の装置などのような、ユーザの身体に装着して用いられる様々なウェアラブル装置”や、“タグなどの物体に貼り付けて用いられる装置”、“生体に埋め込まれて用いられる装置”など、対象をセンシングする機能を有する任意の装置が、挙げられる。
【０１３５】
（本実施形態に係るプログラム）
コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、上記（１）に示す処理（対象を追尾する処理）、上記（２）に示す処理（対象を識別する処理）、および上記（３）に示す処理（対象を追尾する処理と対象を識別する処理との組み合わせ）のいずれかの処理など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータシステムにおいてプロセッサなどにより実行されることによって、撮像画像に基づき対象を追尾する場合における精度の向上を図ることができる。ここで、本実施形態に係るコンピュータシステムとしては、単体のコンピュータ、または、複数のコンピュータが挙げられる。本実施形態に係るコンピュータシステムによって、本実施形態に係る情報処理方法に係る一連の処理が行われる。
【０１３６】
また、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータシステムにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を、奏することができる。
【０１３７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３８】
例えば、上記では、コンピュータシステムを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１３９】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１４０】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１４１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾する処理部を備える、情報処理装置。
（２）
前記処理部は、識別情報が付与されている前記対象の軌跡を検出することによって、前記対象を追尾する、（１）に記載の情報処理装置。
（３）
前記処理部は、
前記撮像画像に基づいて前記対象を追尾し、
前記撮像画像に基づいて追尾することができない場合に、前記センサ情報に基づいて前記対象を追尾する、（１）または（２）に記載の情報処理装置。
（４）
前記処理部は、前記撮像画像に基づいて前記対象に対して付与されている識別情報を特定することができない非特定状態となった後、前記センサ情報に基づいて前記対象に対して識別情報を新たに付与して、前記対象を追尾する、（３）に記載の情報処理装置。
（５）
前記処理部は、識別情報が付与されている前記対象と他の前記対象との間の距離が設定されている閾値以下となった場合、または、前記距離が前記閾値より小さくなった場合に、前記非特定状態であると判定する、（４）に記載の情報処理装置。
（６）
前記処理部は、前記非特定状態であると判定された後に前記距離が前記閾値より大きくなった場合、または、前記非特定状態であると判定された後に前記距離が前記閾値以上となった場合に、前記センサ情報に基づいて前記対象に対して識別情報を新たに付与する、（５）に記載の情報処理装置。
（７）
前記処理部は、前記撮像画像に基づいて前記対象を検出することができない非検出状態である場合に、前記センサ情報に基づいて前記対象の軌跡を補間することによって、前記対象を追尾する、（３）〜（６）のいずれか１つに記載の情報処理装置。
（８）
前記処理部は、前記撮像画像と前記センサ情報とに基づいて前記対象を識別する、（１）〜（７）のいずれか１つに記載の情報処理装置。
（９）
前記処理部は、前記撮像画像に基づき検出されるイベントと、前記センサ情報に基づき検出されるイベントとを対応付けることによって、前記対象を識別する、（８）に記載の情報処理装置。
（１０）
前記センサは、前記対象の位置または前記対象の動きをセンシングするセンサである、（１）〜（９）のいずれか１つに記載の情報処理装置。
（１１）
前記センサは、位置センサまたは慣性センサである、（１０）に記載の情報処理装置。
（１２）
撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を識別する処理部を備える、情報処理装置。
（１３）
撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾するステップを有する、情報処理装置により実行される情報処理方法。
（１４）
前記追尾するステップでは、
前記撮像画像に基づいて前記対象が追尾され、
前記撮像画像に基づいて追尾することができない場合に、前記センサ情報に基づいて前記対象が追尾される、（１３）に記載の情報処理方法。
（１５）
撮像デバイスにより撮像された撮像画像と、対象をセンシングするセンサから通信により取得されたセンサ情報とに基づいて、前記対象を識別するステップを有する、情報処理装置により実行される情報処理方法。
（１６）
前記識別するステップでは、前記撮像画像に基づき検出されるイベントと、前記センサ情報に基づき検出されるイベントとを対応付けることによって、前記対象が識別される、（１５）に記載の情報処理方法。
（１７）
撮像デバイスと、
対象をセンシングするセンサと、
前記撮像デバイスにより撮像された撮像画像と、前記センサから通信により取得されたセンサ情報とに基づいて、前記対象を追尾する処理部を備える情報処理装置と、
を有する、情報処理システム。
【符号の説明】
【０１４２】
１００    情報処理装置
１０２    通信部
１０４    制御部
１１０    処理部
２００    撮像デバイス
３００    センサ
４００    ネットワーク
１０００    情報処理システム
【図１】
2018135095.tif 000003
【図２】
2018135095.tif 000004
【図３】
2018135095.tif 000005
【図４】
2018135095.tif 000006
【図５】
2018135095.tif 000007
【図６】
2018135095.tif 000008
【図７】
2018135095.tif 000009
【図８】
2018135095.tif 000010
【図９】
2018135095.tif 000011
【国際調査報告】
2018135095.tif 000012
2018135095.tif 000013
2018135095.tif 000014