(57)【要約】【課題】軌跡の入れ替わりを抑制できるオブジェクト追跡装置を提供する。【解決手段】オブジェクト追跡装置３０は、赤外画像Ｉｔから赤外光マーカの位置を検出する赤外光検出手段３１と、可視画像Ｖｔから人物の関節位置を検出する人物姿勢検出手段３３１と、赤外光マーカの位置から関節位置までの特徴ベクトルを算出する特徴ベクトル算出手段３５１と、識別器を用いて、特徴ベクトルによってオブジェクトに対応する人物を選択し、オブジェクトと人物との対応関係を示す属性情報を生成する属性情報生成手段３５３と、赤外光マーカの位置及び属性情報に基づいて、オブジェクトの軌跡を描画する軌跡描画手段３７３とを備える。【選択図】図４
2020107071.tif 000002
【特許請求の範囲】
【請求項１】
動いているオブジェクトのそれぞれに付された赤外光マーカを赤外光で撮影した赤外画像と、それぞれの前記オブジェクトを動かしている人物を可視光で撮影した可視画像とを用いて、前記オブジェクトを追跡するオブジェクト追跡装置であって、
前記オブジェクトの位置として、前記赤外画像から前記赤外光マーカの位置を検出する赤外光検出手段と、
前記可視画像から前記人物の各関節位置を検出する関節位置検出手段と、
前記オブジェクトの位置から前記各関節位置までの特徴ベクトルを算出する特徴ベクトル算出手段と、
前記オブジェクトの位置と前記各関節位置との関係を予め学習した識別器を用いて、前記特徴ベクトルによって前記オブジェクトに対応する前記人物を選択し、前記オブジェクトと前記人物との対応関係を示す属性情報を生成する属性情報生成手段と、
前記オブジェクトの位置及び前記属性情報に基づいて、前記オブジェクトの軌跡を生成する軌跡生成手段と、
を備えることを特徴とするオブジェクト追跡装置。
【請求項２】
前記属性情報生成手段は、
回帰モデルの前記識別器を前記人物毎に学習し、
前記人物毎に学習した識別器を用いて、前記特徴ベクトルから前記オブジェクトと前記人物との組み合わせ毎の尤度を算出し、算出した前記尤度が最も高くなる前記オブジェクトと前記人物との組み合わせを選択し、前記属性情報を生成することを特徴とする請求項１に記載のオブジェクト追跡装置。
【請求項３】
前記関節位置検出手段は、前記可視画像に含まれる全人物の関節位置を検出し、
前記関節位置検出手段で検出された前記関節位置に基づいて、首関節から股関節までの胴体長を前記人物毎に算出し、算出した前記胴体長が長い順に予め設定した数の前記人物を選択し、選択した前記人物の前記関節位置を前記特徴ベクトル算出手段に出力する人物選択手段、をさらに備えることを特徴とする請求項１又は請求項２に記載のオブジェクト追跡装置。
【請求項４】
前記特徴ベクトル算出手段は、前記特徴ベクトルを前記胴体長で正規化することを特徴とする請求項３に記載のオブジェクト追跡装置。
【請求項５】
前記関節位置検出手段は、少なくとも前記人物の頭及び腕部の前記関節位置を検出することを特徴とする請求項１から請求項４の何れか一項に記載のオブジェクト追跡装置。
【請求項６】
コンピュータを、請求項１から請求項５の何れか一項に記載のオブジェクト追跡装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外画像及び可視画像を用いて、オブジェクトを追跡するオブジェクト追跡装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、映像解析技術の進展に伴い、カメラを用いた様々なアプリケーションが提案されている。この技術の発展は、特にスポーツシーンの映像解析において顕著である。例えば、ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラの映像を用いてテニスボールを３次元的に追跡し、ＩＮ／ＯＵＴの判定を行っている。また２０１４年のＦＩＦＡワールドカップでは、ゴールラインテクノロジーと称して、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。さらにサッカースタジアムに多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するＴＲＡＣＡＢシステムも知られている。
【０００３】
これら映像解析技術は、時間解像度が３０フレーム／秒(ｆｐｓ)のカメラで撮影した映像を利用する前提であることが多い。例えば、フェンシングの剣先、バドミントンのシャトルなど、目視が困難なほどの高速で移動するオブジェクトを撮影すると、映像上では、そのオブジェクトに極度のモーションブラーが発生する（図１６の符号α）。このため、映像のみからオブジェクト位置を正確に計測することが極めて困難である。この場合、３０ｆｐｓを超えるハイスピートカメラを利用したり、シャッター速度を高速化することで、モーションブラーを軽減できる。その一方、ハイスピードカメラは高価であり、シャッター速度を高速化すると映像の輝度が低下するという問題がある。
【０００４】
このような制約条件の中、赤外カメラを利用し、高速移動体を頑健に追跡する従来技術が提案されている（特許文献１）。この従来技術は、追跡対象に再帰性の反射テープを貼付し、赤外カメラから赤外光を照射し、その反射光を赤外画像上で検出することにより、追跡対象の位置を計測するものである。この従来技術では、赤外画像上で検出を行うことで、可視画像において誤検出の原因となるノイズを低減し、高い精度でオブジェクトを追跡できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−７８４３１号公報
【発明の概要】
【０００６】
前記した従来技術では、追跡対象が高速に移動している場合、又は、反射テープが赤外カメラに正対していない場合、反射テープからの反射光が微弱となり、赤外画像上で追跡対象の検出が困難となる。以後、追跡対象の検出に失敗することを「ロスト」と記載することがある。また、従来技術では、複数の追跡対象の追跡中に追跡対象同士が近接した際、又は、全追跡対象をロストした後に再検出した際、追跡対象が入れ替わる場合がある。この場合、従来技術では、正確な軌跡の描画が極めて困難となり、軌跡の入れ替わりが生じることがある。
【発明が解決しようとする課題】
【０００７】
そこで、本発明は、軌跡の入れ替わりを抑制できるオブジェクト追跡装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記した課題に鑑みて、本発明に係るオブジェクト追跡装置は、動いているオブジェクトのそれぞれに付された赤外光マーカを赤外光で撮影した赤外画像と、それぞれのオブジェクトを動かしている人物を可視光で撮影した可視画像とを用いて、オブジェクトを追跡するオブジェクト追跡装置であって、赤外光検出手段と、関節位置検出手段と、特徴ベクトル算出手段と、属性情報生成手段と、軌跡生成手段と、を備える構成とした。
【０００９】
かかるオブジェクト追跡装置において、赤外光検出手段は、オブジェクトの位置として、赤外画像から赤外光マーカの位置を検出する。
関節位置検出手段は、可視画像から人物の各関節位置を検出する。
特徴ベクトル算出手段は、オブジェクトの位置から各関節位置までの特徴ベクトルを算出する。この特徴ベクトルは、追跡の対象となるオブジェクトの位置と人物の姿勢との関係を表している。
【００１０】
属性情報生成手段は、オブジェクトの位置と各関節位置との関係を予め学習した識別器を用いて、特徴ベクトルによってオブジェクトに対応する人物を選択し、オブジェクトと人物との対応関係を示す属性情報を生成する。
軌跡生成手段は、オブジェクトの位置及び属性情報に基づいて、オブジェクトの軌跡を生成する。
このように、オブジェクト追跡装置は、オブジェクトを追跡する際、オブジェクトと人物との対応関係を示す属性情報を用いるので、その軌跡の入れ替わりを抑制できる。
【００１１】
なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記したオブジェクト追跡装置として協調動作させるプログラムで実現することもできる。
【発明の効果】
【００１２】
本発明によれば、オブジェクトを追跡する際、オブジェクトと人物との対応関係を示す属性情報を用いるので、その軌跡の入れ替わりを抑制できる。このように、本発明によれば、正確なオブジェクトの軌跡を生成し、追跡頑健性を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係るオブジェクト追跡システムの概略構成図である。
【図２】実施形態における剣先の説明図である。
【図３】実施形態において、赤外画像の一例を示す図である。
【図４】実施形態に係るオブジェクト追跡装置の構成を示すブロック図である。
【図５】実施形態において、人物の関節点の説明図である。
【図６】実施形態において、可視画像の一例を示す図である。
【図７】実施形態において、関節点の検出を説明する説明図である。
【図８】実施形態において、選手の関節点の選択を説明する説明図である。
【図９】実施形態において、特徴ベクトルの算出を説明する説明図である。
【図１０】実施形態において、識別器の学習を説明する説明図である。
【図１１】実施形態において、識別器による判定を説明する説明図である。
【図１２】実施形態において、軌跡の描画を説明する説明図である。
【図１３】実施形態に係るオブジェクト追跡装置の動作を示すフローチャートである。
【図１４】実施例において、尤度分布を可視化した画像の一例である。
【図１５】実施例において、尤度分布を可視化した画像の別例である。
【図１６】従来技術において、フェンシングの映像におけるモーションブラーを説明する説明図である。
【発明を実施するための形態】
【００１４】
（実施形態）
［オブジェクト追跡システムの概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、本発明の実施形態に係るオブジェクト追跡システム１の概略について説明する。
以後の実施形態では、フェンシングにおいて、選手（人物）が持っている剣の剣先（オブジェクト）を追跡対象として説明する。フェンシングの最中、両選手の剣先は、高速で動いていることが多い。
【００１５】
オブジェクト追跡システム１は、可視光及び赤外光を同光軸で撮影可能な可視・赤外同軸光カメラ２０を利用し、可視光画像Ｖ及び赤外画像Ｉを組み合わせて、高速で移動する２本の剣先位置を追跡し、その軌跡Ｔ（Ｔ１，Ｔ２）を描画するものである。図１に示すように、オブジェクト追跡システム１は、赤外光投光器１０と、可視・赤外同軸光カメラ２０と、オブジェクト追跡装置３０と、を備える。
【００１６】
赤外光投光器１０は、赤外光を投光する一般的な投光器である。
図２に示すように、この赤外光投光器１０が投光した赤外光は、両選手の剣先９０に付けた反射テープ（赤外光マーカ）９１で反射され、後記する可視・赤外同軸光カメラ２０で撮影される。
【００１７】
反射テープ９１は、赤外光投光器１０からの赤外線を反射するものである。この反射テープ９１は、剣先９０に１枚以上付ければよく、その大きさや枚数に特に制限はない。図２の例では、剣先９０は、その側面に矩形状の反射テープ９１を１枚付けている。ここで、剣先９０は、側面反対側に反射テープ９１を１枚追加してもよく、その側面を一周するように帯状の反射テープ９１を巻いてもよい（不図示）。
【００１８】
可視・赤外同軸光カメラ２０は、可視光と赤外光を同一光軸で撮影し、同一画素数の可視画像Ｖ及び赤外画像Ｉを生成するものである。本実施形態では、可視・赤外同軸光カメラ２０は、フェンシングの競技を撮影した可視画像Ｖ（図５）と、剣先９０の反射テープ９１を撮影した赤外画像Ｉとを生成する。図３に示すように、赤外画像Ｉは、２個の反射テープ９１のみが撮影される一方、他の選手などが撮影されない（破線で図示）。また、可視画像Ｖの剣先９０と、赤外画像Ｉの反射テープ９１との画像座標が対応するため、３次元空間での視点変換を行うことなく軌跡Ｔを描画できる。
【００１９】
オブジェクト追跡装置３０は、可視・赤外同軸光カメラ２０から入力された赤外画像Ｉと可視画像Ｖとを用いて、両選手の剣先９０を追跡するものである。そして、オブジェクト追跡装置３０は、追跡した両選手の剣先９０の軌跡Ｔ１，Ｔ２を異なる色で描画し、描画した軌跡Ｔ１，Ｔ２を可視画像Ｖに合成することで、軌跡合成画像Ｆを生成する。
なお、図１では、左側の選手が持つ剣先９０の軌跡Ｔ１を破線で図示し、右側の選手が持つ剣先９０の軌跡Ｔ２を一点鎖線で図示した。
【００２０】
［オブジェクト追跡装置の構成］
図４を参照し、オブジェクト追跡装置３０の構成について説明する。
図４に示すように、オブジェクト追跡装置３０は、赤外光検出手段３１と、人物姿勢取得手段３３と、オブジェクト識別手段３５と、オブジェクト追跡手段３７と、を備える。
【００２１】
本実施形態では、オブジェクト追跡装置３０は、時間方向に連続するフレーム１，…，ｔ−１，ｔ，…の赤外画像Ｉ及び可視画像Ｖが入力され、入力された赤外画像Ｉ及び可視画像Ｖに順次処理を施すこととする。以後、現在のフレーム（現フレーム）をｔとし、現フレームｔの赤外画像Ｉを赤外画像Ｉｔとし、現フレームの可視画像Ｖを可視画像Ｖｔとする。
【００２２】
赤外光検出手段３１は、赤外画像Ｉｔから剣先９０（反射テープ９１）の位置を検出するものである。以下、赤外光検出手段３１による剣先位置の検出手法の一例を説明する。
【００２３】
＜剣先位置の検出手法＞
まず、赤外光検出手段３１は、下記の式（１）を用いて、現在のフレームの赤外画像Ｉｔと、１つ前のフレームの赤外画像Ｉｔ−１との２値赤外差分画像を生成することで、動オブジェクトの領域Ｍｔのみを抽出する。つまり、赤外光検出手段３１は、赤外画像Ｉｔの画素（ｘ，ｙ）の輝度値Ｉｘｙｔと、赤外画像Ｉｔ−１の画素（ｘ，ｙ）の輝度値Ｉｘｙｔ−１との差分が、予め設定した閾値Ｒ＿ｂｒｉを超える動オブジェクトの領域Ｍｘｙｔを、候補ブロブとして抽出する。
【００２４】
【数１】
2020107071.tif 000003
【００２５】
ここで、ｘ，ｙは、水平及び垂直の画像座標を表す。また、閾値Ｒ＿ｂｒｉは、任意の値で予め設定する。また、式（１）の‘０’が最小輝度値を表し、‘２５５’が最大輝度値を表す。
なお、赤外光検出手段３１は、静止しているノイズブロブの発生を抑えるために２値赤外差分画像Ｍｘｙｔを生成したが、赤外画像Ｉｔで輝度が高い領域を候補ブロブとして抽出してもよい。
【００２６】
次に、赤外光検出手段３１は、抽出した候補ブロブにモルフォロジ処理を施し、小領域のノイズブロブを消去する。このモルフォロジ処理とは、画像をいくつかの方向に画素単位でずらした画像群と、もとの画像との画像間演算によって、小領域のノイズブロブを消去する処理である。
【００２７】
次に、赤外光検出手段３１は、モルフォロジ処理で残った候補ブロブにラベリング処理を施す。このラベリング処理とは、候補ブロブにラベル（番号）を割り当てる処理である。
次に、赤外光検出手段３１は、ラベリング処理を施した候補ブロブの位置、面積及び形状特徴量を求める。ここで、候補ブロブの位置は、候補ブロブの中心位置又は重心位置である。また、候補ブロブの形状特徴量は、円形度や外接矩形のアスペクト比とする。
【００２８】
次に、赤外光検出手段３１は、予め設定した最小面積から最大面積までの範囲にない候補ブロブを消去する。そして、赤外光検出手段３１は、形状特徴量が予め設定した範囲内にない候補ブロブを消去する。さらに、赤外光検出部３１１は、候補ブロブの数がオブジェクト上限数を超えている場合、面積が大きい２個の候補ブロブの位置を剣先９０の位置Ｓ１，Ｓ２として残し、他の候補ブロブを消去する。なお、Ｓｍ（Ｓ１，Ｓ２）は、後記する左右の属性情報が付加されていない剣先９０の位置を表す（ｍ∈１，２）。
その後、赤外光検出手段３１は、剣先９０の位置Ｓ１，Ｓ２として、赤外画像Ｉｔから検出した２個の反射テープ９１の位置をオブジェクト識別手段３５（特徴ベクトル算出手段３５１）に出力する。
【００２９】
人物姿勢取得手段３３は、可視画像Ｖｔから人物の姿勢を取得するものであり、人物姿勢検出手段（関節位置検出手段）３３１と、人物選択手段３３３と、を備える。
【００３０】
人物姿勢検出手段３３１は、人物の姿勢として、可視画像Ｖｔから人物の各関節点（関節位置）を検出するものである。ここで、人物姿勢検出手段３３１は、任意の手法で人物の関節点を検出可能であり、可視画像Ｖｔから関節点を自動的に検出してもよく、可視画像Ｖｔに手動で関節点を指定してもよい。
【００３１】
本実施形態では、人物姿勢検出手段３３１が、一般的な姿勢計測手法の一つである“ＯｐｅｎＰｏｓｅ”を用いることとして説明する（参考文献１）。
参考文献１：ZheCao, Tomas Simon, Shih-EnWei, YaserSheikh, ”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields,”In Proceedings of the IEEE InternationalConference on Computer Vision and Pattern Recognition 2017 (CVPR2017), pp.7291-7299
【００３２】
この姿勢計測手法は、深層学習を用いて人物姿勢を計測する手法であり、可視画像Ｖｔから各人物の関節点を１８点検出する。以後、図５に示すように、各人物の関節点をＢｎｉで表す。上付き添え字ｎは、可視画像Ｖｔに含まれる人物の識別番号を表し（ｎ∈Ｎ）、可視画像Ｖｔに含まれる人物の総数をＮとする。下付き添え字ｉは、関節点の識別番号を表す（ｉ＝０〜１７）。
なお、図５では、識別番号ｎを省略すると共に、隣接する関節点Ｂｎｉを結ぶ破線を図示した。
【００３３】
この関節点Ｂｉには、上半身の関節点Ｂ０〜Ｂ７，Ｂ１４〜Ｂ１７と、股関節Ｂ８，Ｂ１１を含めた下半身の股関節Ｂ８〜Ｂ１３とが含まれる。頭部の関節点Ｂ１４〜Ｂ１７のように関節でない箇所も含まれているが、目や鼻のように画像特徴を有するので、これらも関節点として扱っている。
【００３４】
例えば、図６の可視画像Ｖｔが人物姿勢検出手段３３１に入力されたこととする。この可視画像Ｖｔは、フェンシングの試合映像であり、２人の選手ＨＬ，ＨＲの他、１人の審判ＨＪ及び５人の観客ＨＧなど、人物Ｈが８人含まれている（Ｎ＝８）。ここで、参考文献１の姿勢計測手法では、関節点Ｂｎｉの検出対象となる人物Ｈを可視画像Ｖｔで指定できないので、全人物Ｈの関節点Ｂｎｉを検出することになる。すなわち、人物姿勢検出手段３３１は、図７に示すように、可視画像Ｖｔに含まれる全人物Ｈの関節点Ｂｎｉを検出する。なお、図７では、図面を見やすくするため、一部の関節点Ｂｎｉのみ符号を図示した。
その後、人物姿勢検出手段３３１は、可視画像Ｖｔと、この可視画像Ｖｔから検出した全人物Ｈの関節点Ｂｎｉとを、人物選択手段３３３に出力する。
【００３５】
前記したように、可視画像Ｖｔに含まれる全人物Ｈの関節点Ｂｎｉが検出されてしまう。また、フェンシングの試合映像では、観客ＨＧや審判ＨＪに比べ、選手ＨＬ，ＨＲが大きなサイズで撮影されることが多い。そこで、人物選択手段３３３は、下記の式（２）に示すように、全人物Ｈの関節点Ｂｎｉに基づいて胴体長ｌｎを算出し、算出した胴体長ｌｎが長い順に予め設定した人数の人物Ｈを選択する。
【００３６】
【数２】
2020107071.tif 000004
【００３７】
参考文献１の姿勢計測手法で関節点Ｂｎｉを検出した場合、図５に示すように、首関節が関節点Ｂ１であり、両足の付け根にあたる股関節がそれぞれ関節点Ｂ８，Ｂ１１である。そこで、式（２）に示すように、首関節Ｂ１から一方の股関節Ｂ８までのベクトルの長さと、首関節Ｂ１から他方の股関節Ｂ１１までのベクトルの長さとの平均値を、胴体長ｌｎとした。
【００３８】
また、フェンシングの試合は２人の選手ＨＬ，ＨＲで行うので、図８に示すように、胴体長ｌｎが長い２人の選手ＨＬ，ＨＲを選択すればよい。なお、首関節Ｂ１及び股関節Ｂ８，Ｂ１１と、選択する人数とは、人物選択手段３３３に予め設定しておくこととする。
【００３９】
また、フェンシングの試合では、左右の選手ＨＬ，ＨＲの位置が入れ替わらないため、左側の選手ＨＬ又は右側の選手ＨＲを示す属性によって、関節点Ｂｎｉ及び胴体長ｌｎを記述できる。本実施形態では、左側の選手ＨＬを示す識別番号ｎをＬに置き換え、右側の選手ＨＲを示す識別番号ｎをＲに置き換えることとする。
その後、人物選択手段３３３は、左側の選手ＨＬの関節点ＢＬｉ及び胴体長ｌＬと、右側の選手ＨＲの関節点ＢＲｉ及び胴体長ｌＲとを、オブジェクト識別手段３５（特徴ベクトル算出手段３５１）に出力する。
【００４０】
オブジェクト識別手段３５は、フェンシングの試合映像から検出された２個の剣先９０のそれぞれが、左側の選手ＨＬ又は右側の選手ＨＲのどちらに対応するのかを識別するものであり、特徴ベクトル算出手段３５１と、属性情報生成手段３５３と、を備える。
【００４１】
特徴ベクトル算出手段３５１は、剣先９０の位置Ｓ１，Ｓ２から選手ＨＬ，ＨＲの各関節点ＢＬｉ，ＢＲｉまでの特徴ベクトルを算出するものである。図９に示すように、特徴ベクトル算出手段３５１は、１個目の剣先９０の位置Ｓ１から右側の選手ＨＲの各関節点ＢＲｉまでの特徴ベクトルを算出する。なお、図９では、特徴ベクトルを二点鎖線の矢印で図示した。また、特徴ベクトル算出手段３５１は、剣先９０の位置Ｓ１から左側の選手ＨＬの各関節点ＢＬｉまでの特徴ベクトルも算出する。このように、特徴ベクトルは、剣先９０の位置Ｓ１から左右の両選手ＨＬ，ＨＲに向かうので、左右の選手ＨＬ，ＨＲの相対位置を考慮した頑健な特徴量となる。
【００４２】
なお、図示を省略したが、特徴ベクトル算出手段３５１は、１個目の剣先９０の位置Ｓ１と同様、２個目の剣先９０の位置Ｓ２から右側の選手ＨＲの各関節点ＢＲｉまでの特徴ベクトルと、剣先９０の位置Ｓ２から左側の選手ＨＬの各関節点ＢＬｉまでの特徴ベクトルとを算出する。
【００４３】
この特徴ベクトルは、以下の式（３）で表されており、関節点ＢＬｉ，ＢＲｉがそれぞれ１８点あるために３６次元の特徴量となる。また、可視・赤外同軸光カメラ２０のズーム量に応じて、可視画像Ｖｔ内で選手ＨＬ，ＨＲのサイズが変化する。そこで、特徴ベクトル算出手段３５１は、式（３）に示すように、選手ＨＬ，ＨＲの胴体長ｌＬ，ｌＲで正規化（除算）することで、選手ＨＬ，ＨＲのサイズに不変な特徴ベクトルを算出できる。
【００４４】
【数３】
2020107071.tif 000005
【００４５】
その後、特徴ベクトル算出手段３５１は、算出した特徴ベクトルと、剣先９０の位置Ｓ１，Ｓ２とを属性情報生成手段３５３に出力する。
【００４６】
属性情報生成手段３５３は、予め学習した識別器を用いて、剣先９０の位置Ｓ１，Ｓ２に対応する選手ＨＬ，ＨＲを選択し、剣先９０と選手ＨＬ，ＨＲとの対応関係を示す属性情報を生成するものである。つまり、属性情報は、２人の選手ＨＬ，ＨＲと、各選手ＨＬ，ＨＲが動かしている剣の剣先９０の位置Ｓ１，Ｓ２とを対応付けた情報である。
【００４７】
この属性情報生成手段３５３は、２つの動作モードで動作する。動作モードの１つめは、属性情報生成手段３５３が、識別器を学習する学習モードである。動作モードの２つめは、属性情報生成手段３５３が、学習した識別器を用いて、剣先９０の位置Ｓ１，Ｓ２に対応する選手ＨＬ，ＨＲを選択する選択モードである。なお、本実施形態では、オブジェクト追跡装置３０のユーザが、２つの動作モードを手動で切り替えることとする。
【００４８】
＜学習モード＞
まず、属性情報生成手段３５３の学習モードについて説明する。
識別器は、図９の特徴ベクトル、すなわち、剣先９０の位置Ｓ１，Ｓ２と、選手ＨＬ，ＨＲの関節点ＢＬｉ，ＢＲｉとの関係を学習したものである。本実施形態では、属性情報生成手段３５３が、サポートベクタマシン（ＳＶＭ：Support Vector Machine）により、回帰モデルの識別器を学習する。
【００４９】
このとき、属性情報生成手段３５３は、図１０に示すように、左右の選手ＨＬ，ＨＲ毎に識別器を学習する。図１０では、ＳＶＭ回帰（Ｌ）が左側の選手ＨＬに対応した識別器であり、ＳＶＭ回帰（Ｒ）が右側の選手ＨＲに対応した識別器である。ＳＶＭ回帰（Ｌ）の学習データは、剣先９０の位置ＳＬ，ＳＲを可視画像Ｖ上で手動で設定し、左側の選手ＨＬに対応する剣先９０の位置ＳＬでスコア１．０（正例）とし、右側の選手ＨＲに対応する剣先９０の位置ＳＲでスコア−１．０（負例）とすればよい。なお、剣先９０の位置ＳＬ，ＳＲは、左右の属性情報が付加された剣先９０の位置を表す。ＳＶＭ回帰（Ｌ）と同様、ＳＶＭ回帰（Ｒ）の学習データは、左側の選手ＨＬに対応する剣先９０の位置ＳＬでスコア−１．０（負例）とし、右側の選手ＨＲに対応する剣先９０の位置ＳＲでスコア１．０（正例）とすればよい。一般的には、１００組以上の学習データを準備すれば、高精度な識別器を学習できる。
【００５０】
＜選択モード＞
次に、属性情報生成手段３５３の選択モードについて説明する。
回帰モデルの識別器は、成否、正負や真偽といった２値判定ではなく、その判定結果を数値（尤度）として出力する。つまり、回帰モデルの識別器は、２個の剣先９０がそれぞれ、左側の選手ＨＬのものである尤度と、右側の選手ＨＲのものである尤度とを出力する。従って、属性情報生成手段３５３は、図１１に示すように、左側の選手ＨＬに対応したＳＶＭ回帰（Ｌ）に特徴ベクトルを入力し、左側の選手ＨＬであることを示す尤度と、右側の選手ＨＲであることを示す尤度とを算出する。さらに、属性情報生成手段３５３は、右側の選手ＨＲに対応したＳＶＭ回帰（Ｒ）に特徴ベクトルを入力し、左側の選手ＨＬであることを示す尤度と、右側の選手ＨＲであることを示す尤度とを算出する。このように、属性情報生成手段３５３は、左右の選手ＨＬ，ＨＲに対応する識別器を用いて、左右の選手ＨＬ，ＨＲに対応する尤度を計４通り算出する。
【００５１】
次に、属性情報生成手段３５３は、４通りの尤度のうち、最も尤度が高くなるものを選択する。つまり、属性情報生成手段３５３は、２個の剣先９０と左右の選手ＨＬ，ＨＲとの４通りの組み合わせのうち、最も尤度が高くなる組み合わせを選択する。従って、属性情報生成手段３５３は、残りの剣先９０と、残りの選手ＨＬ，ＨＲとの組み合わせも必然的に選択できる。
【００５２】
以下、４通りの尤度を算出する利点について、２値判定と対比して説明する。
左右の選手ＨＬ，ＨＲに対応する識別器に２値判定（分類モデル）を適用した場合、両方の選手ＨＬ，ＨＲに同一の剣先９０が対応するという矛盾した判定結果を生じることがある。例えば、同一の剣先９０について、ＳＶＭ回帰（Ｌ）が左側の選手ＨＬのものと判定すると共に、ＳＶＭ回帰（Ｒ）が右側の選手ＨＲのものと判定することがあり、何れが正しいか真偽不明となる。一方、属性情報生成手段３５３は、２値判定ではなく尤度という数値を算出するので、最も尤度が高くなる剣先９０と選手ＨＬ，ＨＲとの組み合わせを選択可能であり、２値判定のように矛盾した判定結果を生じることがない。
【００５３】
次に、属性情報生成手段３５３は、２個の剣先９０のそれぞれと、左右の選手ＨＬ，ＨＲとの対応関係を示す属性情報を生成し、生成した属性情報を剣先９０の位置Ｓ１，Ｓ２に付加する。そして、属性情報生成手段３５３は、属性情報が付加された剣先９０の位置ＳＬ，ＳＲをオブジェクト追跡手段３７（軌跡描画手段３７１）に出力する。
【００５４】
図４に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
オブジェクト追跡手段３７は、オブジェクトを追跡するものであり、可視画像蓄積手段３７１と、軌跡描画手段（軌跡生成手段）３７３と、を備える。
【００５５】
可視画像蓄積手段３７１は、可視・赤外同軸光カメラ２０より入力された可視画像Ｖｔを蓄積するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶手段である。可視画像蓄積手段３７１が蓄積した可視画像Ｖｔは、後記する軌跡描画手段３７３により参照される。
【００５６】
軌跡描画手段３７３は、属性情報を参照しながら、可視画像蓄積手段３７１に蓄積されている可視画像Ｖｔに剣先９０の軌跡を描画するものである。このとき、軌跡描画手段３７３は、剣先９０の位置ＳＬ，ＳＲに付加された属性情報を参照するので、軌跡Ｔの入れ替わりを抑制し、正しい軌跡を描画できる。
【００５７】
例えば、軌跡描画手段３７３は、左側の選手ＨＬの剣先が赤色、右側の選手ＨＲの剣先が緑色のように、左右の選手ＨＬ，ＨＲの剣先９０に異なる色を予め設定する。そして、軌跡描画手段３７３は、図１２に示すように、可視画像Ｖｔと軌跡Ｔとを合成した軌跡合成画像Ｆｔを生成する。この軌跡合成画像Ｆｔには、左側の選手ＨＬが持つ剣先９０の軌跡Ｔ１と、右側の選手ＨＲが持つ剣先９０の軌跡Ｔ２とがＣＧで合成されている。
その後、軌跡描画手段３７３は、軌跡合成画像Ｆｔを外部の装置（例えば、ディスプレイ）に出力する。
【００５８】
［オブジェクト追跡装置の動作］
図１３を参照し、オブジェクト追跡装置３０の動作について説明する。
図１３に示すように、ステップＳ１において、赤外光検出手段３１は、赤外画像Ｉｔから剣先９０の位置Ｓ１，Ｓ２を検出する。
例えば、赤外光検出手段３１は、２値赤外差分画像を生成し、抽出した候補ブロブにモルフォロジ処理を施す。次に、赤外光検出部３１１は、モルフォロジ処理で残った候補ブロブにラベリング処理を施し、候補ブロブの位置、面積及び形状特徴量を求める。そして、赤外光検出手段３１は、面積及び形状特徴量を基準にフィルタリングし、面積が大きい２個の候補ブロブの位置を剣先９０の位置Ｓ１，Ｓ２として検出する。
【００５９】
ステップＳ２において、人物姿勢検出手段３３１は、可視画像Ｖｔに含まれる全人物Ｈの関節点Ｂｎｉを検出する。例えば、一般的な姿勢計測手法の一つである“ＯｐｅｎＰｏｓｅ”を用いて、人物Ｈの各関節点Ｂｎｉを検出する。
ステップＳ３において、人物選択手段３３３は、ステップＳ２で検出した全人物Ｈのうち、胴体長ｌｎが長い２人の選手ＨＬ，ＨＲを選択する。
【００６０】
ステップＳ４において、特徴ベクトル算出手段３５１は、ステップＳ１で検出した剣先９０の位置Ｓ１，Ｓ２から、ステップＳ３で選択した選手ＨＬ，ＨＲの各関節点ＢＬｉ，ＢＲｉまでの特徴ベクトルを算出する。このとき、特徴ベクトル算出手段３５１は、選手ＨＬ，ＨＲの胴体長ｌｎで正規化する。
【００６１】
ステップＳ５において、属性情報生成手段３５３は、予め学習した識別器を用いて、剣先９０の位置Ｓ１，Ｓ２に対応する選手ＨＬ，ＨＲを選択し、剣先９０と選手ＨＬ，ＨＲとの対応関係を示す属性情報を生成する。
例えば、属性情報生成手段３５３は、左右の選手ＨＬ，ＨＲに対応した２つの回帰モデルの識別器を用いて、左右の選手ＨＬ，ＨＲに対応する尤度を４通り算出する。そして、属性情報生成手段３５３は、２個の剣先９０と左右の選手ＨＬ，ＨＲとの４通りの組み合わせのうち、最も尤度が高くなる組み合わせを選択する。さらに、属性情報生成手段３５３は、２個の剣先９０と、左右の選手ＨＬ，ＨＲとの対応関係を示す属性情報を生成し、生成した属性情報を剣先９０の位置Ｓ１，Ｓ２に付加する。
【００６２】
ステップＳ６において、軌跡描画手段３７３は、ステップＳ５で生成した属性情報を参照しながら、剣先９０の軌跡Ｔを可視画像Ｖｔに描画する。例えば、軌跡描画手段３７３は、図１２に示すように、可視画像Ｖｔと軌跡Ｔとを合成した軌跡合成画像Ｆｔを生成する。
【００６３】
［作用・効果］
以上のように、オブジェクト追跡装置３０は、剣先９０を追跡する際、剣先９０と選手ＨＬ，ＨＲとの対応関係を示す属性情報を用いるので、その軌跡の入れ替わりを抑制できる。このように、オブジェクト追跡装置３０は、正確な剣先９０の軌跡を生成し、追跡頑健性を向上させることができる。
【００６４】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００６５】
前記した実施形態では、可視・近赤外同光軸カメラを利用することとして説明したが、本発明は、これに限定されない。例えば、本発明では、可視・近赤外同時撮影カメラ、及び、可視・近赤外マルチ波長カメラを利用することができる。
【００６６】
［可視・近赤外同時撮影カメラ］
可視・近赤外同時撮影カメラは、ＲＧＢに加えＩＲ（近赤外光）を分光する４波長分光プリズムを用いて、それぞれの波長毎のセンサ、合計４枚のセンサで撮影するカメラである。この可視・近赤外同時撮影カメラは、ＲＧＢセンサによる可視画像、及び、ＩＲセンサによる赤外画像を個別に出力することが可能である。つまり、オブジェクト追跡装置は、前記した実施形態と同様、可視・近赤外同時撮影カメラから可視画像及び赤外画像を取得し、軌跡合成画像を出力できる。
【００６７】
［可視・近赤外マルチ波長カメラ］
可視・近赤外マルチ波長カメラは、ＲＧＢ３色以外に近赤外領域で３つの波長を分光するマルチ波長分光プリズムを利用したカメラである。通常、カメラは、ＩＲカットフィルタ又は可視光カットフィルタを装着して可視分光特性又は近赤外分光特性に示される波長を取り出し、可視光又は近赤外のみの画像を取得する。しかし、可視・近赤外マルチ波長カメラは、ＩＲカットフィルタ及び可視光カットフィルタを装着せず、基本分光特性に示される波長全てを取り出すことで、可視光及び近赤外光を合成した可視・赤外合成画像を生成する。
【００６８】
そこで、可視・近赤外マルチ波長カメラを用いる場合、オブジェクト追跡システムは、可視・赤外分離装置を備えればよい。この可視・赤外分離装置は、可視・近赤外マルチ波長カメラが生成した可視・赤外合成画像を、可視画像と赤外画像とに分離するものである。
【００６９】
［属性情報の生成方法］
前記した実施形態では、現フレームの可視画像のみで尤度を求めることとして説明したが、本発明は、これに限定されない。つまり、過去フレームの可視画像でも尤度を求めてもよい。例えば、属性情報生成手段は、現時刻から一定時間遡った期間で尤度を平均し、この尤度の平均が最も高くなる剣先と選手との組み合わせを選択する。
【００７０】
［その他変形例］
前記した実施形態では、フェンシングを一例として説明したが、本発明は、これに限定されない。つまり、本発明は、テニス、バドミントン、バレーボール等、選手の位置が入れ替わらないスポーツにも適用することができる。例えば、バドミントンの場合、オブジェクト追跡装置は、選手が持つラケットの方向を識別し、ラケットの軌跡に左右の選手を対応付けることで、両選手が持つラケットの軌跡を異なる色で描画することができる。
【００７１】
さらに、本発明は、軌跡を異なる色で描かない場合、選手の位置が入れ換わるスポーツにも適用することができる。例えば、オブジェクト追跡装置は、バドミントンのシャトルを追跡し、その軌跡を描画することができる。さらに、本発明は、剣道やナギナタにも適用することができる。この他、本発明は、オーケストラにおける指揮棒の軌跡や、ドラマや映画における刀等の軌跡を描画することができる。
【００７２】
前記した実施形態では、識別器をＳＶＭで学習することとして説明したが、本発明は、これに限定されない。例えば、識別器は、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などのニューラルネットワーク、ＣＲＦ（Conditional Random Fields）などで学習することができる。また、本発明では、回帰モデルの識別器だけでなく、分類モデルの識別器も利用することができる。
【００７３】
前記した実施形態では、１８点の関節点を検出することとして説明したが、全ての関節点を検出せずともよい。人物の姿勢に相関が高いのは上半身の関節点であり、特に、頭及び腕部の関節点であると考えられるので、これら関節点を検出すればよい。
また、関節点の検出には参考文献１に記載の手法を適用することとして説明したが、本発明は、これに限定されない。選手の関節点のみを検出できる手法を適用した場合、オブジェクト追跡装置は、人物選択手段を備えずともよい。
【００７４】
前記した実施形態では、軌跡描画手段が軌跡を描画することとして説明したが、本発明は、これに限定されない。例えば、オブジェクト追跡装置は、オブジェクトの軌跡を示す軌跡データを生成し、生成した軌跡データを外部に出力してもよい。
【００７５】
前記した実施形態では、オブジェクト追跡装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したオブジェクト追跡装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【実施例】
【００７６】
オブジェクト追跡装置による識別精度向上の効果を検証するため、図１のオブジェクト追跡装置にフェンシングの試合映像を入力して実験を行った。
従来手法では、パーティクルフィルタを用いて剣先の位置のみで追跡処理を行ったため、軌跡の入れ替わりなどの誤追跡が頻繁に生じた。この実施例では、従来手法で誤追跡が発生した映像シーケンスを利用し、その映像シーケンス毎に左右の選手を識別したときの精度（％）を算出した。さらに、オブジェクト追跡装置の処理速度（ｆｐｓ：フレーム/秒）をあわせて計測した。
【００７７】
その実験結果を以下の表１に示す。５映像シーケンスの平均で９７．６％と、高い精度が得られた。この実施例では、従来手法で誤追跡が発生した映像シーケンスを用いたが、人物姿勢を考慮することによって、全ての映像シーケンスで誤追跡を低減できることが分かった。また、この実施例では、処理速度が平均２．８ｆｐｓ程度であり、実用上十分であることも分かった。例えば、ＧＰＵ（Graphics Processing Unit）を用いることや、識別処理を秒単位にすることで、リアルタイム処理を実現できると考えられる。
【００７８】
【表１】
2020107071.tif 000006
【００７９】
実験結果を検証するため、尤度分布を可視化した画像を図１４に示す。前記したように識別器（ＳＶＭ回帰）は、左右の選手の尤度をそれぞれ算出できる。そこで、この実施例では、画像の全画素で左右の選手の尤度を算出し、その値に応じてヒートマップ状に可視化した。この図１４では、尤度の値に応じた輝度で、左側の選手を赤色で示し、右側の選手を緑色で示した。さらに、図１４では、剣先の検出位置を丸印で図示し、その位置での尤度を数値で示した。
【００８０】
さらに、図１４と同様、別の４画像で尤度分布を可視化したものを図１５に示す。図１４及び図１５に示すように、選手同士の距離が近くなると、尤度分布の範囲も狭くなるが、オブジェクト追跡装置が左右の選手を正しく識別できた。このように、オブジェクト追跡装置は、剣先位置と人物の関節位置との関係性を学習することにより、高い精度で選手を識別できることがわかった。
【符号の説明】
【００８１】
１  オブジェクト追跡システム
１０  赤外光投光器
２０  可視・赤外同軸光カメラ
３０  オブジェクト追跡装置
３１  赤外光検出手段
３３  人物姿勢取得手段
３３１  人物姿勢検出手段（関節位置検出手段）
３３３  人物選択手段
３５  オブジェクト識別手段
３５１  特徴ベクトル算出手段
３５３  属性情報生成手段
３７  オブジェクト追跡手段
３７１  可視画像蓄積手段
３７３  軌跡描画手段（軌跡生成手段）
【図１】
2020107071.tif 000007
【図２】
2020107071.tif 000008
【図３】
2020107071.tif 000009
【図４】
2020107071.tif 000010
【図５】
2020107071.tif 000011
【図６】
2020107071.tif 000012
【図７】
2020107071.tif 000013
【図８】
2020107071.tif 000014
【図９】
2020107071.tif 000015
【図１０】
2020107071.tif 000016
【図１１】
2020107071.tif 000017
【図１２】
2020107071.tif 000018
【図１３】
2020107071.tif 000019
【図１４】
2020107071.tif 000020
【図１５】
2020107071.tif 000021
【図１６】
2020107071.tif 000022