(57)【要約】【課題】Deep Learningを用いた物体追跡の処理速度をより向上できる物体追跡方法を提供する。【解決手段】時系列に連続した２以上の画像を、ニューラルネットワークに入力する入力ステップ（Ｓ１）と、入力ステップ（Ｓ１）において入力された２以上の画像それぞれの特徴量であって当該ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、時系列で前の画像に映る追跡候補である１以上の物体に一致する、前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップ（Ｓ２）とを含む。当該ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、同一構造間の対応する層でパラメータを共有する。【選択図】図５
2018026108.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、
それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、
前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、
前記ニューラルネットワークは、１以上の全結合層と０以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する、
物体追跡方法。
【請求項２】
前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像および第２画像を前記ニューラルネットワークに入力し、
前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、および、前記第２画像に映る１以上の物体それぞれの第２特徴量を前記ニューラルネットワークに抽出させ、抽出させた前記第１特徴量および前記第２特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、
前記ニューラルネットワークは、前記同一構造を２つ含み、２つの前記同一構造で前記第１画像の前記第１特徴量および前記第２画像の前記第２特徴量を抽出する、
請求項１に記載の物体追跡方法。
【請求項３】
前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像、第２画像および第３画像を前記ニューラルネットワークに入力し、
前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、前記第２画像に映る１以上の物体それぞれの第２特徴量、および、前記第３画像に映る１以上の物体それぞれの第３特徴量を前記ニューラルネットワークに抽出させ、抽出した前記第１特徴量、前記第２特徴量および前記第３特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像および前記第３画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、
前記ニューラルネットワークは、前記同一構造を３つ含み、３つの前記同一構造で前記第１画像の前記第１特徴量、前記第２画像の前記第２特徴量および前記第３画像の前記第３特徴量を抽出する、
請求項１に記載の物体追跡方法。
【請求項４】
前記物体追跡方法は、さらに、
前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークに、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる学習ステップを含む、
請求項１〜３のいずれか１項に記載の物体追跡方法。
【請求項５】
前記ニューラルネットワークは、
さらに、前記２以上の同一構造の外に、前記入力ステップにおいて入力された前記２以上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有する、
請求項１〜３のいずれか１項に記載の物体追跡方法。
【請求項６】
前記物体追跡方法は、さらに、
前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークのうちの前記２以上の同一構造に、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための、前記パラメータを学習させる第１学習ステップと、
前記第１学習ステップで学習させた前記パラメータを前記２以上の同一構造に反映させた前記ニューラルネットワークに、前記学習用データを用いて、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる第２学習ステップとを含む、
請求項５に記載の物体追跡方法。
【請求項７】
前記比較による類似性は、前記２つ以上の同一構造で抽出された前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量の距離の比較により評価される、
請求項４または６に記載の物体追跡方法。
【請求項８】
前記比較による類似性は、
前記２以上の画像それぞれの特徴量のユークリッド距離を用いた誤差関数を用いて評価される、
請求項７に記載の物体追跡方法。
【請求項９】
前記２つ以上の同一構造はそれぞれ、前記入力ステップにおいて入力された前記２以上の画像のうち対応する画像の特徴量を、当該画像の次元よりも減じた次元で抽出し、
前記２つ以上の同一構造それぞれで抽出される特徴量の次元は同一である、
請求項１〜８のいずれか１項に記載の物体追跡方法。
【請求項１０】
前記２以上の画像に映る１以上の物体は、人物および車両のうちの少なくとも一方である、
請求項１〜７のいずれか１項に記載の物体追跡方法。
【請求項１１】
１以上の全結合層と０以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有するニューラルネットワークに、それぞれ１以上の物体が映り時系列に連続した２以上の画像を入力する入力ステップと、
前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で最も前の画像に映る追跡候補である１以上の物体に一致する前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを、
コンピュータに実行させるプログラム。
【請求項１２】
それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、ニューラルネットワークに入力する入力部と、
前記入力部により入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で最も前の画像に映る追跡候補である１以上の物体に一致する前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力部とを備え、
前記ニューラルネットワークは、１以上の全結合層と０以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する、
物体追跡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、物体追跡方法、物体追跡装置およびプログラムに関し、特にニューラルネットワークを用いてコンピュータが行う物体追跡方法、物体追跡装置およびそのプログラムに関する。
【背景技術】
【０００２】
例えば動画像に映る複数の対象物体を追跡する物体追跡技術にDeep Learningを用いることが提案されている（例えば非特許文献１〜３）。非特許文献１〜３では、Deep Learningで用いられるニューラルネットワークに、時系列情報を扱えるリカレントニューラルネットワーク(Recurrent Neural Network)を利用する。これにより、動画像間に映る複数の対象物体の流れなどの時間的情報を扱えるので、Deep Learningを用いた物体追跡技術を実現できる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Gan, Q., Guo, Q., Zhang, Z., Cho, K.: First step toward model-free, anonymous object tracking with recurrent neural networks. CoRR abs/1511.06425
【非特許文献２】Kahou, S.E., Michalski, V., Memisevic, R.: RATM: recurrent attentive tracking model. CoRR abs/1510.08660(2015)
【非特許文献３】Ondruska, P., Posner, I.: Deep tracking: Seeing beyond seeing using recurrent neural networks. CoRR abs/1602.00991(2016)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記非特許文献１〜３で提案されているDeep Learningを用いた物体追跡技術は、リカレントニューラルネットワークを利用していることから、演算量が非常に多く処理速度が遅い。このため、例えば、事故などの可能性を事前に検知し回避するシステムであるADAS（Advanced Driver Assistance System：先進運転支援システム）など、リアルタイムな物体追跡が要求されるシステムには、当該物体追跡技術を適用することは難しい。
【０００５】
本開示は、上述の事情を鑑みてなされたもので、Deep Learningを用いた物体追跡の処理速度をより向上できる物体追跡方法、物体追跡装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示の一形態に係る物体追跡方法は、ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、前記ニューラルネットワークは、１以上の全結合層と０以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する。
【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示の物体追跡方法等によれば、Deep Learningを用いた物体追跡の処理速度をより向上できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態における物体追跡装置の構成の一例を示すブロック図である。
【図２】図２は、図１に示す出力部の詳細構成の一例を示すブロック図である。
【図３】図３は、図２に示す抽出部が用いるニューラルネットワークの構造の一例の説明図である。
【図４】図４は、図３に示す基本ニューラルネットワークの構造の一例の説明図である。
【図５】図５は、実施の形態における物体追跡装置の処理例を示すフローチャートである。
【図６Ａ】図６Ａは、実施の形態における物体追跡装置への入力画像の一例を示す図である。
【図６Ｂ】図６Ｂは、実施の形態における物体追跡装置への入力画像の一例を示す図である。
【図７】図７は、実施の形態における物体追跡装置が行う処理のイメージを示す図である。
【図８】図８は、実施の形態における物体追跡装置が行う処理のイメージを示す図である。
【図９Ａ】図９Ａは、実施の形態における物体追跡装置の処理結果の一例を示す図である。
【図９Ｂ】図９Ｂは、実施の形態における物体追跡装置の処理結果の一例を示す図である。
【図１０】図１０は、実施の形態における学習処理の概要を示すフローチャートである。
【図１１】図１１は、実施の形態における一段階目の学習処理で用いる基本ニューラルネットワークの構造の一例の説明図である。
【図１２】図１２は、実施の形態における二段階目の学習処理で用いるニューラルネットワークの構造の一例の説明図である。
【図１３】図１３は、実施例１におけるMarket-1501データセットを用いた学習時誤差を示す図である。
【図１４】図１４は、実施例１におけるMarket-1501データセットを用いた検証時誤差を示す図である。
【図１５Ａ】図１５Ａは、実施例１における検証用のMarket-1501データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１５Ｂ】図１５Ｂは、実施例１における検証用のMarket-1501データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１６Ａ】図１６Ａは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１６Ｂ】図１６Ｂは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１６Ｃ】図１６Ｃは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１７Ａ】図１７Ａは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１７Ｂ】図１７Ｂは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１７Ｃ】図１７Ｃは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１８Ａ】図１８Ａは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１８Ｂ】図１８Ｂは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１８Ｃ】図１８Ｃは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１９Ａ】図１９Ａは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１９Ｂ】図１９Ｂは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図１９Ｃ】図１９Ｃは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。
【図２０】図２０は、実施例１における所定のアルゴリズムの一例を示す図である。
【図２１】図２１は、実施例２におけるMOT16 Train Data setのベンチマーク評価結果を示す図である。
【図２２】図２２は、実施例２におけるMOT16 Test Data setのベンチマーク評価結果を示す図である。
【発明を実施するための形態】
【００１０】
（本開示の一態様を得るに至った経緯）
物体追跡は、機械視覚（マシン・ビジョン）の認識に対する関心の高まりとともに、急速に発展している。また、物体追跡は、オブジェクトを高いレベルで理解することへの関心の高まりにより、コンピュータ・ビジョンにおいて最も活発になされているトピックの１つになっている。物体追跡では、スポーツ分析の分野でさえ、監視システムにより他律的に動作させることから自律的に動作させることに目的を変化させるなど、追跡性能を向上させるための広いアプローチがすでにある。
【００１１】
しかし、機械視覚が物体追跡を行うためには、データセットに依存する多数のパラメータを調整する必要があり、ADASなど、リアルタイムに物体追跡が要求されるシステムに適用するためには、重大な制限となる。
【００１２】
近年、DNNs（Deep Neural Networks）は、大量の特徴を学習できることから、広く使用されるようになってきた。そのため、DNNsを用いて物体追跡システムを構築する技術も積極的に提案されてきている（例えば上記非特許文献１〜３）。非特許文献１〜３では、上述したように、Deep Learningに用いるニューラルネットワークに、物体の移動の流れなどの時間的情報（時系列情報）を組み込めるリカレントニューラルネットワーク(RNN)が利用される。物体の移動の流れなどの時間的情報は、動画像中における対象物体の流れの関係はもちろん、動画像中にわたる物体の追跡においても重要である。
【００１３】
しかし、非特許文献１〜３で提案される物体追跡技術は、非常に多くの演算を必要とするため、処理速度が遅くなってしまうという課題を有している。
【００１４】
そこで、本開示の一形態に係る物体追跡方法は、ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、前記ニューラルネットワークは、１以上の全結合層と０以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する。
【００１５】
これにより、Deep Learningを用いた物体追跡の処理速度をより向上できる物体追跡方法を実現できる。
【００１６】
ここで、例えば、前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像および第２画像を前記ニューラルネットワークに入力し、前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、および、前記第２画像に映る１以上の物体それぞれの第２特徴量を前記ニューラルネットワークに抽出させ、抽出させた前記第１特徴量および前記第２特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、前記ニューラルネットワークは、前記同一構造を２つ含み、２つの前記同一構造で前記第１画像の前記第１特徴量および前記第２画像の前記第２特徴量を抽出するとしてもよい。
【００１７】
また、例えば、前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像、第２画像および第３画像を前記ニューラルネットワークに入力し、前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、前記第２画像に映る１以上の物体それぞれの第２特徴量、および、前記第３画像に映る１以上の物体それぞれの第３特徴量を前記ニューラルネットワークに抽出させ、抽出した前記第１特徴量、前記第２特徴量および前記第３特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像および前記第３画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、前記ニューラルネットワークは、前記同一構造を３つ含み、３つの前記同一構造で前記第１画像の前記第１特徴量、前記第２画像の前記第２特徴量および前記第３画像の前記第３特徴量を抽出するとしてもよい。
【００１８】
また、例えば、前記物体追跡方法は、さらに、前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークに、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる学習ステップを含むとしてもよい。
【００１９】
また、例えば、前記ニューラルネットワークは、さらに、前記２以上の同一構造の外に、前記入力ステップにおいて入力された前記２以上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有するとしてもよい。
【００２０】
また、例えば、前記物体追跡方法は、さらに、前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークのうちの前記２以上の同一構造に、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための、前記パラメータを学習させる第１学習ステップと、前記第１学習ステップで学習させた前記パラメータを前記２以上の同一構造に反映させた前記ニューラルネットワークに、前記学習用データを用いて、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる第２学習ステップとを含むとしてもよい。
【００２１】
また、例えば、前記比較による類似性は、前記２つ以上の同一構造で抽出された前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量の距離の比較により評価されるとしてもよい。
【００２２】
また、例えば、前記比較による類似性は、前記２以上の画像それぞれの特徴量のユークリッド距離を用いた誤差関数を用いて評価されるとしてもよい。
【００２３】
また、例えば、前記２つ以上の同一構造はそれぞれ、前記入力ステップにおいて入力された前記２以上の画像のうち対応する画像の特徴量を、当該画像の次元よりも減じた次元で抽出し、前記２つ以上の同一構造それぞれで抽出される特徴量の次元は同一であるとしてもよい。
【００２４】
また、例えば、前記２以上の画像に映る１以上の物体は、人物および車両のうちの少なくとも一方であるとしてもよい。
【００２５】
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
【００２６】
（実施の形態１）
以下では、図面を参照しながら、実施の形態１における物体追跡装置１０の物体追跡方法等の説明を行う。
【００２７】
［物体追跡装置１０の構成］
図１は、本実施の形態における物体追跡装置１０の構成の一例を示すブロック図である。図２は、図１に示す出力部１２の詳細構成の一例を示すブロック図である。
【００２８】
物体追跡装置１０は、ニューラルネットワークを用いたコンピュータ等で実現され、図１に示すように入力部１１と出力部１２とで構成されている。物体追跡装置１０は、追跡対象が映る映像が入力されると、追跡対象の物体の識別情報および位置情報を含む追跡結果を出力する。なお、物体追跡装置１０は、追跡結果を付与した映像を出力してもよい。
【００２９】
＜入力部１１＞
入力部１１は、それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、ニューラルネットワークに入力する。より具体的には、入力部１１は、それぞれ１以上の物体が映り、時系列に連続した第１画像および第２画像をニューラルネットワークに入力する。なお、入力部１１は、それぞれ１以上の物体が映り、時系列に連続した第１画像、第２画像および第３画像をニューラルネットワークに入力してもよい。
【００３０】
本実施の形態では、入力部１１は、時系列に連続した２つの画像である第１画像および第2画像を出力部１２の抽出部１２１に入力するとして説明する。なお、入力部１１は、時系列に連続した３つの画像である第１画像、第２画像および第３画像を出力部１２の抽出部１２１に入力してもよい。また、１以上の物体は、人物および車両のうちの少なくとも一方であればよいが、これら以外であってもよい。
【００３１】
＜出力部１２＞
出力部１２は、図２に示すように、抽出部１２１と、照合部１２２と、追跡結果出力部１２３とを備える。出力部１２は、入力部１１に入力された映像に対する追跡結果を出力する。例えば、出力部１２は、入力部１１に入力された映像に含まれる時系列画像において、時系列で前の画像に含まれる追跡対象の物体と一致する、時系列で後の画像に含まれる物体の識別情報および位置情報を追跡結果として出力する。なお、出力部１２は、入力部１１に入力された映像に追跡結果を付与して出力してもよい。つまり、出力部１２は、時系列で後の画像に含まれる物体に、時系列で前の画像に含まれる同一物体に付された識別情報と同一の識別情報を付した映像を出力してもよい。
【００３２】
≪抽出部１２１≫
抽出部１２１は、ニューラルネットワークを用いて、入力部１１により入力された２以上の画像それぞれの特徴量（特徴マップ）を抽出する。つまり、当該特徴量は特徴マップであってもよい。ここで、当該ニューラルネットワークは、１以上の全結合層と０以上の畳み込み層とを有する同一構造を２以上含み、同一構造間の対応する層でパラメータを共有する。当該ニューラルネットワークは、さらに当該２以上の同一構造の外に、入力部１１により入力される２以上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有する。そして、当該２つ以上の同一構造はそれぞれ、入力部１１により入力された２以上の画像のうち対応する画像の特徴量を、当該画像の次元よりも減じた次元で抽出し、２つ以上の同一構造それぞれで抽出される特徴量の次元は同一である。
【００３３】
本実施の形態では、抽出部１２１は、１以上の全結合層と０以上の畳み込み層とを有する同一構造を２つ含み、同一構造間の対応する層でパラメータを共有し、かつ、当該２つの同一構造の外に、入力部１１により入力される２つの画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有するニューラルネットワークを用いる。そして、抽出部１２１は、入力部１１により入力された第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、および、第２画像に映る１以上の物体それぞれの第２特徴量を、当該ニューラルネットワークを用いて抽出する。
【００３４】
なお、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、抽出部１２１は、１以上の全結合層と０以上の畳み込み層とを有する同一構造を３つ含み、同一構造間の対応する層でパラメータを共有し、かつ、当該３つの同一構造の外に、入力部１１により入力される３つの画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有するニューラルネットワークを用いてもよい。すなわち、抽出部１２１は、入力部１１により入力された第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、第２画像に映る１以上の物体それぞれの第２特徴量、および、第３画像に映る１以上の物体それぞれの第３特徴量を、当該ニューラルネットワークを用いて抽出してもよい。
【００３５】
ここで、本実施の形態の抽出部１２１が用いるニューラルネットワークの構造の一例について説明する。図３は、図２に示す抽出部１２１が用いるニューラルネットワーク１２１ａの構造の一例の説明図である。図４は、図３に示す基本ニューラルネットワーク１２１１の構造の一例の説明図である。
【００３６】
本実施の形態の抽出部１２１が用いるニューラルネットワーク１２１ａの構造は、例えば図４に示す基本ニューラルネットワーク１２１１（ＮＢ）を拡張したものに相当する。
【００３７】
図４に示す基本ニューラルネットワーク１２１１は、５つの畳み込み層（conv1〜conv5）と、２つのプーリング層（poo1, poo2）と、２つの全結合層（fc1,fc2）とを有する同一構造を２つ含み、同一構造間の対応する５つの畳み込み層と２つの全結合層とでパラメータを共有している。なお、このようにプーリング層を除く同一構造の対応する層でパラメータを共有するニューラルネットワークはサイアミーズニューラルネットワーク（Siamese neural network）とも呼ばれる。
【００３８】
図４に示すように、各畳み込み層では、活性化関数として例えば双曲線正接（tanh）を使用する。また、最初の全結合層（fc1）では、活性化関数として例えばランプ関数（Rectified Linear Unit（ReLU））を使用する。フィルタのサイズすなわちカーネルサイズは、例えばconv1では5x5、pool1では2x2、conv2では3x3、pool2では2x2、conv3では3x3、conv4では2x2、conv5では2x2、fc1では2048、fc2では1024としている。なお、これらは一例であり、上記とは異なる活性化関数およびカーネルサイズとしてもよい。また、図４に示す基本ニューラルネットワーク１２１１では、同一構造内での畳み込み層を５つ有する場合を例に挙げているが、これに限らない。同一構造内での畳み込み層の数を増やすと画像の特徴抽出する際の認識精度が向上する一方で演算量が増え処理時間を要するため、適宜決定すればよい。
【００３９】
いずれにせよ、基本ニューラルネットワーク１２１１は、２以上の同一構造を有し、当該同一構造の対応する層でパラメータを共有すればよい。そして、このような基本ニューラルネットワーク１２１１は、入力された第１画像および第２画像の特徴量を、同一の次元で、かつ、第１画像および第２画像の次元よりも減じた次元で抽出できる。
【００４０】
図３に示すニューラルネットワーク１２１ａは、図４に示す基本ニューラルネットワーク１２１１の外に、入力部１１により入力される２以上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層１２１７および追加層１２１９を少なくとも有する。また、ニューラルネットワーク１２１ａは、図４に示す基本ニューラルネットワーク１２１１の外に、特徴層１２１２および特徴層１２１３を有する。なお、ニューラルネットワーク１２１ａは、サイアミーズニューラルネットワーク（Siamese neural network）である基本ニューラルネットワーク１２１１（NB：Base Network）を拡張したものであるので、拡張サイアミーズニューラルネットワーク（Enhanced Siamese neural network（ESNN））と称する場合もある。
【００４１】
より具体的には、図３に示すニューラルネットワーク１２１ａは、基本ニューラルネットワーク１２１１、特徴層１２１２、特徴層１２１３、特徴結合層１２１４、特徴結合層１２１５、次元処理層１２１６、次元処理層１２１８、追加層１２１７および追加層１２１９で構成されている。
【００４２】
特徴層１２１２は、基本ニューラルネットワーク１２１１が抽出した第１画像についての例えば２次元または４次元の特徴量（特徴マップ）を出力する層である。つまり、特徴層１２１２のカーネルサイズは、２または４である。このように特徴層１２１２が出力する第１画像の特徴量は、第１画像の次元数（数百万）と比較して大幅に減っている。同様に、特徴層１２１３は、基本ニューラルネットワーク１２１１が抽出した第２画像についての例えば２次元または４次元の特徴量（特徴マップ）を出力する層である。つまり、特徴層１２１３のカーネルサイズは、２または４である。このように特徴層１２１３が出力する第２画像の特徴量は、第２画像の次元数（数百万）と比較して大幅に減っている。なお、特徴層１２１２および特徴層１２１３のカーネルサイズは、２または４に限らず１以上であればよい。
【００４３】
なお、特徴層１２１２および特徴層１２１３は、基本ニューラルネットワーク１２１１の外に位置するが、基本ニューラルネットワーク１２１１の出力層でもある。
【００４４】
次元処理層１２１６は、活性化関数として例えばランプ関数（Rectified Linear Unit（ReLU））を使用する畳み込み層からなり、次元を増やす処理および次元を減らす処理を行う。次元処理層１２１６は、特徴層１２１２および特徴層１２１３が保持する特徴量の次元を増やして、追加層１２１７に入力する。また、次元処理層１２１６は、追加層１２１７が出力する位置評価量の次元を減らして、特徴結合層１２１４および特徴結合層１２１５に入力する。
【００４５】
次元処理層１２１８は、同様に、活性化関数として例えばランプ関数（Rectified Linear Unit（ReLU））を使用する畳み込み層からなり、次元を増やす処理および次元を減らす処理を行う。次元処理層１２１８は、特徴層１２１２および特徴層１２１３が保持する特徴量の次元を増やして、追加層１２１９に入力する。また、次元処理層１２１８は、追加層１２１７が出力する領域の大きさ評価量の次元を減らして、特徴結合層１２１４および特徴結合層１２１５に入力する。
【００４６】
追加層１２１７は、第１画像と第２画像に映る１以上の物体すなわち追跡対象物体の位置変化を追加特徴量として算出する。追加層１２１７は、例えば第１画像と第２画像に示される追跡対象物体を含むボックス（box：矩形の箱）の領域同士において（共通集合の面積／和集合の面積）の計算を行う。このように追加層１２１７は、IoU(Intersection-over-Union)を計算することで、追跡対象物体の位置変化を追加特徴量として算出する。
【００４７】
追加層１２１９は、第１画像と第２画像に映る１以上の物体すなわち追跡対象物体の領域の大きさの変化を追加特徴量として算出する。追加層１２１９は、例えば第１画像と第２画像に示される追跡対象物体を示すボックスの領域の（最小面積／最大面積）の計算を行う。このように追加層１２１９は、領域の大きさの変化をAreaRatio（面積比）で計算することで、追跡対象物体の領域変化を追加特徴量として算出する。
【００４８】
なお、次元処理層１２１６および次元処理層１２１８は、特徴層１２１２および特徴層１２１３が保持する特徴量と、追加層１２１７および追加層１２１７が算出する追加特徴量との次元が異なれば必要だが、次元が同じであれば必要ない。
【００４９】
特徴結合層１２１４は、特徴層１２１２が有する第１画像における特徴量と、追加層１２１７、追加層１２１９で算出した追加特徴量とを結合する。同様に、特徴結合層１２１５は、特徴層１２１３が有する第２画像における特徴量と、追加層１２１７、追加層１２１９で算出した追加特徴量とを結合する。
【００５０】
このようにして、抽出部１２１は、ニューラルネットワーク１２１ａを用いて、入力部１１により入力された２以上の画像それぞれの特徴量（特徴マップ）を抽出することで、追跡候補の位置変化および領域変化を考慮した追跡候補の画像上の類似性を得ることができる。なお、特徴マップは類似行列の形で得てもよいし、ベクトル表記の形で得てもよい。また、特徴マップは、追跡候補の画像上の類似性を示すことから、類似性マッピング（Similarity Mapping）と称する場合もある。
【００５１】
≪照合部１２２≫
照合部１２２は、ニューラルネットワークに抽出させた特徴量（特徴マップ）を照合する。本実施の形態では、照合部１２２は、抽出部１２１が抽出した第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量および第２画像に映る１以上の物体それぞれの第２特徴量を照合する。より具体的には、照合部１２２は、所定のアルゴリズムを用いて、抽出部１２１で抽出された第１特徴量および第２特徴量を照合する。照合部１２２は、例えばユークリッド距離を用いて、抽出部１２１で抽出された第１特徴量および第２特徴量の距離を評価することで、追跡候補の位置変化および領域変化を考慮した追跡候補の画像上の類似性を照合する。なお、第１特徴量および第２特徴量の距離の評価方法は、ユークリッド距離を用いる場合に限らない。例えば、マンハッタン距離を用いてもよいしマハビラス距離を用いてもよい。
【００５２】
なお、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、照合部１２２は、抽出部１２１が抽出した第１特徴量、第２特徴量および第３特徴量を照合すればよい。
【００５３】
≪追跡結果出力部１２３≫
追跡結果出力部１２３は、２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する。
【００５４】
本実施の形態では、追跡結果出力部１２３は、第１画像に映る追跡候補それぞれに一致する第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する。また、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、追跡結果出力部１２３は、第１画像に映る追跡候補それぞれに一致する第２画像および第３画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する。
【００５５】
なお、追跡結果出力部１２３は、第１画像に映る追跡候補それぞれと同一物体である旨を示す識別情報を付した第２画像を出力してもよい。例えば、第１画像に映る追跡候補に例えば識別番号が付されていた場合、追跡結果出力部１２３は、第１画像に映る追跡候補と同一物体の第２画像に映る追跡候補に同一の識別番号を付した第２画像を識別結果として出力してもよい。
【００５６】
また、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、追跡結果出力部１２３は、第１画像に映る追跡候補それぞれに一致する第２画像および第３画像に映る１以上の物体に、第１画像に映る追跡候補それぞれと同一物体である旨を示す識別情報を付した第２画像および第３画像を出力してもよい。
【００５７】
［物体追跡装置１０の動作等］
次に、以上のように構成される物体追跡装置１０の動作等について説明する。
【００５８】
図５は、本実施の形態における物体追跡装置１０の処理例を示すフローチャートである。図６Ａおよび図６Ｂは、本実施の形態における物体追跡装置１０への入力画像の一例を示す図である。図７および図８は、本実施の形態における物体追跡装置１０が行う処理のイメージを示す図である。図９Ａのおよび図９Ｂは、本実施の形態における物体追跡装置１０の処理結果の一例を示す図である。
【００５９】
まず、物体追跡装置１０に追跡対象が映る映像を入力する（Ｓ１）。より具体的には、物体追跡装置１０のコンピュータは、当該映像を構成する画像のうちの２以上の画像であってそれぞれ１以上の物体が映り、時系列に連続した２以上の画像をニューラルネットワーク１２１ａに入力する。例えば、物体追跡装置１０のコンピュータは、図６Ａおよび図６Ｂに示す時系列に連続した、追跡対象が映る画像５０ｔ−１および画像５０ｔを、ニューラルネットワーク１２１ａに入力する。
【００６０】
ここで、図６Ａに示す画像５０ｔ−１は物体追跡装置１０に入力される時系列で前の第１画像の一例であり、追跡対象である二人の人物を含む領域であるボックスに１または２の識別番号が付されている。一方、図６Ｂに示す画像５０ｔは物体追跡装置１０に入力される時系列で後の第２画像の一例であるが、追跡対象である二人の人物を含む領域であるボックスには識別番号が付されていない。
【００６１】
次に、物体追跡装置１０のコンピュータは、ニューラルネットワーク１２１ａにＳ１で入力された２以上の画像の追跡対象の物体の特徴量である特徴マップを推定させ、推定させた特徴マップを照合することで得た追跡結果を出力する（Ｓ２）。
【００６２】
より具体的には、物体追跡装置１０のコンピュータは、まず、ニューラルネットワーク１２１ａにＳ１で入力された２以上の画像それぞれの特徴量である特徴マップを抽出させる。図７に示す例では、同一構造の対応する層でパラメータを共有するニューラルネットワーク１２１ａを用いて、特徴マップを抽出する処理のイメージが示されている。
【００６３】
次いで、物体追跡装置１０のコンピュータは、ニューラルネットワーク１２１ａを用いて得た特徴マップを照合することで、時系列で前の画像に映る追跡候補である１以上の物体と一致する時系列で後の画像に映る１以上の物体を識別する。図８に示す例では、第１画像である画像５０ｔ−１のボックスに含まれる追跡対象の人物と、第２画像である画像５０ｔのボックスに含まれる追跡対象の人物との特徴マップを、所定のマッチングアルゴリズムで比較して類似性を照合することで、同一人物か否かを識別する処理のイメージが示されている。
【００６４】
そして、物体追跡装置１０のコンピュータは、時系列で前の画像に映る追跡候補である１以上の物体に一致する時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する。本実施の形態では、物体追跡装置１０のコンピュータは、後の画像に映る１以上の物体が前の画像に映る追跡候補それぞれと同一物体である旨を示す識別情報を付した後の画像を、追跡結果として出力する。物体追跡装置１０のコンピュータは、例えば図９Ａに示す画像５０ｔ−１に映る追跡対象の人物と同一人物である図９Ｂに示す画像５０ｔに映る人物を含むボックスに、図９Ａに示す画像５０ｔ−１に映る追跡対象の人物を含むボックスに付された識別番号と同じ番号を付して出力する。ここで、ボックスが位置情報の一例であり、識別番号が識別情報の一例である。
【００６５】
ここで、図９Ａに示す画像５０ｔ−１は図６Ａと同じ第１画像の一例である。一方、図９Ｂに示す画像５０ｔは図６Ｂと同じ第２画像の一例であるが、追跡対象である二人の人物を含む領域であるボックスに追跡結果として識別番号が付されている。
【００６６】
［物体追跡装置１０の学習処理］
以下、このような物体追跡装置１０を実現するための学習処理について説明する。本実施の形態では、まず、サイアミーズニューラルネットワーク（基本ニューラルネットワーク１２１１）の学習を行い、その後に、拡張サイアミーズニューラルネットワーク（ニューラルネットワーク１２１ａ）の学習を行う二段階学習を行う。以下では、一段階目の学習で用いられるサイアミーズニューラルネットワークを基本ニューラルネットワーク１２１１ａと称し、二段階目の学習で用いられる拡張サイアミーズニューラルネットワークをニューラルネットワーク１２１ｂと称して説明する。
【００６７】
図１０は、本実施の形態における学習処理の概要を示すフローチャートである。図１１は、本実施の形態における一段階目の学習処理で用いる基本ニューラルネットワーク１２１１ａの構造の一例の説明図である。図１２は、本実施の形態における二段階目の学習処理で用いるニューラルネットワーク１２１ｂの構造の一例の説明図である。なお、図３および図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【００６８】
＜Ｓ１０＞
まず、同一物体が映る２つの画像であるペア画像と非同一物体が映る２つの画像である非ペア画像とを複数含む学習用データを準備する（Ｓ１０）。より具体的には、一段階目の学習処理（以下、第１学習処理と称する）で用いる学習用データと、二段階目の学習処理（以下、第２学習処理と称する）で用いる学習用データとを準備する。
【００６９】
本実施の形態では、第１学習処理用に、Market-1501データセットから生成したペア画像(matching pairs)と、非ペア画像(non-matching pairs)とを複数含む学習用データを準備する。ここで、ペア画像は、同じ大きさの同一物体が映る同じ大きさ２つの画像である。非ペア画像は、同じ大きさの非同一物体が映る同じ大きさの２つの画像である。また、第２学習処理用に、MOT16データセットから生成した同一物体が映る２つの画像であるペア画像と非同一物体が映る２つの画像である非ペア画像とを複数含む学習用データを準備する。
【００７０】
≪Market-1501データセット≫
Market-1501データセットは、テストおよび学習の両方に利用可能なアノテーション（正解ラベル）が付された１５０１個の同一人物が含まれ、人物の再識別に用いることができる。Market-1501データセットは、６台の異なる角度のカメラにより収集される。
【００７１】
≪MOT16データセット≫
一方、MOT16データセットは、MOT16-02,04,05,09,10,11,13などテストに利用可能な７つのテストシーケンスとMOT16-01,03,06,07,08,12,14など学習処理に利用可能なの７つの学習用シーケンスを含む。学習用シーケンスには、79,790個の検出が含まれており、テストシーケンスには、135,376個の歩行者を示す検出が含まれている。MOT16データセットに含まれる１つのシーケンスは、単一視点から撮影されたビデオシーケンスであり、各シーケンスは、車、ハンドヘルドカメラなどに取り付けられたカメラなどさまざまな視点で収集されたシーケンスである。
【００７２】
＜Ｓ１１＞
次に、コンピュータは、Ｓ１０で準備した学習用データを用いて、基本ニューラルネットワーク１２１１ａを学習させる第１学習処理を行う（Ｓ１１）。より具体的には、コンピュータは、同一物体が映る２つの画像であるペア画像と非同一物体が映る２つの画像である非ペア画像とを複数含む学習用データを用いて、基本ニューラルネットワーク１２１１ａに、ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるためのパラメータを学習させる第１学習処理を行う。ここで、比較による類似性は、基本ニューラルネットワーク１２１１ａで抽出された２以上の画像それぞれの特徴量の距離の比較により評価される。一例としては、比較による類似性は、２以上の画像それぞれの特徴量のユークリッド距離を用いた誤差関数を用いて評価される。
【００７３】
本実施の形態では、コンピュータは、図１１に示すような基本ニューラルネットワーク１２１１ａを用いて第１学習処理を行う。図１１に示す基本ニューラルネットワーク１２１１ａは、データ入力層５１およびデータ入力層５１ｐと、評価層１２２０とをさらに備える。
【００７４】
データ入力層５１およびデータ入力層５１ｐは、図４に示す基本ニューラルネットワーク１２１１に対して、ペア画像または非ペア画像を入力する。データ入力層５１は、第１学習処理用に準備された学習用データに含まれるペア画像または非ペア画像の一方の画像を基本ニューラルネットワーク１２１１ａに入力する。データ入力層５１ｐは、ペア画像または非ペア画像の他方の画像を基本ニューラルネットワーク１２１１ａに入力する。
【００７５】
評価層１２２０は、基本ニューラルネットワーク１２１１ａにより抽出され、出力された特徴量をユークリッド距離を用いて評価する。評価層１２２０は、例えば（式１）および（式２）により、ユークリッド距離を用いた誤差関数を算出する。
【００７６】
【数１】
2018026108.tif 000003
【数２】
2018026108.tif 000004
【００７７】
ここで、Enは、特徴層１２１２ａから出力される特徴量Fpと、特徴層１２１３ａから出力される特徴量Fとのユークリッド距離を示す。また、（式２）におけるyは、データ入力層５１およびデータ入力層５１ｐから入力され２つの画像のラベルを示す。y=1は、２つの画像がペア画像であることを示し、y=0は、２つの画像が非ペア画像であることを示す。mは、マージンパラメータであり、２つの画像に映る物体が非同一である場合に同一性を示す特徴量を抽出できないときの対策として機能する。本実施の形態では、m=3としている。
【００７８】
Ｓ１１において、コンピュータは、評価層１２２０で算出される誤差が小さくなるように基本ニューラルネットワーク１２１１ａのパラメータを調整または更新する。ここで、パラメータは、基本ニューラルネットワーク１２１１ａを構成する畳み込み層および全結合層の重みと特徴層１２１２ａおよび特徴層１２１３ａで共有する重みである。コンピュータは、第１学習処理において評価層１２２０で算出される誤差が最小または変動しなくなった状態までパラメータを調整または更新する。
【００７９】
＜Ｓ１２＞
次に、コンピュータは、Ｓ１０で準備した学習用データを用いて、Ｓ１１で学習した基本ニューラルネットワーク１２１１ａのパラメータを反映させたニューラルネットワーク１２１ｂを学習させる第２学習処理を行う（Ｓ１２）。より具体的には、コンピュータは、Ｓ１１で学習させたパラメータを基本ニューラルネットワーク１２１１ｂに反映させたニューラルネットワーク１２１ｂに、Ｓ１０で準備した学習用データを用いて、ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるためのパラメータを学習させる第２学習処理を行う。
【００８０】
本実施の形態では、コンピュータは、図１２に示すようなニューラルネットワーク１２１ｂを用いて第２学習処理を行う。図１２に示すニューラルネットワーク１２１ｂは、評価層１２２２が追加されている。なお、図１２に示すニューラルネットワーク１２１ｂでは、Ｓ１１で学習されたパラメータが基本ニューラルネットワーク１２１１ｂに反映され、一旦固定される。
【００８１】
データ入力層５１は、第２学習処理用に準備された学習用データに含まれるペア画像または非ぺア画像の一方の画像を基本ニューラルネットワーク１２１１ｂに入力する。データ入力層５１ｐは、ペア画像または非ぺア画像の他方の画像を基本ニューラルネットワーク１２１１ｂに入力する。
【００８２】
評価層１２２２は、ニューラルネットワーク１２１ａに対して、特徴層１２１２ｂおよび特徴層１２１３ｂにより出力される特徴量をユークリッド距離を用いて評価するための誤差関数を算出する。評価層１２２２は、評価層１２２０と同様に、例えば（式１）および（式２）により、ユークリッド距離を用いた誤差関数を算出すればよい。この場合、（式１）における特徴量Fpは、特徴層１２１２ｂから出力される特徴量と追加層１２１７および追加層１２１９で算出した追加特徴量とが結合されたものとすればよい。また、（式１）における特徴量Fは、特徴層１２１３ｂから出力される特徴量と追加層１２１７および追加層１２１９で算出した追加特徴量とが結合されたものとすればよい。そして、Enは、これらの特徴量Fpおよび特徴量Fとのユークリッド距離とすればよい。
【００８３】
なお、追加層１２１７、追加層１２１９が算出する追加特徴量は、以下の（式３）により算出することができる。
【００８４】
【数３】
2018026108.tif 000005
【００８５】
ここで、bi、bjは、データ入力層５１およびデータ入力層５１ｐに入力される２つの画像それぞれに映る物体を含む領域を示すボックスである。追加層１２１７は、追加特徴量としてDIoUを算出し、追加層１２１９は、追加特徴量としてDARATを算出する。
【００８６】
Ｓ１２において、コンピュータは、図１２に示すニューラルネットワーク１２１ｂの基本ニューラルネットワーク１２１１ｂにＳ１１で学習されたパラメータを反映するが、最初のフェーズでは固定して第２学習処理を行う。
【００８７】
換言すると、コンピュータは、第２学習処理の最初のフェーズにおいて、基本ニューラルネットワーク１２１１ｂのパラメータの固定し、第２学習処理用に準備された学習用データを用いて特徴層１２１２ｂおよび特徴層１２１３ｂが共有するパラメータのみ学習を行う。具体的には、コンピュータは、評価層１２２２で算出される誤差が小さくなるように、第２学習処理用に準備された学習用データを用いて特徴層１２１２ｂおよび特徴層１２１３ｂが共有するパラメータを調整または更新する。ここで、パラメータは、第２学習処理の最初のフェーズにおいて評価層１２２２で算出される誤差が最小または変動しなくなった状態となるよう調整または更新される。
【００８８】
続いて、コンピュータは、特徴層１２１２ｂおよび特徴層１２１３ｂが共有するパラメータの学習が一旦終了すると、基本ニューラルネットワーク１２１１ｂのパラメータの固定を解除して第２学習処理を行う。つまり、コンピュータは、第２学習処理の最後のフェーズにおいて、第２学習処理用に準備された学習用データを用いてニューラルネットワーク１２１ｂ全部のパラメータの学習を行う。
【００８９】
なお、第２学習処理において、まず、最初のフェーズにおいて、特徴層１２１２ｂおよび特徴層１２１３ｂが共有するパラメータのみ学習させているのは、第１学習処理で学習された基本ニューラルネットワーク１２１１ａのパラメータを活かすためである。仮に、第２学習処理において、最初および最後のフェーズを設けずに、第２学習処理用に準備された学習用データを用いてニューラルネットワーク１２１ｂ全部のパラメータの学習を行わせるとする。すると、第１学習処理で学習されたパラメータを大幅に変更してしまうことになり、学習効率が落ちるばかりか、パラメータが収束しない可能性もある。
【００９０】
本実施の形態では、このような２段階の学習処理を行うことにより、物体追跡装置１０に用いるニューラルネットワーク１２１ａのパラメータを学習させることができる。
【００９１】
［物体追跡装置１０の効果等］
以上のように、本実施の形態における物体追跡装置１０によれば、拡張サイアミーズニューラルネットワークを用いて、時系列に入力される入力画像における追跡候補の画像上の類似性を示す特徴マップを位置変化および領域変化を追加特徴として取り込み、かつ、入力画像の次元数よりも大幅に減らした次元数で取得することができる。そして、取得した特徴マップを比較し、時系列に入力される入力画像における追跡候補の類似性を照合することで物体追跡を行うことができる。このように、本実施の形態における物体追跡装置１０は、拡張サイアミーズニューラルネットワークを用いることで、次元数を減らした時間的な情報を考慮できる特徴マップを用いて追跡候補の類似性を照合することができる。これにより、本実施の形態における物体追跡装置１０は、リカレントニューラルネットワークを利用した物体追跡よりも高速に処理を行うことができる。つまり、本実施の形態における物体追跡装置１０によれば、Deep Learningを用いた物体追跡の処理速度をより向上できる。したがって、本実施の形態における物体追跡装置１０を、ADASなど、リアルタイムな物体追跡が要求されるシステムに適用できる。
【００９２】
（変形例）
上記の実施の形態では、物体追跡装置１０に用いられるニューラルネットワークが拡張サイアミーズニューラルネットワークである場合について説明したが、これに限らない。物体追跡装置１０に用いられるニューラルネットワークが、サイアミーズニューラルネットワークすなわち基本ニューラルネットワーク１２１１および特徴層１２１２、１２１３のみで構成されていてもよい。この場合、図１０に示す学習処理は、図１１に示す構成すなわち基本ニューラルネットワーク１２１１ａに対してＳ１１の第１学習処理およびＳ１２の第２学習処理を行えばよい。
【００９３】
なお、図１１に示す構成すなわち基本ニューラルネットワーク１２１１ａに対して、Ｓ１１の第１学習処理のみを行うとしてもよい。すなわち、コンピュータは、Ｓ１０で準備した学習用データを用いて、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用画像を用いて、基本ニューラルネットワーク１２１１ａで構成されるニューラルネットワークに、ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる学習処理を行ってもよい。
【００９４】
（実施例１）
物体追跡装置１０に用いられるニューラルネットワークがサイアミーズニューラルネットワークまたは拡張サイアミーズニューラルネットワークである場合の２段階の学習処理の有効性について検証したので、その実験結果を実施例１として説明する。
【００９５】
［データセット］
（第1学習処理で用いる学習用データ）
Market-1501データセットから、64(w)×64(h)の同じ大きさの同一人物が128(w)×128(h)の同じサイズの異なる２つの画像をランダムに選択したペア画像を75,000セット生成した。また、Market-1501データセットから、64(w)×64(h)の同じ大きさの異なる人物が128(w)×128(h)の同じサイズの異なる２つの画像をランダムに選択した非ペア画像を75,000セット生成した。そして、これらを含めたものを第１学習処理で用いる学習用データとした。また、第１学習処理の有効性の検証用に、上記のようなペア画像および非ペア画像をそれぞれ25,000セット生成した。
【００９６】
（第２学習処理で用いる学習用データ）
MOT16データセットを構成する７つのテストシーケンスには、groundtruth情報すなわち正解情報がない。そこで、MOT16データセットを構成する７つの学習用シーケンスを学習用の６つのシーケンスと検証用の１つのシーケンスに分割した。６つのシーケンスにおいて、２つの連続フレームから合計で約222,400個となるペア画像と非ペア画像とをIoU（位置変化）およびAreaRatio（領域変化）を示すデータと共に生成し、 第２学習処理で用いる学習用データとした。残りの１つのシーケンスにおいて、２つの連続フレームから、合計で約198,800個となるペア画像と非ペア画像とをIoU（位置変化）およびAreaRatio（領域変化）を示すデータと共に生成し, 第２学習処理の有効性の検証用とした。
【００９７】
［第１学習処理の有効性］
第１学習処理では、Market-1501データセットから生成した学習用データを用いて基本ニューラルネットワーク１２１１ａを、１回分のバッチサイズを１２８、学習率を０．０１として確率的勾配降下法で学習させた。
【００９８】
図１３は、実施例１におけるMarket-1501データセットを用いた学習時誤差を示す図である。図１４は、実施例１におけるMarket-1501データセットを用いた検証時誤差を示す図である。縦軸は誤差を示し、横軸は１００反復を１回とした回数を示す。図１４には、図１３の回数時における、第１学習処理済みの基本ニューラルネットワーク１２１１ａで検証した結果が示されている。
【００９９】
Market-1501データセットで検証した結果、第１学習処理済みの基本ニューラルネットワーク１２１１ａは、精度= 0．9854、再現率= 0.9774およびF1= 0.9814を達成した。なお、F1のスコアは、以下の（式４）で算出することができる。
【０１００】
【数４】
2018026108.tif 000006
【０１０１】
ここで、TPは真陽性の数すなわち正負２クラス分類としたときに真が正、かつ、予測結果も正であった出力データ数を示す。FPは偽陽性の数すなわち真が負、かつ、予測結果が正であった出力データ数を示す。FNは偽陰性の数すなわち真が負、かつ、予測結果が負であった出力データ数を示す。
【０１０２】
図１５Ａおよび図１５Ｂは、実施例１における検証用のMarket-1501データセットを用いて得た特徴量のユークリッド距離を示す図である。縦軸は、学習済みの基本ニューラルネットワーク１２１１ａにより出力された２つの特徴量のユークリッド距離を示している。横軸において左側のグラフは、第１学習処理済みの基本ニューラルネットワーク１２１１ａに、非ペア画像を入力したときに出力された２つの特徴量のユークリッド距離を線形または対数のスケールで示している。横軸において右側のグラフは、第１学習処理済みの基本ニューラルネットワーク１２１１ａに、ペア画像を入力したときに出力された２つの特徴量のユークリッド距離を線形または対数のスケールで示している。なお、図１５Ｂは、図１５Ａの縦軸を対数のスケールに変換したものに相当する。
【０１０３】
図１５Ｂに示すように、第１学習処理済みの基本ニューラルネットワーク１２１１ａでは、水平線h1（m=3）を境界としてペア画像および非ペア画像から抽出した２つの特徴量で概ね類似性が分類できているのがわかる。つまり、第１学習処理済みの基本ニューラルネットワーク１２１１ａは、ペア画像については同一物体を示す特徴量を抽出し、非ペア画像については非同一物体を示す特徴量を抽出しているのがわかる。
【０１０４】
［第２学習処理の有効性］
第２学習処理では、上述したように、まず、ニューラルネットワーク１２１ｂの一部を構成する基本ニューラルネットワーク１２１１ｂに第１学習処理により学習したパラメータを反映させた。次に、Mot16データセットから生成した学習用データを用いて、最初のフェーズにおいて基本ニューラルネットワーク１２１１ｂのパラメータを固定してニューラルネットワーク１２１ｂを学習させた。そして、最後のフェーズにおいて、基本ニューラルネットワーク１２１１ｂのパラメータを固定を解除してニューラルネットワーク１２１ｂを学習させた。
【０１０５】
Mot16データセットで検証した結果、第２学習処理済みの基本ニューラルネットワーク１２１１ｂだけから、精度=0.9837、再現率=0.9966およびF1=0.9901を達成した。また、第２学習処理済みのニューラルネットワーク１２１ｂから、精度=0.9908、再現率=0.9990およびF1= 0.9949を達成した。
【０１０６】
図１６Ａ〜図１７Ｃは、実施例１における検証用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。図１６Ａ〜図１６Ｃには、第２学習処理済みの基本ニューラルネットワーク１２１１ｂにより得た２つの特徴量のユークリッド距離が示されている。図１７Ａ〜図１７Ｃには、第２学習処理済みのニューラルネットワーク１２１ｂにより得た２つの特徴量のユークリッド距離が示されている。これらの図において、濃色点はペア画像から抽出した特徴量のものを示し、薄色点は非ぺア画像から抽出した特徴量のものを示している。
【０１０７】
より具体的には、図１６Ａには、第２学習処理済みの基本ニューラルネットワーク１２１１ｂにより得た２つの特徴量のユークリッド距離のヒストグラムが示されている。縦軸は正規化された周波数を示し、横軸はユークリッド距離を示す。なお、点線v1はペア画像から抽出した２つの特徴量のユークリッド距離の平均値を示し、点線v2は非ぺア画像から抽出した２つの特徴量のユークリッド距離の平均値を示している。図１６Ｂは、図１６Ａの結果を、横軸にIoU（共通集合の面積／和集合の面積）、縦軸に線形のスケールのユークリッド距離でプロットしたものである。図１６Ｃは、図１６Ａの結果を、横軸にIoU（共通集合の面積／和集合の面積）、縦軸に対数のスケールのユークリッド距離でプロットしたものである。なお、図１６Ｃは、図１６Ａの縦軸を対数のスケールに変換したものに相当する。
【０１０８】
図１７Ａには、第２学習処理済みの基本ニューラルネットワーク１２１１ｂにより得た２つの特徴量のユークリッド距離のヒストグラムが示されている。縦軸は正規化された周波数を示し、横軸はユークリッド距離を示す。なお、点線v3はペア画像から抽出した２つの特徴量のユークリッド距離の平均値を示し、点線v4は非ぺア画像から抽出した２つの特徴量のユークリッド距離の平均値を示している。図１７Ｂは、図１７Ａの結果を、横軸にIoU（共通集合の面積／和集合の面積）、縦軸に線形のスケールのユークリッド距離でプロットしたものである。図１７Ｃは、図１７Ａの結果を、横軸にIoU（共通集合の面積／和集合の面積）、縦軸に対数のスケールのユークリッド距離でプロットしたものである。なお、図１７Ｃは、図１７Ａの縦軸を対数のスケールに変換したものに相当する。
【０１０９】
図１６Ｃに示すように、第２学習処理済みの基本ニューラルネットワーク１２１１ｂでは、水平線h2（m=3）を境界としてペア画像および非ペア画像から抽出した２つの特徴量で概ね類似性が分類できているのがわかる。また、図１７Ｃに示すように、第２学習処理済みのニューラルネットワーク１２１ｂでは、水平線h2（m=3）を境界としてペア画像および非ペア画像から抽出した特徴量で類似性を分類できているのがわかる。そして、図１６Ｃと図１７Ｃとを比較すると、図１７Ｃに示される例の方がより効果的に類似性を分類できているのがわかる。つまり、第２学習処理済みのニューラルネットワーク１２１ｂは、ペア画像については同一物体を示す特徴量を、非ペア画像については非同一物体を示す特徴量をより効果的に抽出できているのがわかる。例えば、第２学習処理済みの基本ニューラルネットワーク１２１１ｂでは、IoU<0.05で、誤分類された非ペア画像の特徴量のものを、第２学習処理済みのニューラルネットワーク１２１ｂでは正しく分類されていることからわかる。これは、第２学習処理済みのニューラルネットワーク１２１ｂでは、例えば類似の衣服を着ている異なる人物から抽出される類似した特徴量を、IoUおよびAreaRatioなどの位置変化および領域変化を示す情報を利用することで、異なる人物から抽出された特徴量であると識別できることを意味する。
【０１１０】
なお、図１８Ａ〜図１９Ｃは、実施例１における学習用のMot16データセットを用いて得た特徴量のユークリッド距離を示す図である。図１８Ａ〜図１９Ｃは、図１６Ａ〜図１７Ｃとは、学習用のMot16データセットを用いている点を除いて同様の図となっている。図１８Ａにおいて、点線v5は第２学習処理済みの基本ニューラルネットワーク１２１１ｂがペア画像から抽出した２つの特徴量のユークリッド距離の平均値を示し、点線v6は第２学習処理済みの基本ニューラルネットワーク１２１１ｂが非ぺア画像から抽出した２つの特徴量のユークリッド距離の平均値を示している。同様に、図１９Ａにおいて、点線v7は第２学習処理済みのニューラルネットワーク１２１ｂがペア画像から抽出した２つの特徴量のユークリッド距離の平均値を示し、点線v8は第２学習処理済みのニューラルネットワーク１２１ｂが非ぺア画像から抽出した２つの特徴量のユークリッド距離の平均値を示している。
【０１１１】
［アルゴリズム］
図２０は、実施例１における所定のアルゴリズムの一例を示す図である。図２０には、基本ニューラルネットワーク１２１１ａ、１２１１ｂが抽出した特徴量、およびニューラルネットワーク１２１ｂが抽出した特徴量を比較して類似性を照合するために用いた所定のアルゴリズムの一例が示されている。
【０１１２】
本実施例では、基本ニューラルネットワーク１２１１ａ、１２１１ｂが抽出した特徴量の類似性の照合を、以下の（式５）〜（式８）により算出できるスコア関数Snewを用いて行った。
【０１１３】
【数５】
2018026108.tif 000007
【数６】
2018026108.tif 000008
【数７】
2018026108.tif 000009
【数８】
2018026108.tif 000010
【０１１４】
ここで、bi、bjは、図１１または図１２に示すデータ入力層５１、５１ｐに入力される時系列に連続した２つの画像Bt-1、Btそれぞれに映る人物などの物体を含む領域を示すボックスである。（式５）に示すSDistは、（式６）に示すように、bi、bjから基本ニューラルネットワーク１２１１ａ、１２１１ｂが抽出した特徴量のユークリッド距離D(bi,bj）とバイアス項γとから導くことができる。SIoUは、（式７）に示すように、bi、bjのIoU（位置変化）を１．０だけシフトさせることで導くことができる。SAratは、（式８）に示すように、bi、bjのAreaRatio（領域変化）から導くことができる。
【０１１５】
また、本実施例では、ニューラルネットワーク１２１ｂが抽出した特徴量による類似性の照合を、以下の（式６）により算出できるSDistを用いて行った。
【０１１６】
以上から、以下の（式９）に示されるスコア関数Snewを用いて特徴量による類似性の照合を行うことができる。つまり、基本ニューラルネットワークが抽出する特徴量による類似性の照合を行うときには、IoUおよびAreaRatioとユークリッド距離とを用いて行えばよい。また、基本ニューラルネットワークを拡張したニューラルネットワークが抽出する特徴量による類似性の照合を行うときには、ユークリッド距離のみを用いて行えばよい。
【０１１７】
【数９】
2018026108.tif 000011
【０１１８】
そして、本実施例では、（式９）に示されるスコア関数Snewを、図２０に示すような所定のアルゴリズムを用いて導出する。なお、図２０の行１で入力されるnは、現フレームとペアを生成するためにどのくらいの前のフレームを検索するかを決定する。図２０では、現フレームの追跡対象の物体と類似する物体が決定された場合、現フレームの追跡対象の物体と同一のIDが割り当てられる。
【０１１９】
（実施例２）
実施例２では、MOT16 Train Data setとMOT16 Test Data setとを用いて物体追跡装置１０に用いられるニューラルネットワークの性能を評価したので、その結果について説明する。なお、実施例２では、物体追跡装置１０に用いられるニューラルネットワークがサイアミーズニューラルネットワークとした。つまり、実施例２では、変形例における物体追跡装置１０に用いられるニューラルネットワークについて性能を評価した。また、MOT16を用いて、複数の対象物体を追跡する物体追跡の性能をベンチマーク評価することは、最も確立された評価方法の一つであり広く使用されている。
【０１２０】
図２１は、実施例２におけるMOT16 Train Data setのベンチマーク評価結果を示す図である。図２１に示すように、物体追跡の精度（MOTA）のうち最も高い値48.6は、MOT16-11シーケンスを用いた場合の評価結果である。物体追跡の精度（MOTA）のうち最も低い値6.2は、MOT16-13シーケンスを用いた場合の評価結果である。しかし、MOT16-13シーケンスは、MOT16 Train Data setに含まれるシーケンスの中で最も物体追跡を行うのが難しいシーケンスであることが知られている。MOT16 Train Data setを用いて場合の物体追跡の精度（MOTA）の平均値は、31.0である。
【０１２１】
実行時間（Hz）は、MOT16 Train Data setに含まれるシーケンス毎に異なっている。実行時間は、シーケンスの密度に依存するため、シーケンスの密度すなわち画像フレーム内における対象物体の検出数が多いほど処理量が多いので時間を要するためである。なお、本実施例における実行時間は、NVIDIA GeForce GTX 970カードを使用して評価した。
【０１２２】
図２２は、実施例２におけるMOT16 Test Data setのベンチマーク評価結果を示す図である。なお、図２２において、「Ours」は、本開示における物体追跡装置１０が行う物体検出の性能評価結果すなわちベンチマーク評価に該当する。その他は、サイアミーズニューラルネットワークを用いない方法においての物体検出のベンチマーク評価である。また、図２２に示されるベンチマーク評価は、１）未来の情報を用いないで現在および過去の情報を用いる方法であるオンライン、２）追跡対象を自前で用意せずに提供された検出セットを使用する方法で行われている。
【０１２３】
図２２に示すように、物体追跡の精度（MOTA）が３５．２で、実行時間（Hz）が５．６Ｈｚである。その他のベンチマーク評価が行われたハードウェア仕様に関する情報が不足しており、実行時間（Hz）すなわち処理速度の正確な比較は不可能であるものの、「Ours」は、「その他」と比較して、精度と処理速度との両方において非常に十分な性能を達成しているのがわかる。
【０１２４】
以上のように、本開示に係る物体追跡装置および物体追跡方法によれば、Deep Learningを用いた物体追跡の処理速度をより向上できる物体追跡方法を実現できる。したがって、本開示に係る物体追跡装置および物体追跡方法を、ADASなど、リアルタイムな物体追跡が要求されるシステムに十分に適用できる。
【０１２５】
（他の実施態様の可能性）
以上、実施の形態において本開示の物体追跡方法について説明したが、各処理が実施される主体や装置に関しては特に限定しない。ローカルに配置された特定の装置内に組み込まれたプロセッサーなど（以下に説明）によって処理されてもよい。またローカルの装置と異なる場所に配置されているクラウドサーバなどによって処理されてもよい。
【０１２６】
また、学習用データまたは物体追跡方法の入力画像としては、車載カメラで撮影された画像（全体画像）であってもよいし、全体画像の一部画像（部分画像）であってもよい。部分画像としては、追跡対象の一つの物体を含む領域の画像であってもよい。全体画像としては、追跡対象の複数の物体を含む画像であってもよい。
【０１２７】
なお、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
【０１２８】
また、本開示は、さらに、以下のような場合も含まれる。
【０１２９】
（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１３０】
（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１３１】
（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１３２】
（４）また、本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１３３】
（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD（Blu-ray(登録商標) Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１３４】
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１３５】
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１３６】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【０１３７】
本開示は、Deep Learningを用いた物体追跡方法、物体追跡装置およびプログラムに利用でき、特にADASなど、リアルタイムな物体追跡が要求されるシステムに利用できる。
【符号の説明】
【０１３８】
１０    物体追跡装置
１１    入力部
１２    出力部
５０ｔ−１、５０ｔ    画像
５１、５１ｐ    データ入力層
１２１  抽出部
１２１ａ、１２１ｂ  ニューラルネットワーク
１２２    照合部
１２３    追跡結果出力部
１２１１、１２１１ａ、１２１１ｂ    基本ニューラルネットワーク
１２１２、１２１２ａ、１２１２ｂ、１２１３、１２１３ａ、１２１３ｂ    特徴層
１２１４、１２１５    特徴結合層
１２１６、１２１８    次元処理層
１２１７、１２１９    追加層
１２２０、１２２２    評価層
【図１】
2018026108.tif 000012
【図２】
2018026108.tif 000013
【図３】
2018026108.tif 000014
【図４】
2018026108.tif 000015
【図５】
2018026108.tif 000016
【図６Ａ】
2018026108.tif 000017
【図６Ｂ】
2018026108.tif 000018
【図７】
2018026108.tif 000019
【図８】
2018026108.tif 000020
【図９Ａ】
2018026108.tif 000021
【図９Ｂ】
2018026108.tif 000022
【図１０】
2018026108.tif 000023
【図１１】
2018026108.tif 000024
【図１２】
2018026108.tif 000025
【図１３】
2018026108.tif 000026
【図１４】
2018026108.tif 000027
【図１５Ａ】
2018026108.tif 000028
【図１５Ｂ】
2018026108.tif 000029
【図１６Ａ】
2018026108.tif 000030
【図１６Ｂ】
2018026108.tif 000031
【図１６Ｃ】
2018026108.tif 000032
【図１７Ａ】
2018026108.tif 000033
【図１７Ｂ】
2018026108.tif 000034
【図１７Ｃ】
2018026108.tif 000035
【図１８Ａ】
2018026108.tif 000036
【図１８Ｂ】
2018026108.tif 000037
【図１８Ｃ】
2018026108.tif 000038
【図１９Ａ】
2018026108.tif 000039
【図１９Ｂ】
2018026108.tif 000040
【図１９Ｃ】
2018026108.tif 000041
【図２０】
2018026108.tif 000042
【図２１】
2018026108.tif 000043
【図２２】
2018026108.tif 000044
【手続補正書】
【提出日】平成29年6月12日(2017.6.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、
それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、
前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、
前記ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する、
物体追跡方法。
【請求項２】
前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像および第２画像を前記ニューラルネットワークに入力し、
前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、および、前記第２画像に映る１以上の物体それぞれの第２特徴量を前記ニューラルネットワークに抽出させ、抽出させた前記第１特徴量および前記第２特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、
前記ニューラルネットワークは、前記同一構造を２つ含み、２つの前記同一構造で前記第１画像の前記第１特徴量および前記第２画像の前記第２特徴量を抽出する、
請求項１に記載の物体追跡方法。
【請求項３】
前記入力ステップでは、それぞれ１以上の物体が映り、時系列に連続した第１画像、第２画像および第３画像を前記ニューラルネットワークに入力し、
前記出力ステップでは、前記入力ステップにおいて入力された前記第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、前記第２画像に映る１以上の物体それぞれの第２特徴量、および、前記第３画像に映る１以上の物体それぞれの第３特徴量を前記ニューラルネットワークに抽出させ、抽出した前記第１特徴量、前記第２特徴量および前記第３特徴量を比較して類似性を照合することで、前記第１画像に映る前記追跡候補それぞれに一致する前記第２画像および前記第３画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力し、
前記ニューラルネットワークは、前記同一構造を３つ含み、３つの前記同一構造で前記第１画像の前記第１特徴量、前記第２画像の前記第２特徴量および前記第３画像の前記第３特徴量を抽出する、
請求項１に記載の物体追跡方法。
【請求項４】
前記物体追跡方法は、さらに、
前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークに、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる学習ステップを含む、
請求項１〜３のいずれか１項に記載の物体追跡方法。
【請求項５】
前記ニューラルネットワークは、
さらに、前記２以上の同一構造の外に、前記入力ステップにおいて入力された前記２以
上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有する、
請求項１〜３のいずれか１項に記載の物体追跡方法。
【請求項６】
前記物体追跡方法は、さらに、
前記入力ステップを行う前に、同一物体が映る２つ以上の画像であるペア画像と非同一物体が映る２つ以上の画像である非ペア画像とを複数含む学習用データを用いて、前記ニューラルネットワークのうちの前記２以上の同一構造に、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための、前記パラメータを学習させる第１学習ステップと、
前記第１学習ステップで学習させた前記パラメータを前記２以上の同一構造に反映させた前記ニューラルネットワークに、前記学習用データを用いて、前記ペア画像それぞれから、比較による類似性の照合において同一物体を示す特徴量を抽出させるための前記パラメータを学習させる第２学習ステップとを含む、
請求項５に記載の物体追跡方法。
【請求項７】
前記比較による類似性は、前記２つ以上の同一構造で抽出された前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量の距離の比較により評価される、
請求項４または６に記載の物体追跡方法。
【請求項８】
前記比較による類似性は、
前記２以上の画像それぞれの特徴量のユークリッド距離を用いた誤差関数を用いて評価される、
請求項７に記載の物体追跡方法。
【請求項９】
前記２つ以上の同一構造はそれぞれ、前記入力ステップにおいて入力された前記２以上の画像のうち対応する画像の特徴量を、当該画像の次元よりも減じた次元で抽出し、
前記２つ以上の同一構造それぞれで抽出される特徴量の次元は同一である、
請求項１〜８のいずれか１項に記載の物体追跡方法。
【請求項１０】
前記２以上の画像に映る１以上の物体は、人物および車両のうちの少なくとも一方である、
請求項１〜７のいずれか１項に記載の物体追跡方法。
【請求項１１】
０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有するニューラルネットワークに、それぞれ１以上の物体が映り時系列に連続した２以上の画像を入力する入力ステップと、
前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で最も前の画像に映る追跡候補である１以上の物体に一致する前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを、
コンピュータに実行させるプログラム。
【請求項１２】
それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、ニューラルネットワークに入力する入力部と、
前記入力部により入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で最も前の画像に映る追跡候補である１以上の物体に一致する前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果と
して出力する出力部とを備え、
前記ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する、
物体追跡装置。 
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記課題を解決するために、本開示の一形態に係る物体追跡方法は、ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、前記ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
そこで、本開示の一形態に係る物体追跡方法は、ニューラルネットワークを用いてコンピュータが行う物体追跡方法であって、それぞれ１以上の物体が映り、時系列に連続した２以上の画像を、前記ニューラルネットワークに入力する入力ステップと、前記入力ステップにおいて入力された前記２以上の画像それぞれの特徴量であって前記ニューラルネットワークに抽出させた特徴量を比較して類似性を照合することで、前記２以上の画像のうちの時系列で前の画像に映る追跡候補である１以上の物体に一致する、前記前の画像より時系列で後の画像に映る１以上の物体の識別情報および位置情報を、識別結果として出力する出力ステップとを含み、前記ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、前記同一構造間の対応する層でパラメータを共有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
≪抽出部１２１≫
抽出部１２１は、ニューラルネットワークを用いて、入力部１１により入力された２以上の画像それぞれの特徴量（特徴マップ）を抽出する。つまり、当該特徴量は特徴マップであってもよい。ここで、当該ニューラルネットワークは、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２以上含み、同一構造間の対応する層でパラメータを共有する。当該ニューラルネットワークは、さらに当該２以上の同一構造の外に、入力部１１により入力される２以上の画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有する。そして、当該２つ以上の同一構造はそれぞれ、入力部１１により入力された２以上の画像のうち対応する画像の特徴量を、当該画像の次元よりも減じた次元で抽出し、２つ以上の同一構造それぞれで抽出される特徴量の次元は同一である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
本実施の形態では、抽出部１２１は、０以上の全結合層と１以上の畳み込み層とを有する同一構造を２つ含み、同一構造間の対応する層でパラメータを共有し、かつ、当該２つの同一構造の外に、入力部１１により入力される２つの画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有するニューラルネットワークを用いる。そして、抽出部１２１は、入力部１１により入力された第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、および、第２画像に映る１以上の物体それぞれの第２特徴量を、当該ニューラルネットワークを用いて抽出する。 
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
なお、入力部１１により、時系列に連続した３つの画像である第１画像、第２画像および第３画像が入力される場合、抽出部１２１は、０以上の全結合層と１以上の畳み込み層とを有する同一構造を３つ含み、同一構造間の対応する層でパラメータを共有し、かつ、当該３つの同一構造の外に、入力部１１により入力される３つの画像に映る１以上の物体の位置変化および当該画像中の領域変化を算出する追加層を有するニューラルネットワークを用いてもよい。すなわち、抽出部１２１は、入力部１１により入力された第１画像に映る追跡候補である１以上の物体それぞれの第１特徴量、第２画像に映る１以上の物体それぞれの第２特徴量、および、第３画像に映る１以上の物体それぞれの第３特徴量を、当該ニューラルネットワークを用いて抽出してもよい。
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2018026108.tif 000045
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2018026108.tif 000046