(57)【要約】【課題】計算負荷を比較的小さくしつつ、複数の目標を検出し、当該複数の目標を安定して追尾することができる追尾装置を得ること。【解決手段】追尾装置１０は、画像における複数の特徴点の位置と速度とを抽出する特徴量抽出部２と、複数の特徴点の各々の位置と速度とをもとに特徴点群を特定するクラスタリング処理部３と、特徴点群の重心の位置及び速度の推定値を算出すると共に、重心の位置の予測値を算出するクラスタ追尾部４と、画像から予測値を含む部分画像を切出し、目標を検出し、目標を含むバウンディングボックスの中心の重心に対しての相対的な位置を算出する目標検出部５と、特徴点群の重心の位置と上記の相対的な位置とをもとに目標の位置の推定値を算出する目標追尾部６と、クラスタ追尾部４によって算出された速度の推定値と目標追尾部６によって算出された推定値とを統合する統合部７とを有する。【選択図】図１
2019164521.tif 000002
【特許請求の範囲】
【請求項１】
時系列の画像を得る撮像部と、
前記撮像部によって得られた画像における複数の特徴点の各々の位置と速度とを抽出する特徴量抽出部と、
前記特徴量抽出部によって抽出された前記複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行って、前記複数の特徴点のうちの一部の複数の特徴点を特徴点群と特定するクラスタリング処理部と、
前記クラスタリング処理部によって特定された前記特徴点群の重心の位置及び速度の推定値を算出すると共に、前記重心の位置の予測値を算出するクラスタ追尾部と、
前記撮像部によって得られた画像から、前記クラスタ追尾部によって算出された前記予測値を含む部分画像を切出し、前記部分画像における目標を検出し、前記目標を含むバウンディングボックスの中心の、前記重心に対しての相対的な位置を算出する目標検出部と、
前記クラスタリング処理部によって特定された前記特徴点群の前記重心の位置と前記目標検出部によって算出された前記相対的な位置とをもとに、前記目標の位置の推定値を算出する目標追尾部と、
前記クラスタ追尾部によって算出された前記重心の速度の推定値と前記目標追尾部によって算出された推定値とを統合する統合部と
を備えることを特徴とする追尾装置。
【請求項２】
前記特徴量抽出部は、複数の前記画像について特徴点マッチング処理を行うことにより、再現度があらかじめ決められた値より低い特徴点を除去する
ことを特徴とする請求項１に記載の追尾装置。
【請求項３】
前記目標検出部は、一般物体認識技術を用いて、前記バウンディングボックスの中心を特定する
ことを特徴とする請求項１又は２に記載の追尾装置。
【請求項４】
前記予測値は、前記特徴点群の前記重心であって、
前記目標検出部は、前記特徴点群の重心を含む前記部分画像を切出す
ことを特徴とする請求項１から３のいずれか１項に記載の追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目標を追尾する追尾装置に関する。
【背景技術】
【０００２】
従来、カメラで撮像した画像から目標を追尾する技術が提案されている。目標の例は、船舶又は車両である。特許文献１は、テンプレートマッチングを行って目標を追尾する技術を提案している。具体的には、特許文献１は、参照画像を捜索範囲上で移動させてテンプレートマッチングを行い、最も相関値の高い部分の位置を追尾位置と推定して目標を追尾する技術を開示している。しかしながら、特許文献１が開示している技術については、ユーザは目標を指定しなければならず、そのため事前に目標が検出されていなければならないという問題がある。
【０００３】
近年、深層学習分野の一般物体認識技術において、処理速度と物体検出精度とが良好であるＳＳＤ（Single  Shot  Multibox）又はＹＯＬＯ（You  Only  Look  Once）ｖ２の技術が注目されている。当該技術は、自動目標検出に用いられている（例えば、非特許文献１及び非特許文献２参照）。
【０００４】
さらに、学習済みネットワークを利用して、ユーザが識別したい目標の学習画像を用意し、再学習することでユーザが識別したい目標を推論することができる転移学習が知られている。例えばＳＳＤ又はＹＯＬＯｖ２といった学習済みネットワークを用いて、転移学習することによって、様々な目標を検出することが可能である。そのため、目標を検出し、検出領域を切出し後、初期テンプレートを保存し、次フレーム以降についてはテンプレートマッチングにより目標を継続的に追尾することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１３４６２８号公報
【非特許文献】
【０００６】
【非特許文献１】Wei  Liu,  et  al.  "SSD:  Single  Shot  MultiBox  Detector",  arXiv:1512.02325  2015.
【非特許文献２】Joseph  Redmon,  et  al.  "YOLO9000：Better,Faster,Stronger",  arXiv:1612.08242  2016.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、目標を離れた場所から撮像する場合、画像中の目標は小さくなる。このような場合、テンプレートに目標以外の背景が写り込むため、ドリフト現象により正しく目標を追尾できなくなるという問題がある。目標以外の背景の例は、海面である。また、複数の目標を検出しようとする場合、テンプレートマッチングでは計算負荷が大きくなる。テンプレートマッチングを利用せず、一般物体認識技術を画像全体に適用し、周期的に目標を検出し、バウンディングボックスの中心を追尾する手法も考えられる。しかしながら、画像全体に対して周期的に例えばＳＳＤ又はＹＯＬＯｖ２の推論処理を行う場合、計算負荷が大きくなるという問題がある。
【０００８】
本発明は、上記に鑑みてなされたものであって、計算負荷を小さくしつつ、目標を検出し、目標を安定して追尾することができる追尾装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明は、時系列の画像を得る撮像部と、前記撮像部によって得られた画像における複数の特徴点の各々の位置と速度とを抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された前記複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行って、前記複数の特徴点のうちの一部の複数の特徴点を特徴点群と特定するクラスタリング処理部とを有する。本発明は、前記クラスタリング処理部によって特定された前記特徴点群の重心の位置及び速度の推定値を算出すると共に、前記重心の位置の予測値を算出するクラスタ追尾部と、前記撮像部によって得られた画像から、前記クラスタ追尾部によって算出された前記予測値を含む部分画像を切出し、前記部分画像における目標を検出し、前記目標を含むバウンディングボックスの中心の、前記重心に対しての相対的な位置を算出する目標検出部とを更に有する。本発明は、前記クラスタリング処理部によって特定された前記特徴点群の前記重心の位置と前記目標検出部によって算出された前記相対的な位置とをもとに、前記目標の位置の推定値を算出する目標追尾部と、前記クラスタ追尾部によって算出された前記重心の速度の推定値と前記目標追尾部によって算出された推定値とを統合する統合部とを更に有する。
【発明の効果】
【００１０】
本発明は、計算負荷を小さくしつつ、目標を検出し、目標を安定して追尾することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】実施の形態にかかる追尾装置の構成を示す図
【図２】実施の形態にかかる追尾装置が有する特徴量抽出部の動作の手順の例を示すフローチャート
【図３】実施の形態にかかる追尾装置が有するクラスタリング処理部の動作を説明するための第１図
【図４】実施の形態にかかる追尾装置が有するクラスタリング処理部の動作を説明するための第２図
【図５】実施の形態にかかる追尾装置が有するクラスタリング処理部の動作を説明するための第３図
【図６】実施の形態にかかる追尾装置が有する目標検出部の動作を説明するための第１図
【図７】実施の形態にかかる追尾装置が有する目標検出部の動作を説明するための第２図
【図８】実施の形態にかかる追尾装置が有する統合部の動作を説明するための図
【図９】実施の形態にかかる追尾装置が有する特徴量抽出部、クラスタリング処理部、クラスタ追尾部、目標検出部、目標追尾部及び統合部を構成する少なくとも一部の構成要素が処理回路によって実現される場合の処理回路を示す図
【図１０】実施の形態にかかる追尾装置が有する特徴量抽出部、クラスタリング処理部、クラスタ追尾部、目標検出部、目標追尾部及び統合部の少なくとも一部の機能がプロセッサによって実現される場合のプロセッサを示す図
【発明を実施するための形態】
【００１２】
以下に、本発明の実施の形態にかかる追尾装置を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１３】
実施の形態．
図１は、実施の形態にかかる追尾装置１０の構成を示す図である。追尾装置１０は、時系列の画像を得る撮像部１を有する。例えば、撮像部１は、目標からの可視光又は赤外光を撮像レンズにより集め、集められた光を撮像素子により電気信号に変換し、電気信号をアナログデジタル変換器によりデジタル信号に変換して、目標を含む画像を得る。目標を含む画像は、２次元画像である。以下では、「目標を含む画像」を「フレーム」と記載する。
【００１４】
追尾装置１０は、撮像部１によって得られたフレームにおける複数の特徴点の各々の位置と速度とを抽出する特徴量抽出部２を更に有する。なお、特徴量抽出部２は、複数のフレームについて特徴点マッチング処理を行うことにより、再現度があらかじめ決められた値より低い特徴点を除去してもよい。追尾装置１０は、特徴量抽出部２によって抽出された複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行って、複数の特徴点のうちの一部の複数の特徴点を特徴点群と特定するクラスタリング処理部３を更に有する。
【００１５】
追尾装置１０は、クラスタリング処理部３によって特定された特徴点群の重心の位置及び速度の推定値を算出すると共に、当該重心の位置の予測値を算出するクラスタ追尾部４を更に有する。予測値は、推定値に対応するフレームの後のフレームにおける当該重心の位置についての値である。
【００１６】
追尾装置１０は、撮像部１によって得られた画像から、クラスタ追尾部４によって算出された予測値を含む部分画像を切出す目標検出部５を更に有する。例えば、予測値は特徴点群の重心であって、予測値が特徴点群の重心である場合、目標検出部５は、特徴点群の重心を含む部分画像を切出す。目標検出部５は、切出された部分画像における目標を検出し、目標を含むバウンディングボックスの中心の、特徴点群の重心に対しての相対的な位置を算出する。目標検出部５は、目標を検出する場合、ＳＳＤ又はＹＯＬＯｖ２の技術を用いてもよい。目標検出部５は、一般物体認識技術を用いて、バウンディングボックスの中心を特定してもよい。
【００１７】
追尾装置１０は、クラスタリング処理部３によって特定された特徴点群の重心の位置と、目標検出部５によって算出された相対的な位置とをもとに、状態推定処理により、目標の位置の推定値を算出する目標追尾部６を更に有する。追尾装置１０は、クラスタ追尾部４によって算出された特徴点群の重心の速度の推定値と目標追尾部６によって算出された推定値とを統合する統合部７を更に有する。
【００１８】
次に、追尾装置１０の動作の例を説明する。撮像部１は、時系列の画像を得る。特徴量抽出部２は、撮像部１によって得られたフレームにおける複数の特徴点の各々の位置と速度とを抽出する。図２は、実施の形態にかかる追尾装置１０が有する特徴量抽出部２の動作の手順の例を示すフローチャートである。まず、特徴量抽出部２は、撮像部１によって得られたフレームを受け取る（Ｓ１）。
【００１９】
次に、特徴量抽出部２は、受け取ったフレームにおける複数の特徴点を検出する（Ｓ２）。特徴点の例は、当該フレームに含まれる目標の角の点である。次に、特徴量抽出部２は、例えばＯＲＢ（Oriented  FAST  and  Rotated  BRIEF）又はＡ−ＫＡＺＥ（Accelerated  KAZE）の手法を用いて特徴量を抽出する（Ｓ３）。抽出される特徴量は、回転と拡大又は縮小との双方又は一方とが行われない特徴点についての特徴量である。
【００２０】
次に、特徴量抽出部２は、ｎフレーム前の特徴点及び特徴量についての結果が存在するか否かを判定する（Ｓ４）。「ｎフレーム前」は、特徴量抽出部２がステップＳ２において検出した複数の特徴点を含むフレームより前の時間のフレームを意味する。ｎフレーム前の特徴点及び特徴量についての結果が存在しないと特徴量抽出部２によって判定された場合（Ｓ４でＮｏ）、特徴量抽出部２の動作はステップＳ１に移行する。
【００２１】
特徴量抽出部２は、ｎフレーム前の特徴点及び特徴量についての結果が存在すると判定した場合（Ｓ４でＹｅｓ）、ステップＳ２において検出した複数の特徴点を含むフレームと特徴点及び特徴量についての結果が存在するフレームとの二つのフレームにおいて対応点マッチングを行い、ステップＳ２において検出した複数の特徴点のうちの、目標以外で検出される特徴点を除去する（Ｓ５）。
【００２２】
特徴量抽出部２は、ステップＳ５の処理を行った後、上記の二つのフレームにおける互いに対応する点についてオプティカルフローを推定する（Ｓ６）。オプティカルフローは、速度を意味する。特徴量抽出部２は、ステップＳ６の処理を行った後、処理すべき次のフレームが存在するか否かを判断する（Ｓ７）。処理すべき次のフレームが存在すると特徴量抽出部２によって判断された場合（Ｓ７でＹｅｓ）、特徴量抽出部２の処理はステップＳ１に移行する。処理すべき次のフレームが存在しないと特徴量抽出部２によって判断された場合（Ｓ７でＮｏ）、特徴量抽出部２の処理は終了する。
【００２３】
クラスタリング処理部３は、特徴量抽出部２によって抽出された複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行って、抽出された当該複数の特徴点のうちの一部の複数の特徴点を特徴点群と特定する。クラスタリング処理の例は、ｋ−ｍｅａｎｓ又は変分ベイズを用いる処理である。
【００２４】
図３は、実施の形態にかかる追尾装置１０が有するクラスタリング処理部３の動作を説明するための第１図である。図３は、３隻の船を含むひとつのフレームを示している。更に言うと、図３は、第１の船３１が第１の向き３２に進んでいて、かつ第２の船３３及び第３の船３４が第１の向き３２と逆の第２の向き３５に進んでいる場合のフレームを示している。図３には、水平線３６も示されている。図３では、中央から左に向かうむきが第１の向き３２に対応しており、中央から右に向かうむきが第２の向き３５に対応している。第１の船３１、第２の船３３及び第３の船３４の各々は、目標の例である。
【００２５】
図４は、実施の形態にかかる追尾装置１０が有するクラスタリング処理部３の動作を説明するための第２図である。図４は、特徴量抽出部２が検出した複数の特徴点を示している。複数の特徴点の各々は、黒く塗りつぶされた丸で示されている。図５は、実施の形態にかかる追尾装置１０が有するクラスタリング処理部３の動作を説明するための第３図である。
【００２６】
図５は、図３に示される第１の船３１についての複数の特徴点が第１の特徴点群５１であると特定されており、図３に示される第２の船３３及び第３の船３４についての複数の特徴点が第２の特徴点群５２であると特定されていることを示している。図５では、第１の特徴点群５１は楕円形状の第１の破線５１ｄの内側の複数の特徴点によって構成されるものである。第２の特徴点群５２は楕円形状の第２の破線５２ｄの内側の複数の特徴点によって構成されるものである。図５には、第１の特徴点群５１の重心５１ｃと、第２の特徴点群５２の重心５２ｃとが更に示されている。図５では、重心５１ｃ及び重心５２ｃはいずれも、バツ印で示されている。
【００２７】
クラスタ追尾部４は、クラスタリング処理部３によって特定された特徴点群の重心が観測点であるとみなし、状態推定処理により、当該重心の位置及び速度の推定値を算出すると共に、当該重心の位置の予測値を算出する。クラスタ追尾部４は、当該重心の位置及び速度の推定値と当該重心の位置の予測値とを算出する際、ＧＮＮ（Global  Nearest  Neighbor）、ＪＰＤＡ（Joint  Probalistic  Data  Association）又はＭＨＴ（Muliple  Hypothesis  Tracking）の技術を用いてもよい。
【００２８】
目標検出部５は、撮像部１によって得られた画像から、クラスタ追尾部４によって算出された予測値を含む部分画像を切出す。例えば、予測値は特徴点群の重心である。図６は、実施の形態にかかる追尾装置１０が有する目標検出部５の動作を説明するための第１図である。図６には、図３に示される第１の船３１、第２の船３３及び第３の船３４も示されている。
【００２９】
図６は、図５に示される第１の特徴点群５１の重心５１ｃを含む第１の部分画像６１と、図５に示される第２の特徴点群５２の重心５２ｃを含む第２の部分画像６２とを示している。図６では、第１の部分画像６１及び第２の部分画像６２はいずれも、四角形の破線で示されている。例えば、目標検出部５は、撮像部１によって得られた画像から、図６に示される第１の部分画像６１と、図６に示される第２の部分画像６２とを切出す。
【００３０】
目標検出部５は、例えばＳＳＤ又はＹＯＬＯｖ２の技術により、切出された部分画像における目標を検出する。図７は、実施の形態にかかる追尾装置１０が有する目標検出部５の動作を説明するための第２図である。図７は、図６に示される第１の部分画像６１における第１の船３１を示している。図７は、図６に示される第２の部分画像６２における第２の船３３及び第３の船３４を更に示している。例えば、目標検出部５は、第１の部分画像６１における第１の船３１を検出すると共に、第２の部分画像６２における第２の船３３及び第３の船３４を検出する。
【００３１】
目標検出部５は、例えば一般物体認識技術を用いて、目標を含むバウンディングボックスの中心を特定し、バウンディングボックスの中心の、特徴点群の重心に対しての相対的な位置を算出する。図７は、第１の部分画像６１の内側において、第１の部分画像６１を示す破線より太い破線で囲まれている第１バウンディングボックス７１と、第１バウンディングボックス７１の中心７１ｃとを示している。図７には、第１の特徴点群５１の重心５１ｃも示されている。第１バウンディングボックス７１の中心７１ｃは、黒く塗りつぶされた三角形で示されている。
【００３２】
図７は、第２の部分画像６２の内側において、第２の部分画像６２を示す破線より太い破線で囲まれている第２バウンディングボックス７２と、第２バウンディングボックス７２の中心７２ｃとを示している。図７は、第２の部分画像６２の内側において、第２の部分画像６２を示す破線より太い破線で囲まれている第３バウンディングボックス７３と、第３バウンディングボックス７３の中心７３ｃとを示している。図７には、第２の特徴点群５２の重心５２ｃも示されている。第２バウンディングボックス７２の中心７２ｃ及び第３バウンディングボックス７３の中心７３ｃはいずれも、黒く塗りつぶされた三角形で示されている。
【００３３】
目標追尾部６は、クラスタリング処理部３によって特定された特徴点群の重心の位置と、目標検出部５によって算出された相対的な位置とをもとに、状態推定処理により、目標の位置の推定値を算出する。
【００３４】
統合部７は、クラスタ追尾部４によって算出された特徴点群の重心の速度の推定値と目標追尾部６によって算出された推定値とを統合する。統合部７は、統合を行うことによって、目標の位置と速度とを特定する。図８は、実施の形態にかかる追尾装置１０が有する統合部７の動作を説明するための図である。図８には、第１の特徴点群５１の重心５１ｃと、重心５１ｃの速度８１とを示す第１図８０が示されている。第１図８０には、第２の特徴点群５２の重心５２ｃと、重心５２ｃの速度８２とが、更に示されている。
【００３５】
図８には、第１バウンディングボックス７１の中心７１ｃを示す第２図８４も示されている。中心７１ｃは、Ｘ１軸とＹ１軸とで構成される２次元平面において示されている。図８には、第２バウンディングボックス７２の中心７２ｃと、第３バウンディングボックス７３の中心７３ｃとを示す第３図８５も示されている。中心７２ｃ及び中心７３ｃは、Ｘ２軸とＹ２軸とで構成される２次元平面において示されている。
【００３６】
統合部７は、第１図８０に示される速度８１と、第２図８４に示される中心７１ｃの位置とを統合して、目標のひとつである第１の船３１の位置及び速度を特定する。統合部７は、第１図８０に示される速度８２と、第３図８５に示される中心７２ｃの位置とを統合して、目標のひとつである第２の船３３の位置及び速度を特定する。統合部７は、第１図８０に示される速度８２と、第３図８５に示される中心７３ｃの位置とを統合して、目標のひとつである第３の船３４の位置及び速度を特定する。
【００３７】
図８には、第１の船３１、第２の船３３及び第３の船３４の各々の位置及び速度を示す第４図８６が更に示されている。すなわち、統合部７は、第４図８６に示されるように、第１図８０において示される情報８７と、第２図８４において示される情報８８とをもとに、目標のひとつである第１の船３１の位置及び速度を特定する。統合部７は、第１図８０において示される情報８７と、第３図８５において示される情報８９とをもとに、目標のひとつである第２の船３３の位置及び速度を特定する。統合部７は、第１図８０において示される情報８７と、第３図８５において示される情報８９とをもとに、目標のひとつである第３の船３４の位置及び速度を特定する。
【００３８】
上述の通り、実施の形態にかかる追尾装置１０は、撮像部１によって得られたフレームにおける複数の特徴点の各々の位置と速度とをもとにクラスタリング処理を行う。追尾装置１０は、特徴点群の重心の速度と、目標を含むバウンディングボックスの中心の当該重心に対しての相対的な位置とを統合することにより、目標の位置と速度とを特定する。追尾装置１０は、テンプレートマッチングを行うことなく、かつ画像全体に対して周期的に例えばＳＳＤ又はＹＯＬＯｖ２の推論処理を行わない。したがって、追尾装置１０は、計算負荷を小さくしつつ、目標を検出し、目標を安定して追尾することができる。
【００３９】
図９は、実施の形態にかかる追尾装置１０が有する特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７を構成する少なくとも一部の構成要素が処理回路９１によって実現される場合の処理回路９１を示す図である。つまり、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の機能の少なくとも一部は、処理回路９１によって実現されてもよい。
【００４０】
処理回路９１は、専用のハードウェアである。処理回路９１は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field-Programmable  Gate  Array）、又はこれらを組み合わせたものである。特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の一部は、残部とは別個の専用のハードウェアであってもよい。
【００４１】
図１０は、実施の形態にかかる追尾装置１０が有する特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能がプロセッサ９２によって実現される場合のプロセッサ９２を示す図である。つまり、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能は、メモリ９３に格納されるプログラムを実行するプロセッサ９２によって実現されてもよい。
【００４２】
プロセッサ９２は、ＣＰＵ（Central  Processing  Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Digital  Signal  Processor）である。図１０には、メモリ９３も示されている。
【００４３】
特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能がプロセッサ９２によって実現される場合、当該一部の機能は、プロセッサ９２と、ソフトウェア、ファームウェア、又は、ソフトウェア及びファームウェアとの組み合わせによって実現される。
【００４４】
ソフトウェア又はファームウェアはプログラムとして記述され、メモリ９３に格納される。プロセッサ９２は、メモリ９３に記憶されたプログラムを読み出して実行することにより、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能を実現する。
【００４５】
特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部の機能がプロセッサ９２によって実現される場合、追尾装置１０は、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部によって実行されるステップが結果的に実行されることになるプログラムを格納するためのメモリ９３を有する。
【００４６】
メモリ９３に格納されるプログラムは、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の少なくとも一部が実行する手順又は方法をコンピュータに実行させるものであるともいえる。
【００４７】
メモリ９３は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable  Programmable  Read  Only  Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically  Erasable  Programmable  Read-Only  Memory）等の不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク又はＤＶＤ（Digital  Versatile  Disk）等である。
【００４８】
特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の複数の機能について、当該複数の機能の一部を専用のハードウェアで実現し、当該複数の機能の残部をソフトウェア又はファームウェアで実現してもよい。このように、特徴量抽出部２、クラスタリング処理部３、クラスタ追尾部４、目標検出部５、目標追尾部６及び統合部７の複数の機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって実現することができる。
【００４９】
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略又は変更することも可能である。
【符号の説明】
【００５０】
１  撮像部、２  特徴量抽出部、３  クラスタリング処理部、４  クラスタ追尾部、５  目標検出部、６  目標追尾部、７  統合部、１０  追尾装置、３１  第１の船、３２  第１の向き、３３  第２の船、３４  第３の船、３５  第２の向き、３６  水平線、５１  第１の特徴点群、５１ｃ，５２ｃ  重心、５１ｄ  第１の破線、５２  第２の特徴点群、５２ｄ  第２の破線、６１  第１の部分画像、６２  第２の部分画像、７１  第１バウンディングボックス、７１ｃ，７２ｃ，７３ｃ  中心、７２  第２バウンディングボックス、７３  第３バウンディングボックス、８０  第１図、８１，８２  速度、８４  第２図、８５  第３図、８６  第４図、８７  第１図において示される情報、８８  第２図において示される情報、８９  第３図において示される情報、９１  処理回路、９２  プロセッサ、９３  メモリ。
【図１】
2019164521.tif 000003
【図２】
2019164521.tif 000004
【図３】
2019164521.tif 000005
【図４】
2019164521.tif 000006
【図５】
2019164521.tif 000007
【図６】
2019164521.tif 000008
【図７】
2019164521.tif 000009
【図８】
2019164521.tif 000010
【図９】
2019164521.tif 000011
【図１０】
2019164521.tif 000012