(57)【特許請求の範囲】
【請求項１】
深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法であって、
監視ビデオデータを収集するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出するステップ１と、
ステップ１で得られたビデオ画像に基づいて前処理を行い、船舶オブジェクトの正サンプル及び負サンプルを抽出するステップ２と、
領域に基づく畳み込みニューラルネットワーク方式によって、ビデオ中の船舶オブジェクトサンプルをニューラルネットワークに入力し、モデル訓練を行うステップ３と、
ビデオ初期フレームデータを抽出し、ステップ３で訓練されたモデルによって初期時刻データに対し船舶検出及び確率密度計算を行うステップ４であって、前記確率密度計算の実現方式は、オブジェクトが位置する領域に対しグレー色空間分割を行い、複数の等しい区間から構成されたグレーヒストグラムを得て、該オブジェクトの領域中の画素のグレー値が所属するヒストグラム区間によって確率密度を計算することであるステップ４と、
前時刻の計算結果によって、現時刻の船舶追跡結果を決定するステップ５と、を含み、
前記ステップ５は、
ｔ−１時刻に追跡された
0006759474.tif 000031
個の船舶位置を初期位置とし、それぞれ各船舶位置の中心座標ｆ０をｔ時刻における船舶追跡の初期オブジェクト位置とし、ｆ０を検索ウィンドウの中心とし、対応する候補船舶の中心位置座標ｆを得て、候補位置の領域ヒストグラムを計算し、さらに確率密度を計算するステップＡと、
Ｂｈａｔｔａｃｈａｒｙｙａ係数によって船舶モデルと候補船舶との類似度の記述を行い、領域中心の平均シフト反復方程式を計算し、最後の２回の移動距離が対応する所定閾値よりも小さくなり、ｔ時刻における平均シフト結果によって取得された船舶位置を見つけるまで、モデルを色変化が最も大きい方向へ連続的に移動させ、複数の船舶位置Boxmｔを取得するとし、第ｉｄ個の船舶位置をBoxmｔidで表すステップＢと、
領域に基づく畳み込みニューラルネットワーク方法によって、ｔ時刻における画像に対し船舶検出を行い、画像中の複数の船舶のｔ時刻における第ｎｕｍ個の検出座標Boxdｔnumを取得するとし、Boxdｔnumに対し第ｉｄ個の船舶位置Boxmｔidとの重畳度を計算し、
各Boxmｔidとその重畳度が最も大きいBoxdｔnumとの対応する重畳度の大きさＯmaxを記録し、Ｏmaxが対応する閾値θ１未満であると、該船舶位置が虚報であると判定し、Boxmｔidを削除するステップＣと、
ステップＣのニューラルネットワーク検出結果によって、ｔ時刻に出現する新たな船舶オブジェクトを更新するように、各Boxdｔnumに対して、すべてのBoxmｔidのそれぞれとの得られた重畳度の大きさの最大値
0006759474.tif 000032
を計算し、
0006759474.tif 000033
が対応する閾値θ２未満であると、該船舶オブジェクトがｔ時刻に出現する船舶であると判定し、それをｔ時刻における追跡結果に追加し、完全な追跡結果集合を得るステップＤと、を含む深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法。
【請求項２】
Boxdｔnumに対して、第ｉｄ個のBoxmｔidとの重畳度を計算し、重畳度の計算式は、
0006759474.tif 000034
であり、
式中、Ｓは面積サイズを表すことを特徴とする請求項１に記載の深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法。
【請求項３】
深層学習ネットワーク及び平均シフトに基づく船舶自動追跡システムであって、
監視ビデオデータを収集するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出する第１モジュールと、
第１モジュールで得られたビデオ画像に基づいて前処理を行い、船舶オブジェクトの正サンプル及び負サンプルを抽出する第２モジュールと、
領域に基づく畳み込みニューラルネットワーク方式によって、ビデオ中の船舶オブジェクトサンプルをニューラルネットワークに入力し、モデル訓練を行う第３モジュールと、
ビデオ初期フレームデータを抽出し、第３モジュールで訓練されたモデルによって初期時刻データに対し船舶検出及び確率密度計算を行う第４モジュールであって、前記確率密度計算の実現方式は、オブジェクトが位置する領域に対しグレー色空間分割を行い、複数の等しい区間から構成されたグレーヒストグラムを得て、該オブジェクトの領域中の画素のグレー値が所属するヒストグラム区間によって確率密度を計算することである第４モジュールと、
前時刻の計算結果によって、現時刻の船舶追跡結果を決定する第５モジュールと、を備え、
第５モジュールによる処理は、
t-1時刻に追跡された
0006759474.tif 000035
個の船舶位置を初期位置とし、それぞれ各船舶位置の中心座標ｆ０をｔ時刻における船舶追跡の初期オブジェクト位置とし、ｆ０を検索ウィンドウの中心とし、対応する候補船舶の中心位置座標ｆを得て、候補位置の領域ヒストグラムを計算し、さらに確率密度を計算するステップと、
Ｂｈａｔｔａｃｈａｒｙｙａ係数によって船舶モデルと候補船舶との類似度の記述を行い、領域中心の平均シフト反復方程式を計算し、最後の２回の移動距離が対応する所定閾値よりも小さくなり、ｔ時刻における平均シフト結果によって取得された船舶位置を見つけるまで、モデルを色変化が最も大きい方向へ連続的に移動させ、複数の船舶位置Boxmｔを取得するとし、第ｉｄ個の船舶位置をBoxmｔidで表すステップと、
領域に基づく畳み込みニューラルネットワーク方法によって、ｔ時刻における画像に対し船舶検出を行い、画像中の複数の船舶のｔ時刻における第ｎｕｍ個の検出座標Boxdｔnumを取得するとし、Boxdｔnumに対し第ｉｄ個の船舶位置Boxmｔidとの重畳度を計算し、各Boxmｔidとその重畳度が最も大きいBoxdｔnumとの対応する重畳度の大きさＯmaxを記録し、Ｏmaxが対応する閾値θ1未満であると、該船舶位置が虚報であると判定し、Boxmｔidを削除するステップと、
ニューラルネットワーク検出結果によって、t時刻に出現する新たな船舶オブジェクトを更新するように、各Boxdｔnumに対して、すべてのBoxmｔidのそれぞれとの得られた重畳度の大きさの最大値
0006759474.tif 000036
を計算し、
0006759474.tif 000037
が対応する閾値θ２未満であると、該船舶オブジェクトがｔ時刻に出現する船舶であると判定し、それをｔ時刻における追跡結果に追加し、完全な追跡結果集合を得るステップと、を含む深層学習ネットワーク及び平均シフトに基づく船舶自動追跡システム。
【請求項４】
Boxdｔnumに対して、第ｉｄ個のBoxmｔidとの重畳度を計算し、重畳度の計算式は、
0006759474.tif 000038
であり、
式中、Ｓは面積サイズを表すことを特徴とする請求項３に記載の深層学習ネットワーク及び平均シフトに基づく船舶自動追跡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理の技術分野に属し、特に深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法に関する。
【背景技術】
【０００２】
今日の社会では、ビデオ監視カメラはいたるところに配置されており、視認だけで検出する場合、ビデオにおける異常イベントを見逃しやすい。コンピュータネットワーク、通信及び半導体技術の急速な発展に伴い、人間の目のかわりにコンピュータビジョンを用いて、センサによって取得されたビデオ画像を分析し、画像中の有用情報を取得するようになっている。ビデオ追跡はコンピュータビジョン研究の重点の１つであり、主に画像センサによって取得された関心オブジェクトを追跡する。ビデオ追跡は、交通監視、インテリジェントロボット及びマンマシンインタラクション等の多くのビデオアプリケーションの基盤であり、スマートシティ管理、不正や犯罪の取り締まり及びセーフシティやスマートシティの構築に重要な役割を果たし、現在のビデオ処理研究の重点及び難点である。
【０００３】
従来から、ビデオ追跡システムについての研究は、主にシングルオブジェクト追跡に焦点を合わせており、監視中の唯一の関心オブジェクトを追跡する。シングルオブジェクト追跡は異常イベントの発見後の処理に対して非常に重要であるが、異常イベントの発生前の早期警告通知、監督管理等の多くの点では、マルチオブジェクト追跡方法は管理部門に多くの助けを提供できる。
【０００４】
現在のマルチオブジェクト追跡は主に、予測に基づく方法、マッチングに基づく方法及び検出に基づく方法の３種類に大きく分けられている。
【０００５】
予測に基づく方法は、追跡問題を状態推定問題とし、所定のデータによって、信号処理方法を用いてオブジェクトの次フレームにおける状態（例えば、位置、色、形状等）を最適化推定するのであり、該方法は主にフィルタリングに基づく追跡アルゴリズム及び部分空間学習に基づくアルゴリズムを含む。例えば、カルマンフィルタリング、平均シフトフィルタリング及び粒子フィルタリングのようなフィルタリングに基づくアルゴリズムは、主に履歴データによってオブジェクトの特徴空間を学習し、さらに現フレームの画像ブロックの特徴空間における分布によってオブジェクトの位置特定を行う。予測に基づく方法は、マルチオブジェクト追跡では速度が速いという利点を有するが、現フレームの状態が完全に前フレームの追跡結果に依存するため、自動でオブジェクト追跡を行うことが不能であり、誤追跡の場合に修正し難い。
【０００６】
マッチングに基づくアルゴリズムは、マルチオブジェクト追跡問題をテンプレートマッチング問題とし、１つのテンプレートで追跡対象のオブジェクトを表し、次フレーム中の最適マッチング結果を検索する。オブジェクトは１つ又は１組の画像ブロックであってもよく、オブジェクト画像のグローバル又はローカル特徴表現であってもよい。このような方法は追跡しながら学習することによって、追跡の性能を向上させるが、自動的なマルチオブジェクト追跡結果を実現することが困難であり、また、遮蔽された環境や複雑な環境では正確な追跡が困難である。
【０００７】
検出に基づくアルゴリズムは、追跡問題をオブジェクト検出のような問題とし、オブジェクトと背景を分離し、取得されたデータを利用して訓練し、分類器を得て、自動で現フレームに対しオブジェクト検出を行い、スコアが最も高い画像ブロックをオブジェクト位置とする。検出に基づくアルゴリズムはオフライン方法及びオンライン方法の２種類を含み、オフライン方法は予め訓練された又は初期の１フレーム又は複数フレームのデータを用いて分類器を学習し、オンライン方法は現フレームのサンプリングデータによって分類器を新たに訓練する。オフライン学習の方法は動的に変化しているオブジェクトに対する追跡効果が悪い一方、オンライン学習方法は更新ごとに新たな誤差が発生して誤差が累積され、最終的にシフトが生じさらにオブジェクトを失ってしまう。現フレームの結果を考慮に入れるだけでなく、オブジェクトの様々な特徴を参照して、複数のオブジェクトを自動で迅速かつ正確に追跡することについて、さらなる研究が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、従来技術の欠点や欠陥を克服し、深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の技術案は深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法であり、
監視ビデオデータを収集するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出するステップ１と、
ステップ１で得られたビデオ画像に基づいて前処理を行い、船舶オブジェクトの正サンプル及び負サンプルを抽出するステップ２と、
領域に基づく畳み込みニューラルネットワーク方式によって、ビデオ中の船舶オブジェクトサンプルをニューラルネットワークに入力し、モデル訓練を行うステップ３と、
ビデオ初期フレームデータを抽出し、ステップ３で訓練されたモデルによって初期時刻データに対し船舶検出及び確率密度計算を行うステップ４と、
前時刻の計算結果によって、現時刻の船舶追跡結果を決定するステップ５と、を含み、
ステップ５は、
t-l時刻に追跡された
0006759474.tif 000002
個の船舶位置を初期位置とし、それぞれ各船舶位置の中心座標ｆ０をｔ時刻における船舶追跡の初期オブジェクト位置とし、f０を検索ウィンドウの中心とし、対応する候補船舶の中心位置座標ｆを得て、候補位置の領域ヒストグラムを計算し、さらに確率密度を計算するステップＡと、
Ｂｈａｔｔａｃｈａｒｙｙａ係数によって船舶モデルと候補船舶との類似度の記述を行い、領域中心の平均シフト反復方程式を計算し、最後の２回の移動距離が対応する所定閾値よりも小さくなり、ｔ時刻における平均シフト結果によって取得された船舶位置を見つけるまで、モデルを色変化が最も大きい方向へ連続的に移動させ、複数の船舶位置
Boxmｔを取得するとし、第id個の船舶位置をBoxmｔidで表すステップＢと、
領域に基づく畳み込みニューラルネットワーク方法によって、ｔ時刻における画像に対し船舶検出を行い、画像中の複数の船舶のｔ時刻における第num個の検出座標
Boxdｔnumを取得するとし、Boxdｔnumに対し第id個の船舶位置Boxmｔidとの重畳度を計算し、
各Boxmｔidとその重畳度が最も大きいBoxdｔnumとの対応する重畳度の大きさＯmaxを記録し、Ｏmaxが対応する閾値θ１未満であると、該船舶位置が虚報であると判定し、
Boxmｔidを削除するステップＣと、
ステップＣのニューラルネットワーク検出結果によって、ｔ時刻に出現する新たな船舶オブジェクトを更新するように、各Boxmｔidに対して、すべてのBoxmｔidのそれぞれとの得られた重畳度の大きさの最大値
0006759474.tif 000003
を計算し、
0006759474.tif 000004
が対応する閾値θ２未満であると、該船舶オブジェクトがｔ時刻に出現する船舶であると判定し、それをｔ時刻における追跡結果に追加し、完全な追跡結果集合を得るステップＤと、を含む。
【００１０】
また、Boxdｔnumに対して、第id個のBoxmｔidとの重畳度を計算し、重畳度の計算式は、
0006759474.tif 000005
であり、
式中、Sは面積サイズを表す。
【００１１】
また、ステップ４では、確率密度計算の実現方式は、該オブジェクトが位置する領域に対しグレー色空間分割を行い、いくつかの等しい区間から構成されたグレーヒストグラムを得て、オブジェクト領域中の画素のグレー値が所属するヒストグラム区間によって確率密度を計算することである。
【００１２】
本発明は深層学習ネットワーク及び平均シフトに基づく船舶自動追跡システムをさらに提供し、
監視ビデオデータを収集するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出する第１モジュールと、
第１モジュールで得られたビデオ画像に基づいて前処理を行い、船舶オブジェクトの正サンプル及び負サンプルを抽出する第２モジュールと、
領域に基づく畳み込みニューラルネットワーク方式によって、ビデオ中の船舶オブジェクトサンプルをニューラルネットワークに入力し、モデル訓練を行う第３モジュールと、
ビデオ初期フレームデータを抽出し、第３モジュールで訓練されたモデルによって初期時刻データに対し船舶検出及び確率密度計算を行う第４モジュールと、
前時刻の計算結果によって、現時刻の船舶追跡結果を決定する第５モジュールと、を備え、
第５モジュールによる処理は、ｔ−ｌ時刻に追跡された
0006759474.tif 000006
個の船舶位置を初期位置とし、それぞれ各船舶位置の中心座標ｆ０をｔ時刻における船舶追跡の初期オブジェクト位置とし、ｆ０を検索ウィンドウの中心とし、対応する候補船舶の中心位置座標ｆを得て、候補位置の領域ヒストグラムを計算し、さらに確率密度を計算するステップと、
Ｂｈａｔｔａｃｈａｒｙｙａ係数によって船舶モデルと候補船舶との類似度の記述を行い、領域中心の平均シフト反復方程式を計算し、最後の２回の移動距離が対応する所定閾値よりも小さくなり、ｔ時刻における平均シフト結果によって取得された船舶位置を見つけるまで、モデルを色変化が最も大きい方向へ連続的に移動させ、複数の船舶位置
Boxmｔを取得するとし、第id個の船舶位置をBoxmｔidで表すステップと、
領域に基づく畳み込みニューラルネットワーク方法によって、ｔ時刻における画像に対し船舶検出を行い、画像中の複数の船舶のｔ時刻における第ｎｕｍ個の検出座標Boxmｔidを取得するとし、Boxmｔidに対し第id個の船舶位置Boxmｔidとの重畳度を計算し、各Boxmｔidとその重畳度が最も大きいBoxdｔnumとの対応する重畳度の大きさＯmaxを記録し、Ｏmaxが対応する閾値θ１未満であると、該船舶位置が虚報であると判定し、Boxmｔidを削除するステップと、
ニューラルネットワーク検出結果によって、ｔ時刻に出現する新たな船舶オブジェクトを更新するように、各Boxdｔnumに対して、すべてのBoxmｔidのそれぞれとの得られた重畳度の大きさの最大値
0006759474.tif 000007
を計算し、
0006759474.tif 000008
が対応する閾値θ２未満であると、該船舶オブジェクトがｔ時刻に出現する船舶であると判定し、それをｔ時刻における追跡結果に追加し、完全な追跡結果集合を得るステップと、を含む。
【００１３】
また、Boxdｔnumに対して、第ｉｄ個のBoxmｔidとの重畳度を計算し、重畳度の計算式は、
0006759474.tif 000009
であり、
式中、Ｓは面積サイズを表す。
【００１４】
また、第４モジュールでは、確率密度計算の実現方式は、該オブジェクトが位置する領域に対しグレー色空間分割を行い、いくつかの等しい区間から構成されたグレーヒストグラムを得て、オブジェクト領域中の画素のグレー値が所属するヒストグラム区間によって確率密度を計算することである。
【００１５】
従来技術に比べて、本発明は以下の利点及び積極的な効果を有する。
【００１６】
深層学習方法の部分は具体的には領域に基づく畳み込みニューラルネットワークを用いて監視ビデオ画像に対し複数の船舶オブジェクトの同時検出を行い、該方法は迅速で効率が高く、正確度が高い。霧、曇り、雨等のような複雑なシーンでも良好な検出結果が示され、方法のロバスト性が高い。
【００１７】
迅速で効率的な色ヒストグラムに基づく平均シフト方法を用いて、前フレームで追跡された複数のオブジェクトに対し現フレームにおける平均シフト結果を同時予測し、複数の予測位置を得る。オブジェクトのヒストグラムがオブジェクトの形状変化の影響を受けることがないため、ヒストグラムをオブジェクトのモードとし、色分布に応じてマッチングすることは優れた安定性を有する。
【００１８】
深層学習ネットワーク方法と平均シフト方法とを組み合わせることで、一方では、複数の船舶オブジェクトの自動追跡をよく実現し、追跡の全自動化を実現し、マンマシンインタラクションが不要であり、他方では、ニューラルネットワーク方法の安定性及び正確性も平均シフト方法によるエラーを取り除き、且つ新たに出現するオブジェクトの追跡に基盤を築き、重要な市場価値を有する。
【図面の簡単な説明】
【００１９】
【図１】図１は本発明の実施例のアプリケーションプラットフォームシステムの構造図である。
【図２】図２は本発明の実施例の全体フローチャートである。
【図３】図３は本発明の実施例におけるステップ（３）後の、深層学習ネットワーク及び平均シフト方法に基づいて追跡結果を取得する具体的な戦略フローチャートである。
【図４】図４は本発明の実施例におけるステップ（４）及びステップ（５）に使用される平均シフトアルゴリズムの反復プロセスの模式図である。
【発明を実施するための形態】
【００２０】
本発明の技術案をよりよく理解するために、以下、図面及び実施例を参照して本発明をさらに詳細説明する。
【００２１】
図１に示すように、本発明の応用時、使用可能なシステムアーキテクチャは主に監視ビデオ取得モジュール、船舶追跡プラットフォーム、及びアプリケーションプラットフォームを含む。監視ビデオ取得モジュールは主に複数の可視光監視カメラを使用して海辺領域のビデオを取得し、且つデータを船舶追跡モジュールに伝送する。船舶追跡プラットフォームは本発明の方法を採用して、船舶オブジェクトの抽出及び自動追跡を行い、船舶オブジェクトの異常等をアプリケーションプラットフォームに伝送する。アプリケーションプラットフォームにおける具体的な船舶分析プラットフォーム、行動予測プラットフォーム、異常イベント処理プラットフォーム及び船舶監督プラットフォーム等によって、船舶オブジェクトの分布、行動分析に対し合理的な予測及び計画を行い、関連タスクを完了する。
【００２２】
図２に示すように、本発明の実施例に係る方法は以下のステップを含む。
【００２３】
（１）監視ビデオデータの入力：予め監視ビデオデータを収集してもよい。
【００２４】
監視ビデオデータを収集する。本発明における収集対象となるデータは主に可視光下での沿海領域監視ビデオデータを含む。収集されたビデオデータに対して、デコーダ又はコードによって各フレームの画像を取得する必要がある。具体的な実施では、予め収集してもよい。
【００２５】
（２）データ前処理及びサンプル用意：ビデオデータの前処理及び船舶オブジェクトの正負サンプルの用意。
【００２６】
後続のデジタル画像アルゴリズムの展開を容易にするように、取得された監視ビデオデータを前処理する必要がある。前処理部分は主に画像平滑化操作を採用し、本発明は中央値フィルタリング方法を採用してビデオの各フレームの画像を平滑化する。正負サンプルは後続ステップにおける畳み込みニューラルネットワークの訓練のために用意され、具体的にはステップ１〜３を含む。
【００２７】
ステップ１では、ステップ（１）で得られたビデオ画像を利用し、回転、シフト等の方式によって画像をある程度拡張する。ステップ２では、各船舶オブジェクトのリモートセンシング画像における垂直な最小包囲矩形の４個の頂点座標及び対応する画像を得て、画像及び画像におけるすべてのオブジェクト座標をともに出力し、正サンプルとする。ステップ３では、正サンプルの周囲からほかの領域をランダムに抽出し、その垂直な最小包囲矩形の４個の頂点座標を得て、負サンプル座標とし、画像及び画像における負サンプル座標をともに出力する。
【００２８】
（３）領域に基づく畳み込みニューラルネットワークの訓練：領域に基づく畳み込みニューラルネットワーク方法によって、ビデオ中の船舶オブジェクトサンプルをニューラルネットワークに入力し、モデル訓練を行い、その理論的プロセスは以下の通りである。
【００２９】
ステップ（１）で完成された船舶オブジェクトの正負サンプルデータを標準フォーマットし、構造化データベース形式に変換し、且つ畳み込みニューラルネットワークに入力して訓練を行い、監視ビデオにおける船舶オブジェクトの訓練結果モデルを得る。領域に基づく畳み込みニューラルネットワークは複数の交互の畳み込み層、プーリング層及び完全接続層からなり、主も逆伝播アルゴリズム（ＢＰアルゴリズム）を採用し、１つの入力層、複数の非表示層及び１つの出力層を有する。式でＢＰアルゴリズムにおける２層間の計算関係を表すと、
0006759474.tif 000010
となり、
式中、ｉは入力層ユニットのインデックス値、ｊは非表示層ユニットのインデックス値であり、ωｌijは入力層と非表示層との間の重み、ｂｌｊは各層間の活性化オフセット、
ｆ（）は該出力層の活性化関数を表す。
【００３０】
畳み込みニューラルネットワークの畳み込み層に対して、ネットワークはＢＰニューラルネットワークモードを用いて更新する。１つの畳み込み層において、１つ上の層の特徴マップが１つの学習可能な畳み込みカーネルによって畳み込み演算され、その後、１つの活性化関数によって、出力特徴マップを得る。具体的には畳み込み操作追加後の下位層の更新アルゴリズムは、
0006759474.tif 000011
であり、
式中、Ｍjは入力層のすべての選択集合を表す。ｋｌijは入力層iと非表示層ｊとの間の畳み込みカーネル、
0006759474.tif 000012
は畳み込み演算プロセスを表す。従って、該式は第ｌ層とｌ−１層との間の演算関係を反映している。
【００３１】
畳み込みニューラルネットワークにおいて、畳み込み層を除き、１つの重要な演算プロセスをさらに有し、すなわち、プーリングプロセスとプーリング層の計算である。プーリングプロセスは、大画像における異なる位置の特徴を集計統計するプロセスであり、該プロセスによって特徴の冗長性を大幅に低減させ、統計特徴次元を削減させる。プーリング層の計算式は、
0006759474.tif 000013
であり、
式中、Ｄ（）はプーリングプロセスのダウンサンプリング関数を表し、Ｂｌｊ及びｂｌｊは設置される異なる活性化オフセットであり、各オフセットは各出力層に対応する。
【００３２】
（４）ビデオ初期フレームデータを抽出し、初期時刻における検出結果及び確率密度を計算し、ビデオデータを入力し、初期時刻データに対し船舶検出及び確率密度計算を行う。
【００３３】
ａ、ステップ（２）で訓練されたモデルを利用して、ビデオデータ中の初期時刻に対し船舶検出を行い、初期時刻における船舶検出位置を追跡の初期位置として取得する。各船舶オブジェクトを番号付けする。
【００３４】
ｂ、平均シフト方法に基づいて、各船舶の初期時刻ｔ０における確率密度を図３の初回入力結果として計算する。オブジェクトがｎ個の画素を含むと、
0006759474.tif 000014
は各画素の位置を表し、該オブジェクトが位置する領域に対しグレー色空間分割を行い、ｍ（本出願の実施例では、ｍ＝１６とする）個の等しい区間から構成されるグレーヒストグラムを得る。その確率密度初期値ｑt0ｒを計算する式は、
0006759474.tif 000015
であり、
式中、
0006759474.tif 000016
は船舶の中心点（ｘ０,ｙ０）を原点とする正規化画素位置、ｘiは位置Zｉにおける画素の横座標、ｙｉは位置Ｚｉにおける画素の縦座標を表し、ＫはＥｐａｎｅｃｈｉｋｏｖ（エパネチニコフ）カーネル関数を採用し、Ｃは正規化係数、ｂ（Ｚｉ）は位置Ｚｉにおける画素が位置するヒストグラム区間を表し、ｒ＝｛１,‥‥ｍ｝はヒストグラムの色区間ユニットインデックスであり、σ［ｂ（Ｚｉ）−ｒ］関数はオブジェクト領域における画素Ｚｉでのグレー値がヒストグラム中の第ｒ個のヒストグラム区間ユニットに属するか否かを判断し、ＹＥＳであると、１とし、ＮＯであると、０とする。
【００３５】
（５）後続の処理対象のフレームデータを抽出し、再帰的方法によって現フレームの船舶追跡結果を決定し、前時刻をｔ−１時刻、現時刻をｔ時刻とすると、ｔ−１時刻における計算結果によって、ｔ時刻における船舶追跡結果を決定し、船舶位置、評価を記録して記憶してもよい。そのフローは図３に示され、具体的にはステップＡ〜Ｄを含む。
【００３６】
Ａ、ｔ−１時刻における追跡結果を入力し、ｔ−１時刻におけるオブジェクト位置のｔ時刻の画像における確率密度を計算し、ｔ−１時刻に追跡された
0006759474.tif 000017
個の船舶位置を初期位置とし、それぞれ各船舶位置の中心座標ｆ０をｔ時刻における船舶追跡の初期オブジェクト位置とし、ｆ０を検索ウィンドウの中心とし、対応する候補船舶の中心位置座標ｆを得て、（４）のステップｂにおける計算式を用いて、候補位置の領域ヒストグラムを計算し、さらにその確率密度を計算し、すなわち、
0006759474.tif 000018
であり、
式中、ｄはカーネル関数のウィンドウサイズ（本実施例では、船舶データの船舶幅サイズに応じて設定され、ｄ＝１６とする）である。
【００３７】
Ｂ、Ｂｈａｔｔａｃｈａｒｙｙａ係数を計算し、平均シフト反復方程式結果を計算し、平均シフト追跡位置を取得し、Ｂｈａｔｔａｃｈａｒｙｙａ係数（バタチャリヤ係数）によってｔ−１時刻の船舶に対して位置が追跡された確率密度と候補船舶位置の確率密度との類似度を記述し、テイラー展開式によって、領域中心の平均シフト反復方程式を計算し、すなわち、
0006759474.tif 000019
であり、
式中、
0006759474.tif 000020
は入力位置の横座標がｘである時に得られたＫ関数の逆関数であり、Ｗｉは計算中間過程である。
【００３８】
上記の式のように、平均シフト方法全体は反復によってｆｋ（ｋ回目反復した中心位置）からｆｋ＋１（ｋ＋１回目反復した中心位置）を求めるプロセスであり、最後の２回の移動距離が閾値（本出願では閾値を１０−６とする）よりも小さくなり、すなわちｔ時刻における平均シフト結果によって取得される船舶位置Boxmｔを見つけるまで、モデルを色変化が最も大きい方向へ連続的に移動させる。平均シフトの全過程の模式図は図４に示され、反復のプロセスに伴い、図中のオブジェクト中心位置初期値
ｘ０ｉは、クラスタリング中心へ徐々に移動し、１回目反復した後、位置ｘ１ｉまで移動し、ｎ回目反復した後、位置ｘｎｉまで移動する。ｔ−１時刻に追跡された複数の
0006759474.tif 000021
船舶位置に対して、平均シフト方法によって、それぞれ最終的に対応する船舶位置
Boxmｔを取得する。
0006759474.tif 000022
はｔ時刻における複数の平均シフト結果の番号であり、第ｉｄ個の船舶位置をBoxmｔidで表す。
【００３９】
Ｃ、ｔ時刻におけるニューラルネットワーク方法の検出結果を抽出し、追跡位置及び検出結果の重畳度の計算を行い、閾値によって検出結果との重畳度が小さい追跡結果を除外し、領域に基づく畳み込みニューラルネットワーク方法及び訓練済みの船舶モデルによって、ｔ時刻における画像（畳み込みに基づくニューラルネットワークに画像を入力する）に対し船舶検出を行い、該方法は画像のｔ時刻における検出結果、すなわち、検出されたμ個の候補船舶位置Boxdｔを独立して取得する。numをｔ時刻における検出結果の番号とし、第num＝｛１,K,μ｝個の検出座標がBoxdｔnumである。Boxdｔnumに対して、第id個のBoxmｔidとの重畳度を計算し、重畳度の計算式は、
0006759474.tif 000023
であり、
式中、Sは面積サイズを表し、式はBoxmｔidとBoxdｔnumとの共通領域の面積を両者の合併領域の面積で除算する結果を求める。それとともに、各Boxmｔidとその重畳度が最も大きいBoxdｔnumとの計算された重畳度の大きさＯmaxを記録し、Ｏmaxが閾値θ１（本実施例では、θ１＝０．８とする）未満であると、該船舶位置が虚報であると判定し、
Boxmｔidを削除する。
【００４０】
すなわち、ｔ−１時刻における
0006759474.tif 000024
個の船によって、その個数と同じ数のシフト結果を算出でき、
0006759474.tif 000025
であり、検出すると、μ個の検出結果が得られ、ｍｕｎ＝１、…、μであり、各検出結果に対しＯ値を求め、検出結果は、いずれかの平均シフト結果とのＯが閾値以下であると、虚報であると判定され、閾値よりも大きいものがあると、該検出結果は１つの船舶の座標であり、結果を保留する。
【００４１】
Ｄ、閾値によって、検出された新たなオブジェクトを追加し、ｔ時刻における追跡確認結果及び新たなオブジェクト位置を出力し、ステップＣのニューラルネットワーク検出結果によって、ｔ時刻に出現する新たな船舶オブジェクトを更新する。各Boxdｔnumに対して、それらとステップＣで保留されたすべてのBoxmｔidのそれぞれを計算して得られた重畳度の大きさの最大値を、
0006759474.tif 000026
とし、重畳度計算方式はステップＣと同様であり、
0006759474.tif 000027
（本実施例では、θ２＝０．４とする）であると、該船舶オブジェクトがｔ時刻に新に出現する船舶であると判定し、それをｔ時刻における追跡結果に追加し、完全な追跡結果集合を得る。すなわち、各Boxdｔnum検出結果に対して、保留されたすべてのBoxmｔidと重畳するか否かを計算し、いずれも重畳しないと、新に出現する船舶オブジェクトであると判定する。
【００４２】
ここまで、本出願に使用される深層学習ネットワーク及び平均シフトに基づく船舶自動追跡方法の具体的な実施過程についての説明は完了する。具体的な実施では、本発明の技術案に係るフローは当業者がコンピュータソフトウェア技術によって自動で実行してもよく、モジュール化方式によって対応するシステムを実現してもよい。本発明の実施例は深層学習ネットワーク及び平均シフトに基づく船舶自動追跡システムをさらに提供し、
監視ビデオデータを収集するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出する第１モジュールと、
第１モジュールで得られたビデオ画像に基づいて前処理を行い、船舶オブジェクトの正サンプル及び負サンプルを抽出する第２モジュールと、
領域に基づく畳み込みニューラルネットワーク方式によって、ビデオ中の船舶オブジェクトサンプルをニューラルネットワークに入力し、モデル訓練を行う第３モジュールと、
ビデオ初期フレームデータを抽出し、第３モジュールで訓練されたモデルによって初期時刻データに対し船舶検出及び確率密度計算を行う第４モジュールと、
前時刻の計算結果によって、現時刻の船舶追跡結果を決定する第５モジュールと、を備え、
第５モジュールによる処理は、
ｔ−１時刻に追跡された
0006759474.tif 000028
個の船舶位置を初期位置とし、それぞれ各船舶位置の中心座標ｆ０をｔ時刻における船舶追跡の初期オブジェクト位置とし、ｆ０を検索ウィンドウの中心とし、対応する候補船舶の中心位置座標ｆを得て、候補位置の領域ヒストグラムを計算し、さらに確率密度を計算するステップと、
Ｂｈａｔｔａｃｈａｒｙｙａ係数によって船舶モデルと候補船舶との類似度の記述を行い、領域中心の平均シフト反復方程式を計算し、最後の２回の移動距離が対応する所定閾値よりも小さくなり、t時刻における平均シフト結果によって取得された船舶位置を見つけるまで、モデルを色変化が最も大きい方向へ連続的に移動させ、複数の船舶位置
Boxdｔを取得するとし、第ｉｄ個の船舶位置をBoxmｔidで表すステップと、
領域に基づく畳み込みニューラルネットワーク方法によって、ｔ時刻における画像に対し船舶検出を行い、画像中の複数の船舶のｔ時刻における第ｎｕｍ個の検出座標Boxdｔnumを取得するとし、Boxdｔnumに対し第ｉｄ個の船舶位置Boxmｔidとの重畳度を計算し、各Boxmｔidとその重畳度が最も大きいBoxdｔnumとの対応する重畳度の大きさＯmaxを記録し、Ｏｍａｘが対応する閾値θ１未満であると、該船舶位置が虚報であると判定し、
Boxmｔidを削除するステップと、
ニューラルネットワーク検出結果によって、ｔ時刻に出現する新たな船舶オブジェクトを更新するように、各Boxdｔnumに対して、すべてのBoxmｔidのそれぞれとの得られた重畳度の大きさの最大値
0006759474.tif 000029
を計算し、
0006759474.tif 000030
が対応する閾値θ２未満であると、該船舶オブジェクトがｔ時刻に出現する船舶であると判定し、それをｔ時刻における追跡結果に追加し、完全な追跡結果集合を得るステップと、を含む。
【００４３】
各モジュールの具体的な実装は対応するステップを参照すればよいため、本発明では重複説明を省略する。
【００４４】
本明細書に説明された具体例は単に本発明の精神を例示的に説明するためのものである。本発明の精神又は添付特許請求の範囲に定められた範囲を逸脱することなく、当業者は説明された具体例に対し種々の変更や補充を行ったり類似形態で置換したりすることができる。
【図１】
0006759474.tif 000039
【図２】
0006759474.tif 000040
【図３】
0006759474.tif 000041
【図４】
0006759474.tif 000042