(57)【特許請求の範囲】
【請求項１】
シーンの多次元特徴に基づく船舶検出方法であって、
船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得るステップａと、
船舶領域を取得するように、ステップａで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）とするステップｂと、
クラスＦａｓｔｅｒ  ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、ステップａで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得るステップｃと、
ＲＰＮネットワークを構築し、ステップｃで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、ステップｃで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得るステップｄと、
ステップｄで訓練されたモデルを利用してテストデータを検出するように、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、ステップｄで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行うステップｅとを含み、
ステップｂでは、まず、（λ、θ）極座標パラメータ空間の二次元配列を累算器として構築し、画像中のすべてのオブジェクト画素を順に検索し、オブジェクト画素ごとにパラメータ空間において対応する位置を見つけ、累算器の対応する位置に１を足し、さらにパラメータ空間累算器中の最大値を求め、その位置を（λi,θｉ）とし、最後に、パラメータ空間の位置（λi,θｉ）によって、上式に従って画像空間中の対応する直線パラメータを見つけ、最も長い直線を海岸線として決定することを特徴とするシーンの多次元特徴に基づく船舶検出方法。
【請求項２】
ステップｄでは、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成した後、ステップａで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得ることを特徴とする請求項１に記載のシーンの多次元特徴に基づく船舶検出方法。
【請求項３】
シーンの多次元特徴に基づく船舶検出システムであって、
船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得る第１モジュールと、
船舶領域を取得するように、第１モジュールで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）とする第２モジュールと、
クラスＦａｓｔｅｒ  ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、第１モジュールで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得る第３モジュールと、
ＲＰＮネットワークを構築し、第３モジュールで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、第３モジュールで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得る第４モジュールと、
第４モジュールで訓練されたモデルを利用してテストデータを検出するように、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、第４モジュールで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行う第５モジュールと、を備え、
第２モジュールでは、まず、（λ、θ）極座標パラメータ空間の二次元配列を累算器として構築し、画像中のすべてのオブジェクト画素を順に検索し、オブジェクト画素ごとにパラメータ空間において対応する位置を見つけ、累算器の対応する位置に１を足し、さらにパラメータ空間累算器中の最大値を求め、その位置を（λi,θｉ）とし、最後に、パラメータ空間の位置（λi,θｉ）によって、上式に従って画像空間中の対応する直線パラメータを見つけ、最も長い直線を海岸線として決定することを特徴とするシーンの多次元特徴に基づく船舶検出システム。
【請求項４】
第４モジュールでは、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成した後、第１モジュールで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得ることを特徴とする請求項３に記載のシーンの多次元特徴に基づく船舶検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はコンピュータビジョン分野に属し、シーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出方法及びシステムに関する。
【背景技術】
【０００２】
今日の社会では、ビデオ監視カメラはいたるところに配置されており、監視センターのビデオウォールは複数の監視画面を同時表示することとなり、視認だけで検出する場合、異常なイベントを見逃しやすい。研究したところ、プロの監視スタッフが２個のモニタのみを監視する場合でも、２２分間後、行動の９５％を見逃すことになり、事前に犯罪行動を効果的に防止できないことを分かった。インテリジェント監視プローブはリアルタイム監視システムの自動早期警告能力を高め、関連危険が検出されると早期警告を行い、それにより関連部門が早急に措置を講じることができる。一方、インテリジェント監視プローブによる異常早期警告行動の記憶記録は将来の事件解決、事故原因分析等における大切な手がかりにもなる。
【０００３】
急速な人口増加及び非常に乏しい地上資源により、２１世紀、人類は海への進出を徐々に加速している。海洋環境及び資源を如何に保護しながら活用するか、限られた人力で広大な海を監視するかは現在重要な研究課題となっている。海洋ビデオ監視システムは２４時間連続監視を実現でき、往来船、船員の動き等を全面的に監視し、違反行動が即座に捕捉され、周辺海域の状況が連続記録され、それにより海洋管理者の作業の困難度を大幅に低減させ、作業効率を向上させ、管理コストを削減させるとともに、海洋管理決定の策定に科学的根拠を提供する。
【０００４】
本出願は、如何に島周り監視ビデオシステムから移動中の船舶を迅速かつ正確に検出するかを研究する。中国国内外のオブジェクト検出アルゴリズムの現状を概観して、時間領域フレーム間差分法、オプティカルフロー法、バックグラウンド減算法等の従来の方法からＲ−ＣＮＮ、Ｆａｓｔ  ＲＣＮＮ、Ｆａｓｔｅｒ  ＲＣＮＮ等のような深層学習に基づく検出方法に徐々に移行している。
【０００５】
従来の方法では、時間領域フレーム間差分法は、ビデオ中の隣接する２フレーム又は複数フレームの画像を抽出し、差分計算を行い、閾値化によって画像中の背景及び移動物体を分離し、その画素を取得することである。該アルゴリズムは動的背景に対して、カメラが固定される場合に高い適応性及びロバスト性を示すが、特徴のすべての関連画素点を全抽出できず、特徴の関連画素の一部を抽出するしかできないため、高精度の検出結果を取得できない。物体が迅速に移動している場合、比較的大きなサンプリング間隔を採用すると、２フレームの画像間にカバレッジがなく、誤検出を招きやすい。物体の移動速度が遅い場合、比較的小さなサンプリング間隔を採用すると、検出された移動オブジェクトにホール現象が生じやすく、後続のオブジェクト検出に不利である。
【０００６】
深層学習に基づく方法では、ＲＣＮＮはＣＮＮ特徴領域を有するネットワークであり、初めて、畳み込みニューラルネットワークの特徴を利用して分類する。１つの画像が入力されると、まず選択的検索（Ｓｅｌｅｃｔｉｖｅ  Ｓｅａｒｃｈ、ＳＳ）領域提案方法によって約２０００個の候補領域を取得し、その後、各特徴領域からＣＮＮ特徴を抽出する。さらにＳＶＭ分類器を利用して各領域を分類し、最後に閾値に応じて最終分類結果を決定する。しかし、該方法は効率が低く、ＣＰＵモードでは１つの画像に２秒程度がかかり、その主な原因として、特徴抽出中、ＣＮＮがｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌｓごとに個別特徴抽出を行うことであり、その結果、かかる時間が大幅に増加してしまう。
【０００７】
Ｆａｓｔ  ＲＣＮＮネットワークの入力は画像及びそのオブジェクト提案ボックスであり、その後、画像に対し畳み込み及び最大プーリング操作を行い、本出願に必要な特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を得る。Ｆａｓｔ  ＲＣＮＮは新たなネットワーク層構造のＲＯＩ  Ｐｏｏｌｉｎｇ層を提案し、これらの結果のスケールを統一して固定長さの特徴ベクトルにする。その後、これらの特徴ベクトルを完全接続層に入力し、さらにｓｏｆｔｍａｘ分類器及びｂｂｏｘ  ｒｅｇｒｅｓｓｏｒ回帰分析から構成されるｍｕｌｔｉ−ｔａｓｋモデルに入力し、これら２つの層は特徴を共有できるため、これらを同時に微調整し、相互に促進し、より良好な効果が得られる。Ｆａｓｔ  ＲＣＮＮはＧＰＵ上で実装でき、効率を向上させるが、後続の検出ネットワークを考慮しておらず、且つ領域提案部分にかかる時間が長すぎ、この問題をよく解決できない。
【０００８】
Ｆａｓｔｅｒ  ＲＣＮＮは領域提案ネットワーク（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ  ＲＰＮ）＋ｆａｓｔ  ＲＣＮＮによって領域提案を行う。ここで、領域提案ネットワークは検出ネットワークと畳み込み特徴を共有し、これらの畳み込み層特徴を用いて領域提案ボックスを予測し、このように領域提案ボックスを生成するための計算コストが非常に小さい。その後、これらの領域をＦａｓｔ  Ｒ−ＣＮＮ検出に使用することで、検出の正確率がＦａｓｔ  Ｒ−ＣＮＮと略同じであるが、効率が大幅に向上する。しかし、正確率はまだ十分ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来技術の欠陥に鑑みて、島周り監視システムのデータ特性に合わせて、本発明はシーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出技術案を提供する。
【課題を解決するための手段】
【００１０】
上記目的を実現するために、本発明の技術案はシーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出方法であり、
船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得るステップａと、
船舶領域を取得するように、ステップａで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）とするステップｂと、
クラスＦａｓｔｅｒ  ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、ステップａで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得るステップｃと、
ＲＰＮネットワークを構築し、ステップｃで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、ステップｃで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得るステップｄと、
ステップｄで訓練されたモデルを利用してテストデータを検出するように、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、ステップｄで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行うステップｅと、を含む。
【００１１】
また、ステップｂでは、まず、（λ,θ）極座標パラメータ空間の二次元配列を累算器として構築し、画像中のすべてのオブジェクト画素を順に検索し、オブジェクト画素ごとにパラメータ空間において対応する位置を見つけ、累算器の対応する位置に１を足し、さらにパラメータ空間累算器中の最大値を求め、その位置を（λi,θｉ）とし、最後に、パラメータ空間の位置（λi,θｉ）によって、上式に従って画像空間中の対応する直線パラメータを見つけ、最も長い直線を海岸線として決定する。
【００１２】
また、ステップｄでは、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成した後、ステップａで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得る。
【００１３】
本発明は、シーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出システムを提供し、
船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得る第１モジュールと、
船舶領域を取得するように、第１モジュールで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）とする第２モジュールと、
クラスＦａｓｔｅｒ  ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、第１モジュールで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得る第３モジュールと、
ＲＰＮネットワークを構築し、第３モジュールで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、第３モジュールで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得る第４モジュールと、
第４モジュールで訓練されたモデルを利用してテストデータを検出し、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、第４モジュールで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行う第５モジュールと、を備える。
【００１４】
また、第２モジュールでは、まず、（λ,θ）極座標パラメータ空間の二次元配列を累算器として構築し、画像中のすべてのオブジェクト画素を順に検索し、オブジェクト画素ごとにパラメータ空間において対応する位置を見つけ、累算器の対応する位置に１を足し、さらにパラメータ空間累算器中の最大値を求め、その位置を（λi,θｉ）とし、最後に、パラメータ空間の位置（λi,θｉ）によって、上式に従って画像空間中の対応する直線パラメータを見つけ、最も長い直線を海岸線として決定する。
【００１５】
また、第４モジュールでは、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成した後、第１モジュールで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得る。
【００１６】
本発明に係る技術案の有益な効果は以下の通りである。
【００１７】
（１）実際のデータ状況によると、陸上家屋は船舶の誤検出の主な原因である。本出願は海岸線を抽出することで陸上家屋の干渉を回避し、船舶領域のみに対し領域提案を行うことで、領域提案ボックスの正確率及び速度を高める。
【００１８】
（２）オブジェクト検出においてエッジ特徴を画像の第４次元として追加することで、検出精度及び速度を高める。霧、曇り、雨等のような複雑なシーンでも良好な検出結果が示され、方法のロバスト性が高い。本発明は、海洋管理効率を向上させ、管理コストを削減させるとともに、海洋管理決定の策定に科学的根拠を提供することができ、重要な市場価値を有する。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例のフローチャートである。
【図２】本発明の実施例のスライディングウィンドウによって生成される領域提案ボックスの構成模式図である。
【発明を実施するための形態】
【００２０】
本発明はシーンの特徴を用いた深層学習ネットワークに基づく船舶検出方法を提案する。まず、画像サンプルライブラリを構築し、船舶画像をサンプリングしてマーキングし、十分なサンプルを得る。その後、エッジ検出及びＨｏｕｇｈ変換によって海岸線を得て、且つエッジ検出結果を画像の第４次元とし、深層学習ネットワークを構築して画像を畳み込みする。さらにスライディングウィンドウを用いて海岸線間領域で領域提案ボックスを生成し、島周り画像において船舶が水面上にしか出現しないが、ほかの深層学習方法の領域提案方法はいずれも画像全体に対し領域提案を行うからである。その後、船舶の位置真値を用いて提案ボックスの損失関数を得て、ネットワーク全体を訓練し、訓練済みモデルを出力する。最後に、訓練済みモデルを用いてテストデータに対し船舶検出を行う。主にサンプルライブラリ構築、海岸線抽出、深層学習ネットワーク訓練、船舶検出の４つの工程を含む。
【００２１】
具体的な実施形態を詳細説明するために、図１に示すように、実施例の流れは以下の通りである。
【００２２】
ステップａでは、船舶画像サンプルライブラリを構築し、ｃａｎｎｙ演算子によってエッジ検出を行い、画像のエッジ検出結果を得て、バンドＥと呼び、それを画像の第４次元とし、画像を（Ｒ、Ｇ、Ｂ）表現から（Ｒ、Ｇ、Ｂ、Ｅ）表現に変更する。
【００２３】
まず、船舶画像を用意し、本発明における収集対象となるデータは主に、可視光下での沿海領域監視ビデオデータである。具体的な実施では、予め収集して構築するようにしてもよい。収集したビデオデータに対し、デコーダ又はコードによって各フレームの画像を取得し、複数のビデオに対し、十分に多様な船舶画像サンプルライブラリを得る。さらに船舶画像サンプルライブラリ中の各フレームの画像を予選マーキングして、船舶の位置真値及び長さと幅を取得する。
【００２４】
その後、ｃａｎｎｙ演算子によって検出を行い、船舶画像サンプルライブラリ中の各フレームの画像中のエッジを得て、エッジ画素に値２５５（黒色）を付与し、ほかの画素に値０（白色）を付与し、それを画像の第４次元Ｅとし、画像を（Ｒ、Ｇ、Ｂ）表現から（Ｒ、Ｇ、Ｂ、Ｅ）表現に変更する。以下の工程を含む。
【００２５】
（１）まず、ガウスフィルタを用いて画像を平滑化し、ガウス平滑化関数は、
0006759475.tif 000002
であり、式中、ｘ、ｙは画像点の座標であり、画像処理では整数と考えられ、σは標準偏差である。
【００２６】
（２）ガウス平滑化関数によって３×３テンプレートＨを生成し、ｆは原画像であり、その後、このテンプレートを用いて画像をぼかし、平滑化後画像Ｇを得る。
Ｇ（ｘ,ｙ）＝ｆ（ｘ,ｙ）×Ｈ（ｘ，ｙ）
【００２７】
（３）さらに一次偏導関数の有限差分を用いて勾配の振幅及び方向を計算する。一次微分畳み込みテンプレートは、
0006759475.tif 000003
であり、
それぞれ垂直方向と水平方向の数値を計算し、その後、勾配の振幅は、
0006759475.tif 000004
であり、
勾配の方向は、
0006759475.tif 000005
である。
【００２８】
（４）勾配振幅に対し非最大抑制を行い、全体的な勾配を取得するだけではエッジを決定できないため、エッジを決定するには、局所勾配が最も大きい点を保留して非最大抑制を行う必要がある。各点では、近傍の中心画素Ｍと勾配線に沿う２つの画素とを比較する。Ｍの勾配値が勾配線に沿う2つの隣接画素の勾配値以下であると、Ｍ＝０とする。
【００２９】
（５）二重閾値アルゴリズムを用いてエッジを検出して連結する。非最大抑制画像に２つの閾値ｔｈ１及びｔｈ２を作用し、ここで、２つの閾値の関係は一般にｔｈ１＝０．４ｔｈ２である。本出願は、勾配値がｔｈ１未満の画素のグレー値を０とし、画像ａを得る。その後、勾配値がｔｈ２未満の画素のグレー値を０とし、画像ｂを得る。画像ｂの閾値が比較的高いため、大部分のノイズを除去できる一方、有用なエッジ情報を失ってしまう。画像ａの閾値が比較的低いため、比較的多くの情報を保留し、本出願は画像ｂを基礎、画像ａを補足として画像のエッジを連結することができる。
【００３０】
（６）  画像を処理する。エッジ画素に値２５５（黒色）を付与し、ほかの画素に値０（白色）を付与し、それを画像の第４次元とし、画像を（Ｒ、Ｇ、Ｂ）表現から（Ｒ、Ｇ、Ｂ、Ｅ）表現に変更する。
【００３１】
ステップｂでは、船舶領域を取得する。ステップａで得られたエッジＥに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）とする。
【００３２】
計算量を減少させるために、本発明は、まず、（λ、θ）極座標パラメータ空間の二次元配列を構築し、該配列は累算器に相当する。点−線に基づく双対性の思想から、画像において、すべての点（ｘ，ｙ）を通過する直線方程式は
ｙ＝ｋ×ｘ＋ｂ
であり、式中、ｋは勾配、ｂは切片である。
【００３３】
パラメータ空間において、該直線は１つの点として表されてもよく、極座標で表されると、
λ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ
であり、
式中、λは点から極点までの距離、θは点と極点とを結ぶ線と横軸とのなす角度である。従って、画像空間における各点はそれらのパラメータ空間における、対応する曲線としてみなされてもよい。
【００３４】
その後、画像中のすべてのオブジェクト（黒色）画素を順に検索し、オブジェクト画素ごとに、パラメータ空間において上式に従って対応する位置を見つけ、その後、累算器の対応する位置に１を足す。
【００３５】
さらにパラメータ空間（累算器）中の最大値を求め、その位置を（λi,θｉ）とする。
【００３６】
最後に、パラメータ空間の位置（λi,θｉ）によって、上式に従って画像空間中の対応する直線パラメータを見つける。カメラが海岸上で海面を撮影するため、各回の画像に１本の海岸線しかが表示されず、従って最も長い直線は本出願に求められる海岸線であり、海岸線から海面領域を船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）として得て、後続の領域提案ボックスの生成に有利である。
【００３７】
ステップｃでは、クラスＦａｓｔｅｒ  ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、ステップａで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得る。
【００３８】
使用されるクラスＦａｓｔｅｒ  ＲＣＮＮ深層学習ネットワークのネットワーク構造は５個の畳み込み層、３個の最大プーリング層及び２個の完全接続層からなる。
【００３９】
普通の畳み込み層の場合、1つ上の層の特徴層が学習可能な畳み込みカーネルによって畳み込みされ、その後、活性化関数によって、出力特徴層を得る。各出力層は複数の入力層を組合せ畳み込みした値
0006759475.tif 000006
であってもよく、
式中、Ｍｊは選択された入力層の集合を表し、iは入力層ユニットのインデックス値、ｊは出力層ユニットのインデックス値であり、ｋlijは入力層と出力層との間の重み、ｂｉｊは各層間の活性化オフセット、ｆ（）は該出力層の活性化関数、ｋljはｌ層の第ｊ個の出力層、Ｘｌ−１iはｌ−１層の第ｉ個の入力層を表す。
【００４０】
プーリング層の場合、Ｎ個の入力層を有すると、Ｎ個の出力層を有するが、各出力層が小さくなる。
【００４１】
0006759475.tif 000007
down()はダウンサンプリング関数を表す。一般には、入力画像の異なるｎ＊ｎ領域内のすべての画素の合計を計算する。このように、出力画像は２つの次元の両方にｎ倍縮小した。各出力層は１つのそれ自体の乗法オフセットβｌｊ及び１つの加法オフセットｂlｊに対応し、Xｌｊはｌ層の第ｊ個の出力層、Xｌ−１ｊはｌ−１層の第ｊ個の入力層を表す。
【００４２】
出力された完全接続層の場合、畳み込みを複数の特徴層に入力し、さらにこれらの畳み込み値の合計を計算し１つの出力層を得て、多くの場合、このような効果は優れている。本出願では、αｉｊは、第ｊ個の出力特徴層の取得における第ｉ個の入力層の重み値又は貢献を表す。このように、第ｊ個の出力層は、
0006759475.tif 000008
で表されてもよく、
なお、
0006759475.tif 000009
を満たす必要があり、
式中、Ｎｉｎは入力特徴層の数、ｋｌｊは入力層と出力層との間の重み、
ｂｌｊは各層間の活性化オフセット、Xｌｊはｌ層の第ｊ個の出力層、Xｌ−１ｊはｌ−１層の第ｊ個の入力層を表す。
【００４３】
ステップｄでは、ＲＰＮネットワークを構築し、ステップｃで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、ステップａで得られた船舶の長さと幅に応じて、Ｋ−平均法によって、選択された領域提案ボックスのサイズを得て、ステップｃで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得る。
【００４４】
スライディングウィンドウによって生成される領域提案ボックスの構造は図２に示され、ａｎｃｈｏｒ  ｂｏｘｅｓはアンカーポイントとして理解でき、スライディングウィンドウの中心に位置し、ｓｌｉｄｉｎｇ  ｗｉｎｄｏｗはスライディングウィンドウであり、ｃｏｎｖ  ｆｅａｔｕｒｅ  ｍａｐはステップｃで得られた畳み込み特徴マップであり、ｉｎｔｅｒｍｅｄｉａｔｅ  ｌａｙｅｒは完全接続層の前の中間層であり、２５６−ｄとは提案ボックスによって生成される２５６次元長さの完全接続特徴であり、ｃｌｓ  ｌａｙｅｒはクラスを予測する完全接続層であり、ｒｅｇ  ｌａｙｅｒは位置を予測する完全接続層であり、ｋ個の提案ボックスがあるとすると、２ｋ  ｓｃｏｒｅｓとは対応して出力する２ｋ個のクラススコアであり、４ｋ  ｃｏｏｒｒｄｉｎａｔｅｓとは対応して出力する４ｋ個の位置座標であり、ｓｈｉｐ  ａｒｅａは船舶出現範囲領域であり、ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌは領域提案ボックスであり、ｏｒｉｇｉｎａｌ  ｉｍａｇｅは原画像である。ステップｃで最終的に得られた畳み込み特徴マップ上をスライドし、ステップａで得られた船舶の長さと幅に応じて、Ｋ−平均法によって領域提案ボックスのサイズを得て、さらにステップａで得られた船舶の実際位置を利用して損失関数を学習し、その後、ステップｃで訓練された深層学習ネットワークと組み合わせ、組合せネットワークを訓練し、最後に、訓練済みモデルを出力する。主に逆伝播アルゴリズム（ＢＰアルゴリズム）のニューラルネットワークモードを採用して更新を行う。
【００４５】
実施例では、固定サイズの３＊３スライディングウィンドウを用いて、ステップｃの深層学習ネットワークの最後の１層の畳み込み層上をスライドする。スライディングウィンドウが位置する中心位置を原入力画像に対応付け、対応する画素はａｎｃｈｏｒの中心位置としてみなされ、中心位置がステップｂで得られた船舶領域内にあるか否かを判断し、ＮＯの場合、破棄してスライドし続ける。これは、本出願が領域提案ボックスを予測するためであり、海岸線に合わせて不要な領域提案ボックスを減少させ、ａｎｃｈｏｒメカニズム及び境界ボックス回帰を利用して異なるスケール及び異なるアスペクト比のＲｅｇｉｏｎ  Ｐｒｏｐｏｓａｌを得て、それによりスケール問題を解決する。
【００４６】
ここで、各ａｎｃｈｏｒはいずれも１種のアスペクト比及び１種のスケールに対応する。本発明の実施例では、サンプルとしてマーキングされた船舶のアスペクト比及びスケールを統計し、Ｋ−平均法によって頻度が最も高い船舶の長さと幅の状況をクラスタリングし、５種類を選択し、このように計５個のａｎｃｈｏｒを有する。最後に、２つの完全接続層に出力し、オブジェクトの領域提案ボックスの位置及びスコアを同時に予測できる。
【００４７】
訓練時の損失関数は領域提案ボックスの位置推定を評価するための損失関数及び分類を評価するための損失関数に分けられ、
領域提案ボックスの位置特定を評価するための損失関数は、
0006759475.tif 000010
であり、
式中、
0006759475.tif 000011
は比較される船舶の位置真値に対応する予測シフトズームパラメータであり、
0006759475.tif 000012
はクラスの番号を表し、
0006759475.tif 000013
とは領域提案ボックスに対してスケールが一定のシフトを行うことであり、
0006759475.tif 000014
とは対数空間における領域提案ボックスに対する高さ及び幅である。
ｖ＝（ｖｘ,ｖｙ,ｖｗ,ｖｈ）は対応する実際シフトズームパラメータであり、ｓmoothL1の損失関数は
0006759475.tif 000015
であり、
分類を評価するための損失関数は、船舶の位置真値
0006759475.tif 000016
に対応する確率によって決定され、
0006759475.tif 000017
であり、
式中、ｐ＝（ｐ０,ｐ１,ｐ２,・・・ｐｋ）は各領域提案ボックスにｋ＋１次元の離散型配列を出力することである。
【００４８】
ステップｅでは、ステップｄの出力モデルを利用してテストデータを検出する。検出前、まず、検出画像に対しエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得る。その後、Ｈｏｕｇｈ変換によって海岸線を得て、画像を深層学習ネットワークに入力し、訓練されたパラメータを用いて海岸線間の部分に対し船舶検出を行う。
【００４９】
本ステップは出力モデルを利用してテストデータを検出し、検出前、まず、画像中の海岸線を検出し、その後、船舶領域を検出する。テストデータである検出画像に対する処理方式はステップａ、ｂにおけるサンプル画像の処理方式に一致する。具体的な実施では、真値重畳度のｔｈｒｅｓｈ閾値を設定し、閾値より高いと、オブジェクト船舶として出力するようにしてもよい。
【００５０】
以上のように、まず、画像サンプルライブラリを構築し、船舶画像をサンプリングしてマーキングし、十分なサンプルを得る。その後、エッジ検出及びＨｏｕｇｈ変換によって海岸線を得て、且つ検出されたエッジを画像の第４次元とし、深層学習ネットワークを構築して画像を畳み込みする。さらにスライディングウィンドウを用いて船舶領域で領域提案ボックスを生成し、領域提案ボックスのサイズがＫ−平均法によって得られ、島周り画像において船舶が水面上に出現するしかないからであり、それに対して、ほかの深層学習方法の領域提案方法はいずれも画像全体に対して領域提案を行うのである。その後、船舶の位置真値を用いて提案ボックスの損失関数を得て、ネットワーク全体を訓練し、訓練済みモデルを出力する。最後に、訓練済みモデルを用いてテストデータに対し船舶検出を行う。本発明の方法は海岸線の特徴を利用することで、領域提案ボックスの生成にかかる時間を減少させ、領域提案ボックスのリコール率、及び最終検出結果の精度及び効率を向上させる。
【００５１】
ここまで、本出願に使用されるシーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出方法の具体的な実施過程についての説明は完了する。
【００５２】
具体的な実施では、本発明に係る方法はソフトウェア技術に基づいてプロセスの自動実行を実現してもよく、モジュール化方式によって対応するシステムを実現してもよい。本発明の実施例はシーンの多次元特徴に基づいて深層学習ネットワークモデルを構築する船舶検出システムを提供し、当該船舶検出システムは、
船舶画像サンプルライブラリを構築するように、可視光下での沿海領域監視ビデオデータを収集し、各フレームの画像を抽出し、船舶の位置真値及び長さと幅を取得し、その後、ｃａｎｎｙ演算子によってエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得る第１モジュールと、
船舶領域を取得するように、第１モジュールで得られたエッジに対しＨｏｕｇｈ変換を行い、海岸線を得て、海面領域を船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）とする第２モジュールと、
クラスＦａｓｔｅｒ  ＲＣＮＮ畳み込みネットワークを深層学習ネットワークとして構築し、第１モジュールで得られた処理済み画像をサンプルデータとして深層学習ネットワークに入力し、畳み込み後の特徴マップを得る第３モジュールと、
ＲＰＮネットワークを構築し、第３モジュールで得られた畳み込み後の特徴マップに基づいて、スライディングウィンドウを利用して船舶出現範囲領域（Ｓｈｉｐ  ａｒｅａ）で異なるサイズの領域提案ボックスを生成し、第３モジュールで得られた深層学習ネットワークと組み合わせて、船舶の実際位置に応じて訓練し、訓練モデルを得る第４モジュールと、
第４モジュールで訓練されたモデルを利用してテストデータを検出するように、検出画像にエッジ検出を行い、画像中のすべてのエッジを画像の第４次元として得て、その後、Ｈｏｕｇｈ変換によって海岸線を得て、第４モジュールで訓練されたモデルに基づいて海岸線間の部分に対し船舶検出を行う第５モジュールと、を備える。
【００５３】
各モジュールの具体的な実装は対応するステップを参照すればよいため、本発明では重複説明を省略する。
【００５４】
本明細書に説明された具体例は単に本発明の精神を例示的に説明するためのものである。本発明の精神又は添付の特許請求の範囲に定められた範囲を逸脱することなく、当業者は説明された具体例に対し種々の変更や補充を行ったり類似形態で置換したりすることができる。
【図１】
0006759475.tif 000018
【図２】
0006759475.tif 000019