(57)【要約】  様々な種類のオブジェクトを適切に区別することができる画像処理装置を提供することを目的とする。画像処理装置（１Ｃ）は、入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成する検出手段（１１）；ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算する投影計算手段（１２）；各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成する特徴学習手段（１４）；オブジェクトチップの学習された特徴に基づいて、オブジェクトチップをクラスに分類する分類手段（１５）を備える。【選択図】図１４
2021502557.tif 000002
【特許請求の範囲】
【請求項１】
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成する検出手段と、
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算する投影計算手段と、
各オブジェクトについて、オブジェクトチップとその投影情報との関係を学習し、それによってオブジェクトチップの学習された特徴を生成する特徴学習手段と、及び
オブジェクトチップの前記学習された特徴に基づいてオブジェクトチップをクラスに分類する分類手段と、
を備える、画像処理装置。
【請求項２】
前記投影計算手段は、各オブジェクトの投影情報として、レーダー送信機と各オブジェクトとの関係及びレーダー受信機と各オブジェクトとの関係の少なくとも一方に関する３次元ジオメトリ情報を計算する、請求項１に記載の画像処理装置。
【請求項３】
前記投影計算手段は、各オブジェクトの投影情報として、各オブジェクトの入射角度及び各オブジェクトのフォアショートニング方向角度の少なくとも一方を計算する、請求項１に記載の画像処理装置。
【請求項４】
前記投影計算手段は、各オブジェクトの投影情報として２次元ベクトル［θ，σ］を計算し、前記θはそのオブジェクトの入射角度、前記σはそのオブジェクトのフォアショートニング方向角度である、請求項１記載の画像処理装置。
【請求項５】
さらに、コスト計算手段、パラメータ更新手段、及び記憶手段を備え、
前記特徴学習手段は、トレーニングモードにおいて、トレーニングオブジェクトごとに、トレーニングオブジェクトチップと前記トレーニングオブジェクトの２次元ベクトル［θ，σ］との間の関係を学習し、それによってトレーニングオブジェクトチップの学習された特徴（Ｚ＿ｔｒａｉｎ）を生成し、
前記分類手段は、前記トレーニングモードにおけるトレーニングオブジェクトチップの前記学習された特徴（Ｚ＿ｔｒａｉｎ）に基づいてトレーニングオブジェクトチップのクラスを推定し、
前記コスト計算手段は、トレーニングオブジェクトチップの推定されたクラスとそのトレーニングオブジェクトチップの実際のクラスとの間のコストを、トレーニングモードにおけるそれらの間の誤分類誤差として計算し、
前記パラメータ更新手段は、コストが最小化されるように、前記特徴学習手段の特徴学習パラメータ及び前記分類手段の分類パラメータを更新し、
前記パラメータ更新手段は、更新された特徴学習パラメータ及び更新された分類パラメータを前記記憶手段に格納する、請求項４に記載の画像処理装置。
【請求項６】
前記特徴学習手段は、オペレーションモードにおいて、新たに検出された各オブジェクトのオブジェクトチップ及び２次元ベクトル［θ，σ］を入力値として使用し、前記更新された特徴学習パラメータを使用して新たに検出された各オブジェクトチップの学習された特徴（Ｚ）を生成し、
前記分類手段は、前記オペレーションモードにおいて、新たに検出されたオブジェクトチップの前記学習された特徴（Ｚ）を入力値として使用し、前記更新された分類パラメータを使用して新たに検出された各オブジェクトチップをクラスの１つに分類する、請求項５に記載の画像処理装置。
【請求項７】
各オブジェクトチップの画素値を正規化する正規化手段をさらに備える、請求項１乃至６の何れかに記載の画像処理装置。
【請求項８】
投影回転手段と回転正規化手段とをさらに備え、
前記回転正規化手段は、各オブジェクトチップの画素値を正規化し、各オブジェクトチップの配向角度φ’を決定し、その決定した配向角度φ’でそれぞれの正規化されたオブジェクトチップを回転させ、
前記投影回転手段は、各オブジェクトの２次元ベクトル［θ，σ］をその配向角度φ’だけ回転させ、それによって各オブジェクトの新しい２次元ベクトル［θ，σ’］を生成し、σ’は前記フォアショートニング方向角度σから前記配向角度φ’を差し引いた角度である、請求項４乃至６の何れかに記載の画像処理装置。
【請求項９】
前記投影計算手段は、各オブジェクトの前記投影情報として、［ｃｏｔ（θ）ｃｏｓ（σ），ｃｏｔ（θ）ｓｉｎ（σ）］又は［ｃｏｔ（θ），ｃｏｓ（σ），ｓｉｎ（σ）］等の前記入射角度と前記フォアショートニング方向角度の組み合わせ及び他の形式を含む２次元ベクトル又は３次元ベクトルを計算する、請求項４乃至６及び８の何れかに記載の画像処理装置。
【請求項１０】
前記検出手段は、定誤警報率（ＣＦＡＲ）又は適応ＣＦＡＲの何れかである、請求項１乃至９の何れか一項に記載の画像処理装置。
【請求項１１】
前記特徴学習手段は、オブジェクトの特徴を学習可能な一種のオートエンコーダである、請求項１乃至１０の何れかに記載の画像処理装置。
【請求項１２】
前記分類手段は、サポートベクターマシン又はニューラルネットワークの何れかである、請求項１乃至１１の何れかに記載の画像処理装置。
【請求項１３】
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成し；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算し；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成し；
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類する、画像処理方法。
【請求項１４】
各オブジェクトの投影情報は、３次元ジオメトリ情報であり、該３次元ジオメトリ情報は、レーダー送信機と各オブジェクトとの関係及びレーダー受信器と各オブジェクトとの関係の少なくとも一方に関する、請求項１３に記載の画像処理方法。
【請求項１５】
コンピュータに画像処理方法を実行させるための画像処理プログラムを格納する非一時的なコンピュータ可読媒体であって、
画像処理方法は、
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成し；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算し；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成し；
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類する、
画像処理プログラムを格納する非一時的なコンピュータ可読媒体。
【請求項１６】
各オブジェクトの投影情報は、３次元ジオメトリ情報であり、該３次元ジオメトリ情報は、レーダー送信機と各オブジェクトとの関係及びレーダー受信機と各オブジェクトとの関係の少なくとも一方に関する、請求項１５に記載の画像処理プログラムを格納する非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及び画像処理プログラムを格納する非一時的なコンピュータ可読媒体に関する。特に、本開示は、ＳＡＲ（合成開口レーダー）画像においてオブジェクト分類を行うための、画像処理装置、画像処理方法、及び画像処理プログラムを格納する非一時的なコンピュータ可読媒体に関する。
【背景技術】
【０００２】
自動ターゲット認識（ＡＴＲ）とは、センサデータを使用してターゲットのサイン（target signatures）を検出及び認識するためのコンピュータプログラム及びアルゴリズムの使用を指す。ターゲット認識アルゴリズムは、ノイズの多い環境からでも所望するオブジェクトを検出して認識することを目的とする防衛等の分野に多く適用される。
【０００３】
ターゲット認識を大規模に展開するには、合成開口レーダー（ＳＡＲ）が有望な技術である。ＳＡＲはアクティブな高解像度イメージングレーダーであり、大気条件によって動作条件が制限される光センサとは異なり、全天候及び昼と夜における地球表面のモニタリングを提供する。ＳＡＲ画像は、地上のオブジェクトの形状と散乱との双方の情報をキャプチャするため、オブジェクトを適切に表現してＳＡＲ−ＡＴＲシステムを開発できる。
【０００４】
近年、世界貿易と海産物の需要が高いため、海上交通量は大幅に増加している。船舶の輸送量が増えるにつれ、事故や環境破壊の可能性が高まるだけでなく、違法漁業や人身売買等の違法海事活動も増えている。したがって、世界中の海洋活動を監視及び管理するための効率的で信頼性の高い海上監視システムを開発する必要がある。海上監視のソリューションの１つは、船舶を認識し、海での疑わしい活動を制御するための船舶の分類又は認識システムを開発することである。この目的のために、ＳＡＲテクノロジーは非常に有用である。
【０００５】
文献では、ＳＡＲ画像を使用して船舶を分類するためのさまざまなアプローチが開発されている。関連する船舶認識アルゴリズムの一般的なパイプラインは次のとおりである。まず、船舶検出アルゴリズムを適用して、ＳＡＲ画像内の船舶と非船舶のターゲットを検出し、それぞれが船舶を含む小さなサブ画像を完全なＳＡＲ画像（the full SAR image）から抽出する。これらの小さなサブイメージは、シップチップと呼ばれる。次に、これらのシップチップは前処理されて、サイドローブとバックグラウンドノイズの影響が除去される。次に、前処理されたチップから特徴が抽出され、船舶のさまざまな上部構造が記述される。上部構造は、メインデッキの上にある船舶の一部であり、ＳＡＲ画像の後方散乱を支配する船首、ブリッジ、及びさまざまな施設で構成されている。たとえば、石油タンカーの場合、石油パイプラインは上部構造であり、中心に強い輝線を形成している。したがって、船舶の中心線の位置は、オイルタンカーを表す特徴として使用できる。最後に、抽出されたフィーチャに特定の分類ルールが定義され、チップにラベルが付けられる。したがって、船舶の上部構造は、船舶の分類に使用される最も重要なコンポーネントであり、正確で効率的な船舶の分類アルゴリズムを開発するには、上部構造の正確なモデリングが非常に重要である。
【０００６】
船舶の上部構造に基づいてＳＡＲ画像を使用して船舶を分類する関連技術は、非特許文献１に開示されている。非特許文献１に開示されている技術は、船舶とその上部構造を説明するために３つの特徴を使用している。それは、長さ（Ｌ）、船尾の長さ対船長比（Ｐ）、寸法比（ＲＯＤ）である。ＲＯＤは非特許文献１において上部構造を記述するために提案された新しい特徴である。ＲＯＤは、船首と船体の中央部分の画素の後方散乱値の平均と標準偏差の比を取ることによって計算される。
【０００７】
非特許文献１に開示されている技術は、抽出された形状と後方散乱の特徴が高い精度で区別され、ＳＡＲジオメトリの変化に影響されない場合にのみ、適切な分類を提供できる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Ｍｉｎｇｚｈｅ  Ｊｉａｎｇ  他、“Ｓｈｉｐ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｂａｓｅｄ  ｏｎ  Ｓｕｐｅｒｓｔｒｕｃｔｕｒｅ  Ｓｃａｔｔｅｒｉｎｇ  Ｆｅａｔｕｒｅｓ  ｉｎ  ＳＡＲ  Ｉｍａｇｅｓ”、ＩＥＥＥ  ＧＥＯＳＣＩＥＮＣＥ  ＡＮＤ  ＲＥＭＯＴＥ  ＳＥＮＳＩＮＧ  ＬＥＴＴＥＲＳ、２０１６年５月、１３巻、５号、６１６−６２０ページ
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、実際のシナリオでは、船舶の外観はＳＡＲジオメトリによって変化する。そのため、ＳＡＲジオメトリの影響により、異なるクラスに属する船舶の見た目が似ている可能性がある。したがって、非特許文献１に開示されている技術は、様々な船種を判別するには不十分である。よって、分類精度を向上させるには、船舶とその上部構造のより特徴的な特徴が必要である。
【００１０】
上記の問題は、船型認識だけでなく、一般的なＳＡＲを用いたオブジェクト認識でも発生する。本開示は、上記の問題を解決するためになされたものであり、その目的は、様々なオブジェクトを適切に区別することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【００１１】
第１の例示的な態様では、画像処理装置は、以下を備える：
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成する検出手段；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算する投影計算手段；
各オブジェクトについて、オブジェクトチップとその投影情報との関係を学習し、それによってオブジェクトチップの学習された特徴を生成する特徴学習手段；及び
オブジェクトチップの前記学習された特徴に基づいてオブジェクトチップをクラスに分類する分類手段。
【００１２】
第２の例示的な態様では、画像処理方法は以下を含む：
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成すること；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算すること；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成すること；及び
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類すること。
【００１３】
第３の例示的な態様では、画像処理プログラムを格納する非一時的なコンピュータ可読媒体は、コンピュータに画像処理方法を実行させるための画像処理プログラムを格納する非一時的なコンピュータ可読媒体であり、画像処理方法は以下を含む：
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成すること；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算すること；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成すること；及び
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類すること。
【発明の効果】
【００１４】
本開示によれば、様々なオブジェクトを適切に区別することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】レーダーセンサの観測方向の影響の例を示す図である。
【図２】ＳＡＲ画像ジオメトリの例を示す図である。
【図３】第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図４】ＳＡＲ入射角度が船舶の投影に及ぼす影響の例を示す図である。
【図５】ＳＡＲ衛星位置に対するニアレンジ（near-range）及びファーレンジ（far-range）の入射角度を説明するための図である。
【図６】ＳＡＲ  ＧＲＤメタデータからフォアショートニング方向角度を抽出する例を示す図である。
【図７】第１の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。
【図８】第２の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図９】第２の実施形態に係る画像処理装置がトレーニングモードで行う動作の一例を示すフローチャートである。
【図１０】第２の実施形態に係る画像処理装置が実際のオペレーションモードで行う動作の一例を示すフローチャートである。
【図１１】第３の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図１２】第３の実施形態に係る画像処理装置がトレーニングモードで行う動作の一例を示すフローチャートである。
【図１３】第３の実施形態に係る画像処理装置が実際のオペレーションモードで行う動作の一例を示すフローチャートである。
【図１４】第４の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図１５】第４の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【００１７】
実施形態を説明する前に、ＳＡＲジオメトリについて、図１及び図２を参照して以下に説明する。図１は、例示的なオブジェクトの外観に対するＳＡＲジオメトリの影響を示している。この図では、同じオブジェクトが２つの異なる方向から観測されており、現実のシナリオでは、２つの異なるＳＡＲジオメトリの例と見なすことができる。ポイントＡ、Ｂ、Ｃ、及びＤは、オブジェクト上のポイントの例として使用される。オブジェクトを方向１から見た場合、ポイントの投影はＡ１、Ｂ１、Ｃ１であるが、Ｄはレーダーシャドウ内にあるため投影されず、検出されない。同様に、方向２から見た場合、ポイントの投影はＢ２、Ｃ２、Ｄ２であり、Ａはレーダーシャドウ内にある。同じオブジェクトを異なる方向から見た場合、４つのポイントの投影の順序と数は一致しない。そのため、レーダーセンサのジオメトリを表示すると、センサが感知しているオブジェクトの外観に影響を与える可能性があると結論付けることができる。
【００１８】
図２は、船舶のＳＡＲイメージングジオメトリの例を示している。船舶の画像形状を理解するために重要な２つの角度は、入射角度（θ）とアジマス（azimuth）角度（φ）である。入射角度（θ）は、レーダーの照射方向（the radar line-of sight）とレーダーが地球又は海面と交差する点における局所的な鉛直方向との間の角度として定義される。アジマス角度（φ）は、船舶の進行方向と地上のレーダー波のレンジ方向（the range direction）との間の角度として定義される。ＳＡＲ画像での船舶の外観は、図１の例示的なオブジェクトで示されているように、表示ジオメトリの変化とともに変化する。したがって、ＳＡＲジオメトリは、さまざまな船舶の上部構造からの電磁反射を理解する上で重要な役割を果たす。
【００１９】
上記の説明は、シングルルックコンプレックス（ＳＬＣ；Ｓｉｎｇｌｅ  Ｌｏｏｋ  Ｃｏｍｐｌｅｘ）座標系に関するものである。船舶の画像がＳＬＣからジオコード化された画像（a geocoded image）に変換されると、船舶のＳＬＣ座標系は地球の地理座標系に変わる。図２は、２つの直交軸（東西と南北）を使用した２次元（２Ｄ；２−ｄｉｍｅｎｓｉｏｎ）の地球の地理座標系も示している。地球の地理座標系におけるＳＡＲ衛星の位置に対する船舶の位置を理解するために、さらに２つの角度を次のように定義する。１つ目の角度は、地球の地理座標系における東方向と船舶の進行方向との間の角度として定義される船舶の配向角度（φ’）である。２つ目の角度は、東方向とレンジ方向（the range direction）の間の角度であり、ＳＬＣ座標系を基準にしてレーダープラットフォームに向かって測定される。この角度は、船舶の位置に対する衛星の観測方向を示し、したがって、すべての船舶のポイントが投影される箇所の衛星に向かう方向を示す。したがって、本特許において、この角度はフォアショートニング方向角度として定義される。
【００２０】
第１の実施形態
次に、図３に示すブロック図を参照して、第１の実施形態に係る画像処理装置１の構成の例について説明する。第１の実施形態に係る画像処理装置１は、検出部１１、投影計算部１２、正規化部１３、特徴学習部１４、分類部１５を備える。
【００２１】
ＳＡＲ  ＧＲＤ（Ｇｒｏｕｎｄ  Ｒａｎｇｅ  Ｄｅｔｅｃｔｅｄ）画像が検出部１１に入力される。ＳＡＲ  ＧＲＤ画像は、画像内のすべての画素の地理情報を含むジオコード化された画像（a geocoded image）である。検出部１１は、ＳＡＲ  ＧＲＤ画像に存在するターゲットである船舶を検出する。特に、検出部１１は、船舶検出アルゴリズムをＳＡＲ  ＧＲＤ画像に適用し、２つの出力を生成する。
【００２２】
検出部１１によって生成された２つの出力のうちの第１の出力は、それぞれがその中心に船舶を含む一組の船舶の画像である。以下、これらの船舶の画像を「シップチップ（ship chips）」とも称する。なお、「シップチップ」は「シップパッチ（ship patches）」とも称される。２つの出力のうち第２の出力は、それぞれの船舶の中心にある画素の地理座標である。船舶は、技術文献において十分に開発された船舶検出アルゴリズム（ＣＦＡＲ；Ｃｏｎｓｔａｎｔ  Ｆａｌｓｅ  Ａｌａｒｍ  Ｒａｔｅや適応ＣＦＡＲ等）を使用して検出できる。
【００２３】
検出部１１は、各シップチップを投影計算部１２及び正規化部１３に出力する。また、検出部１１は、各船舶の中心画素の地理座標を投影計算部１２に出力する。
【００２４】
投影計算部１２は、ＳＡＲジオメトリを用いて各船舶の投影情報を計算する部分である。なお、投影計算部１２は、各船舶の投影情報として３次元ジオメトリ情報（3D geometrical information）を計算する。また、投影計算部１２は、３次元ジオメトリ情報として、レーダー送信機と各船舶との関係を計算してもよい。なお、レーダー送信機はＳＡＲ信号を送信する送信機である。
【００２５】
また、レーダー送信機と各船舶との関係の３次元ジオメトリ情報は、例えば、各船舶の入射角度（θ）の情報である。入射角度（θ）は、船舶の上部構造から船舶の３次元の特徴（3-dimensional features）を抽出するために使用可能な重要なＳＡＲジオメトリ情報である。
【００２６】
ここで、図４を参照すると、船舶の上部構造の投影は入射角度（θ）に依存することがわかる。図４において、２つの異なる入射角度（θ１及びθ２）でＳＡＲセンサによって画像化された例示的なターゲットである船舶が示されている。図４において、異なる入射角度の影響を示すために、ターゲットである船舶は当該船舶上に例示的な上部構造ＢＡを有する。
【００２７】
入射角度θ１では、ＢＡの投影は、傾斜範囲（slant range）１においてｂｓ及びａｓによって与えられ、グラウンドレンジ（ground range）においてｂｇ及びａｇによって与えられる。入射角度がθ１からθ２に変化すると、同じ上部構造ＢＡの投影は、傾斜範囲１におけるｂｓ及びａｓから、傾斜範囲２におけるｂ’ｓ及びａ’ｓに、グラウンドレンジのｂｇ及びａｇからそのｂ’ｇ及びａ’ｇに変わる。地上において位置Ａ及び位置Ｂは実際にはＳＡＲセンサから同じ距離にあるが、投影により、位置Ｂは位置ＡよりもＳＡＲセンサに近くなっていることがわかる。したがって、ＳＡＲの入射角度が変化すると、船舶の上部構造の投影が変化する。入射角度が小さいほど、上部構造の投影長は短くなる。換言すれば、レーダーセンサに面する投影がフォアショートニングされる。なお、フォアショートニングされた投影の方向は、レーダープラットフォームに向かう方向である。
【００２８】
したがって、同じ上部構造ＢＡは、異なる入射角度で異なるフォアショートニング投影を示す。そのため、入射角度は、船舶の上部構造の３次元の特徴を理解するための部分的な３次元情報として使用できる。フォアショートニングされた投影の長さをフォアショートニング長さ（foreshortening length）と称する。
【００２９】
高さｈにある上部構造体ＢＡの入射角度θにおけるフォアショートニング長さＰは、図４を用いて、以下に示す式（１）のように定義できる。
【数１】
2021502557.tif 000003
【００３０】
以下、投影計算部１２についてさらに説明する。ＳＡＲ  ＧＲＤメタデータは、投影計算部１２に入力される。さらに、投影計算部１２は、検出部１１によって検出された各船舶の中心画素位置に対応する入射角度及びフォアショートニング長さを計算する。ＳＡＲ  ＧＲＤメタデータには、ニアレンジ及びファーレンジの入射角度情報が含まれる。投影計算部１２は、ニアレンジ及びファーレンジの入射角度情報を用いて、船舶の中心画素の入射角度を計算する。ＳＡＲ  ＧＲＤメタデータには、ニアレンジ及びファーレンジの入射角度情報の他に、ＳＡＲ画像の解像度、地理的な北の方向、ジオコード化された画像の地理座標系、画像化された領域（the imaged area）の空間範囲、及び、偏光及び放射測定のキャリブレーション情報が含まれる。
【００３１】
以下、ＳＡＲ衛星（レーダープラットフォーム）の位置に対するニアレンジ及びファーレンジの入射角度の例を、図５を参照して説明する。ニアレンジ及びファーレンジは、ＳＡＲ  ＧＲＤ画像の際のレンジ（the extreme ranges）である。ニアレンジとファーレンジの間のＳＡＲ  ＧＲＤ画像のすべての画素の入射角度の値（incident values）は、ニアレンジの入射角度とファーレンジの入射角度の間の非線形補間によって計算される。これらの入射角度は、対応する画素の地理座標とともに表に保存される。
【００３２】
投影計算部１２は、検出部１１から各シップチップの中心画素の地理座標を受け取る。また、投影計算部１２は、表を参照して、各シップチップの中心画素の地理座標に対応する入射角度を取得することができる。
【００３３】
中心画素は例示的な点としてのみ使用され、中心画素以外の画素も投影計算に使用できる。投影計算部１２は、上記式（１）を用いて、各船舶の中心画素の投影を計算することができる。また、計算された各船舶の中心画素の投影は、投影計算部１２の出力である。
【００３４】
ただし、中心画素の高さ情報「ｈ」は不明であるため、投影計算部１２は、入射角度θのみを用いて投影情報を表現する。あるいは、ｃｏｔ（θ）は、投影計算部１２の出力であってもよい。
【００３５】
図２を参照して上で説明したように、フォアショートニング方向角度σは、東方向とレーダープラットフォームに向かうレンジ方向との間の角度である。フォアショートニング方向角度（σ）は、投影の方向を理解するために重要であるため、投影計算部１２によって出力されてもよい。
【００３６】
図６を用いて、フォアショートニング方向角度の計算を説明する。図６は、ＳＡＲ  ＧＲＤメタデータ、レンジ方向、及びアジマス方向（azimuth direction）から取得した地理的な北方向を含むＳＡＲ  ＧＲＤ画像を示している。地理的な東方向は、地理的な北方向に基づいて導出できる。フォアショートニング方向角度σは、ＳＡＲ  ＧＲＤ画像のレンジ方向と地理的な東方向との間のレーダープラットフォームに向かう角度（単位：degree）で与えられる。図６は、図２の船舶のイメージングジオメトリに関連するように、ＳＡＲ  ＧＲＤ画像における例示的な船舶も示している。
【００３７】
つまり、投影計算部１２は、レーダー受信機と各船舶との関係を３次元ジオメトリ情報として計算してもよい。なお、レーダー受信機はＳＡＲ信号を受信する受信機である。また、レーダー受信機と各船舶との関係としての３次元ジオメトリ情報は、例えば、各船舶のフォアショートニング方向角度（σ）や入射角度に関する情報である。
【００３８】
また、投影計算部１２は、各船舶の入射角度（θ）とフォアショートニング方向角度（σ）の両方を計算してもよい。以下、投影計算部１２が各船舶の入射角度（θ）とフォアショートニング方向角度（σ）の両方を計算する例について説明する。
【００３９】
図３を参照して説明を続ける。投影計算部１２の最終的な出力は、各船舶の中心画素の２次元ベクトル［θ，σ］である。すなわち、投影計算部１２は、各船舶の中心画素の２次元ベクトル［θ，σ］を特徴学習部１４に出力する。
【００４０】
特徴学習部１４のすべての入力は、０と１の間の範囲にあるので、投影計算部１２の出力として使用できる他の形は２次元ベクトル［ｃｏｔ（θ）ｃｏｓ（σ），ｃｏｔ（θ）ｓｉｎ（σ）］、３次元ベクトル［ｃｏｔ（θ），ｃｏｓ（σ），ｓｉｎ（σ）］、又はｃｏｔ（）関数をｃｏｓ（）関数で置き換える他の形式である。
【００４１】
正規化部１３は、検出部１１からシップチップを受け取る。正規化部１３は、各シップチップの画素値をそれらの平均によって正規化して、すべての画素値を０と１の間の範囲にする。そして、正規化部１３は、正規化された各シップチップを特徴学習部１４に出力する。なお、本実施形態では、正規化部はオプションユニットであり、画素値が０〜１の範囲で予め正規化されていれば、検出されたシップチップを特徴学習手段１４に直接に入力してもよい。
【００４２】
なお、正規化部１３は、正規化処理の他に、サイドローブの除去や最小外接矩形（a minimum enclosing rectangle）の抽出等の前処理を行う機能を有していてもよい。あるいは、画像処理装置１は、正規化部１３とは別に前処理を行う手段を備えていてもよいし、前処理を行う機能を有していなくてもよい。
【００４３】
特徴学習部１４は、投影計算部１２から各船舶の中心画素の２次元ベクトル［θ，σ］の形で投影情報を受け取る。さらに、特徴学習部１４は、正規化部１３から各正規化されたシップチップを受け取る。
【００４４】
特徴学習部１４は、各シップチップについて、正規化されたシップチップとその投影情報との関係を学習することにより、シップチップの学習された特徴を生成する。特に、特徴学習部１４は、面積や形状等の船舶の２次元の特徴を学習するとともに、シップチップとそれらの投影［θ，σ］との間の関係を学習して、船舶の上部構造の３次元の特徴に関する知識を得る。なお、すべてのチップが学習プロセスの例として役立つ。特徴学習部１４は、船舶の特徴を学習することができるオートエンコーダであってもよい。
【００４５】
シップチップの学習された特徴は、船舶の２次元の特徴と船舶の３次元の特徴との組み合わせである多次元ベクトルＺで表すことができる。ベクトルＺは、特徴学習部１４による、入力された船舶の学習された特徴を表す数字のベクトル（a vector of numbers）である。特徴学習部１４は、機械学習を通じて、シップチップの画素とそれらの対応する投影情報との間の非線形マッピングを作成する。ベクトルＺの数字は、非線形マッピングの出力を表す。
【００４６】
そして、特徴学習部１４は、シップチップの学習した特徴を分類部１５に出力する。
【００４７】
分類部１５は、特徴学習部１４からシップチップの学習された特徴を受け取る。さらに、分類部１５は、シップチップの学習された特徴に基づいて、各シップチップをクラスの１つに分類する。シップチップをクラスに分類するには、サポートベクターマシンやニューラルネットワーク等のよく知られた分類アルゴリズムを使用できる。
【００４８】
次に、図７に示すフローチャートを参照して、第１の実施形態に係る画像処理装置１の動作の一例について説明する。
【００４９】
まず、画像処理装置１は、入力されたＳＡＲ画像から船舶を検出し、検出部１１を用いてシップチップを生成する（ステップＳ１０１）。
【００５０】
次に、画像処理装置１は、投影計算部１２を用いて、各船舶の投影情報を計算する（ステップＳ１０２）。なお、各船舶の投影情報には、各船舶の入射角度（θ）又はフォアショートニング方向角度（σ）の情報が含まれている。
【００５１】
次に、画像処理装置１は、正規化部１３を用いて、各シップチップの画素値を正規化する（ステップＳ１０３）。
【００５２】
次に、画像処理装置１は、特徴学習部１４を用いて、各船舶について、正規化されたチップと投影情報との関係を学習することにより、シップチップの学習された特徴を生成する（ステップＳ１０４）。
【００５３】
次に、画像処理装置１は、分類部１５を用いて、シップチップの学習された特徴に基づいて、各シップチップを何れかのクラスに分類する（ステップＳ１０５）。
【００５４】
なお、図７では、ステップＳ１０３の各シップチップの画素値を正規化する処理の前に、ステップＳ１０２の各船舶の投影情報を計算する処理を行う例を示しているが、処理の順番はこの例に限定されない。なお、ステップＳ１０３の処理は、ステップＳ１０２の処理の前に行ってもよい。
【００５５】
以上のように、本開示の第１の実施形態に係る画像処理装置１は、投影計算部１２が各船舶の投影情報として３次元ジオメトリ情報を計算するように構成されている。なお、投影計算部１２は、３次元ジオメトリ情報として、レーダー送信機と各船舶との関係及びレーダー受信機と各船舶との関係の少なくとも一方を計算してもよい。また、レーダー送信機と各船舶との関係に関する３次元ジオメトリ情報は、各船舶の入射角度（θ）の情報であってもよい。さらに、レーダー受信機と各船舶との関係に関する３次元ジオメトリ情報は、各船舶のフォアショートニング方向角度（σ）の情報であってもよい。なお、入射角度（θ）とフォアショートニング方向角度（σ）は、船体認識の重要な情報である上部構造の大きさと位置の認識に役立つ。つまり、入射角度（θ）とフォアショートニング方向角度（σ）を部分的な３次元情報として使用して、船舶の上部構造の３次元の特徴を理解できる。したがって、画像処理装置１では、ＳＡＲジオメトリから部分的な３次元情報を投影の形式で抽出することができる。
【００５６】
また、画像処理装置１は、特徴学習部１４が、各船舶について、正規化されたシップチップと投影情報との関係を学習することにより、シップチップの学習された特徴を生成するように構成されている。このように、画像処理装置１では、投影情報（部分的な３次元情報）とそれに対応する船舶の画像との関係を知ることができ、船舶の上部構造に関する３次元の構造情報を抽出することができる。
【００５７】
また、画像処理装置１は、分類部１５が、シップチップの学習された特徴に基づいて、各シップチップを何れかのクラスに分類するように構成されている。その結果、画像処理装置１は、船舶の分類の精度を向上させることができる。つまり、第１の実施形態に係る画像処理装置１は、様々な船種を適切に判別可能な画像処理装置を提供することができる。
【００５８】
また、特徴学習部１４は、船舶の２次元の特徴を自動的に学習できるという別の効果も奏する。
【００５９】
第２の実施形態
次に、本開示の第２の実施形態に係る画像処理装置１Ａの構成例について、図８に示すブロック図を参照して説明する。第２の実施形態に係る画像処理装置１Ａは、検出部１１、投影計算部１２、正規化部１３、特徴学習部１４Ａ、分類部１５Ａ、コスト計算部１６、パラメータ更新部１７、及び記憶部１８を備える。画像処理装置１Ａの検出部１１、投影計算部１２、及び正規化部１３は、第１の実施形態に係る画像処理装置１と同様であるため、説明を省略する。
【００６０】
特徴学習部１４Ａ及び分類部１５Ａは、２つのモード、すなわち、トレーニングモード及び実際のオペレーションモードで動作する。また、コスト計算部１６及びパラメータ更新部１７は、トレーニングモードで動作する。
【００６１】
まず、トレーニングモードについて説明する。トレーニングモードでは、特徴学習部１４Ａは、投影計算部１２からトレーニング船舶ごとの２次元ベクトル［θ，σ］を受信する。なお、トレーニング船舶とは、トレーニングモードにおけるターゲットである船舶を意味する。また、特徴学習部１４Ａは、正規化部１３から複数の正規化されたトレーニングシップチップを受信する。また、特徴学習部１４Ａは、それぞれのトレーニング船舶について、正規化されたトレーニングシップチップと当該トレーニングシップチップの２次元ベクトル［θ，σ］との関係について学習し、それによりトレーニングシップチップの学習された特徴（Ｚ＿ｔｒａｉｎ）を生成する。そして、特徴学習部１４Ａは、トレーニングシップチップの学習した特徴（Ｚ＿ｔｒａｉｎ）を分類部１５Ａに出力する。
【００６２】
トレーニングモードでは、分類部１５Ａは、特徴学習部１４Ａから、トレーニングシップチップの学習された特徴（Ｚ＿ｔｒａｉｎ）を受け取る。さらに、分類部１５Ａは、トレーニングシップチップの学習された特徴（Ｚ＿ｔｒａｉｎ）に基づいてトレーニングシップチップのクラスを推定する。そして、分類部１５Ａは、トレーニングシップチップの推定したクラスをコスト計算部１６に出力する。
【００６３】
コスト計算部１６は、分類部１５Ａからトレーニングシップチップの推定されたクラスを受け取る。また、コスト計算部１６には、トレーニングシップチップの実際のクラスが入力される。また、コスト計算部１６は、トレーニングシップチップの推定されたクラスとトレーニングシップチップの実際のクラスとの間のコストを誤分類誤差として計算する。そして、コスト計算部１６は、計算したコストをパラメータ更新部１７に出力する。
【００６４】
パラメータ更新部１７は、コスト計算部１６からコストを受け取る。また、パラメータ更新部１７は、コストが最小になるように、特徴学習部１４Ａの特徴学習パラメータと分類部１５Ａの分類パラメータを更新する。なお、コストの最小化は、勾配降下法（gradient descent）等の通常の最適化アルゴリズムを使用して実行できる。コストの最小化は、コスト関数をこれ以上低減できない状態までコストが収束するまで継続（又は繰り返し）される。なお、コストの最小化後に取得された更新された特徴学習パラメータは、「トレーニング済み特徴学習パラメータ」とも呼ばれる。さらに、コストの最小化後に取得される更新された分類パラメータは、「トレーニング済み分類パラメータ」とも呼ばれる。コストの最小化を行った後、パラメータ更新部１７は、トレーニング済み特徴学習パラメータとトレーニング済み分類パラメータを記憶部１８に格納する。
【００６５】
次に、実際のオペレーションモードについて説明する。実際のオペレーションモードにおいて、特徴学習部１４Ａは、投影計算部１２から、新たに検出された各シップチップについての２次元ベクトル［θ，σ］を受け取る。また、特徴学習部１４Ａは、正規化部１３から、新たに検出された船舶ごとに正規化されたシップチップを受け取る。さらに、特徴学習部１４Ａは、記憶部１８から、トレーニングされた特徴学習パラメータを読み取る。さらに、特徴学習部１４Ａは、各正規化されたシップチップ及びその２次元ベクトル［θ，σ］を入力値として使用し、トレーニング済み特徴学習パラメータを使用して、新たに検出された各シップチップの学習された特徴（Ｚ）を生成する。そして、特徴学習部１４Ａは、新たに検出された各シップチップの学習された特徴（Ｚ）を分類部１５Ａに出力する。
【００６６】
実際のオペレーションモードにおいて、分類部１５Ａは、特徴学習部１４Ａから、新たに検出された各シップチップの学習された特徴（Ｚ）を受け取る。また、分類部１５Ａは、記憶部１８からトレーニング済み分類パラメータを読み出す。また、分類部１５Ａは、各船舶の学習された特徴（Ｚ）を入力値として、トレーニング済み分類パラメータを用いて、新たに検出された各シップチップを何れかのクラスに分類する。そして、分類部１５Ａは、新たに検出されたチップを分類したクラスを出力する。なお、分類部１５Ａから出力されるクラスは、実際のオペレーションモードにおいて検出部１１に入力されるＳＡＲ  ＧＲＤ画像に存在する船舶のクラスである。
【００６７】
次に、図９に示すフローチャートを参照して、第２の実施形態に係る画像処理装置１Ａのトレーニングモードにおける動作の一例について説明する。
【００６８】
まず、画像処理装置１Ａにおいて、トレーニング船舶用のＳＡＲ  ＧＲＤ画像が検出部１１に入力される（ステップＳ２０１）。
【００６９】
次に、画像処理装置１Ａは、検出部１１を用いて、入力されたＳＡＲ  ＧＲＤ画像からトレーニング船舶を検出し、そのトレーニングシップチップを生成する（ステップＳ２０２）。
【００７０】
次に、画像処理装置１Ａは、正規化部１３を用いて、各トレーニングシップチップの画素値を正規化する（ステップＳ２０３）。
【００７１】
ステップＳ２０１〜Ｓ２０３の処理と並行して、ステップＳ２０４及びＳ２０５の処理が行われる。なお、ステップＳ２０５の処理は、ステップＳ２０２で生成されたトレーニングシップチップを用いて行われるため、ステップＳ２０２の後に行われる処理である。
【００７２】
各トレーニング船舶のＳＡＲ  ＧＲＤメタデータが、投影計算部１２に入力される（ステップＳ２０４）。次に、画像処理装置１Ａは、投影計算部１２を用いて、ＳＡＲ  ＧＲＤメタデータを用いて、トレーニング船舶ごとの入射角度（θ）及びフォアショートニング方向角度（σ）を計算する（ステップＳ２０５）。
【００７３】
画像処理装置１Ａは、ステップＳ２０３及びＳ２０５の後、特徴学習部１４Ａを用いて、トレーニング船舶ごとに、正規化されたトレーニングシップチップとトレーニング船舶の２次元ベクトル［θ，σ］との関係を学習する。これにより、トレーニングシップチップの学習された特徴（Ｚ＿ｔｒａｉｎ）を生成する（ステップＳ２０６）。
【００７４】
次に、画像処理装置１Ａは、分類部１５Ａを用いて、トレーニングシップチップの学習された特徴（Ｚ＿ｔｒａｉｎ）に基づいて、トレーニングシップチップのクラスを推定する（ステップＳ２０７）。
【００７５】
次に、画像処理装置１Ａは、コスト計算部１６を用いて、トレーニングシップチップの推定されたクラスとトレーニングシップチップの実際のクラスとの間のコストを誤分類誤差として計算する（ステップＳ２０８）。
【００７６】
次に、画像処理装置１Ａは、パラメータ更新部１７を用いて、特徴学習部１４Ａの特徴学習パラメータと分類部１５Ａの分類パラメータとを、コストが最小になるように更新する（ステップＳ２０９）。
【００７７】
次に、画像処理装置１Ａは、パラメータ更新部１７を用いることによってコストが収束したか否かを判定する（ステップＳ２１０）。
【００７８】
画像処理装置１Ａがまだコストが収束していないと判断した場合（ステップＳ２１０：ＮＯ）、画像処理装置１ＡはステップＳ２０６に戻る。そして、画像処理装置１Ａは、ステップＳ２０６〜Ｓ２１０の処理を再度実行する。一方、画像処理装置１Ａがコストが収束したと判断した場合（ステップＳ２１０：Ｙｅｓ）、画像処理装置１Ａは、トレーニング済み特徴学習パラメータとトレーニング済み分類パラメータとを記憶部１８に格納する（ステップＳ２１１）。
【００７９】
次に、図１０に示すフローチャートを参照して、第２の実施形態に係る画像処理装置１Ａが実際のオペレーションモードで行う動作の一例について説明する。
【００８０】
まず、画像処理装置１Ａにおいて、新たに検出された各船舶のＳＡＲ  ＧＲＤ画像が検出部１１に入力される（ステップＳ３０１）。
【００８１】
次に、画像処理装置１Ａは、検出部１１を用いて、入力されたＳＡＲ  ＧＲＤ画像から各船舶を検出し、各シップチップを生成する（ステップＳ３０２）。
【００８２】
次に、画像処理装置１Ａは、正規化部１３を用いて、各シップチップの画素値を正規化する（ステップＳ３０３）。
【００８３】
ステップＳ３０１〜Ｓ３０３の処理と並行して、ステップＳ３０４及びＳ３０５の処理が行われる。なお、ステップＳ３０５の処理は、ステップＳ３０２で生成された各シップチップを用いて行われるため、ステップＳ３０２の後に行われる処理である。
【００８４】
新たに検出された各船舶のＳＡＲ  ＧＲＤメタデータは、投影計算部１２に入力される（ステップＳ３０４）。次に、画像処理装置１Ａは、投影計算部１２を用いて、ＳＡＲ  ＧＲＤメタデータを用いて、船舶ごとの入射角度（θ）及びフォアショートニング方向角度（σ）を計算する（ステップＳ３０５）。
【００８５】
画像処理装置１Ａは、ステップＳ３０３、Ｓ３０５の後、特徴学習部１４Ａを用いて、正規化された各シップチップとその２次元ベクトル［θ，σ］を入力値とし、トレーニング済み特徴学習パラメータを用いて、各船舶の学習された特徴（Ｚ）を生成する（ステップＳ３０６）。
【００８６】
次に、画像処理装置１Ａは、分類部１５Ａを用いて、各船舶の学習された特徴量（Ｚ）を入力値として使用し、トレーニング済み分類パラメータを用いて各シップチップをクラスに分類する（ステップＳ３０７）。
【００８７】
以上のように、第２の実施形態に係る画像処理装置１Ａは、トレーニングモードにおいて、特徴学習部１４Ａが、トレーニング船舶ごとに、正規化されたトレーニングシップチップとトレーニング船舶の２次元ベクトル［θ，σ］との関係を学習し、それによりトレーニングシップチップの学習された特徴（Ｚ＿ｔｒａｉｎ）を生成するように構成されている。また、画像処理装置１Ａは、トレーニングモードにおいて、分類部１５Ａが、トレーニングシップチップの学習された特徴（Ｚ＿ｔｒａｉｎ）に基づいて、トレーニングシップチップのクラスを推定するように構成されている。また、画像処理装置１Ａは、コスト計算部１６が、トレーニングシップチップの推定されたクラスとトレーニングシップチップの実際のクラスとの間のコストを誤分類誤差として計算するように構成されている。また、画像処理装置１Ａは、パラメータ更新部１７が、コストが最小化されるように特徴学習パラメータと分類パラメータとを更新するように構成されている。このように、画像処理装置１Ａでは、正規化された各シップチップとその船舶の２次元ベクトル［θ，σ］とを入力値とし、特徴学習部１４Ａと分類部１５Ａのパラメータを学習（すなわち、改善）させることができ、新たに検出された各シップチップがクラスの何れかに分類されるときに発生する誤分類誤差が最小化される。
【００８８】
第３の実施形態
次に、本開示の第３の実施形態に係る画像処理装置１Ｂの構成例について、図１１に示すブロック図を参照して説明する。第３の実施形態に係る画像処理装置１Ｂは、検出部１１、投影計算部１２、特徴学習部１４Ａ、分類部１５Ａ、コスト計算部１６、パラメータ更新部１７、記憶部１８、回転正規化部１９、及び投影回転部２０を備える。第３の実施形態に係る画像処理装置１Ｂは、第２の実施形態に係る画像処理装置１Ａと比較して、正規化部１３の代わりに回転正規化部１９を備え、さらに投影回転部２０を備える。画像処理装置１Ｂは、回転正規化部１９及び投影回転部２０の構成を除いて、第２の実施形態に係る画像処理装置１Ａと同様であるため、同様の部分の説明は省略する。
【００８９】
上記の説明では、ＳＡＲ衛星からの入射角度（θ）は、地球の地理座標系のＳＡＲジオメトリ内のオブジェクトの外観に影響を与える要因として説明されている。地球の地理座標系のＳＡＲジオメトリ内のオブジェクトの外観に影響を与えるもう１つの要素は、配向角度φ’である。例えば、図２に示される船舶が、例えば（φ’＋１８０）度等の例示的な配向角度によって調整される場合、船首が検出される前に船尾が検出される。したがって、船舶はＳＡＲ画像における異なる外観で（つまり、異なる形状で）表示される。この要素は、上部構造等の船舶の他のコンポーネントに適用できる。したがって、入射角度θと配向角度φ’の両方が、ＳＡＲジオメトリにおける船舶の３次元の上部構造の投影に影響する。つまり、配向角度φ’が変化すると、ＳＡＲ画像での船舶の投影が変化する。
【００９０】
回転正規化部１９は、各シップチップの画素値をその平均値で正規化して、すべての画素値を０〜１の範囲にする。シップチップの画素値が０〜１の範囲に予め正規化されている場合、この機能はオプションである。さらに、回転正規化部１９は、各シップチップの配向角度φ’を決定する。なお、各シップチップの配向角度φ’の決定には、主成分分析（Principal Component Analysis）やラドン変換（Radon Transform）等のアルゴリズムを用いてもよい。さらに、回転正規化部１９は、決定された配向角度φ’だけ各正規化されたシップチップを回転させ、それによって、すべての正規化されたシップチップが東方向を指すようにそれらのシップチップを整列させる。なお、図２に東方向を示している。そして、回転正規化部１９は、東向きに正規化された各シップチップに関する情報を特徴学習部１４Ａに出力する。また、回転正規化部１９は、各シップチップの配向角度φ’を投影回転部２０に出力する。
【００９１】
上述のように、正規化されたすべてのシップチップは、それらが東方向を指すように、回転正規化部１９によって位置合わせされる。各船舶の回転の結果として、対応するフォアショートニング方向角度も変化する。投影回転部２０は、各船舶の向きがその投影に及ぼす影響を考慮に入れる処理を実行する。
【００９２】
投影回転部２０は、投影計算部１２から各船舶の中心画素の２次元ベクトル［θ，σ］を受け取る。また、投影回転部２０は、回転正規化部１９から各シップチップの配向角度φ’を受け取る。さらに、投影回転部２０は、それぞれの船舶の中心画素の２次元ベクトル［θ，σ］を当該船舶の対応する配向角度φ’だけ回転させることにより、各船舶の新しい２次元ベクトル［θ，σ’］を生成する。なお、フォアショートニング方向角度σ’は、フォアショートニング方向角度σから配向角度φ’を差し引いた角度である。また、投影回転部２０は、各船舶の新たな２次元ベクトル［θ，σ’］を特徴学習部１４Ａに出力する。
【００９３】
次に、図１２に示すフローチャートを参照して、第３の実施形態に係る画像処理装置１Ｂのトレーニングモードにおける動作の一例について説明する。なお、図１２に示すステップＳ４０１、Ｓ４０２、Ｓ４０５、Ｓ４０６、及びＳ４０９〜Ｓ４１３は、図９に示すステップＳ２０１、Ｓ２０２、Ｓ２０４、Ｓ２０５、Ｓ２０７〜Ｓ２１１と同様であるため、その説明を省略する。なお、ステップＳ４０５〜Ｓ４０７は、ステップＳ４０１〜Ｓ４０４と並行して行われる。ただし、ステップＳ４０６は、ステップＳ４０２で生成されたトレーニングシップチップを使用して実行されるため、ステップＳ４０２の後に実行される。さらに、ステップＳ４０７は、ステップＳ４０３で決定された各トレーニングシップチップの配向角度φ’を使用して実行されるため、ステップＳ４０３の後に実行される。
【００９４】
画像処理装置１Ｂは、回転正規化部１９を用いて、各トレーニングシップチップの画素値を正規化し、各トレーニングシップチップの配向角度φ’を求める（ステップＳ４０３）。
【００９５】
次に、画像処理装置１Ｂは、回転正規化部１９を用いて、正規化された各トレーニングシップチップを対応する配向角度φ’だけ回転させる（ステップＳ４０４）。
【００９６】
画像処理装置１Ｂは、投影回転部２０を用いて、各トレーニング船舶の２次元ベクトル［θ，σ］を対応するトレーニングシップチップの配向角度φ’だけ回転させ、各トレーニング船舶の新たな２次元ベクトル［θ，σ’］を生成する（ステップＳ４０７）。
【００９７】
画像処理装置１Ｂは、ステップＳ４０４及びＳ４０７の後、特徴学習部１４Ａを用いて、トレーニング船舶ごとに、正規化され回転されたトレーニングシップチップとトレーニング船舶の２次元ベクトル［θ，σ’］との関係を学習し、それによりトレーニングシップチップの学習された特徴（Ｚ＿ｔｒａｉｎ）を生成する（ステップＳ４０８）。
【００９８】
次に、図１３に示すフローチャートを参照して、第３の実施形態に係る画像処理装置１Ｂの実際のオペレーションモードにおける動作の一例について説明する。なお、図１３のステップＳ５０１、Ｓ５０２、Ｓ５０５、Ｓ５０６、及びＳ５０９は、図１０のステップＳ３０１、Ｓ３０２、Ｓ３０４、Ｓ３０５、及びＳ３０７と同様であるため、その説明を省略する。なお、ステップＳ５０５〜Ｓ５０７は、ステップＳ５０１〜Ｓ５０４と並行して行われる。ただし、ステップＳ５０６は、ステップＳ５０２で生成された各シップチップを用いて行われるため、ステップＳ５０２の後に行われる。さらに、ステップＳ５０７は、ステップＳ５０３で決定された各シップチップの配向角度φ’を使用して実行されるため、したがってステップＳ５０３の後に実行される。
【００９９】
画像処理装置１Ｂは、回転正規化部１９を用いて、各シップチップの画素値を正規化し、各シップチップの配向角度φ’を決定する（ステップＳ５０３）。
【０１００】
次に、画像処理装置１Ｂは、回転正規化部１９を用いて、正規化された各シップチップを対応する配向角度φ’で回転させる（ステップＳ５０４）。
【０１０１】
画像処理装置１Ｂは、投影回転部２０を用いて、各船舶の２次元ベクトル［θ，σ］を、当該シップチップの対応する配向角度φ’だけ回転させ、各船舶の新たな２次元ベクトル［θ，σ’］を生成する（ステップＳ５０７）。
【０１０２】
ステップＳ５０４、Ｓ５０７の後、画像処理装置１Ｂは、特徴学習部１４Ａを用いて、正規化された各シップチップとその２次元ベクトル［θ，σ’］を入力値とし、トレーニング済み特徴学習パラメータを用いて各船舶の学習された特徴（Ｚ）を生成する（ステップＳ５０８）。
【０１０３】
以上のように、本開示の第３の実施形態に係る画像処理装置１Ｂは、回転正規化部１９を用いて、各シップチップの画素値を正規化し、各シップチップの配向角度φ’を求めるように構成されている。また、画像処理装置１Ｂは、回転正規化部１９を用いて、正規化された各シップチップを対応する配向角度φ’だけ回転させるように構成されている。このようにして、画像処理装置１Ｂは、すべてのチップを東向きにすることができる。
【０１０４】
また、画像処理装置１Ｂは、投影回転部２０を用いて、各船舶の中心画素の２次元ベクトル［θ，σ］を、対応するシップチップの配向角度φ’だけ回転させて、各船舶の新しい２次元ベクトル［θ，σ’］を生成するように構成されている。このように、画像処理装置１Ｂは、ＳＡＲ衛星からの入射角度θだけでなく、配向角度φ’も、地球の地理座標系のＳＡＲジオメトリ内のオブジェクトの外観に影響を与える要因として考慮しながら、各船舶の２次元ベクトル［θ，σ’］を生成することができる。したがって、第３の実施形態に係る画像処理装置１Ｂは、第２実施形態に係る画像処理装置１Ａと比較して、各船舶の上部構造に影響を与える情報をより多く考慮することができる。これにより、特徴学習部１４Ａにおける学習処理の精度を向上させることができる。よって、画像処理装置１Ｂは、ＳＡＲ画像における船舶の分類精度を向上させることができる。
【０１０５】
第４の実施形態
第１実施形態〜第３の実施形態では、船種認識について説明したが、第１実施形態〜第３の実施形態は、一般的なオブジェクト認識にも適用可能である。第４の実施形態では、一般的なオブジェクト認識について説明する。
【０１０６】
本開示の第４の実施形態に係る画像処理装置１Ｃの構成例について、図１４に示すブロック図を参照して説明する。第４の実施形態に係る画像処理装置１Ｃは、検出部１１、投影計算部１２、特徴学習部１４、及び分類部１５を備える。
【０１０７】
検出部１１は、ＳＡＲ  ＧＲＤ画像に存在するターゲットであるオブジェクトを検出する。また、検出部１１は、オブジェクトチップを生成する。また、検出部１１は、各オブジェクトチップを投影計算部１２及び特徴学習部１４に出力する。また、検出部１１は、各オブジェクトの中心画素の地理座標を投影計算部１２に出力する。
【０１０８】
投影計算部１２は、ＳＡＲジオメトリを用いて各オブジェクトの投影情報を計算する。また、投影計算部１２は、各オブジェクトの投影情報を特徴学習部１４に出力する。
【０１０９】
特徴学習部１４は、オブジェクトごとに、オブジェクトチップとその投影情報との関係を学習することにより、オブジェクトチップの学習された特徴を生成する。また、特徴学習部１４は、オブジェクトチップの学習した特徴を分類部１５に出力する。
【０１１０】
分類部１５は、オブジェクトチップの学習された特徴に基づいて、オブジェクトチップをクラスに分類する。
【０１１１】
次に、図１５に示すフローチャートを参照して、第４の実施形態に係る画像処理装置１Ｃの動作の一例について説明する。
【０１１２】
まず、画像処理装置１Ｃは、検出部１１を用いて、入力されたＳＡＲ画像からオブジェクトを検出し、そのオブジェクトチップを生成する（ステップＳ６０１）。
【０１１３】
次に、画像処理装置１Ｃは、投影計算部１２により、ＳＡＲジオメトリを用いて各オブジェクトの投影情報を計算する（ステップＳ６０２）。
【０１１４】
次に、画像処理装置１Ｃは、特徴学習部１４を用いて、オブジェクトごとに、オブジェクトチップとその投影情報との関係を学習することにより、オブジェクトチップの学習された特徴を生成する（ステップＳ６０３）。
【０１１５】
次に、画像処理装置１Ｃは、分類部１５を用いて、オブジェクトチップの学習した特徴に基づいて、各オブジェクトチップを何れかのクラスに分類する（ステップＳ６０４）。
【０１１６】
以上のように、本開示の第４の実施形態に係る画像処理装置１Ｃは、投影計算部１２が、ＳＡＲジオメトリを用いて各オブジェクトの投影情報を計算するように構成されている。したがって、画像処理装置１Ｃでは、ＳＡＲジオメトリから部分的な３次元情報を投影の形式で抽出することができる。
【０１１７】
また、画像処理装置１Ｃは、特徴学習部１４が、オブジェクトごとに、オブジェクトチップとその投影情報との関係を学習することにより、オブジェクトチップの学習された特徴を生成するように構成されている。このように、画像処理装置１Ｃでは、投影情報（部分的な３次元情報）とそれに対応するオブジェクト画像との関係を知ることができ、オブジェクトの上部構造に関する３次元の構造情報を抽出することができる。
【０１１８】
また、画像処理装置１Ｃは、分類部１５が、オブジェクトチップの学習された特徴に基づいて、各オブジェクトチップを何れかのクラスに分類するように構成されている。その結果、画像処理装置１Ｃは、オブジェクトの分類の精度を向上させることができる。つまり、第４の実施形態に係る画像処理装置１Ｃは、様々なオブジェクトを適切に判別可能な画像処理装置を提供することができる。
【０１１９】
また、上記実施形態では、本開示をハードウェア構成として説明したが、本開示は、これに限定されるものではない。本開示は、上記の各機能における各処理を、画像処理装置が備えるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
【０１２０】
上述の例では、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、及びハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））を含む。さらに、また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例には、電気信号、光信号、及び電磁波が含まれる。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【０１２１】
以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１２２】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１２３】
（付記１）
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成する検出手段と、
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算する投影計算手段と、
各オブジェクトについて、オブジェクトチップとその投影情報との関係を学習し、それによってオブジェクトチップの学習された特徴を生成する特徴学習手段と、及び
オブジェクトチップの前記学習された特徴に基づいてオブジェクトチップをクラスに分類する分類手段と、
を備える、画像処理装置。
【０１２４】
（付記２）
前記投影計算手段は、各オブジェクトの投影情報として、レーダー送信機と各オブジェクトとの関係及びレーダー受信機と各オブジェクトとの関係の少なくとも一方に関する３次元ジオメトリ情報を計算する、付記１に記載の画像処理装置。
【０１２５】
（付記３）
前記投影計算手段は、各オブジェクトの投影情報として、各オブジェクトの入射角度及び各オブジェクトのフォアショートニング方向角度の少なくとも一方を計算する、付記１に記載の画像処理装置。
【０１２６】
（付記４）
前記投影計算手段は、各オブジェクトの投影情報として２次元ベクトル［θ，σ］を計算し、前記θはそのオブジェクトの入射角度、前記σはそのオブジェクトのフォアショートニング方向角度である、付記１記載の画像処理装置。
【０１２７】
（付記５）
さらに、コスト計算手段、パラメータ更新手段、及び記憶手段を備え、
前記特徴学習手段は、トレーニングモードにおいて、トレーニングオブジェクトごとに、トレーニングオブジェクトチップと前記トレーニングオブジェクトの２次元ベクトル［θ，σ］との間の関係を学習し、それによってトレーニングオブジェクトチップの学習された特徴（Ｚ＿ｔｒａｉｎ）を生成し、
前記分類手段は、前記トレーニングモードにおけるトレーニングオブジェクトチップの前記学習された特徴（Ｚ＿ｔｒａｉｎ）に基づいてトレーニングオブジェクトチップのクラスを推定し、
前記コスト計算手段は、トレーニングオブジェクトチップの推定されたクラスとそのトレーニングオブジェクトチップの実際のクラスとの間のコストを、トレーニングモードにおけるそれらの間の誤分類誤差として計算し、
前記パラメータ更新手段は、コストが最小化されるように、前記特徴学習手段の特徴学習パラメータ及び前記分類手段の分類パラメータを更新し、
前記パラメータ更新手段は、更新された特徴学習パラメータ及び更新された分類パラメータを前記記憶手段に格納する、付記４に記載の画像処理装置。
【０１２８】
（付記６）
前記特徴学習手段は、オペレーションモードにおいて、新たに検出された各オブジェクトのオブジェクトチップ及び２次元ベクトル［θ，σ］を入力値として使用し、前記更新された特徴学習パラメータを使用して新たに検出された各オブジェクトチップの学習された特徴（Ｚ）を生成し、
前記分類手段は、前記オペレーションモードにおいて、新たに検出されたオブジェクトチップの前記学習された特徴（Ｚ）を入力値として使用し、前記更新された分類パラメータを使用して新たに検出された各オブジェクトチップをクラスの１つに分類する、付記５に記載の画像処理装置。
【０１２９】
（付記７）
各オブジェクトチップの画素値を正規化する正規化手段をさらに備える、付記１乃至６の何れかに記載の画像処理装置。
【０１３０】
（付記８）
投影回転手段と回転正規化手段とをさらに備え、
前記回転正規化手段は、各オブジェクトチップの画素値を正規化し、各オブジェクトチップの配向角度φ’を決定し、その決定した配向角度φ’でそれぞれの正規化されたオブジェクトチップを回転させ、
前記投影回転手段は、各オブジェクトの２次元ベクトル［θ，σ］をその配向角度φ’だけ回転させ、それによって各オブジェクトの新しい２次元ベクトル［θ，σ’］を生成し、σ’は前記フォアショートニング方向角度σから前記配向角度φ’を差し引いた角度である、付記４乃至６の何れかに記載の画像処理装置。
【０１３１】
（付記９）
前記投影計算手段は、各オブジェクトの前記投影情報として、［ｃｏｔ（θ）ｃｏｓ（σ），ｃｏｔ（θ）ｓｉｎ（σ）］又は［ｃｏｔ（θ），ｃｏｓ（σ），ｓｉｎ（σ）］等の前記入射角度と前記フォアショートニング方向角度の組み合わせ及び他の形式を含む２次元ベクトル又は３次元ベクトルを計算する、付記４乃至６及び８の何れかに記載の画像処理装置。
【０１３２】
（付記１０）
前記検出手段は、定誤警報率（ＣＦＡＲ）又は適応ＣＦＡＲの何れかである、付記１乃至９の何れかに記載の画像処理装置。
【０１３３】
（付記１１）
前記特徴学習手段は、オブジェクトの特徴を学習可能な一種のオートエンコーダである、付記１乃至１０の何れかに記載の画像処理装置。
【０１３４】
（付記１２）
前記分類手段は、サポートベクターマシン又はニューラルネットワークの何れかである、付記１乃至１１の何れかに記載の画像処理装置。
【０１３５】
（付記１３）
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成し；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算し；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成し；
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類する、画像処理方法。
【０１３６】
（付記１４）
各オブジェクトの投影情報は、３次元ジオメトリ情報であり、該３次元ジオメトリ情報は、レーダー送信機と各オブジェクトとの関係及びレーダー受信器と各オブジェクトとの関係の少なくとも一方に関する、付記１３に記載の画像処理方法。
【０１３７】
（付記１５）
コンピュータに画像処理方法を実行させるための画像処理プログラムを格納する非一時的なコンピュータ可読媒体であって、
画像処理方法は、
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成し；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算し；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成し；
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類する、
画像処理プログラムを格納する非一時的なコンピュータ可読媒体。
【０１３８】
（付記１６）
各オブジェクトの投影情報は、３次元ジオメトリ情報であり、該３次元ジオメトリ情報は、レーダー送信機と各オブジェクトとの関係及びレーダー受信機と各オブジェクトとの関係の少なくとも一方に関する、付記１５に記載の画像処理プログラムを格納する非一時的なコンピュータ可読媒体。
【符号の説明】
【０１３９】
１、１Ａ、１Ｂ、１Ｃ  画像処理装置
１１  検出部
１２  投影計算部
１３  正規化部
１４、１４Ａ  特徴学習部
１５、１５Ａ  分類部
１６  コスト計算部
１７  パラメータ更新部
１８  記憶部
１９  回転正規化部
２０  投影回転部
【図１】
2021502557.tif 000004
【図２】
2021502557.tif 000005
【図３】
2021502557.tif 000006
【図４】
2021502557.tif 000007
【図５】
2021502557.tif 000008
【図６】
2021502557.tif 000009
【図７】
2021502557.tif 000010
【図８】
2021502557.tif 000011
【図９】
2021502557.tif 000012
【図１０】
2021502557.tif 000013
【図１１】
2021502557.tif 000014
【図１２】
2021502557.tif 000015
【図１３】
2021502557.tif 000016
【図１４】
2021502557.tif 000017
【図１５】
2021502557.tif 000018
【手続補正書】
【提出日】令和2年5月8日(2020.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成する検出手段と、
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算する投影計算手段と、
各オブジェクトについて、オブジェクトチップとその投影情報との関係を学習し、それによってオブジェクトチップの学習された特徴を生成する特徴学習手段と、及び
オブジェクトチップの前記学習された特徴に基づいてオブジェクトチップをクラスに分類する分類手段と、
を備える、画像処理装置。
【請求項２】
前記投影計算手段は、各オブジェクトの投影情報として、レーダー送信機と各オブジェクトとの関係及びレーダー受信機と各オブジェクトとの関係の少なくとも一方に関する３次元ジオメトリ情報を計算する、請求項１に記載の画像処理装置。
【請求項３】
前記投影計算手段は、各オブジェクトの投影情報として、各オブジェクトの入射角度及び各オブジェクトのフォアショートニング方向角度の少なくとも一方を計算する、請求項１に記載の画像処理装置。
【請求項４】
前記投影計算手段は、各オブジェクトの投影情報として２次元ベクトル［θ，σ］を計算し、前記θはそのオブジェクトの入射角度、前記σはそのオブジェクトのフォアショートニング方向角度である、請求項１記載の画像処理装置。
【請求項５】
さらに、コスト計算手段、パラメータ更新手段、及び記憶手段を備え、
前記特徴学習手段は、トレーニングモードにおいて、トレーニングオブジェクトごとに、トレーニングオブジェクトチップと前記トレーニングオブジェクトの２次元ベクトル［θ，σ］との間の関係を学習し、それによってトレーニングオブジェクトチップの学習された特徴（Ｚ＿ｔｒａｉｎ）を生成し、
前記分類手段は、前記トレーニングモードにおけるトレーニングオブジェクトチップの前記学習された特徴（Ｚ＿ｔｒａｉｎ）に基づいてトレーニングオブジェクトチップのクラスを推定し、
前記コスト計算手段は、トレーニングオブジェクトチップの推定されたクラスとそのトレーニングオブジェクトチップの実際のクラスとの間のコストを、トレーニングモードにおけるそれらの間の誤分類誤差として計算し、
前記パラメータ更新手段は、コストが最小化されるように、前記特徴学習手段の特徴学習パラメータ及び前記分類手段の分類パラメータを更新し、
前記パラメータ更新手段は、更新された特徴学習パラメータ及び更新された分類パラメータを前記記憶手段に格納する、請求項４に記載の画像処理装置。
【請求項６】
前記特徴学習手段は、オペレーションモードにおいて、新たに検出された各オブジェクトのオブジェクトチップ及び２次元ベクトル［θ，σ］を入力値として使用し、前記更新された特徴学習パラメータを使用して新たに検出された各オブジェクトチップの学習された特徴（Ｚ）を生成し、
前記分類手段は、前記オペレーションモードにおいて、新たに検出されたオブジェクトチップの前記学習された特徴（Ｚ）を入力値として使用し、前記更新された分類パラメータを使用して新たに検出された各オブジェクトチップをクラスの１つに分類する、請求項５に記載の画像処理装置。
【請求項７】
各オブジェクトチップの画素値を正規化する正規化手段をさらに備える、請求項１乃至６の何れかに記載の画像処理装置。
【請求項８】
投影回転手段と回転正規化手段とをさらに備え、
前記回転正規化手段は、各オブジェクトチップの画素値を正規化し、各オブジェクトチップの配向角度φ'を決定し、その決定した配向角度φ'でそれぞれの正規化されたオブジェクトチップを回転させ、
前記投影回転手段は、各オブジェクトの２次元ベクトル［θ，σ］をその配向角度φ'だけ回転させ、それによって各オブジェクトの新しい２次元ベクトル［θ，σ'］を生成し、σ'は前記フォアショートニング方向角度σから前記配向角度φ'を差し引いた角度である、請求項４乃至６の何れかに記載の画像処理装置。
【請求項９】
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成し；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算し；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成し；
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類する、画像処理方法。
【請求項１０】
コンピュータに画像処理方法を実行させるための画像処理プログラムであって、
画像処理方法は、
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成し；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算し；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成し；
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類する、
画像処理プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。特に、本開示は、ＳＡＲ（合成開口レーダー）画像においてオブジェクト分類を行うための、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
第３の例示的な態様では、画像処理プログラムは、コンピュータに画像処理方法を実行させるための画像処理プログラムであり、画像処理方法は以下を含む：
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成すること；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算すること；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成すること；及び
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類すること。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
（付記１５）
コンピュータに画像処理方法を実行させるための画像処理プログラムであって、
画像処理方法は、
入力されたＳＡＲ画像内のオブジェクトを検出し、オブジェクトチップを生成し；
ＳＡＲジオメトリを使用して各オブジェクトの投影情報を計算し；
各オブジェクトについて、オブジェクトチップとその投影情報との間の関係を学習し、それによってオブジェクトチップの学習された特徴を生成し；
オブジェクトチップの前記学習された特徴に基づいて、オブジェクトチップをクラスに分類する、
画像処理プログラム。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
（付記１６）
各オブジェクトの投影情報は、３次元ジオメトリ情報であり、該３次元ジオメトリ情報は、レーダー送信機と各オブジェクトとの関係及びレーダー受信機と各オブジェクトとの関係の少なくとも一方に関する、付記１５に記載の画像処理プログラム。
【国際調査報告】
2021502557.tif 000019