(57)【特許請求の範囲】
【請求項１】
合成開口技術によりＦＦＴ（高速フーリエ変換）処理されたレーダ画像データを入力する手段と、
入力されたレーダ画像データをＩＦＦＴ（逆高速フーリエ変換）処理する手段と、
前記ＩＦＦＴ処理したデータから画像の設定条件が異なるデータを生成してデータ数を増加させる第１の増加手段と、
前記第１の増加手段で増加させたデータをＦＦＴ処理してレーダ画像データを得る手段と、
前記第１の増加手段で増加させたレーダ画像データから画像の設定条件が異なるレーダ画像データを生成してデータ数を増加させる第２の増加手段と、
前記第２の増加手段で増加させたレーダ画像データをそれぞれ画像中の目標物を示す識別情報とともに入力し、レーダ画像から目標物を認識してその識別情報を導出する深層学習を実行する学習手段と、
を備える画像学習装置。
【請求項２】
前記第１の増加手段は、ＳＡＲ（Ｓｙｎｔｈｅｔｉｃ  Ａｐｅｒｔｕｒｅ  Ｒａｄａｒ：合成開口レーダ）画像データをＩＦＦＴ処理したデータに対する、合成開口時間の調整、複数の低分解能画像を平均化するマルチルック模擬、一定の位相量を加える位相補正ずれ模擬、レンジ軸に一定のシフトを加えるレンジずれ模擬、の少なくとも１つを実行し、
前記第２の増加手段は、ＳＡＲ画像データに対する、スペックルノイズを調整するスペックル模擬を実行する、
請求項１記載の画像学習装置。
【請求項３】
前記第１の増加手段は、ＩＳＡＲ（Ｉｎｖｅｒｓｅ  Ｓｙｎｔｈｅｔｉｃ  Ａｐｅｒｔｕｒｅ  Ｒａｄａｒ：逆合成開口レーダ）画像データをＩＦＦＴ処理したデータに対する、合成開口時間の調整、一定の位相量を加える位相補正ずれ模擬、レンジ軸に一定のシフトを加えるレンジずれ模擬、の少なくとも１つを実行し、
前記第２の増加手段は、ＩＳＡＲ画像データに対する、ドップラ軸の伸縮調整、背景のクラッタノイズを調整する背景クラッタ模擬の少なくとも一方を実行する、
請求項１記載の画像学習装置。
【請求項４】
前記第２の増加手段で増加させたレーダ画像データから、画像にノイズを付加するノイズ付加、画像サイズの拡大または縮小、画像中のトリミング位置を移動させるシフト処理、画像の輝度を調整する輝度調整、の少なくとも１つを実行したレーダ画像データを生成してデータ数を増加させる第３の増加手段をさらに備え、
前記第３の増加手段で増加させたレーダ画像データを前記学習手段に入力して前記深層学習を実行させる、
請求項１乃至３いずれか記載の画像学習装置。
【請求項５】
請求項１乃至４いずれか記載の画像学習装置の学習手段で生成された学習モデルを用いて、レーダ画像データから目標物の識別情報を導出し、出力するレーダ装置。
【請求項６】
合成開口技術によりＦＦＴ（高速フーリエ変換）処理されたレーダ画像データを入力する工程と、
入力されたレーダ画像データをＩＦＦＴ（逆高速フーリエ変換）処理する工程と、
前記ＩＦＦＴ処理したデータから画像の設定条件が異なるデータを生成してデータ数を増加させる第１の増加工程と、
前記第１の増加工程で増加させたデータをＦＦＴ処理してレーダ画像データを得る工程と、
前記第１の増加工程で増加させたレーダ画像データから画像の設定条件が異なるレーダ画像データを生成してデータ数を増加させる第２の増加工程と、
前記第２の増加工程で増加させたレーダ画像データをそれぞれ画像中の目標物を示す識別情報とともに入力し、レーダ画像から目標物を認識してその識別情報を導出する深層学習を実行する学習工程と、
を有する画像学習方法。
【請求項７】
装置が内蔵するコンピュータが実行するプログラムであって、当該コンピュータを、
合成開口技術によりＦＦＴ（高速フーリエ変換）処理されたレーダ画像データを入力する手段と、
入力されたレーダ画像データをＩＦＦＴ（逆高速フーリエ変換）処理する手段と、
前記ＩＦＦＴ処理したデータから画像の設定条件が異なるデータを生成してデータ数を増加させる第１の増加手段と、
前記第１の増加手段で増加させたデータをＦＦＴ処理してレーダ画像データを得る手段と、
前記第１の増加手段で増加させたレーダ画像データから画像の設定条件が異なるレーダ画像データを生成してデータ数を増加させる第２の増加手段と、
前記第２の増加手段で増加させたレーダ画像データをそれぞれ画像中の目標物を示す識別情報とともに入力し、レーダ画像から目標物を認識してその識別情報を導出する深層学習を実行する学習手段と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像学習装置、レーダ装置、画像学習方法、およびプログラムに関する。
【背景技術】
【０００２】
目標の識別精度を高くするために、機械学習技術を用いて複数の学習サンプルのグループによる識別基準を学習するようにした技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２８５５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された技術では、機械学習に用いる学習サンプルとして、目標物である船舶の領域の輪郭形状の特徴を表現する特徴ベクトルの特徴量を、複数のカテゴリに対応してそれぞれカテゴリ毎に事前に複数用意するか、目標が含まれるＩＳＡＲ（Ｉｎｖｅｒｓｅ  Ｓｙｎｔｈｅｔｉｃ  Ａｐｅｒｔｕｒｅ  Ｒａｄａｒ）画像から抽出した特徴ベクトルの特徴量を計算し、計算した特徴量を取得するものとしている。
【０００５】
しかしながら、機械学習を行うためには多数の学習サンプルを事前に用意する必要があり、そのための手間が煩雑となる。
【０００６】
そこで、目的は、合成開口技術を用いたレーダ画像データを用いて目標物を識別するための機械学習を効率よく実行することが可能な画像学習装置、レーダ装置、画像学習方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本実施形態の画像学習装置は、合成開口技術によりＦＦＴ（高速フーリエ変換）処理されたレーダ画像データを入力する手段と、入力されたレーダ画像データをＩＦＦＴ（逆高速フーリエ変換）処理する手段と、前記ＩＦＦＴ処理したデータから画像の設定条件が異なるデータを生成してデータ数を増加させる第１の増加手段と、前記第１の増加手段で増加させたデータをＦＦＴ処理してレーダ画像データを得る手段と、前記第１の増加手段で増加させたレーダ画像データから画像の設定条件が異なるレーダ画像データを生成してデータ数を増加させる第２の増加手段と、前記第２の増加手段で増加させたレーダ画像データをそれぞれ画像中の目標物を示す識別情報とともに入力し、レーダ画像から目標物を認識してその識別情報を導出する深層学習を実行する手段と、を備える
【図面の簡単な説明】
【０００８】
【図１】一実施形態に係るレーダ装置の機能回路構成を示すブロック図。
【図２】同実施形態に係るレーダ画像データを増加させる際の処理内容を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下図面を参照して、一実施形態に係るレーダ装置について説明する。  
図１は、一実施形態に係るレーダ装置１０の機能回路構成を示すブロック図である。レーダ装置１０は、航空機などの移動体に搭載することができる。レーダ装置１０は、送信部１１、サーキュレータ１２、アンテナ１３、受信部１４、信号処理部１５、および表示部１６を備える。
【００１０】
送信部１１が発生したレーダ波信号を、サーキュレータ１２を介してアンテナ１３に送信する。アンテナ１３は、レーダ装置１０を搭載する移動体の外装などに取り付けられた、例えばアレイ状に配列された複数のアンテナ素子からなるフェーズドアレイアンテナで構成される。
【００１１】
アンテナ１３は、送信部１１からサーキュレータ１２を介して送信されてきたレーダ波を空間に放射し、目標から反射されたエコーを含む到来信号を捕捉する。捕捉した到来信号を、サーキュレータ１２を介して受信部１４に出力する。
【００１２】
受信部１４は、到来信号を処理してエコーを含む受信信号を得、得た受信信号を信号処理部１５へ出力する。
【００１３】
信号処理部１５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサがメモリに記憶されたプログラムを実行することにより目標画像データを作成し、作成した目標画像データを表示部１６へ出力する。メモリは、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を用いたワークメモリと、プログラムや各種固定データ、パラメータを記憶するＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の不揮発性メモリとを含む。
【００１４】
信号処理部１５は、より具体的には、合成開口技術を用いたＳＡＲ（Ｓｙｎｔｈｅｔｉｃ  Ａｐｅｒｔｕｒｅ  Ｒａｄａｒ：合成開口レーダ）やＩＳＡＲ（Ｉｎｖｅｒｓｅ  Ｓｙｎｔｈｅｔｉｃ  Ａｐｅｒｔｕｒｅ  Ｒａｄａｒ：逆合成開口レーダ）に基づく信号処理を実行する合成開口処理部１５Ｄを備え、受信部１４から得た受信信号から、地表面上での目標物の形状を示す画像データ（以下「ＳＡＲ画像データ」「ＩＳＡＲ画像データ」と称する）を作成する。
【００１５】
さらに信号処理部１５は、後述する深層学習機能により、作成したＳＡＲ画像データまたはＩＳＡＲ画像データから、画像中の目標物の類識別を実行し、取得した類識別情報をＳＡＲ画像データまたはＩＳＡＲ画像データとともに表示部１６へ送出する類識別処理部１５Ｅを備える。
【００１６】
ここで目標物の類識別情報とは、例えば目標物が船舶であった場合に、同一の設計からなる「級（クラス）」や「型（タイプ）」を示す情報と、船舶の種類を示す情報とを組み合わせた情報を含むものとする。
【００１７】
表示部１６は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）デバイスや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）デバイス等で構成され、信号処理部１５から送られてきたＳＡＲ画像データまたはＩＳＡＲ画像データと類識別情報とを画像化して表示する。
【００１８】
信号処理部１５は、ＳＡＲ画像データまたはＩＳＡＲ画像データから目標物の類識別を行なうに当たって、深層学習技術に基づいて構築された学習モデルを用いるもので、そのために学習モデル保持部１５Ａ、学習部１５Ｂ、画像加工部１５Ｃを備える。
【００１９】
画像加工部１５Ｃは、学習フェーズで与えられる、予め類識別情報が付加されたＳＡＲ画像データまたはＩＳＡＲ画像データに対し、各種設定条件を異ならせて大幅に数を増加させるデータ拡張処理を行って、当該画像データを作成し、数を増加させたＳＡＲ画像データまたはＩＳＡＲ画像データを学習部１５Ｂへ提供する。
【００２０】
学習部１５Ｂは、多数のＳＡＲ画像データまたはＩＳＡＲ画像データから、目標物の類識別を行うための学習モデルを、例えば５層（入力層、中間層Ａ〜Ｃ、および出力層）構造の畳込みニューラルネットワーク（ＣＮＮ）を構築する。
【００２１】
学習モデル保持部１５Ａは、学習フェーズで学習部１５Ｂが構築した学習モデルを随時更新して保持する一方で、類識別フェーズでは、保持している学習モデルを用いて、ＳＡＲ画像データまたはＩＳＡＲ画像データから画像中の目標物の大きさと形状とに基づいた類識別を行って、得た類識別情報をＳＡＲ画像データまたはＩＳＡＲ画像データとともに表示部１６に出力する。
【００２２】
次に本実施形態の動作について説明する。  
図２は、実際のレーダ画像による類識別を行わない学習フェーズにおいて、信号処理部１５の画像加工部１５Ｃが深層学習に必要なレーダ画像データを増加させる、データ拡張の処理内容を示すフローチャートである。当初に画像加工部１５Ｃには、複素ＳＡＲ画像データおよび複素ＩＳＡＲ画像データの少なくとも一方が画像中の目標物を示す類識別情報とともに入力される（ステップＳ０１）。
【００２３】
画像加工部１５Ｃでは、入力されたＳＡＲ画像データおよびＩＳＡＲ画像データを、一旦ＩＦＦＴ（逆高速フーリエ変換）処理して、ＳＡＲ画像処理およびＩＳＡＲ画像処理の前のＩＱデータ化する（ステップＳ０２）。
【００２４】
さらにこのＩＱデータに対して画像数を増加させる各種処理を実行する（ステップＳ０３）。
【００２５】
具体的に、ＳＡＲ処理前のＩＱデータに対して画像加工部１５Ｃは、合成開口時間の調整、マルチルック模擬、位相補正ずれ模擬、およびレンジずれ模擬の少なくとも１つを実行することで、データを増加させる。
【００２６】
合成開口時間の調整は、ＳＡＲ画像処理に用いるデータ量を調整することで、分解能の劣化を模擬するとともに、１枚の画像から複数枚の低分解能の画像を生成できる。
【００２７】
マルチルック模擬は、複数の低分解能の画像を平均化した画像を生成することで、ノイズ低減のためのマルチルック処理を行った状態を模擬できる。
【００２８】
位相補正ずれ模擬は、ＳＡＲ処理前のＩＱデータに対して一定の位相量を加えることで、計測センサの出力に基づいた動揺補正が充分に行えなかった場合に発生する位相ずれを模擬できるもので、ぼけを生じた画像を生成できる。
【００２９】
レンジずれ模擬は、ＳＡＲ処理前のＩＱデータに対してレンジ軸に一定のシフトを加えることで、計測センサの出力に基づいた動揺補正が充分に行えなかった場合に発生するレンジずれを模擬できるもので、ぼけを生じた画像を生成できる。
【００３０】
一方、ＩＳＡＲ処理前のＩＱデータに対して画像加工部１５Ｃは、前述したＳＡＲ画像の元データに対して行う処理と同様に、合成開口時間の調整、位相補正ずれ模擬、およびレンジずれ模擬の少なくとも１つを実行する。
【００３１】
こうしてＳＡＲ処理前のＩＱデータおよびＩＳＡＲ処理前のＩＱデータに対して設定条件を異ならせたデータを多数生成する処理を実行した上で、得たすべてのＩＱデータに対して、それぞれ再度ＦＦＴ処理を施して、ＳＡＲ画像データおよびＩＳＡＲ画像データを得る（ステップＳ０４）。
【００３２】
その後に画像加工部１５Ｃは、画像数を増加させる各種処理を実行する（ステップＳ０５）。
【００３３】
具体的に、ＳＡＲ画像データに対して画像加工部１５Ｃは、レーダ画像特有のスペックルノイズを模擬して重畳するスペックル模擬を実行することで、データを増加させる。
【００３４】
スペックルノイズの模擬は、レイリー分布やワイブル分布などの統計的分布に基づいて乱数を生成し、画像の振幅を調整することで実現できる。
【００３５】
またＩＳＡＲ画像データに対して画像加工部１５Ｃは、ドップラ軸の伸縮調整と、背景クラッタ模擬の少なくとも一方を実行することで、データを増加させる。
【００３６】
ＩＳＡＲ画像は、ドップラ軸方向（一般的に縦軸方向）に伸び縮みする性質がある。そのため、ＩＳＡＲ画像をドップラ軸方向（上下方向）に沿ってのみ伸縮調整した画像を模擬的に生成することで、ＩＳＡＲ画像データの数を増加させることができる。
【００３７】
背景クラッタ模擬に関しては、対象となるクラッタの統計分布から背景のクラッタノイズを生成し、ＩＳＡＲ画像データに重畳する方法や、他のＩＳＡＲ画像データから背景のクラッタノイズのみを抽出して対象のＩＳＡＲ画像データに重畳する方法を採ることで、背景のクラッタノイズを模擬したＩＳＡＲ画像データを増加させることができる。
【００３８】
このようにデータ数を増加させたＳＡＲ画像データおよびＩＳＡＲ画像データに対して、さらに一般的な光学画像を対象に使用されているデータ拡張処理をＳＡＲ画像データおよびＩＳＡＲ画像データに施して、画像データの数をさらに増加させる（ステップＳ０６）。
【００３９】
光学画像のデータ拡張処理としては、例えば画像データにノイズを付加、重畳するノイズ付加、画像サイズの拡大または縮小、画像中のトリミング位置を移動させるシフト処理、画像の輝度を調整する輝度調整等が挙げられる。
【００４０】
これら光学画像向けの各種設定条件を変更、調整してさらにＳＡＲ画像データおよびＩＳＡＲ画像データの数を増加させた上で、それら画像数を増加させたＳＡＲ画像データおよびＩＳＡＲ画像データを、それぞれの画像中に位置する目標物の類識別情報とともに、学習部１５Ｂへ出力し（ステップＳ０７）、以上で図２に示す画像加工部１５Ｃでの処理を一通り終えて、学習部１５Ｂでの深層学習処理に移行する。
【００４１】
学習部１５Ｂでは、画像加工部１５Ｃから入力された十分な数のＳＡＲ画像データおよびＩＳＡＲ画像データを、それぞれ関連付けられている目標物の類識別情報とともに入力して、入力された画像データを教師データとした畳み込みニューラルネットワークによる深層学習を実行する。
【００４２】
学習部１５Ｂでは、深層学習を実行することにより、レーダ画像中の目標物の形状特徴を示す特徴情報を抽出して類識別情報と対応付ける学習モデルを構築する。学習部１５Ｂでニューラルネットワークである学習モデルが構築されると、構築された学習モデルが学習部１５Ｂから学習モデル保持部１５Ａに対して転送され、学習モデル保持部１５Ａでは転送されてきた学習モデルを保持する。
【００４３】
学習モデル保持部１５Ａに保持される学習モデルは、図２を用いて説明した如く、事前に与えられるＳＡＲ画像データおよびＩＳＡＲ画像データを活用して各種設定条件を異ならせた多数のデータとして自動的に増加された上で深層学習を行うことで構築されたものであり、効率よく高い精度で目標物の類識別を行うことができるものとなっている。
【００４４】
実際にレーダ装置１０を用いてレーダ画像から目標物を類識別する類識別フェーズにおいては、送信部１１が発生したレーダ波信号を、サーキュレータ１２を介してアンテナ１３に送信し、アンテナ１３がレーダ波を空間に放射する。アンテナ１３は、目標から反射されたエコーを含む到来信号を捕捉し、捕捉した到来信号をサーキュレータ１２を介して受信部１４に出力する。
【００４５】
受信部１４は、到来信号を処理してエコーを含む受信信号を得、得た受信信号を信号処理部１５へ出力する。信号処理部１５では、受信信号からＳＡＲ画像データまたはＩＳＡＲ画像データを作成する。信号処理部１５は、学習フェーズで構築され、学習モデル保持部１５Ａに保持される学習モデルを用いて、画像中の目標物の大きさと形状とに基づいた類識別処理を実行し、取得した類識別情報をＳＡＲ画像データまたはＩＳＡＲ画像データとともに表示部１６へ送出して、対応する画像を表示させる。
【００４６】
なお、本実施形態では、説明のためにあえて単独の装置であるレーダ装置１０内でレーダ画像の深層学習を行うものとした。しかしながら、実装置に関しては、信号処理部１５は学習部１５Ｂおよび画像加工部１５Ｃを有さず、学習フェーズでの学習モデルの構築は装置外部で行う構成とした方が、より実用的であると考えられる。
【００４７】
この場合、レーダ装置１０ではない外部の装置での処理により構築した学習モデルを、レーダ装置１０の信号処理部１５内の学習モデル保持部１５Ａに転送して保持させた上で、実際のレーダ画像の類識別を行なうこととなる。
【００４８】
そのような運用環境とすることにより、複数のレーダ装置において共通の学習モデルを用いて、ＳＡＲ画像データまたはＩＳＡＲ画像データから、揃って同様に高い精度で目標物の類識別を行なうことが実現できる。
【００４９】
以上詳述した如く本実施形態によれば、合成開口技術を用いたレーダ画像データを用いて目標物を識別するための機械学習を効率よく実行することが可能となる。
【００５０】
また前記実施形態では、ＳＡＲ画像データおよびＩＳＡＲ画像データ共に、ＦＦＴ処理前の元のデータと、ＦＦＴ処理後の双方の状態でそれぞれその状態に応じて各種設定条件を異ならせたデータを作成して増加させるものとしたので、より効率的に学習対象となるレーダ画像データを増加させて、高い学習効果を奏した学習モデルを構築できる。
【００５１】
加えて、合成開口技術に応じて増加されたレーザ画像データに対し、さらに光学画像向けの各種設定条件を異ならせたデータを作成して増加させるものとしたので、より一層、高い学習効果を奏した学習モデルを構築できる。
【００５２】
以上、本発明の実施形態を説明したが、実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。こうした新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５３】
１０…レーダ装置、１１…送信部、１２…サーキュレータ、
１３…アンテナ、１４…受信部、１５…信号処理部、
１５Ａ…学習モデル保持部、１５Ｂ…学習部、１５Ｃ…画像加工部、
１５Ｄ…合成開口処理部、１５Ｅ…類識別処理部、１６…表示部。
【要約】
【課題】ＳＡＲ画像またはＩＳＡＲ画像から目標物を識別するための深層学習を効率よく実行すること。
【解決手段】ＦＦＴ処理されたレーダ画像データを入力し(Ｓ０１)、レーダ画像データをＩＦＦＴ処理し(Ｓ０２)、ＩＦＦＴ処理したデータから画像の設定条件が異なるデータを生成してデータ数を増加させ(Ｓ０３)、増加させたデータをＦＦＴ処理してレーダ画像データを得(Ｓ０４)、増加させたレーダ画像データから画像の設定条件が異なるレーダ画像データを生成してデータ数を増加させる(Ｓ０５)画像加工部(１５Ｃ)と、増加させたレーダ画像データをそれぞれ画像中の目標物を示す類識別情報と共に入力し、レーダ画像から目標物を認識してその類識別情報を導出する深層学習を実行する学習部(１５Ｂ)とを備える。
【選択図】      図２【図１】
0006989680.tif 000002
【図２】
0006989680.tif 000003