(57)【要約】【課題】レーダ画像を対象とした画像識別装置の識別率を向上させる。【解決手段】  データ生成装置は、環境設定手段２００と、モデル設定手段２１０と、画像算出手段２２０と、データ出力手段２３０とを備える。環境設定手段は、合成開口レーダまたは逆合成開口レーダであるレーダの仕様を示すレーダパラメータを設定する。モデル設定手段は、識別する対象物の形状を示す３Ｄモデルを設定する。画像算出手段は、３Ｄモデルと、レーダパラメータとに基づき、模擬画像を算出する。データ出力手段は、模擬画像と、対象物の種類とを関連付けた学習用データを出力する。また、データ出力手段は、レーダ画像と模擬画像との差異を示す差異データを出力する。モデル設定手段は、差異データに基づき入力されたモデル修正データに基づき、３Ｄモデルを変更する。【選択図】図８
2020003379.tif 000002
【特許請求の範囲】
【請求項１】
合成開口レーダまたは逆合成開口レーダであるレーダの仕様を示す第１レーダパラメータを設定する環境設定手段と、
識別する対象物の形状を示す３Ｄモデルを設定するモデル設定手段と、
前記３Ｄモデルと、前記第１レーダパラメータとに基づき、模擬画像を算出する画像算出手段と、
前記レーダにより得られる前記対象物のレーダ画像を保持し、前記レーダ画像と、前記模擬画像との差異を示す差異データを出力するデータ出力手段と、
を備え、
前記モデル設定手段は、前記差異データに基づき入力されたモデル修正データを用いて、前記３Ｄモデルを変更し、
前記環境設定手段は、前記３Ｄモデルが決定されたと判断すると、複数のレーダパラメータを設定し、
前記画像算出手段は、前記複数のレーダパラメータのそれぞれに対応した複数の模擬画像を算出し、
前記データ出力手段は、前記複数の模擬画像と、前記対象物の種類とを関連付けた学習用データを出力し、
前記学習用データは、入力された画像に撮影された物の種類を識別する画像識別装置が学習するためのデータである
データ生成装置。
【請求項２】
前記画像算出手段は、
前記対象物を撮影するときの状況を示す環境パラメータを用いて、前記模擬画像を算出する
請求項１に記載のデータ生成装置。
【請求項３】
前記環境パラメータは、前記対象物の周辺の施設を示す周辺３Ｄモデルを含む
請求項２に記載のデータ生成装置。
【請求項４】
前記対象物は船舶であり、
前記環境パラメータは、波高を含む
請求項２または３に記載のデータ生成装置。
【請求項５】
前記学習用データは、
前記環境パラメータを含み、
前記複数の模擬画像と、前記環境パラメータとを関連付けている
請求項２から４のいずれか１項に記載のデータ生成装置。
【請求項６】
前記画像算出手段は、前記対象物の速度を用いて、前記模擬画像を算出する
請求項１から５のいずれか１項に記載のデータ生成装置。
【請求項７】
前記学習用データは、
前記複数のレーダパラメータを含み、
前記複数のレーダパラメータと、前記複数の模擬画像とを関連付けている
請求項１から６のいずれか１項に記載のデータ生成装置。
【請求項８】
前記第１レーダパラメータは、
前記対象物の鉛直方向と、前記レーダと前記対象物とを結ぶ直線との成す角を示す入射角と、
前記対象物の進行方向と、前記対象物に対する前記レーダの方向との成す角を示す照射方位と
を含む
請求項１から７のいずれか１項に記載のデータ生成装置。
【請求項９】
前記第１レーダパラメータと前記複数のレーダパラメータとは、前記レーダのバンドを含む
請求項１から８のいずれか１項に記載のデータ生成装置。
【請求項１０】
前記環境設定手段は、
前記レーダ画像が撮影されたときの第２レーダパラメータを保持し、
前記模擬画像を算出するために用いた前記第１レーダパラメータと異なる前記第２レーダパラメータを保持している場合、前記第１レーダパラメータと異なる前記第２レーダパラメータを設定し、
前記３Ｄモデルを設定するために用いた前記第１レーダパラメータと異なる前記第２レーダパラメータを保持していない場合、前記３Ｄモデルが決定されたと判断する
請求項１から９のいずれか１項に記載のデータ生成装置。
【請求項１１】
前記データ出力手段は、
前記差異データに基づき、前記レーダ画像と前記模擬画像とで異なる修正位置を検索し、
前記修正位置に対応する前記３Ｄモデルの設定を修正する前記モデル修正データを出力する
請求項１から１０のいずれか１項に記載のデータ生成装置。
【請求項１２】
請求項１から１１のいずれか１項に記載のデータ生成装置で生成した前記学習用データを用いて学習する学習手段と、
前記学習手段の結果に基づき、入力された画像に撮影された物の種類を識別する識別手段と、
を備える画像識別装置。
【請求項１３】
深層学習を用いる請求項１２に記載の画像識別装置。
【請求項１４】
演算装置が実行する、
合成開口レーダまたは逆合成開口レーダであるレーダの仕様を示すレーダパラメータを設定するステップと、
識別する対象物の形状を示す３Ｄモデルを設定するステップと、
前記３Ｄモデルと、前記レーダパラメータとに基づき、模擬画像を算出するステップと、
前記レーダにより得られる前記対象物のレーダ画像と、前記模擬画像との差異を示す差異データを出力するステップと、
前記差異データに基づき入力されたモデル修正データに基づき、前記３Ｄモデルを変更するステップと、
前記３Ｄモデルが決定されたと判断されると、複数のレーダパラメータを設定するステップと、
前記複数のレーダパラメータのそれぞれに対応した複数の模擬画像を算出するステップと、
前記複数の模擬画像と、前記対象物の種類とを関連付けた学習用データを出力するステップと、
を含み、
前記学習用データは、入力された画像に撮影された物の種類を識別する画像識別装置を学習させるためのデータである
データ生成方法。
【請求項１５】
請求項１４に記載のデータ生成方法を演算装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ生成装置、画像識別装置、データ生成方法及びプログラムに関するものである。
【背景技術】
【０００２】
画像に撮影されている対象物を識別する画像識別装置が知られている。例えば、画像識別装置は、対象物が既知のサンプル画像と識別対象の画像とを照合し、最も合致しているサンプル画像を検索する。画像識別装置は、識別対象の画像に撮影されている物を、検索したサンプル画像に対応する対象物であると識別する。
【０００３】
特許文献１には、多数のサンプル画像を必要とする合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ  Ａｐｅｒｔｕｒｅ  Ｒａｄａｒ）または逆合成開口レーダ（ＩＳＡＲ：Ｉｎｖｅｒｓｅ  Ｓｙｎｔｈｅｔｉｃ  Ａｐｅｒｔｕｒｅ  Ｒａｄａｒ）により得られるＳＡＲ画像またはＩＳＡＲ画像に対して、パターンマッチングにより画像を識別する方法が開示されている。この方法は、パターンマッチングの結果に対して、データマイニングとニューラルネットワークとを用いて識別することで、識別率の向上とメモリの削減を図っている。
【０００４】
さらに、特許文献１には、この多数のサンプル画像をシミュレーションにより得ることが記載されている。具体的には、識別すべき対象物の３Ｄモデルを予め用意する。この３Ｄモデルの撮影方向を変更して得られる画像をサンプル画像として利用する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３３１２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＳＡＲ画像またはＩＳＡＲ画像は、船舶の検出には利用されるが、船舶の識別に利用することは難しい。このため、ＳＡＲ画像またはＩＳＡＲ画像に撮影された船舶などを識別することが求められている。
【０００７】
本発明は、以上の状況を鑑みなされたものであり、ＳＡＲ画像またはＩＳＡＲ画像を対象とした画像識別装置の識別率を向上させるための学習用データを提供することを目的の１つとする。他の目的については、以下の記載及び実施の形態の説明から理解することができる。
【課題を解決するための手段】
【０００８】
以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係の一例を示すために、参考として、括弧付きで付加されたものである。よって、括弧付きの記載により、特許請求の範囲は、限定的に解釈されるべきではない。
【０００９】
上記目的を達成するため、本発明の第１の態様に係るデータ生成装置（４０）は、環境設定手段（２００）と、モデル設定手段（２１０）と、画像算出手段（２２０）と、データ出力手段（２３０）とを備える。環境設定手段（２００）は、合成開口レーダまたは逆合成開口レーダであるレーダの仕様を示すレーダパラメータを設定する。モデル設定手段（２１０）は、識別する対象物の形状を示す３Ｄモデルを設定する。画像算出手段（２２０）は、３Ｄモデルと、レーダパラメータとに基づき、模擬画像を算出する。データ出力手段（２３０）は、レーダにより得られる対象物のレーダ画像を保持し、レーダ画像と、模擬画像との差異を示す差異データを出力する。また、モデル設定手段（２１０）は、差異データに基づき入力されたモデル修正データに基づき、３Ｄモデルを変更する。環境設定手段（２００）は、３Ｄモデルが決定されたと判断すると、複数のレーダパラメータを設定する。画像算出手段（２２０）は、複数のレーダパラメータのそれぞれに対応した複数の模擬画像を算出する。データ出力手段（２３０）は、複数の模擬画像と、対象物の種類とを関連付けた学習用データを出力する。このときの学習用データは、入力された画像に撮影された物の種類を識別する画像識別装置（３０）が学習するためのデータである。
【００１０】
本発明の第２の態様に係る画像識別装置は、学習手段（１００）と、識別手段（１１０）とを備える。学習手段（１００）は、前述のデータ生成装置（４０）で生成した学習データを用いて学習する。識別手段（１１０）は、学習手段の結果に基づき、入力された画像に撮影された物の種類を識別する。
【００１１】
本発明の第３の態様に係るデータ生成方法は、演算装置（４３）が実行する以下のステップを含む。
・合成開口レーダまたは逆合成開口レーダであるレーダの仕様を示すレーダパラメータを設定するステップ（Ｓ２００）
・識別する対象物の形状を示す３Ｄモデルを設定するステップ（Ｓ２１０）
・３Ｄモデルとレーダパラメータとに基づき、模擬画像を算出するステップ（Ｓ２２０）
・レーダにより得られる対象物のレーダ画像と、模擬画像との差異を示す差異データを出力するステップ（Ｓ２３０）
・差異データに基づき入力されたモデル修正データに基づき、３Ｄモデルを変更するステップ（Ｓ２１０）
・３Ｄモデルが決定されたと判断されると、複数のレーダパラメータを設定するステップ（Ｓ２５０）
・複数のレーダパラメータのそれぞれに対応した複数の模擬画像を算出するステップ（Ｓ２６０）
・複数の模擬画像と、対象物の種類とを関連付けた学習用データを出力するステップ（Ｓ２７０）
このときの学習用データは、入力された画像に撮影された物の種類を識別する画像識別装置が学習するためのデータである。
【００１２】
本発明の第４の態様に係るプログラム（４６）は、前述のデータ生成方法を演算装置（４３）に実行させるものである。
【発明の効果】
【００１３】
本発明によれば、高い識別率を有する画像識別装置を得るための学習用データを生成することができる。
【図面の簡単な説明】
【００１４】
【図１】レーダ画像を撮影するときの概略図である。
【図２】レーダ画像を撮影するときの入射角を説明するための図である。
【図３】レーダ画像を撮影するときの照射方位を説明するための図である。
【図４】画像識別システムの構成を示す図である。
【図５】画像識別装置の構成を示す図である。
【図６】画像識別プログラムの構成を示す図である。
【図７】データ生成装置の構成を示す図である。
【図８】データ生成プログラムの構成を示す図である。
【図９】データ生成プログラムの処理に関するフロー図である。
【発明を実施するための形態】
【００１５】
合成開口レーダまたは逆合成開口レーダであるレーダにより得られるレーダ画像では、対象物の詳細な形状を把握するのが難しい。このことから、発明者らは、レーダ画像を識別するために、深層学習（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）を用いることが有用であることを見出した。深層学習を用いるためには、多数の学習用画像が必要である。しかし、レーダ画像は高額であるため、実際に撮影されたレーダ画像を多数用意するのは難しい。
【００１６】
３Ｄモデルとシミュレータとを用いることで、多数のレーダ画像の模擬画像（ｓｉｍｕｌａｔｉｏｎ  ｉｍａｇｅ）を得ることができる。しかし、シミュレータを用いて得られる模擬画像は、実際に撮影されたレーダ画像との間で差異が生じる。発明者らは、船舶の形状が詳細に表現されていないレーダ画像において、この差異が識別率に大きく影響することを見出し、本発明に至った。
【００１７】
（実施の形態）
レーダ画像は、対象物を複数の方向から撮影した画像を合成することにより取得される。このため、図１に示すように、人工衛星１は、移動しながら、対象物である船舶３にレーダを照射し、その反射波を受信することでレーダ画像を撮影する。これにより、人工衛星１は、複数の地点から撮影したレーダ画像を取得でき、この複数のレーダ画像を合成することで、レーダ画像を得る。このため、レーダ画像には、移動している対象物、波に揺れている船舶３などの詳細な形状が写りにくい。レーダ画像は、一般に反射波の振幅の大きさを輝度として示している。具体的には、輝度の高い部分は、振幅の大きい位置、言い換えると反射波のエネルギーの大きい位置を示す。
【００１８】
また、レーダ画像は、人工衛星１が船舶３に照射するレーダの角度により、大きく変化する。人工衛星１が船舶３に照射するレーダの角度は、主に入射角αと照射方位βとで規定できる。入射角αは、図２に示すように、人工衛星１と船舶３とを結ぶ直線５、つまり合成開口レーダまたは逆合成開口レーダと船舶３とを結ぶ直線と船舶３の位置における鉛直方向との成す角を示す。照射方位βは、図３に示すように、船舶３の鉛直方向から見たときの、人工衛星１と船舶３とを結ぶ直線５と船舶３の進行方向との成す角を示す。詳細には、照射方位βは、船舶３の進行方向から、船舶３に対する人工衛星１の方向までの時計回りの角度を示す。このため、照射方位βは、０度から３６０度までの範囲である。具体的には、船舶３の進行方向を向いたとき、船舶３に対して人工衛星１が右方向にある場合、照射方位βは０度から１８０度を示す。船舶３に対して人工衛星１が左方向にある場合、照射方位βは１８０度から３６０度を示す。レーダ画像は、同じ船舶３を撮影しても、入射角α、照射方位βに応じて異なる。
【００１９】
このレーダ画像を識別するために、人工衛星１は、図１に示すように、取得したレーダ画像を陸上施設２に送信する。陸上施設２は、受信したレーダ画像を識別する。具体的には、図４に示すように、人工衛星１は、レーダ画像を取得する画像取得装置１０を備える。陸上施設２は、レーダ画像を識別する画像識別システム２０を備える。
【００２０】
画像取得装置１０は、レーダ画像を取得するためのＳＡＲを備える。画像取得装置１０は、ＳＡＲにより得られるレーダ画像を画像識別システム２０に送信する。
【００２１】
画像識別システム２０には、画像識別装置３０と、データ生成装置４０とを備える。画像識別装置３０は、レーダ画像に撮影された物の種類を識別する。データ生成装置４０は、画像識別装置３０の学習に使用する学習用データを生成する。
【００２２】
（画像識別装置）
画像識別装置３０は、図５に示すように、通信装置３１と、入力装置３２と、演算装置３３と、記憶装置３４と、出力装置３５とを備える。通信装置３１は、外部との通信を行い、人工衛星１が送信するレーダ画像などを受信する。通信装置３１は、演算装置３３に接続され、受信したデータを演算装置３３に出力する。また、通信装置３１は、演算装置３３から入力されるデータを外部の装置に送信する。通信装置３１として、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などに接続するＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）、外部装置と直接接続するＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｉｒｉａｌ  Ｂｕｓ）、無線通信を行うためのアンテナなどの種々の装置が例示される。
【００２３】
入力装置３２は、演算に必要となるデータの入力を受け付ける。入力装置３２は、入力されたデータを演算装置３３に出力する。入力装置３２は、キーボード、マウス、マイク、タッチパネルなどの種々の装置が含まれる。
【００２４】
演算装置３３は、記憶装置３４に格納された画像識別プログラム３６を読み出し、画像識別プログラム３６を実行する。また、通信装置３１と入力装置３２とから入力されたデータを必要に応じて、記憶装置３４に格納する。演算装置３３には、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などが含まれる。
【００２５】
記憶装置３４は、画像識別プログラム３６と、演算装置３３が画像識別プログラム３６を実行するために必要なデータとを格納する。記憶装置３４は、演算装置３３からの指示に基づき、格納しているデータを演算装置３３に出力する。記憶装置３４は、読み書き可能な記録媒体、読み出し専用記録媒体などの種々の装置を含む。読み書き可能な記録媒体には、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＵＳＢメモリなどが含まれる。読み出し専用記録媒体には、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）などが含まれる。
【００２６】
出力装置３５は、演算装置３３が実行した処理の結果などを出力する。例えば、出力装置３５には、液晶ディスプレイなどの表示装置が含まれ、演算装置３３が処理した結果を表示する。また、出力装置３５には、スピーカ、警告灯など、ユーザに報知する種々の装置が含まれる。
【００２７】
このように、画像識別装置３０は、記憶装置３４に格納された画像識別プログラム３６に基づき、演算装置３３が処理を行うことで、画像を識別する。このため、画像識別プログラム３６には、図６に示すように、学習手段１００と、識別手段１１０とが含まれる。
【００２８】
学習手段１００は、深層学習を用いてレーダ画像を識別するために、学習する機能を有する。例えば、画像識別プログラム３６には、初期値としてディープニューラルネットワークの構造と、パラメータとが設定されている。このディープニューラルネットワークに、学習用画像を含む多数の学習用データを入力することで、ディープニューラルネットワークの構造とパラメータとを更新する。学習手段１００には、このディープニューラルネットワークの構造とパラメータとの初期値を設定する手段と、更新する手段とが含まれる。
【００２９】
識別手段１１０は、深層学習を用いて、レーダ画像を識別する機能を有する。例えば、識別手段１１０は、学習手段１００により学習されたディープニューラルネットワークを用いて、レーダ画像を識別する。学習手段１００により、ディープニューラルネットワークの構造と、パラメータとは、レーダ画像を識別できるように更新されている。このため、学習したディープニューラルネットワークに、レーダ画像を入力すると、レーダ画像に撮影されている物を識別し、識別した物の種類を示すデータを出力することができる。
【００３０】
このように、画像識別装置３０は、学習用データを用いて学習し、レーダ画像に撮影されている物の種類を識別する。
【００３１】
（データ生成装置）
データ生成装置４０は、図７に示すように、通信装置４１と、入力装置４２と、演算装置４３と、記憶装置４４と、出力装置４５とを備える。通信装置４１と、入力装置４２と、出力装置４５とは、それぞれ、画像識別装置３０の通信装置３１と、入力装置３２と、出力装置３５と同様に機能する。
【００３２】
演算装置４３は、記憶装置４４に格納されたデータ生成プログラム４６を読み出し、データ生成プログラム４６を実行する。また、画像識別装置３０の演算装置３３と同様に、通信装置４１と、入力装置４２とから入力されたデータを必要に応じて、記憶装置４４に格納する。演算装置４３には中央処理装置が含まれる。
【００３３】
記憶装置４４は、データ生成プログラム４６と、演算装置４３がデータ生成プログラム４６を実行するために必要となるデータとを格納する。記憶装置４４は、演算装置４３からの指示に基づき、格納しているデータを演算装置４３に出力する。記憶装置４４は、画像識別装置３０の記憶装置３４と同様に、読み書き可能な記録媒体、読み出し専用記録媒体などの種々の装置を含む。
【００３４】
データ生成プログラム４６は、既知の対象物が撮影されたレーダ画像を用いて、画像識別装置３０が学習するための学習用データを生成する。データ生成プログラム４６は、図８に示すように、環境設定手段２００と、モデル設定手段２１０と、画像算出手段２２０と、データ出力手段２３０とを備える。モデル設定手段２１０は、レーダ画像に撮影された対象物の３Ｄモデルを示すモデルデータを設定する。画像算出手段２２０は、ＳＡＲまたはＩＳＡＲにより得られるレーダ画像を算出するシミュレーションを用いて、３Ｄモデルの模擬画像を算出する。環境設定手段２００は、画像算出手段２２０がシミュレーションを行うためのパラメータを設定する。このパラメータには、レーダの入射角α、照射方位βなどを示すレーダパラメータが含まれる。データ出力手段２３０は、対象物の種類と、算出した模擬画像とを関連付けた学習用データを出力する。
【００３５】
データ生成装置４０を用いて、模擬画像を含む学習用データを生成する方法を示す。データ生成装置４０は、データ生成プログラム４６を実行すると、図９に示すデータ生成方法を実行する。環境設定手段２００は、既知の対象物が撮影されたレーダ画像のレーダパラメータを保持する。ステップＳ２００において、環境設定手段２００により、既知の対象物が撮影されたレーダ画像のレーダパラメータを設定する。レーダパラメータには、入射角α、照射方位βのほか、レーダのバンド、偏波方向、画像分解能などのレーダ特性を示すデータが含まれてもよい。また、複数のレーダ画像がある場合、環境設定手段２００は、第１レーダパラメータセットと、第２レーダパラメータセットとを保持してもよい。この場合、第１レーダパラメータセットは、ステップＳ２１０以降の処理において模擬画像を算出するために既に用いたレーダパラメータが含まれる。第２レーダパラメータセットは、レーダ画像に対応したレーダパラメータが１以上含まれる。環境設定手段２００は、設定したレーダパラメータを、第１レーダパラメータセットに加える。これにより、模擬画像を算出するために用いたレーダパラメータは、第１レーダパラメータセットに含まれる。
【００３６】
ステップＳ２１０において、モデル設定手段２１０を用いて、シミュレータに入力するための３Ｄモデルのモデルデータを設定する。この３Ｄモデルの形状は、レーダ画像に撮影された既知の対象物の形状を示す。また、３Ｄモデルの各部について、想定される材料に応じた反射率を設定する。例えば、金属の部分では反射率を高く設定し、木材などの部分では反射率を低く設定する。モデル設定手段２１０は、３Ｄモデルを作成するためのアプリケーションを提供し、ユーザが入力装置４２に入力するデータに基づき３Ｄモデルを設定する。また、モデル設定手段２１０は、予め用意されている３Ｄモデルを選択してもよい。また、対象物の写真（例えば、光学画像）、図面などに基づき、モデル設定手段２１０が３Ｄモデルを生成してもよい。
【００３７】
ステップＳ２２０において、画像算出手段２２０は、設定された３ＤモデルにＳＡＲを照射することで得られる模擬画像を算出する。画像算出手段２２０は、３Ｄモデルと、レーダパラメータとに基づき、シミュレーションを実行する。シミュレーションの実行結果として、模擬画像が算出される。
【００３８】
データ出力手段２３０は、既知の対象物が撮影されたレーダ画像を保持している。ステップＳ２３０において、データ出力手段２３０は、画像算出手段２２０が算出した模擬画像と、対象物が撮影されたレーダ画像とを出力装置４５に出力する。模擬画像とレーダ画像とは、比較を容易にするため、並べて表示される。ユーザは、模擬画像とレーダ画像とを比較する。模擬画像がレーダ画像と異なる場合は、３Ｄモデルの大きさ、アスペクト比、詳細な形状、各部の反射率などを修正するためのモデル修正データをユーザが入力し、ステップＳ２１０に移行する。ステップＳ２１０では、モデル修正データに基づき、３Ｄモデルを修正する。例えば、同じ位置において、レーダ画像の輝度と、模擬画像の輝度とを比較する。レーダ画像の輝度の方が高い場合、その位置に対応する３Ｄモデルの反射率を高くする。レーダ画像の輝度の方が低い場合、その位置に対応する３Ｄモデルの反射率を低くする。また、レーダ画像の輝度と、模擬画像との輝度との差が許容できる場合、差がないものとして判断する。このように３Ｄモデルを調整することで、船舶３の金属ワイヤー、金属部材などの詳細な部分に対応した反射率を設定することができる。例えば、金属ワイヤーには、船舶３の通信用アンテナ、落下防止の金属柵などが含まれる。金属部材には、木造船の金属補強材や接続材などが含まれる。模擬画像とレーダ画像とで差がない場合、または、差が許容できる場合、処理はステップＳ２４０に移行する。
【００３９】
ステップＳ２４０において、環境設定手段２００は、他のレーダパラメータによるレーダ画像があるかを判断する。他のレーダパラメータによるレーダ画像がある場合、ステップＳ２００に戻り、レーダパラメータを変更する。変更したレーダパラメータと、これに対応するレーダ画像とに基づき、ステップＳ２１０からステップＳ２３０を実行し、３Ｄモデルを修正する。他のレーダパラメータによるレーダ画像がない場合、環境設定手段２００は、３Ｄモデルが決定されたと判断し、ステップＳ２５０に移行する。具体的には、環境設定手段２００は、第２レーダパラメータセットに含まれるレーダパラメータが、すべて第１レーダパラメータセットに含まれるかを確認する。第１レーダパラメータセットには、模擬画像の算出に一度設定したレーダパラメータが含まれる。一方、第２レーダパラメータセットには、既存のレーダ画像に対応したレーダパラメータが含まれる。このため、第１レーダパラメータセットに含まれないレーダパラメータが、第２レーダパラメータセットに含まれる場合、処理はステップＳ２００に戻り、このレーダパラメータを設定する。この結果、まだ模擬画像の算出に利用していないレーダパラメータを用いて、３Ｄモデルの修正を行う。第１レーダパラメータセットに含まれないレーダパラメータが、第２レーダパラメータセットにない場合、処理はステップＳ２５０に移行する。これにより、既存のレーダ画像に対応したすべてのレーダパラメータについて、３Ｄモデルを設定することができる。なお、複数のレーダパラメータに対して、３Ｄモデルを修正する必要がない場合、この処理を省略してもよい。
【００４０】
このステップＳ２４０により、実際に撮影されるレーダ画像と模擬画像との差異は小さくなる。一方向からのレーダ画像では、影になり撮影されていない部分が含まれる。また、レーダのバンドが異なる場合、材料に応じて反射率が変化する。このため、複数のレーダパラメータによるレーダ画像を用いて３Ｄモデルを設定することで、対象物のより詳細な構造を３Ｄモデルに設定することができる。よって、より詳細な構造が設定された３Ｄモデルを用いて、模擬画像が生成される。この結果、この模擬画像を用いて学習した画像識別装置３０は、高い識別率を有する。
【００４１】
ステップＳ２５０において、環境設定手段２００は、３Ｄモデルに照射するＳＡＲのレーダパラメータを複数設定する。例えば、３Ｄモデルを設定するときに使用した各バンドの値と、任意の入射角αの値と、任意の照射方位βの値とを組み合わせて、複数のレーダパラメータを設定する。
【００４２】
ステップＳ２６０において、画像算出手段２２０は、環境設定手段２００が設定した複数のレーダパラメータのそれぞれに対応した複数の模擬画像を算出する。つまり、画像算出手段２２０は、１つのレーダパラメータに対して、１つの模擬画像を算出する。
【００４３】
ステップＳ２７０において、データ出力手段２３０は、画像算出手段２２０が算出した模擬画像と、対象物の種類を示すデータとを含む学習用データを出力する。学習用データでは、模擬画像と、対象物の種類を示すデータとが関連付けられている。
【００４４】
画像識別装置３０は、データ出力手段２３０が出力した学習用データを用いて、深層学習を行う。データ出力手段２３０が出力する学習用データは、対象物のレーダ画像との差が小さい。このため、画像識別装置３０は、この学習用データを用いて深層学習を行うことで、高い識別率を得ることができる。
【００４５】
また、学習用データに、入射角αの値、レーダのバンドの値などのレーダパラメータを含めてもよい。この場合、模擬画像と、模擬画像の算出に用いたレーダパラメータと、対象物の種類を示すデータとは、関連付けられている。レーダのバンドの値などのレーダパラメータは、レーダ画像の仕様であるため、撮影したレーダ画像により決定される。このため、識別手段１１０によりレーダ画像を識別するときに、画像識別装置３０にレーダパラメータを入力することができる。つまり、画像識別装置３０を学習するときにレーダパラメータを入力することで、レーダパラメータも用いて、レーダ画像を識別することができる。このため、画像識別装置３０の識別率を向上することができる。
【００４６】
画像算出手段２２０は、船舶３の動揺、速度などの状態の変化に応じた模擬画像を算出してもよい。例えば、船舶３の速度が速い場合、船舶３は進行方向に伸びた形状でレーダ画像に撮影される。このため、画像算出手段２２０は、人工衛星１の速度と、船舶３の速度とに応じて、船舶３の位置を変更したレーダ画像を算出し、合成することで模擬画像を算出してもよい。
【００４７】
また、船舶３が接岸している場合、隣接する港湾施設により船舶輪郭が不鮮明になる。このため、画像算出手段２２０は、船舶３だけでなく湾岸設備の周辺３Ｄモデルを示すデータを含めて、模擬画像を算出してもよい。さらに、波が高い場合に船舶３の動揺により不鮮明となるため、画像算出手段２２０は、船舶３の動揺を設定し、模擬画像を算出してもよい。また、船舶３の喫水線の位置を設定し、模擬画像を算出してもよい。
【００４８】
また、画像算出手段２２０は、シミュレーションにより模擬画像を算出した後に、船舶３の動揺、速度などに基づき、模擬画像を修正してもよい。例えば、高い波により船舶３が動揺している場合、または、船舶３が接岸している場合に、模擬画像の船舶３の輪郭にノイズを追加してもよい。また、船舶３の速度が速い場合、船舶３が進行方向に伸びるように模擬画像を修正してもよい。
【００４９】
モデル設定手段２１０は、レーダ画像に撮影された対象物が移動しているときに、ステップＳ２１０において、対象物の速度を設定してもよい。この場合、画像算出手段２２０は、ステップＳ２２０において、設定された速度を反映したシミュレーションを行い、模擬画像を算出する。これにより、レーダ画像に撮影されている対象物が移動していても、模擬画像とレーダ画像とを容易に比較することができる。言い換えると、３Ｄモデルをより詳細に設定することができる。結果として、画像識別装置３０の識別率を向上することができる。
【００５０】
また、レーダ画像に撮影された対象物が湾岸設備に停泊している場合、ステップＳ２１０において、湾岸設備の周辺３Ｄモデルを示すデータを設定してもよい。この場合、画像算出手段２２０は、ステップＳ２２０において、設定された湾岸設備の３Ｄモデルと対象物の３Ｄモデルとを配置して、模擬画像を算出する。算出した模擬画像とレーダ画像とを比較し、３Ｄモデルを修正することで、３Ｄモデルをより詳細に設定することができる。
【００５１】
また、ステップＳ２１０において、波高、喫水線の位置などを設定してもよい。この場合、画像算出手段２２０は、ステップＳ２２０において、設定した喫水線になるように対象物の３Ｄモデルを配置し、波高に応じて対象物に動揺を加えて、模擬画像を算出する。さらに、画像算出手段２２０は、波高、波の周期などによる海面の変化を加えて、模擬画像を算出してもよい。
【００５２】
このように、モデル設定手段２１０が対象物とその周囲の状況を設定することで、算出された模擬画像とレーダ画像との比較を容易にすることができる。このため、対象物の３Ｄモデルを詳細に設定することができる。詳細に設定された３Ｄモデルを用いて、学習用データに含まれる模擬画像を算出することができるため、この学習用データを用いて学習した画像識別装置３０は高い識別力を有する。
【００５３】
また、対象物の速度、湾岸施設などの周囲の施設、波高、喫水線などを変化させた模擬画像を算出し、学習用データに含めてもよい。これにより、対象物の種々の状況に応じた学習用データを得ることができるため、この学習用データを用いて学習した画像識別装置３０は高い識別力を有する。さらに、人工衛星１と対象物との距離を変化させた模擬画像を算出し、学習用データに含めてもよい。また、波高、波の周期、人工衛星１と対象物との距離などレーダ画像を撮影したときの状況として取得可能なデータを含む環境パラメータを学習データに含めてもよい。この場合、環境パラメータと、模擬画像と、対象物の種類を示すデータとは関連付けられている。
【００５４】
（変形例）
上記実施の形態では、人工衛星１がレーダ画像を撮影する例を示したが、これに限定されない。レーダ画像を撮影することができれば、任意の方法を選択することができる。例えば、航空機などの飛行体、または、地上施設がレーダ画像を撮影してもよい。
【００５５】
また、対象物として、船舶３を例示して説明したが、レーダ画像で撮影可能な物であれば任意に選択することができる。例えば、対象物として、車両、航空機、陸上施設などが例示される。
【００５６】
上記実施の形態では、データ出力手段２３０は、差異データとして、レーダ画像と模擬画像とを出力する例を示したが、これに限定されない。ユーザがレーダ画像と模擬画像との差異を確認できればよく、任意の方法を選択することができる。例えば、データ出力手段２３０は、レーダ画像と模擬画像とを比較し、異なる領域を強調表示した画像を出力してもよい。また、レーダ画像と模擬画像との輝度の差異を、輝度として示す画像を出力してもよい。
【００５７】
上記実施の形態では、ステップＳ２３０において、ユーザが差異データに基づきモデル修正データを入力する例を示したが、これに限定されない。データ出力手段２３０は、差異データに基づき、モデル修正データを出力してもよい。具体的には、データ出力手段２３０は、レーダ画像の位置と、それに対応する模擬画像の位置とにおいて、輝度の差を算出する。次に、算出された輝度の差が予め決められた閾値より大きい位置を検索する。データ出力手段２３０は、検索した位置に対応する３Ｄモデルの反射率を修正するモデル修正データを出力する。このように、データ出力手段２３０は、レーダ画像の輝度と模擬画像の輝度とで異なる位置を修正位置として検索し、修正位置に対応する３Ｄモデルの設定を変更するモデル修正データを出力してもよい。
【００５８】
以上において説明した処理は一例であり、各ステップの順番、処理内容は、機能を阻害しない範囲で変更してもよい。また、説明した構成は、機能を阻害しない範囲で、任意に変更してもよい。例えば、人工衛星１は各地点で撮影した画像のデータを陸上施設２に送信し、陸上施設２において各画像を合成したＳＡＲ画像を算出してもよい。また、画像識別装置３０の機能と、データ生成装置４０の機能とを有する１つの装置で実行してもよい。画像識別装置３０の機能と、データ生成装置４０の機能とを複数の装置で実行してもよい。データ生成装置４０は、入力装置４２と出力装置４５とを備えなくてもよい。この場合、通信装置４１は、入力装置４２と出力装置４５とを備える外部装置と通信し、入力データの受信と出力データの送信を行う。画像識別装置３０も同様に、入力装置３２と出力装置３５とを備えなくてもよい。また、画像識別装置３０は、深層学習に限らず、種々の識別方法を選択してもよい。また、画像識別装置３０は、物の種類とともに、対象物の速度を示すデータなどの環境パラメータの一部または全部を識別してもよい。速度を示すデータなどの環境パラメータを識別することで、対象物の種類に対して速度などが明らかにおかしい結果を排除することができる。
【符号の説明】
【００５９】
１  人工衛星
２  陸上施設
３  船舶
５  人工衛星と船舶とを結ぶ直線
１０  画像取得装置
２０  画像識別システム
３０  画像識別装置
３１  通信装置
３２  入力装置
３３  演算装置
３４  記憶装置
３５  出力装置
３６  画像識別プログラム
４０  データ生成装置
４１  通信装置
４２  入力装置
４３  演算装置
４４  記憶装置
４５  出力装置
４６  データ生成プログラム
１００  学習手段
１１０  識別手段
２００  環境設定手段
２１０  モデル設定手段
２２０  画像算出手段
２３０  データ出力手段
α  入射角
β  照射方位
【図１】
2020003379.tif 000003
【図２】
2020003379.tif 000004
【図３】
2020003379.tif 000005
【図４】
2020003379.tif 000006
【図５】
2020003379.tif 000007
【図６】
2020003379.tif 000008
【図７】
2020003379.tif 000009
【図８】
2020003379.tif 000010
【図９】
2020003379.tif 000011