(57)【要約】  教師データ生成装置（１）は、対象物体が撮影された複数の実画像を取得する実画像取得部（１１）と、対象物体の複数の模擬画像を生成する模擬画像生成部（１２）と、実画像に類似した模擬画像と実画像との画像ペアを生成する画像ペア生成部（１３）と、実画像ごとに生成された画像ペアを用いて、模擬画像を実画像に調和した画像に変換する予測モデル（Ｅ）の学習を行う学習モデル生成部（１４）を備える。
2021038678.tif 000002
【特許請求の範囲】
【請求項１】
対象物体が撮影された複数の実画像を取得する実画像取得部と、
前記実画像ごとの撮影条件および前記対象物体の向きを示す情報を用いて前記対象物体の複数の模擬画像を生成する模擬画像生成部と、
画像の類似度の指標に基づいて、複数の前記模擬画像から、前記実画像に類似した前記模擬画像を選択し、選択した前記模擬画像と当該実画像との画像ペアを生成する画像ペア生成部と、
前記実画像ごとに生成された前記画像ペアを用いて、前記模擬画像を前記実画像に調和した画像に変換する学習モデルの学習を行う学習モデル生成部と、
を備えたことを特徴とする教師データ生成装置。
【請求項２】
前記実画像取得部は、複数の前記実画像から前記対象物体の小画像をそれぞれ抽出し、抽出した前記小画像ごとに複数のパターンの前記小画像を生成し、
前記画像ペア生成部は、前記実画像取得部によって生成された複数の前記小画像を前記実画像として扱って前記画像ペアを生成すること
を特徴とする請求項１記載の教師データ生成装置。
【請求項３】
前記画像ペア生成部は、前記画像ペアの前記実画像から前記対象物体を除いた背景画像を抽出し、抽出した背景画像を当該画像ペアの前記模擬画像に付加し、
前記学習モデル生成部は、前記画像ペア生成部によって背景画像が付加された前記模擬画像を含む前記画像ペアを用いて、前記学習モデルの学習を行うこと
を特徴とする請求項２記載の教師データ生成装置。
【請求項４】
前記学習モデル生成部は、敵対的生成ネットワークに基づく前記学習モデルを生成すること
を特徴とする請求項１から請求項３のいずれか１項記載の教師データ生成装置。
【請求項５】
複数の前記実画像における前記模擬画像の埋め込み位置をそれぞれ決定する位置決定部と、
前記実画像における前記埋め込み位置から背景画像を抽出し、抽出した背景画像を前記模擬画像に付加する背景付加部と、
前記学習モデルを用いて、前記背景付加部によって背景画像が付加された前記模擬画像を、前記実画像に調和した画像に変換する画像変換部と、
前記画像変換部によって変換された画像を、前記実画像の前記埋め込み位置に埋め込む埋め込み部と、
を備えたことを特徴とする請求項４記載の教師データ生成装置。
【請求項６】
実画像取得部が、対象物体が撮影された複数の実画像を取得するステップと、
模擬画像生成部が、前記実画像ごとの撮影条件および前記対象物体の向きを示す情報を用いて、前記対象物体の複数の模擬画像を生成するステップと、
画像ペア生成部が、画像の類似度の指標に基づいて、複数の前記模擬画像から、前記実画像に類似した前記模擬画像を選択し、選択した前記模擬画像と当該実画像の画像ペアとを生成するステップと、
学習モデル生成部が、前記実画像ごとに生成された前記画像ペアを用いて、前記模擬画像を前記実画像に調和した画像に変換する学習モデルの学習を行うステップと、
を備えたことを特徴とする教師データ生成方法。
【請求項７】
前記実画像取得部が、複数の前記実画像から前記対象物体の小画像をそれぞれ抽出し、抽出した前記小画像ごとに複数のパターンの前記小画像を生成し、
前記画像ペア生成部が、前記実画像取得部によって生成された複数の前記小画像を前記実画像として扱って前記画像ペアを生成すること
を特徴とする請求項６記載の教師データ生成方法。
【請求項８】
前記画像ペア生成部が、前記画像ペアの前記実画像から前記対象物体を除いた背景画像を抽出し、抽出した背景画像を当該画像ペアの前記模擬画像に付加し、
前記学習モデル生成部が、前記画像ペア生成部によって背景画像が付加された前記模擬画像を含む前記画像ペアを用いて、前記学習モデルの学習を行うこと
を特徴とする請求項７記載の教師データ生成方法。
【請求項９】
前記学習モデル生成部は、敵対的生成ネットワークに基づく前記学習モデルを生成すること
を特徴とする請求項６から請求項８のいずれか１項記載の教師データ生成方法。
【請求項１０】
位置決定部が、複数の前記実画像における前記模擬画像の埋め込み位置をそれぞれ決定するステップと、
背景付加部が、前記実画像における前記埋め込み位置から背景画像を抽出し、抽出した背景画像を前記模擬画像に付加するステップと、
画像変換部が、前記学習モデルを用いて、前記背景付加部によって背景画像が付加された前記模擬画像を前記実画像に調和した画像に変換するステップと、
埋め込み部が、前記画像変換部によって変換された画像を、前記実画像の前記埋め込み位置に埋め込むステップと、
を備えたことを特徴とする請求項９記載の教師データ生成方法。
【請求項１１】
対象物体が撮影された複数の実画像のそれぞれにおける模擬画像の埋め込み位置を決定する位置決定部と、
前記実画像ごとの撮影条件および前記対象物体の向きを示す情報を用いて前記対象物体の複数の前記模擬画像を生成する模擬画像生成部と、
前記実画像における前記埋め込み位置から背景画像を抽出し、抽出した背景画像を前記模擬画像に付加する背景付加部と、
前記模擬画像を前記実画像に調和した画像に変換するための学習モデルを用いて、前記背景付加部によって背景画像が付加された前記模擬画像を変換する画像変換部と、
前記画像変換部によって変換された画像を前記埋め込み位置に埋め込む埋め込み部と、
前記画像変換部によって変換された画像が埋め込まれた前記実画像を用いて、画像から前記対象物体を検出する検出モデルの学習を行う検出モデル生成部と、
を備えたことを特徴とする学習装置。
【請求項１２】
請求項１１記載の学習装置によって生成された前記検出モデルを用いて、画像から前記対象物体を検出する物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、教師データ生成装置、教師データ生成方法、学習装置および物体検出装置に関する。
【背景技術】
【０００２】
近年、画像から必要な情報のみを自動的に抽出する技術が普及している。例えば、機械学習を用いて画像から対象物体を高精度に検出するためには、画像中の物体が特定された教師データを多数用意する必要がある。しかしながら、レーダ画像のように、撮影の手間および頻度の関係上、多くのパターンのレーダ画像を収集することが困難な場合がある。これに対して、例えば、特許文献１には、既知の目標体（対象物体）のモデル情報を基に模擬レーダ画像を作成し、実レーダ画像（実画像）に加え、模擬レーダ画像（模擬画像）を、教師データとして利用する装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２１０２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された装置は、多数作成した模擬画像を教師データとして扱うことができるが、実画像との類似度合いが低い模擬画像であっても教師データとされる可能性がある。実画像に調和していない単一画風の画像のみを教師データとした学習モデルを用いると、実画像から対象物体を検出する精度が低下するという課題があった。【０００５】
本発明は上記課題を解決するものであり、実画像に調和した画像を教師データとして生成することができる教師データ生成装置、教師データ生成方法、学習装置および物体検出装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る教師データ生成装置は、対象物体が撮影された複数の実画像を取得する実画像取得部と、実画像ごとの撮影条件および対象物体の向きを示す情報を用いて、対象物体の複数の模擬画像を生成する模擬画像生成部と、画像の類似度の指標に基づいて、複数の模擬画像から、実画像に類似した模擬画像を選択し、選択した模擬画像と当該実画像との画像ペアを生成する画像ペア生成部と、実画像ごとに生成された画像ペアを用いて、模擬画像を実画像に調和した画像に変換する学習モデルの学習を行う学習モデル生成部を備える。
【発明の効果】
【０００７】
本発明によれば、対象物体が撮影された複数の実画像を取得し、対象物体の複数の模擬画像を生成し、画像の類似度の指標に基づいて、複数の模擬画像から、実画像に類似した模擬画像を選択し、選択した模擬画像と当該実画像との画像ペアを生成し、実画像ごとに生成された画像ペアを用いて、模擬画像を実画像に調和した画像に変換する学習モデルの学習を行う。この学習モデルを用いることで、実画像に調和した画像を教師データとして生成することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る教師データ生成装置の構成を示すブロック図である。
【図２】実施の形態１に係る教師データ生成方法を示すフローチャートである。
【図３】図２の詳細な処理を示すフローチャートである。
【図４】実画像における対象物体の位置および向きを示す図である。
【図５】対象物体が撮影されている小画像を実画像から抽出する処理の概要を示す概要図である。
【図６】図６Ａは、対象物体における電波の直接反射を模擬した模擬画像を示す図であり、図６Ｂは、対象物体における電波の直接反射、一次反射および二次反射を模擬した模擬画像を示す図であり、図６Ｃは、対象物体における電波の直接反射、一次反射および二次反射を模擬し、対象物体の影を再現した模擬画像を示す図である。
【図７】図７Ａは、模擬画像の例を示す図であり、図７Ｂは、模擬画像の別の例を示す図である。
【図８】実画像とこれに類似した模擬画像との画像ペアの例を示す図である。
【図９】図９Ａは、実画像のイメージを示すイメージ図であり、図９Ｂは、図９Ａの実画像に類似する模擬画像に背景画像を付加した画像のイメージを示すイメージ図である。
【図１０】図１０Ａは、実画像のイメージを示すイメージ図であり、図１０Ｂは、模擬画像および背景画像のイメージを示すイメージ図である。
【図１１】予測モデルを用いた模擬画像のスタイル変換の概要を示す概要図である。
【図１２】予測モデルを用いてスタイル変換された模擬画像を示す図である。
【図１３】図１３Ａは、実施の形態１に係る教師データ生成装置の機能を実現するハードウェア構成であり、図１３Ｂは、実施の形態１に係る教師データ生成装置の機能を実現するソフトウェアを実行するハードウェア構成である。
【図１４】実施の形態２に係る教師データ生成装置および学習装置の構成を示すブロック図である。
【図１５】実施の形態２に係る教師データ生成方法を示すフローチャートである。
【図１６】実施の形態２における教師データ生成の概要を示す概要図である。
【図１７】実施の形態２に係る学習装置の変形例の構成を示すブロック図である。
【図１８】実施の形態２に係る物体検出装置の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、実施の形態１に係る教師データ生成装置１の構成を示すブロック図であって、例えば、合成開口レーダ（以下、ＳＡＲと記載する）の実画像Ａ、物体位置情報Ｂ、物体角度情報Ｃおよび撮影条件情報Ｄを用いて予測モデルＥを生成する教師データ生成装置１を示している。実画像Ａは、ＳＡＲの実際の撮影で得られたＳＡＲ画像であり、例えば、対象物体で反射した電波の受信信号の位相および振幅のデータを、画素ごとに有した画像である。また、物体位置情報Ｂは、実画像Ａにおける対象物体の位置を示す情報であり、物体角度情報Ｃは、実画像Ａにおける対象物体の向きを示す角度情報である。すなわち、実画像Ａは、画像上の対象物体の位置および向きが既知である。撮影条件情報Ｄは、ＳＡＲで対象物体が撮影されたときの撮影条件を示す情報である。予測モデルＥは、画像データである教師データを生成する学習モデルである。
【００１０】
例えば、飛翔体に搭載されたＳＡＲ装置は、飛行している飛翔体から地表に向けて電波を照射し、地表または対象物体で反射された電波を受信して、受信した電波の受信信号に基づいて、対象物体が撮影された画像（ＳＡＲ画像）を生成する。飛翔体には、人工衛星、航空機またはドローンがあり、対象物体は、飛行している飛翔体よりも低空に存在する物体であればよく、例えば、飛翔体よりも低空を飛行する航空機、水上を移動する船舶、地上を移動する鉄道または車両がある。
【００１１】
機械学習を用いてＳＡＲの広域画像（実画像）から対象物体を高精度に検出するためには、機械学習用の教師データを大量に確保する必要がある。ＳＡＲの実画像においては、電波の照射方向と対象物体の向きとの関係が異なると、同一の対象物体が撮影された画像であってもその見た目が大きく変わってしまう。また、ＳＡＲでは、一つの対象物体について様々な角度から撮影することが困難である。このため、ＳＡＲの実画像のみを教師データとして用いるには限界がある。
【００１２】
そこで、教師データ生成装置１では、対象物体における電波の反射を模擬することで、対象物体が撮影されている実画像に対応する模擬画像を生成する。このとき、実画像との類似度合いが低い模擬画像を教師データとして用いた学習モデルでは、実画像から対象物体を検出する精度が低下する。これに対し、教師データ生成装置１は、教師データとして扱う模擬画像を実画像に調和した画像に変換する予測モデルＥを生成する。これにより、実画像に調和した画像を教師データとして用いることができる。なお、調和とは、模擬画像における実画像との外見上の相違が緩和されることを意味する。従って、実画像を教師データとして大量に用意できない場合であっても、実画像に調和した画像を教師データとして大量に生成することで、物体検出または物体識別の精度を格段に向上させることが可能である。
【００１３】
また、教師データ生成装置１は、図１に示すように、実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４を備える。また、実画像取得部１１は、小画像抽出部１１ａおよびデータ拡張部１１ｂを備える。また、画像ペア生成部１３は、背景付加部１３ａを備える。
【００１４】
図２は、実施の形態１に係る教師データ生成方法を示すフローチャートであり、教師データ生成装置１によって予測モデルＥが生成されるまでの一連の処理を示している。
実画像取得部１１は、ＳＡＲによって対象物体が撮影された複数の実画像Ａを取得する（ステップＳＴ１）。ＳＡＲによって撮影された実画像Ａは広域画像であるので、実画像取得部１１は、物体位置情報Ｂが示す実画像Ａ上の対象物体の位置に基づいて、対象物体の画像部分を小画像として抽出する。
【００１５】
物体位置情報Ｂは、複数の実画像Ａのうち、対象物体が撮影されている実画像Ａに対応して設けられ、一つの実画像Ａに複数の対象物体が撮影されていた場合、物体位置情報Ｂには、当該実画像Ａにおける対象物体ごとの位置が設定される。物体角度情報Ｃは、物体位置情報Ｂが位置を示す対象物体と一対一に対応する。すなわち、物体角度情報Ｃは、複数の実画像Ａのうち、対象物体が撮影されている実画像Ａに対応して設けられ、一つの実画像Ａに複数の対象物体が撮影されていた場合、物体角度情報Ｃには、当該実画像Ａにおける対象物体ごとの向きが設定される。
【００１６】
実画像取得部１１は、実画像Ａから抽出した小画像と、この小画像における対象物体の向きを示す物体角度情報Ｃとを対応付ける。例えば、小画像抽出部１１ａが、物体位置情報Ｂを用いて、複数の実画像Ａから対象物体の画像部分を小画像としてそれぞれ抽出し、抽出した小画像と物体角度情報Ｃとを対応付ける。データ拡張部１１ｂは、小画像に対応付けられた物体角度情報Ｃが示す対象物体の向きを基準として、当該小画像を微少量回転させた複数のパターンの小画像を生成する。すなわち、複数のパターンの小画像は、基準となった小画像ごとに生成される。このように実画像Ａのデータ数を増大させることを、データ拡張と呼んでいる。
【００１７】
模擬画像生成部１２は、複数の実画像（小画像）のそれぞれに対応する物体角度情報Ｃおよび撮影条件情報Ｄを用いて、対象物体の複数の模擬画像を生成する（ステップＳＴ２）。例えば、模擬画像生成部１２は、小画像ごとの物体角度情報Ｃと撮影条件情報Ｄを用いて、ＳＡＲ装置から対象物体への電波の照射角度と、小画像上で対象物体がなす角度（向き）とを算出し、算出した角度情報と、予め設定された対象物体の３次元モデル情報とを用いて、小画像に対応する模擬画像を生成する。
【００１８】
また、模擬画像生成部１２は、一つの小画像の物体角度情報Ｃおよび撮影条件情報Ｄに対して複数のパターンの模擬画像が生成される。例えば、模擬画像生成部１２は、前述のように算出した角度情報を基準として、当該角度情報が示す角度を微少量ずつ変化させた模擬画像を順次生成する。これにより、例えば、一つの小画像につき１０パターン程度の模擬画像が生成される。
【００１９】
模擬画像生成部１２は、設定された撮影条件の動作を模擬して模擬画像を生成する画像シミュレータである。例えば、画像シミュレータが、ＳＡＲ装置から照射した電波の対象物体における直接反射の成分（１）、一次反射の成分（２）、二次反射の成分（３）および対象物体の影の成分（４）を別々に出力可能である場合、模擬画像生成部１２は、これらの成分の組み合わせから、２４＝１６のパターンの模擬画像を生成することができる。
【００２０】
画像ペア生成部１３は、画像の類似度の指標に基づいて、複数の模擬画像から実画像（小画像）に類似した模擬画像を選択し、選択した模擬画像と実画像（小画像）との画像ペアを、実画像（小画像）ごとに生成する（ステップＳＴ３）。ここで、一つの画像ペアを生成するために、一つの小画像に類似した模擬画像を選択する処理は、物体角度情報Ｃおよび撮影条件情報Ｄによらず、模擬画像生成部１２によって生成された全ての模擬画像に対して行われる。
【００２１】
画像の類似度の指標としては、例えば、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ  Ｓｉｍｉｌａｒｉｔｙ）またはＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）がある。画像ペア生成部１３は、模擬画像生成部１２によって生成された複数の模擬画像と、実画像Ａから抽出された小画像との画像ペアをそれぞれ作成し、複数の画像ペアからＳＳＩＭまたはＰＳＮＲが最も高い画像ペアを抽出する。画像ペア生成部１３は、画像ペアを、小画像の数だけ生成する。小画像は狭域の実画像と考えられるので、画像ペアは、実画像ごとに生成される。
【００２２】
また、背景付加部１３ａが、画像ペア生成部１３によって生成された画像ペアに含まれる小画像から、対象物体を除いた背景画像を抽出し、抽出した背景画像を当該画像ペアの模擬画像に付加してもよい。模擬画像への背景画像の付加は、例えば、模擬画像における対象物体の画像部分の周囲に背景画像を重畳させることが考えられる。また、模擬画像への背景画像の付加は、対象物体の画像部分をマスクした小画像を背景画像とし、この背景画像を模擬画像に対応付ける処理であってもよい。背景画像が付加された模擬画像を含む画像ペアは、学習モデル生成部１４に出力される。
【００２３】
学習モデル生成部１４は、実画像Ａごとに生成された画像ペアを用いて、模擬画像を、実画像に調和した画像に変換（スタイル変換）する予測モデルＥの学習を行う（ステップＳＴ４）。例えば、学習モデル生成部１４は、敵対的生成ネットワーク（以下、ＧＡＮと記載する）の一種であるｐｉｘ２ｐｉｘに基づく予測モデルＥを生成する。予測モデルＥは、ＧＡＮのネットワーク構造および重みの情報を有したデータである。
【００２４】
ＧＡＮの学習では、識別モデルおよび生成モデルが得られる。識別モデルは、入力画像がＳＡＲの実画像か模擬画像かを識別する予測モデルである。また、生成モデルは、模擬画像を、実画像に調和した画像にスタイル変換する予測モデルであり、画像データである教師データを生成する。学習モデル生成部１４は、ＧＡＮの学習で得られた生成モデルを予測モデルＥとして出力する。予測モデルＥは、実画像に調和した模擬画像を教師データとして大量に生成することができるので、図２に示した教師データ生成方法は、実画像に調和した教師データの製造方法と言える。
【００２５】
次に、実施の形態１に係る教師データ生成方法の詳細について説明する。
図３は、図２の詳細な処理を示すフローチャートである。図３において、ステップＳＴ１ａからステップＳＴ３ａまでの処理が図２のステップＳＴ１に相当し、ステップＳＴ４ａの処理が図２のステップＳＴ２に相当し、ステップＳＴ５ａからステップＳＴ９ａまでの処理が図２のステップＳＴ３に相当し、ステップＳＴ１０ａの処理が図２のステップＳＴ４に相当する。
【００２６】
実画像取得部１１が、ＳＡＲ装置によって撮影されたＳＡＲの実画像Ａを取得すると、小画像抽出部１１ａが、実画像Ａから小画像を抽出する（ステップＳＴ１ａ）。図４は、実画像における対象物体の位置および向きを示す図である。例えば、対象物体が航空機２０である場合に、物体位置情報Ｂが示す画像上の航空機２０の位置情報は、航空機２０の画像部分が内接する矩形４０の左上の頂点ａ１のＸＹ座標値と右下の頂点ｂ１のＸＹ座標値の数値列である。物体角度情報Ｃには、航空機２０の向きを示す角度θが含まれる。角度θは、マイナス方向のＸ軸で０度であり、時計回りに増加する。
【００２７】
航空機２０の中心点（重心）３０ａはＸＹ座標の原点に配置される。角度θは、航空機２０の中心点３０ａから先端部３０ｂに向けて延びたベクトル３０ｃと、マイナス方向のＸ軸とがなす角度である。物体角度情報Ｃは、物体位置情報Ｂが示す各対象物体の位置と一対一に対応している。
【００２８】
図５は、航空機２０Ａ，２０Ｂ，２０Ｃがそれぞれ撮影されている小画像Ａ１，Ａ２，Ａ３を実画像Ａから抽出する処理の概要を示す概要図であり、実画像Ａから抽出された小画像Ａ１を拡大して示している。例えば、小画像抽出部１１ａは、物体位置情報Ｂが示す実画像Ａ上の航空機２０Ａの位置情報に基づいて、航空機２０Ａに対応する小画像Ａ１を抽出する。このとき、小画像抽出部１１ａは、後の工程で小画像から背景画像を抽出することを考慮して、図４に示した矩形４０よりも大きな領域を小画像Ａ１として抽出する。
【００２９】
同様にして、小画像抽出部１１ａは、物体位置情報Ｂが示す航空機２０Ｂの位置情報に基づいて、航空機２０Ｂに対応する小画像Ａ２を抽出し、物体位置情報Ｂが示す航空機２０Ｃの位置情報に基づいて、航空機２０Ｃに対応する小画像Ａ３を抽出する。小画像抽出部１１ａは、実画像Ａから小画像を抽出すると、抽出した小画像と物体角度情報Ｃを対応付けてデータ拡張部１１ｂに出力する。
【００３０】
データ拡張部１１ｂは、小画像抽出部１１ａによって抽出された小画像ごとに、複数のパターンの小画像を生成する（ステップＳＴ２ａ）。このとき、データ拡張部１１ｂは、小画像に対応付けられた物体角度情報Ｃが示す対象物体の向きを基準として、当該小画像を微少量回転させた複数のパターンの小画像を生成する。例えば、航空機２０Ａの小画像Ａ１を基準画像とした場合、データ拡張部１１ｂは、小画像Ａ１の航空機２０Ａに設定されたベクトル３０ｃとマイナス方向のＸ軸とがなす角度θを画像上で−５度から＋５度の範囲で１度ずつ変化させた、１１枚の小画像を生成する。
【００３１】
次に、小画像抽出部１１ａは、実画像Ａにおける全ての対象物体について小画像を抽出したか否かを確認する（ステップＳＴ３ａ）。実画像Ａにおいて小画像を抽出していない対象物体がある場合（ステップＳＴ３ａ；ＮＯ）、ステップＳＴ１ａの処理に戻る。これにより、実画像Ａにおける全ての対象物体の小画像が抽出されるまで、ステップＳＴ１ａの処理が繰り返される。また、データ拡張部１１ｂによる複数のパターンの小画像の生成処理は、小画像抽出部１１ａによって抽出された全ての小画像に対して実施される。
【００３２】
実画像Ａにおける全ての対象物体の小画像が抽出され（ステップＳＴ３ａ；ＹＥＳ）、複数のパターンの小画像が小画像ごとに生成されると、模擬画像生成部１２は、小画像に対応する物体角度情報Ｃおよび撮影条件情報Ｄを用いて、複数の模擬画像を小画像ごとに生成する（ステップＳＴ４ａ）。撮影条件情報Ｄは、ＳＡＲで対象物体が撮影されたときの撮影条件を示す情報であり、例えば、ＳＡＲ装置を搭載した人工衛星の位置およびオフナディア角がある。
【００３３】
模擬画像生成部１２は、物体角度情報Ｃおよび撮影条件情報Ｄを用いて、ＳＡＲ装置から対象物体への電波の照射角度と、小画像上で対象物体がなす角度とを算出することで、対象物体における電波の反射を模擬する。例えば、対象物体が航空機２０である場合に、模擬画像生成部１２は、ＳＡＲ装置から図４に示した航空機２０への電波の照射角度と、小画像上の航空機２０に設定されたベクトル３０ｃとマイナス方向のＸ軸とがなす角度θを算出する。そして、模擬画像生成部１２は、算出した角度と、航空機２０の３次元モデル情報とを用いて、小画像に対応する模擬画像を生成する。
【００３４】
また、模擬画像生成部１２は、対象物体における電波の直接反射の成分、一次反射の成分、二次反射の成分および対象物体の影の成分の組み合わせを用いて、一つの小画像について、複数のパターン（例えば、２４＝１６のパターン）の模擬画像を生成してもよい。例えば、図６Ａは、対象物体（ここでは、航空機）における電波の直接反射を模擬した模擬画像Ｓａを示す図である。図６Ａにおいて、航空機の中心から先端部へ延びるベクトル３０ｃと、マイナス方向のＸ軸とがなす角度θが４５度であり、航空機における電波の直接反射の成分２０ａが再現されている。電波の直接反射は、ＳＡＲ装置から照射されて対象物体で反射した電波が、元の伝搬経路を辿ってＳＡＲ装置に受信される反射である。
【００３５】
図６Ｂは、対象物体（ここでは、航空機）における、電波の直接反射、一次反射および二次反射を模擬した模擬画像Ｓｂを示す図である。図６Ｂにおいて、ベクトル３０ｃとマイナス方向のＸ軸とがなす角度θは４５度であり、航空機における電波の直接反射の成分２０ａ、一次反射および二次反射の成分２０ｂが再現されている。電波の一次反射は、ＳＡＲ装置から照射された電波が、対象物体で一回反射して元の伝搬経路を辿らずにＳＡＲ装置に受信される反射である。また、電波の二次反射の成分は、ＳＡＲ装置から照射された電波が対象物体で複数回反射してＳＡＲ装置に受信される反射波である。
【００３６】
図６Ｃは、対象物体（ここでは、航空機）における、電波の直接反射、一次反射および二次反射を模擬し、対象物体の影を再現した模擬画像Ｓｃを示す図である。図６Ｃにおいて、ベクトル３０ｃとマイナス方向のＸ軸とがなす角度θは４５度であり、航空機における電波の直接反射の成分２０ａ、一次反射および二次反射の成分２０ｂ、および航空機の影の成分２０ｃが再現されている。影の成分２０ｃは、ＳＡＲ装置から照射された電波が、対象物体によって遮られて、電波の反射波が得られなかった地表側の領域を再現したものである。図６Ｃでは、対象物体が航空機であることから、影の成分２０ｃは航空機の形状になっている。
【００３７】
また、模擬画像生成部１２は、物体角度情報Ｃおよび撮影条件情報Ｄを用いて算出した角度情報を基準として、角度情報が示す角度を微少量ずつ変化させた模擬画像を順次生成してもよい。図７Ａは模擬画像Ｓ１ａを示す図であり、図７Ｂは模擬画像Ｓ１ｂを示す図である。模擬画像Ｓ１ａおよび模擬画像Ｓ１ｂでは、ともに、対象物体である航空機２０における電波の直接反射の成分２０ａ、一次反射および二次反射の成分２０ｂおよび航空機２０の影の成分２０ｃが再現されている。
【００３８】
模擬画像Ｓ１ａ上の航空機２０は、ベクトル３０ｃとマイナス方向のＸ軸とがなす角度θは４０度であり、模擬画像Ｓ１ｂ上の航空機２０は、ベクトル３０ｃとマイナス方向のＸ軸とがなす角度θは５０度である。例えば、模擬画像生成部１２は、角度θが４０度の模擬画像Ｓ１ａから角度θが５０度の模擬画像Ｓ１ｂまでの間で、画像上で角度θを１度ずつ増加させた模擬画像を生成することで、模擬画像Ｓ１ａおよび模擬画像Ｓ１ｂを含む１１枚の模擬画像が生成される。
【００３９】
例えば、基準画像とした模擬画像上の対象物体のベクトル３０ｃとマイナス方向のＸ軸とがなす角度θを、−５度から＋５度までの範囲で１度ずつ変化させ、さらに対象物体における電波の直接反射の成分、一次反射の成分、二次反射の成分および対象物体の影の成分の組み合わせ（２４＝１６のパターン）から複数の模擬画像を生成してもよい。この場合、角度θを−５度から＋５度までの範囲で１度ずつ変化させた１１枚の画像と４つの成分の１６パターンの組み合わせから、模擬画像生成部１２は、１１×１６＝１７６枚の模擬画像を、データ拡張部１１ｂから出力された小画像ごとに生成する。
【００４０】
次に、画像ペア生成部１３は、模擬画像生成部１２によって生成された複数の模擬画像から、小画像抽出部１１ａによって抽出された小画像に類似した模擬画像を選択し、選択した模擬画像と小画像との画像ペアを生成する（ステップＳＴ５ａ）。例えば、画像ペア生成部１３は、模擬画像生成部１２によって生成された１７６枚の模擬画像から、小画像に類似する模擬画像を選択する。ここで、画像ペア生成部１３は、小画像を基準として、１７６枚の模擬画像とのＳＳＩＭを算出し、算出したＳＳＩＭの値が最も大きい模擬画像を、当該小画像に類似した画像として選択し、選択した模擬画像と小画像との画像ペアを生成する。画像ペア生成部１３は、画像ペアの生成を、データ拡張部１１ｂから出力された小画像ごとに実施する。
【００４１】
図８は、実画像（小画像）Ａ（１）〜Ａ（３）とこれに類似した模擬画像Ｓ（１）〜Ｓ（３）との画像ペアＰ１〜Ｐ３を示す図である。例えば、小画像Ａ（１）には、対象物体である航空機の影の成分が明確に再現されているので、画像ペア生成部１３は、小画像Ａ（１）と類似した模擬画像として、航空機の影の成分を含む模擬画像Ｓ（１）を選択している。
【００４２】
次に、画像ペア生成部１３は、全ての小画像について画像ペアを生成したか否かを確認する（ステップＳＴ６ａ）。画像ペアを生成していない小画像がある場合（ステップＳＴ６ａ；ＮＯ）、画像ペア生成部１３は、ステップＳＴ５ａの処理に戻り、全ての小画像の画像ペアが生成されるまで、前述した処理を繰り返す。
【００４３】
全ての小画像についての画像ペアが生成されると（ステップＳＴ６ａ；ＹＥＳ）、背景付加部１３ａは、画像ペアにおいて、小画像から対象物体を除いた背景画像を抽出し、抽出した背景画像を模擬画像に付加する（ステップＳＴ７ａ）。例えば、背景付加部１３ａは、模擬画像における対象物体の画像部分の周囲に背景画像を重畳させる。図９Ａは、実画像（小画像Ａ（４））のイメージを示すイメージ図であり、図９Ｂは、小画像Ａ（４）に類似する模擬画像Ｓ（４）に背景画像Ａ（４）Ａを付加した模擬画像Ｓ（４）Ａのイメージを示すイメージ図である。小画像（４）には、対象物体である航空機２０（１）が撮影されており、模擬画像Ｓ（４）には航空機２０（２）の画像が含まれる。
【００４４】
小画像Ａ（４）と模擬画像Ｓ（４）の画像ペアにおいて、背景付加部１３ａは、小画像Ａ（４）から航空機２０（１）の画像部分を除いた背景画像Ａ（４）Ａを抽出し、模擬画像Ｓ（４）における航空機２０（２）の画像部分の周囲（例えば、図４に示した矩形４０の外側部分）に背景画像Ａ（４）Ａを重畳させる。これにより、背景画像Ａ（４）Ａが付加された模擬画像Ｓ（４）Ａが生成され、学習モデル生成部１４に出力される。
【００４５】
また、背景付加部１３ａは、小画像における対象物体の画像部分をマスクして背景画像とし、この背景画像を同じペアの模擬画像に対応付けてもよい。図１０Ａは、実画像（小画像）Ａ（４）のイメージを示すイメージ図であり、図１０Ｂは、模擬画像Ｓ（４）および背景画像Ａ（４）Ｂのイメージを示すイメージ図である。背景画像Ａ（４）Ｂは、図１０Ａに示す小画像Ａ（４）における航空機２０（１）の画像部分を、図１０Ｂに示すようにマスク領域２０ｄとした画像である。背景画像Ａ（４）Ｂは、模擬画像Ｓ（４）との画像ペアとして、学習モデル生成部１４に出力される。
【００４６】
予測モデルＥを用いてスタイル変換された模擬画像は、実画像Ａにおける、当該模擬画像に対応する小画像が抽出された位置に埋め込まれる。模擬画像において、スタイル変換で再現すべき背景領域が広すぎると、完全に背景を実画像に調和させることができずに、模擬画像と実画像Ａの境が目立ってしまう可能性がある。これに対して、対象物体の画像部分をマスクした小画像を背景画像とすることで、対象物体の画像部分の周囲に背景画像を重畳させた画像よりも、実画像から抽出された背景領域の部分が広い画像が得られる。これは、予測モデルＥを用いたスタイル変換において、再現すべき背景領域が狭いことを意味する。すなわち、対象物体の画像部分をマスクした小画像を背景画像とすることで、実画像により調和した埋め込み画像（模擬画像）を生成することが可能である。
【００４７】
背景付加部１３ａは、画像ペア生成部１３によって生成された全ての画像ペアについて処理したか否かを確認する（ステップＳＴ８ａ）。模擬画像に背景画像を付加していない画像ペアがあった場合（ステップＳＴ８ａ；ＮＯ）、ステップＳＴ７ａの処理に戻って、背景付加部１３ａが、前述した処理を繰り返す。
【００４８】
画像ペア生成部１３によって生成された全ての画像ペアについて処理が行われた場合（ステップＳＴ８ａ；ＹＥＳ）、小画像抽出部１１ａは全ての実画像Ａを処理したか否かを確認する（ステップＳＴ９ａ）。ここで、未処理の実画像Ａがある場合（ステップＳＴ９ａ；ＮＯ）、ステップＳＴ１ａからの一連の処理が繰り返される。
【００４９】
全ての実画像Ａが処理されると（ステップＳＴ９ａ；ＹＥＳ）、学習モデル生成部１４は、背景画像が付加された模擬画像を含む画像ペアを用いて予測モデルＥの学習を行う（ステップＳＴ１０ａ）。学習モデル生成部１４は、模擬画像を同じ画像ペアの小画像に調和した画像にスタイル変換するための予測モデルＥを生成する。例えば、予測モデルＥは、ＧＡＮに基づく予測モデルである。
【００５０】
図１１は、予測モデルＥを用いた模擬画像Ｓ（４）のスタイル変換の概要を示す概要図である。また、図１２は、予測モデルＥを用いてスタイル変換された模擬画像Ｓ（４）Ｂを示す図である。図１１において、実画像である小画像Ａ（４）と模擬画像Ｓ（４）は、互いに類似しており、同じ画像ペアの画像である。予測モデルＥは、小画像Ａ（４）と、小画像Ａ（４）から抽出された背景画像Ａ（４）Ａが付加された模擬画像Ｓ（４）Ａとを入力することで、模擬画像Ｓ（４）Ａを、小画像Ａ（４）に調和した模擬画像Ｓ（４）Ｂに変換する。図１２に示す画像は、実際の模擬画像Ｓ（４）Ｂである。
【００５１】
図１１に示すように、模擬画像Ｓ（４）Ａにおける小画像Ａ（４）との外見上の相違が緩和されている。従って、予測モデルＥを用いることにより、教師データとして実画像を大量に用意できない場合であっても、実画像に調和した模擬画像を教師データとして大量に生成することが可能である。これにより、教師データを用いた学習で実現される物体の検出または識別の精度を格段に向上させることができる。
【００５２】
なお、これまで、背景付加部１３ａを備えた画像ペア生成部１３を示したが、模擬画像として実画像の背景に類似した画像を生成可能である場合、画像ペア生成部１３は、必ずしも背景付加部１３ａを備えていなくてもよい。
【００５３】
次に、教師データ生成装置１の機能を実現するハードウェア構成について説明する。
教師データ生成装置１における実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４の各機能は、処理回路により実現される。すなわち、教師データ生成装置１は、図２に示したステップＳＴ１からステップＳＴ４までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよい。
【００５４】
図１３Ａは、教師データ生成装置１の機能を実現するハードウェア構成を示すブロック図であり、図１３Ｂは、教師データ生成装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図１３Ａおよび図１３Ｂにおいて、入力インタフェース１００は、例えば、教師データ生成装置１によってＳＡＲ装置または記憶装置から入力される実画像Ａ、物体位置情報Ｂ、物体角度情報Ｃおよび撮影条件情報Ｄを中継するインタフェースである。出力インタフェース１０１は、教師データ生成装置１から出力される情報を中継するインタフェースである。
【００５５】
処理回路が図１３Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。教師データ生成装置１における実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４の機能を、別々の処理回路で実現してもよく、これらの機能をまとめて１つの処理回路で実現してもよい。
【００５６】
処理回路が図１３Ｂに示すプロセッサ１０３である場合、教師データ生成装置１における実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。
【００５７】
プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することで、教師データ生成装置１における実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４の機能を実現する。例えば、教師データ生成装置１は、プロセッサ１０３によって実行されるときに、図２に示したフローチャートにおけるステップＳＴ１からステップＳＴ４の処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。これらのプログラムは、実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４の手順または方法をコンピュータに実行させる。メモリ１０４は、コンピュータを、実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
【００５８】
メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
【００５９】
教師データ生成装置１における実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４の機能の一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、実画像取得部１１、模擬画像生成部１２および画像ペア生成部１３は、専用のハードウェアである処理回路１０２により機能を実現し、学習モデル生成部１４は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することにより機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより、上記機能を実現することができる。
【００６０】
以上のように、実施の形態１に係る教師データ生成装置１は、対象物体が撮影された複数の実画像Ａを取得する実画像取得部１１と、対象物体の複数の模擬画像を生成する模擬画像生成部１２と、実画像（実画像Ａから抽出された小画像）に類似した模擬画像と小画像との画像ペアを生成する画像ペア生成部１３と、小画像ごとに生成された画像ペアを用いて、模擬画像を小画像に調和した画像に変換する予測モデルＥの学習を行う学習モデル生成部１４を備える。予測モデルＥを用いることで、小画像に調和した画像を教師データとして生成することができる。
【００６１】
実施の形態２．
実施の形態２では、実施の形態１で説明した予測モデルＥを用いて実画像から対象物体を検出する装置および方法について説明する。図１４は、実施の形態２に係る教師データ生成装置１Ａおよび学習装置２の構成を示すブロック図である。図１４において、図１と同一の構成要素には、同一の符号を付して説明を省略する。教師データ生成装置１Ａは、ＳＡＲの実画像Ａ、物体位置情報Ｂ、物体角度情報Ｃおよび撮影条件情報Ｄを用いて予測モデルＥを生成し、予測モデルＥを用いて物体検出用の教師データＦを生成する。学習装置２は、教師データＦを用いて検出モデルＧの学習を行う装置である。
【００６２】
教師データＦは、対象物体の模擬画像が埋め込まれたＳＡＲの実画像Ａ’と実画像Ａ’における対象物体の位置情報とを含むデータである。実画像Ａ’に埋め込まれる模擬画像は、予測モデルＥを用いて実画像Ａ’に調和するように変換された模擬画像である。検出モデルＧは、ＳＡＲ装置によって新たに撮影された実画像から対象物体を検出するための予測モデルであり、検出モデルＧを用いることで、例えば、実画像上の対象物体の位置が推定される。
【００６３】
教師データ生成装置１Ａは、図１４に示すように、実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３および学習モデル生成部１４に加えて、角度情報生成部１５、位置決定部１６、背景付加部１７、画像変換部１８および埋め込み部１９を備える。学習装置２は、検出モデル生成部２１を備える。
【００６４】
角度情報生成部１５は、対象物体の仮想の向きを示す角度情報を生成する。対象物体の仮想の向きは、ランダムに設定される。例えば、対象物体が航空機である場合、角度情報は、図４に示したＸＹ座標面上で、航空機の中心点から先端部に向けて延びたベクトルとマイナス方向のＸ軸とがなす角度θを示す情報である。
【００６５】
位置決定部１６は、実画像Ａ’における、模擬画像の埋め込み位置をランダムに決定する。また、実画像Ａ’において複数の位置が、模擬画像の埋め込み位置として決定されてもよい。ただし、実画像Ａ’において特定の位置が指定されている場合、位置決定部１６は、この指定位置を模擬画像の埋め込み位置に決定する。例えば、対象物体が航空機である場合、実画像Ａ’上で航空機が存在する可能性が高い駐機場の画像部分が指定される。
【００６６】
背景付加部１７は、実画像Ａ’における模擬画像の埋め込み位置から背景画像を抽出し、抽出した背景画像を模擬画像に付加する。例えば、背景付加部１７は、背景付加部１３ａと同様に、模擬画像における対象物体の画像部分の周囲に背景画像を重畳させる。また、背景付加部１７は、埋め込み位置の画像における対象物体の画像部分をマスクしたものを背景画像としてもよい。
【００６７】
画像変換部１８は、学習モデル生成部１４によって学習された予測モデルＥを用いて、背景画像が付加された模擬画像を、実画像Ａ’に調和した画像に変換する。予測モデルＥを用いて変換された模擬画像は、埋め込み部１９に出力される。埋め込み部１９は、画像変換部１８によって変換された模擬画像を、実画像Ａ’における模擬画像の埋め込み位置に埋め込む。ここで、実画像への画像の埋め込みとは、埋め込み位置に画像を重畳させることを意味する。
【００６８】
検出モデル生成部２１は、対象物体の模擬画像が埋め込まれた実画像Ａ’と実画像Ａ’における対象物体の位置情報とを含む教師データＦを用いて検出モデルＧの学習を行う。例えば、検出モデル生成部２１は、ＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ）またはＳＳＤ（Ｓｉｎｇｌｅ  Ｓｈｏｔ  ｍｕｌｔｉｂｏｘ  Ｄｅｔｅｃｔｏｒ）に基づく予測モデルである検出モデルＧを生成する。検出モデルＧは、ＹＯＬＯまたはＳＳＤのネットワーク構造および重みの情報を有したデータである。検出モデルＧを用いることにより、新規に撮影されたＳＡＲの実画像から対象物体の位置を検出することができる。
【００６９】
次に、実施の形態２に係る教師データ生成方法について説明する。
図１５は、実施の形態２に係る教師データ生成方法を示すフローチャートであり、教師データ生成装置１Ａによって教師データＦが生成されるまでの一連の処理を示している。角度情報生成部１５が、対象物体の仮想の向きを示す角度情報を生成する（ステップＳＴ１ｂ）。例えば、角度情報生成部１５は、対象物体の仮想の向きを示す角度を、０度から３６０度の範囲でランダムに指定する角度情報を生成する。対象物体が航空機である場合には、例えば、図４に示した角度θを０度から３６０度の範囲でランダムに指定する角度情報が生成される。
【００７０】
模擬画像生成部１２が、角度情報生成部１５によって生成された角度情報を用いて、対象物体の模擬画像を生成する（ステップＳＴ２ｂ）。例えば、模擬画像生成部１２は、撮影条件情報Ｄを用いてＳＡＲ装置から対象物体への電波の照射角度を算出し、角度情報生成部１５によって生成された角度情報を用いて実画像Ａ’上で対象物体がなす角度（向き）を算出する。模擬画像生成部１２は、算出した角度と、予め設定された対象物体の３次元モデル情報を用いて、ランダムに向きが設定された対象物体の模擬画像を生成する。
【００７１】
位置決定部１６が、実画像Ａ’における模擬画像の埋め込み位置を決定する（ステップＳＴ３ｂ）。例えば、位置決定部１６は、複数の実画像Ａ’のそれぞれにおけるランダムな位置を、模擬画像の埋め込み位置に決定する。位置決定部１６によって決定された埋め込み位置を示す情報は、背景付加部１７および埋め込み部１９に出力される。模擬画像の埋め込み対象である実画像Ａ’は、対象物体の位置が既知な画像であればよく、例えば、予測モデルＥの学習に用いられた実画像Ａと同じであってもよい。
【００７２】
背景付加部１７は、実画像Ａ’における模擬画像の埋め込み位置から背景画像を抽出し、抽出した背景画像を、模擬画像生成部１２によって生成された模擬画像に付加する（ステップＳＴ４ｂ）。例えば、背景付加部１７は、実画像Ａ’における埋め込み位置の画像領域から、図４に示した矩形４０の外側部分に相当する画像領域（背景画像）を抽出する。背景付加部１７は、実画像Ａ’から抽出した画像領域を、模擬画像における矩形４０の外側部分に相当する画像領域に重畳させた画像を生成する。また、背景付加部１７は、実画像Ａ’における埋め込み位置に相当する画像領域を背景画像として抽出し、この背景画像と模擬画像との画像ペアを生成してもよい。
【００７３】
画像変換部１８は、学習モデル生成部１４によって学習された予測モデルＥを用いて、背景付加部１７によって背景画像が付加された模擬画像を実画像Ａ’に調和した模擬画像に変換する（ステップＳＴ５ｂ）。予測モデルＥを用いて変換された模擬画像の背景は、実画像Ａ’における埋め込み位置の画像部分に調和している。埋め込み部１９は、画像変換部１８によって変換された模擬画像を埋め込み位置に埋め込む（ステップＳＴ６ｂ）。
【００７４】
背景付加部１７は、実画像Ａ’における全ての埋め込み位置についての処理を実施したか否かを確認する（ステップＳＴ７ｂ）。未処理の埋め込み位置があった場合（ステップＳＴ７ｂ；ＮＯ）、背景付加部１７は、ステップＳＴ４ｂの処理に戻る。これにより、未処理の埋め込み位置について、ステップＳＴ４ｂからの一連の処理が実施される。
【００７５】
全ての埋め込み位置についての処理が実施された場合（ステップＳＴ７ｂ；ＹＥＳ）、角度情報生成部１５は、全ての実画像Ａ’の処理を実施したか否かを確認する（ステップＳＴ８ｂ）。未処理の実画像Ａ’があった場合（ステップＳＴ８ｂ；ＮＯ）、角度情報生成部１５は、ステップＳＴ１ｂの処理に戻る。これにより、未処理の実画像Ａ’について、ステップＳＴ１ｂからの一連の処理が実施される。
【００７６】
全ての実画像Ａ’について処理された場合（ステップＳＴ８ｂ；ＹＥＳ）、埋め込み部１９は、模擬画像が埋め込まれた実画像Ａ’と、この実画像Ａ’における対象物体の位置情報を、物体検出用の教師データＦとして出力する（ステップＳＴ９ｂ）。
【００７７】
図１６は、実施の形態２における教師データ生成の概要を示す概要図であり、模擬画像ＳＡＢが埋め込まれた実画像Ａ’を含む教師データＦの生成の概要を示している。図１６に示す模擬画像Ｓは、対象物体である航空機２０の模擬画像である。背景画像ＡＢは、実画像Ａ’における埋め込み位置ＡＳの画像部分であり、航空機２０が撮影されていない。
【００７８】
画像変換部１８は、予測モデルＥを用いて、模擬画像Ｓを模擬画像ＳＡＢに変換する。埋め込み部１９は、実画像Ａ’における埋め込み位置ＡＳに模擬画像ＳＡＢを埋め込む。模擬画像ＳＡＢは、背景の画像部分が背景画像ＡＢに調和している。模擬画像ＳＡＢは、実画像Ａ’における埋め込み位置ＡＳの画像部分に調和した画像に変換されているので、図１６に示すように、埋め込み位置ＡＳの背景とシームレスに埋め込まれる。
【００７９】
教師データ生成装置１Ａにおける、実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３、学習モデル生成部１４、角度情報生成部１５、位置決定部１６、背景付加部１７、画像変換部１８および埋め込み部１９の機能は、処理回路により実現される。
すなわち、教師データ生成装置１Ａは、図１５に示したステップＳＴ１ｂからステップＳＴ９ｂの処理を実行するための処理回路を備える。処理回路は、図１３Ａに示した専用のハードウェアの処理回路１０２であってもよいし、図１３Ｂに示したメモリ１０４に記憶されたプログラムを実行するプロセッサ１０３であってもよい。
【００８０】
学習装置２において、検出モデル生成部２１は、教師データＦを用いて検出モデルＧの学習を行う。教師データＦに含まれる実画像Ａ’には、複数の位置に対象物体の模擬画像が埋め込まれており、これらの模擬画像は実画像Ａ’に調和するように変換されている。このため、教師データＦを用いて生成される検出モデルＧは、ＳＡＲ装置によって新規に撮影された実画像から、対象物体を高精度に検出することが可能である。
【００８１】
次に、学習装置の変形例について説明する。
図１７は、実施の形態２に係る学習装置の変形例である学習装置２Ａの構成を示すブロック図である。図１７において、図１４と同一の構成要素には、同一の符号を付して説明を省略する。学習装置２Ａは、学習装置２と同様に、教師データＦを用いて検出モデルＧの学習を行う。学習装置２Ａは、図１７に示すように、検出モデル生成部２１に加えて、模擬画像生成部１２Ａ、角度情報生成部１５Ａ、位置決定部１６Ａ、背景付加部１７Ａ、画像変換部１８Ａおよび埋め込み部１９Ａを備える。
【００８２】
なお、模擬画像生成部１２Ａ、角度情報生成部１５Ａ、位置決定部１６Ａ、背景付加部１７Ａ、画像変換部１８Ａおよび埋め込み部１９Ａは、図１４に示した模擬画像生成部１２、角度情報生成部１５、位置決定部１６、背景付加部１７、画像変換部１８および埋め込み部１９と同様に機能する。これらの構成を有することで、学習装置２Ａは、図１４の学習装置２と同様に、検出モデルＧを生成することができる。
【００８３】
学習装置２Ａにおける、模擬画像生成部１２Ａ、角度情報生成部１５Ａ、位置決定部１６Ａ、背景付加部１７Ａ、画像変換部１８Ａおよび埋め込み部１９Ａの機能は、処理回路によって実現される。すなわち、学習装置２Ａは、図１５に示したステップＳＴ１ｂからステップＳＴ９ｂの処理を実行するための処理回路を備える。処理回路は、図１３Ａに示した専用のハードウェアの処理回路１０２であってもよいし、図１３Ｂに示したメモリ１０４に記憶されたプログラムを実行するプロセッサ１０３であってもよい。
【００８４】
次に、検出モデルＧを用いた物体検出について説明する。
図１８は、実施の形態２に係る物体検出装置３の構成を示すブロック図である。図１８に示すように、物体検出装置３は物体検出部３１を備える。物体検出部３１は、学習装置２または学習装置２Ａによって学習された検出モデルＧを用いて実画像Ｈから対象物体を検出する。実画像Ａおよび実画像Ａ’は、対象物体の位置および向きが既知であったが、実画像Ｈは、ＳＡＲ装置によって新規に撮影された実画像であり、対象物体の位置が不明である。例えば、物体検出部３１は、検出モデルＧを用いて、実画像Ｈから対象物体の位置を検出し、物体検出結果として出力する。物体検出装置３は、検出モデルＧを用いて、実画像Ｈから対象物体を高精度に検出することができる。
【００８５】
実施の形態２に係る物体検出装置には、実画像取得部１１、模擬画像生成部１２、画像ペア生成部１３、学習モデル生成部１４、角度情報生成部１５、位置決定部１６、背景付加部１７、画像変換部１８、検出モデル生成部２１および物体検出部３１を備えたものも含まれる。また、実施の形態２に係る物体検出装置は、図１７に示す学習装置２Ａに物体検出部３１を追加したものであってもよい。このように構成された物体検出装置であっても、ＳＡＲの実画像Ｈから対象物体を高精度に検出することが可能である。
【００８６】
以上のように、実施の形態２に係る教師データ生成装置１Ａは、実画像Ａ’における模擬画像の埋め込み位置を決定する位置決定部１６と、実画像Ａ’における埋め込み位置から抽出した背景画像を、模擬画像に付加する背景付加部１７と、予測モデルＥを用いて、背景画像が付加された模擬画像を、実画像Ａ’に調和した画像に変換する画像変換部１８と、画像変換部１８によって変換された画像を、実画像Ａ’の埋め込み位置に埋め込む埋め込み部１９を備える。これにより、教師データ生成装置１Ａは、実画像Ａ’に調和した模擬画像が埋め込まれた実画像Ａ’を含む教師データＦを大量に生成することができる。教師データＦを用いることで、実画像Ｈから対象物体を高精度に検出する検出モデルＧの学習が可能である。
【００８７】
また、実施の形態２に係る学習装置２Ａは、位置決定部１６Ａと、模擬画像生成部１２Ａと、背景付加部１７Ａと、画像変換部１８Ａと、埋め込み部１９Ａと、検出モデル生成部２１を備える。これらの構成を有することで、学習装置２Ａは、実画像Ｈから対象物体を高精度に検出する検出モデルＧを生成することができる。
【００８８】
なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００８９】
本発明に係る教師データ生成装置は、例えば、ＳＡＲ画像から対象物体を検出する検出モデルの学習に用いられる教師データの生成に利用可能である。
【符号の説明】
【００９０】
１，１Ａ  教師データ生成装置、２，２Ａ  学習装置、３  物体検出装置、１１  実画像取得部、１１ａ  小画像抽出部、１１ｂ  データ拡張部、１２，１２Ａ  模擬画像生成部、１３  画像ペア生成部、１３ａ，１７  背景付加部、１４  学習モデル生成部、１５，１５Ａ  角度情報生成部、１６，１６Ａ  位置決定部、１７，１７Ａ  背景付加部、１８，１８Ａ  画像変換部、１９，１９Ａ  埋め込み部、２０，２０Ａ，２０Ｂ，２０Ｃ，２０（１），２０（２）  航空機、２０ａ，２０ｂ，２０ｃ  成分、２０ｄ  マスク領域、２１  検出モデル生成部、３０ａ  中心点、３０ｂ  先端部、３０ｃ  ベクトル、３１  物体検出部、４０  矩形、１００  入力インタフェース、１０１  出力インタフェース、１０２  処理回路、１０３  プロセッサ、１０４  メモリ。
【図１】
2021038678.tif 000003
【図２】
2021038678.tif 000004
【図３】
2021038678.tif 000005
【図４】
2021038678.tif 000006
【図５】
2021038678.tif 000007
【図６】
2021038678.tif 000008
【図７】
2021038678.tif 000009
【図８】
2021038678.tif 000010
【図９】
2021038678.tif 000011
【図１０】
2021038678.tif 000012
【図１１】
2021038678.tif 000013
【図１２】
2021038678.tif 000014
【図１３】
2021038678.tif 000015
【図１４】
2021038678.tif 000016
【図１５】
2021038678.tif 000017
【図１６】
2021038678.tif 000018
【図１７】
2021038678.tif 000019
【図１８】
2021038678.tif 000020
【手続補正書】
【提出日】令和3年7月26日(2021.7.26)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、教師データ生成装置および教師データ生成方法に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明は上記課題を解決するものであり、実画像に調和した画像を教師データとして生成することができる教師データ生成装置および教師データ生成方法を得ることを目的とする。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物体が撮影された複数の実画像を取得する実画像取得部と、
前記実画像ごとの撮影条件および前記対象物体の向きを示す情報を用いて前記対象物体の複数の模擬画像を生成する模擬画像生成部と、
画像の類似度の指標に基づいて、複数の前記模擬画像から、前記実画像に類似した前記模擬画像を選択し、選択した前記模擬画像と当該実画像との画像ペアを生成する画像ペア生成部と、
前記実画像ごとに生成された前記画像ペアを用いて、前記模擬画像を前記実画像に調和した画像に変換する学習モデルの学習を行う学習モデル生成部と、を備えた
ことを特徴とする教師データ生成装置。
【請求項２】
前記実画像取得部は、複数の前記実画像から前記対象物体の小画像をそれぞれ抽出し、抽出した前記小画像ごとに複数のパターンの前記小画像を生成し、
前記画像ペア生成部は、前記実画像取得部によって生成された複数の前記小画像を前記実画像として扱って前記画像ペアを生成する
ことを特徴とする請求項１記載の教師データ生成装置。
【請求項３】
前記画像ペア生成部は、前記画像ペアの前記実画像から前記対象物体を除いた背景画像を抽出し、抽出した背景画像を当該画像ペアの前記模擬画像に付加し、
前記学習モデル生成部は、前記画像ペア生成部によって背景画像が付加された前記模擬画像を含む前記画像ペアを用いて、前記学習モデルの学習を行う
ことを特徴とする請求項２記載の教師データ生成装置。
【請求項４】
前記学習モデル生成部は、敵対的生成ネットワークに基づく前記学習モデルを生成すること
を特徴とする請求項１から請求項３のいずれか１項記載の教師データ生成装置。
【請求項５】
複数の前記実画像における前記模擬画像の埋め込み位置をそれぞれ決定する位置決定部と、
前記実画像における前記埋め込み位置から背景画像を抽出し、抽出した背景画像を前記模擬画像に付加する背景付加部と、
前記学習モデルを用いて、前記背景付加部によって背景画像が付加された前記模擬画像を、前記実画像に調和した画像に変換する画像変換部と、
前記画像変換部によって変換された画像を、前記実画像の前記埋め込み位置に埋め込む埋め込み部と、を備えた
ことを特徴とする請求項４記載の教師データ生成装置。
【請求項６】
実画像取得部が、対象物体が撮影された複数の実画像を取得するステップと、
模擬画像生成部が、前記実画像ごとの撮影条件および前記対象物体の向きを示す情報を用いて、前記対象物体の複数の模擬画像を生成するステップと、
画像ペア生成部が、画像の類似度の指標に基づいて、複数の前記模擬画像から、前記実画像に類似した前記模擬画像を選択し、選択した前記模擬画像と当該実画像の画像ペアとを生成するステップと、
学習モデル生成部が、前記実画像ごとに生成された前記画像ペアを用いて、前記模擬画像を前記実画像に調和した画像に変換する学習モデルの学習を行うステップと、を備えた
ことを特徴とする教師データ生成方法。
【請求項７】
前記実画像取得部が、複数の前記実画像から前記対象物体の小画像をそれぞれ抽出し、抽出した前記小画像ごとに複数のパターンの前記小画像を生成し、
前記画像ペア生成部が、前記実画像取得部によって生成された複数の前記小画像を前記実画像として扱って前記画像ペアを生成する
ことを特徴とする請求項６記載の教師データ生成方法。
【請求項８】
前記画像ペア生成部が、前記画像ペアの前記実画像から前記対象物体を除いた背景画像を抽出し、抽出した背景画像を当該画像ペアの前記模擬画像に付加し、
前記学習モデル生成部が、前記画像ペア生成部によって背景画像が付加された前記模擬画像を含む前記画像ペアを用いて、前記学習モデルの学習を行う
ことを特徴とする請求項７記載の教師データ生成方法。
【請求項９】
前記学習モデル生成部は、敵対的生成ネットワークに基づく前記学習モデルを生成する
ことを特徴とする請求項６から請求項８のいずれか１項記載の教師データ生成方法。
【請求項１０】
位置決定部が、複数の前記実画像における前記模擬画像の埋め込み位置をそれぞれ決定するステップと、
背景付加部が、前記実画像における前記埋め込み位置から背景画像を抽出し、抽出した背景画像を前記模擬画像に付加するステップと、
画像変換部が、前記学習モデルを用いて、前記背景付加部によって背景画像が付加された前記模擬画像を前記実画像に調和した画像に変換するステップと、
埋め込み部が、前記画像変換部によって変換された画像を、前記実画像の前記埋め込み位置に埋め込むステップと、を備えた
ことを特徴とする請求項９記載の教師データ生成方法。
【国際調査報告】
2021038678.tif 000021
2021038678.tif 000022
2021038678.tif 000023
2021038678.tif 000024