(57)【特許請求の範囲】
【請求項１】
対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部と、
前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部と、
レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部と、
前記レーダ画像取得部が取得した前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得部と、
前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部と、
前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部と、
前記学習用データ生成部が生成した前記学習用データを出力する学習用データ出力部と、
を備えたこと
を特徴とする学習用データ生成装置。
【請求項２】
前記学習用データ生成部は、前記画像合成部が、前記背景画像取得部が取得した前記背景画像に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けた前記背景画像における位置と、前記対象物の種別を示す前記クラス情報とを対応付けた前記学習用データを生成すること
を特徴とする請求項１記載の学習用データ生成装置。
【請求項３】
前記画像合成部が、前記背景画像の画素値を前記対象物模擬レーダ画像の画素値に置き換えた前記背景画像における画素の座標を示す情報を取得する埋め込み座標取得部を備え、
前記学習用データ生成部は、前記埋め込み座標取得部が取得した前記背景画像における画素の座標を示す情報と、前記対象物の種別を示す前記クラス情報とを対応付けて、前記学習用データを生成すること
を特徴とする請求項１記載の学習用データ生成装置。
【請求項４】
前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の照射方向とに基づいて、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を前記背景画像に貼り付ける位置を決定する位置決定部を備えたこと
を特徴とする請求項１記載の学習用データ生成装置。
【請求項５】
前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の出射位置との間の距離と、前記レーダ装置による実際のレーダ照射の際の、想定される対象物と、前記レーダ装置におけるレーダ照射の出射位置との間の距離との比に基づいて、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を前記背景画像に貼り付ける大きさを決定するサイズ決定部を備えたこと
を特徴とする請求項１記載の学習用データ生成装置。
【請求項６】
前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出した前記レーダシャドウとなる領域を示す影模擬レーダ画像を生成する影画像生成部を備え、
前記画像合成部は、前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像と、前記影画像生成部が生成した前記影模擬レーダ画像とを貼り付けて、前記背景画像、前記対象物模擬レーダ画像、及び、前記影模擬レーダ画像を合成した前記合成疑似レーダ画像を生成すること
を特徴とする請求項１記載の学習用データ生成装置。
【請求項７】
前記影画像生成部が生成する前記影模擬レーダ画像にノイズを付加するためのノイズ画像を取得するノイズ画像取得部を備え、
前記画像合成部は、前記背景画像取得部が取得した前記背景画像に、前記影画像生成部が生成した前記影模擬レーダ画像を貼り付けた領域に、前記ノイズ画像取得部が取得した前記ノイズ画像が示すノイズを付加し、更に、前記対象物模擬レーダ画像を貼り付けることにより、前記合成疑似レーダ画像を生成すること
を特徴とする請求項６記載の学習用データ生成装置。
【請求項８】
前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の前記照射方向とに基づいて、前記対象物画像生成部が生成した前記対象物模擬レーダ画像、及び、前記影画像生成部が生成した前記影模擬レーダ画像を前記背景画像に貼り付ける位置を決定する位置決定部を備えたこと
を特徴とする請求項６記載の学習用データ生成装置。
【請求項９】
前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の出射位置との間の距離と、前記レーダ装置による実際のレーダ照射の際の、想定される対象物と、前記レーダ装置におけるレーダ照射の出射位置との間の距離との比に基づいて、前記対象物画像生成部が生成した前記対象物模擬レーダ画像、及び、前記影画像生成部が生成した前記影模擬レーダ画像を前記背景画像に貼り付ける大きさを決定するサイズ決定部を備えたこと
を特徴とする請求項６記載の学習用データ生成装置。
【請求項１０】
前記対象物画像生成部は、前記対象物模擬レーダ画像を生成する際に、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出した前記レーダシャドウとなる領域を示す影模擬レーダ画像を生成し、生成した前記影模擬レーダ画像を前記対象物模擬レーダ画像に含めて前記対象物模擬レーダ画像を生成すること
を特徴とする請求項１記載の学習用データ生成装置。
【請求項１１】
前記対象物画像生成部が生成した前記影模擬レーダ画像を含む前記対象物模擬レーダ画像における前記影模擬レーダ画像の領域にノイズを付加するためのノイズ画像を取得するノイズ画像取得部を備え、
前記画像合成部は、前記対象物画像生成部が生成した前記影模擬レーダ画像を含む前記対象物模擬レーダ画像を前記背景画像に貼り付け、前記対象物模擬レーダ画像を貼り付けた領域における前記影模擬レーダ画像の領域に、前記ノイズ画像取得部が取得した前記ノイズ画像が示すノイズを付加して前記合成疑似レーダ画像を生成すること
を特徴とする請求項１０記載の学習用データ生成装置。
【請求項１２】
前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の前記照射方向とに基づいて、前記対象物画像生成部が生成した前記影模擬レーダ画像を含む前記対象物模擬レーダ画像を前記背景画像に貼り付ける位置を決定する位置決定部を備えたこと
を特徴とする請求項１０記載の学習用データ生成装置。
【請求項１３】
前記対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対してレーダ照射を模擬する際の、前記対象物３Ｄモデル情報が示す前記対象物の３Ｄモデルと、模擬した前記対象物に対するレーダ照射の出射位置との間の距離と、前記レーダ装置による実際のレーダ照射の際の、想定される対象物と、前記レーダ装置におけるレーダ照射の出射位置との間の距離との比に基づいて、前記対象物画像生成部が生成した前記影模擬レーダ画像を含む前記対象物模擬レーダ画像を前記背景画像に貼り付ける大きさを決定するサイズ決定部を備えたこと
を特徴とする請求項１０記載の学習用データ生成装置。
【請求項１４】
前記レーダ画像取得部は、広域を撮影した前記レーダ画像を示す前記レーダ画像情報を取得し、
前記背景画像取得部は、前記レーダ画像取得部が取得した前記レーダ画像情報が示す広域を撮影した前記レーダ画像のうち一部の画像領域を切り出し、切り出した前記画像領域を前記背景画像として取得すること
を特徴とする請求項１から請求項１３のいずれか１項記載の学習用データ生成装置。
【請求項１５】
請求項１から請求項１４のいずれか１項記載の学習用データ生成装置と、
学習用データ生成装置が出力する前記学習用データを用いて機械学習を行う学習装置と、
を備えたこと
を特徴とする学習システム。
【請求項１６】
請求項１から請求項１４のいずれか１項記載の学習用データ生成装置と、
学習用データ生成装置が出力する前記学習用データを用いて機械学習を行う学習装置と、
前記学習装置が行った前記機械学習による学習結果に対応する学習済モデルを用いて、前記レーダ装置がレーダ照射することにより生成された前記レーダ画像に前記対象物の像が存在するかを推論する推論装置と、
を備えたこと
を特徴とする推論システム。
【請求項１７】
３Ｄモデル取得部が、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得ステップと、
対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成ステップと、
レーダ画像取得部が、レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得ステップと、
背景画像取得部が、前記レーダ画像取得部が取得した前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得ステップと、
画像合成部が、前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成ステップと、
学習用データ生成部が、前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成ステップと、
学習用データ出力部が、前記学習用データ生成部が生成した前記学習用データを出力する学習用データ出力ステップと、
を備えたこと
を特徴とする学習用データ生成方法。
【請求項１８】
コンピュータに、
対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得機能と、
前記３Ｄモデル取得機能により取得された前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成機能と、
レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得機能と、
前記レーダ画像取得機能により取得された前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得機能と、
前記背景画像取得機能により取得された前記背景画像における所定の位置に、前記対象物画像生成機能により生成された前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成機能と、
前記画像合成機能により生成された前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成機能と、
前記学習用データ生成機能により生成された前記学習用データを出力する学習用データ出力機能と、
を実現させるための学習用データ生成プログラム。
【請求項１９】
対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部と、
前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部と、
レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部と、
前記レーダ画像取得部が取得した前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得部と、
前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部と、
前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部と、
前記学習用データ生成部が生成した前記学習用データを用いて機械学習を行う学習部と、
前記学習部が行った前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成部と、
前記学習済モデル生成部が生成した前記学習済モデル情報を出力する学習済モデル出力部と、
を備えたこと
を特徴とする学習装置。
【請求項２０】
３Ｄモデル取得部が、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得ステップと、
対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成ステップと、
レーダ画像取得部が、レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得ステップと、
背景画像取得部が、前記レーダ画像取得部が取得した前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得ステップと、
画像合成部が、前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成ステップと、
学習用データ生成部が、前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成ステップと、
学習部が、前記学習用データ生成部が生成した前記学習用データを用いて機械学習を行う学習ステップと、
学習済モデル生成部が、前記学習部が行った前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成ステップと、
学習済モデル出力部が、前記学習済モデル生成部が生成した前記学習済モデル情報を出力する学習済モデル出力ステップと、
を備えたこと
を特徴とする学習方法。
【請求項２１】
コンピュータに、
対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得機能と、
前記３Ｄモデル取得機能により取得された前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成機能と、
レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得機能と、
前記レーダ画像取得機能により取得された前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得機能と、
前記背景画像取得機能により取得された前記背景画像における所定の位置に、前記対象物画像生成機能により生成された前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成機能と、
前記画像合成機能により生成された前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成機能と、
前記学習用データ生成機能により生成された前記学習用データを用いて機械学習を行う学習機能と、
前記学習機能により行われた前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成機能と、
前記学習済モデル生成機能により生成された前記学習済モデル情報を出力する学習済モデル出力機能と、
を実現させるための学習プログラム。
【請求項２２】
対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部と、
前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部と、
レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部と、
前記レーダ画像取得部が取得した前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得部と、
前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部と、
前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部と、
前記学習用データ生成部が生成した前記学習用データを用いて機械学習を行う学習部と、
前記学習部が行った前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成部と、
前記レーダ装置がレーダ照射することにより生成された推論対象である前記レーダ画像を示す推論対象レーダ画像情報を取得する推論対象レーダ画像取得部と、
前記学習済モデル生成部が生成した前記学習済モデル情報が示す前記学習済モデルを用いて、前記推論対象レーダ画像取得部が取得した前記推論対象レーダ画像情報が示す前記レーダ画像に前記対象物の像が存在するかを推論する推論部と、
前記推論部が推論した推論結果を示す推論結果情報を出力する推論結果出力部と、
を備えたこと
を特徴とする推論装置。
【請求項２３】
３Ｄモデル取得部が、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得ステップと、
対象物画像生成部が、前記３Ｄモデル取得部が取得した前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成ステップと、
レーダ画像取得部が、レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得ステップと、
背景画像取得部が、前記レーダ画像取得部が取得した前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得ステップと、
画像合成部が、前記背景画像取得部が取得した前記背景画像における所定の位置に、前記対象物画像生成部が生成した前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成ステップと、
学習用データ生成部が、前記画像合成部が生成した前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成ステップと、
学習部が、前記学習用データ生成部が生成した前記学習用データを用いて機械学習を行う学習ステップと、
学習済モデル生成部が、前記学習部が行った前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成ステップと、
推論対象レーダ画像取得部が、前記レーダ装置がレーダ照射することにより生成された推論対象である前記レーダ画像を示す推論対象レーダ画像情報を取得する推論対象レーダ画像取得ステップと、
推論部が、前記学習済モデル生成部が生成した前記学習済モデル情報が示す前記学習済モデルを用いて、前記推論対象レーダ画像取得部が取得した前記推論対象レーダ画像情報が示す前記レーダ画像に前記対象物の像が存在するかを推論する推論ステップと、
推論結果出力部が、前記推論部が推論した推論結果を示す推論結果情報を出力する推論結果出力ステップと、
を備えたこと
を特徴とする推論方法。
【請求項２４】
コンピュータに、
対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得機能と、
前記３Ｄモデル取得機能により取得された前記対象物３Ｄモデル情報を用いて前記対象物に対するレーダ照射を模擬し、前記対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成機能と、
レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得機能と、
前記レーダ画像取得機能により取得された前記レーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得機能と、
前記背景画像取得機能により取得された前記背景画像における所定の位置に、前記対象物画像生成機能により生成された前記対象物模擬レーダ画像を貼り付けて、前記背景画像と前記対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成機能と、
前記画像合成機能により生成された前記合成疑似レーダ画像を示す合成模擬レーダ画像情報と、前記対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成機能と、
前記学習用データ生成機能により生成された前記学習用データを用いて機械学習を行う学習機能と、
前記学習機能により行われた前記機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成機能と、
前記レーダ装置がレーダ照射することにより生成された推論対象である前記レーダ画像を示す推論対象レーダ画像情報を取得する推論対象レーダ画像取得機能と、
前記学習済モデル生成機能により生成された前記学習済モデル情報が示す前記学習済モデルを用いて、前記推論対象レーダ画像取得機能により取得された前記推論対象レーダ画像情報が示す前記レーダ画像に前記対象物の像が存在するかを推論する推論機能と、
前記推論機能により推論された推論結果を示す推論結果情報を出力する推論結果出力機能と、
を実現させるための推論プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、学習用データ生成装置、学習用データ生成方法、学習用データ生成プログラム、学習装置、学習方法、学習プログラム、推論装置、推論方法、推論プログラム、学習システム、及び推論システムに関するものである。
【背景技術】
【０００２】
上空又は地表等に向かってレーダ照射を行うことにより生成されたレーダ画像を用いて、上空又は地表等に存在する物体を検知又は識別することが行われている。
例えば、特許文献１には、撮像された目標体の静止画像を入力し、情報抽出手段で目標体に関する少なくとも複数の異なる形態の情報を抽出し、目標候補検索手段で目標情報データベースから目標候補を検索し、目標侯補絞込み手段で目標候補を予め定めたルールを適用して絞込むことにより、目標体を撮像した画像から自動的に目標体を識別し、目標体を特定する目標体特定システムが開示されている。【０００３】
レーダ画像を用いて、上空又は地表等に存在する物体を検知又は識別するためには、例えば、特許文献１に記載された目標情報データベースのような、レーダ画像に写る物体のレーダ画像における特徴と比較可能な、データベースを予め用意しておく必要がある。データベースは、例えば、検知又は識別したい物体（以下「対象物」という。）が写るレーダ画像を予め収集し、収集したレーダ画像における対象物の特徴を抽出することにより、生成される。また、対象物が写るレーダ画像を予め収集することにより、収集したレーダ画像を学習用データとして用いて機械学習を行い、機械学習による学習結果に基づいて、レーダ画像に写る対象物を検知又は識別する推論装置等の構築も可能である。
レーダ画像に写る対象物を高精度に検知又は識別するためには、データベースを用いる場合、又は、機械学習による学習結果に基づいて推論する場合等、いずれの場合においても、対象物を異なる条件において撮影した大量のレーダ画像が必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２０７１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象物に対して異なる角度でレーダ照射が行われた場合、レーダ画像における対象物の像の特徴は異なる特徴を示す。また、対象物は非線形な形状を有するため、対象物に照射されたレーダの照射方向に対する対象物の向きの違いによっても、対象物のレーダ画像における特徴は異なる特徴を示す。したがって、対象物を異なる条件において撮影したレーダ画像を大量に取得するためには、対象物の向き、又は、レーダの照射方向等を変更しながらレーザ画像を収集する必要がある。
しかしながら、例えば、合成開口レーダのように航空機又は人工衛星等からレーダ照射することによりレーダ画像を生成する場合、対象物を異なる条件において撮影した大量のレーダ画像を収集するには、多くの時間又は手間を要する。【０００６】
この発明は、上述の問題点を解決するためのもので、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる学習用データ生成装置を提供することを課題としている。
【課題を解決するための手段】
【０００７】
この発明に係る学習用データ生成装置は、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部と、３Ｄモデル取得部が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部と、レーダ装置がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部と、レーダ画像取得部が取得したレーダ画像情報から対象物の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する背景画像取得部と、背景画像取得部が取得した背景画像における所定の位置に、対象物画像生成部が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部と、画像合成部が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部と、学習用データ生成部が生成した学習用データを出力する学習用データ出力部と、を備えた。
【発明の効果】
【０００８】
この発明によれば、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る学習用データ生成装置が適用されたレーダシステムの要部の構成の一例を示すブロック図である。
【図２】図２は、実施の形態１に係る学習用データ生成装置の要部の構成の一例を示すブロック図である。
【図３】図３は、対象物３Ｄモデル情報をコンピュータグラフィックスにより可視化した対象物の３Ｄモデルの一例を示す図である。
【図４】図４は、対象物模擬レーダ画像の一例を示す図である。
【図５】図５は、背景画像の一例を示す図である。
【図６】図６は、レーダ画像の一例を示す図である。
【図７】図７は、合成疑似レーダ画像の一例を示す図である。
【図８】図８Ａ及び図８Ｂは、実施の形態１に係る学習用データ生成装置１００の要部のハードウェア構成の一例を示す図である。
【図９】図９は、実施の形態１に係る学習用データ生成装置の処理の一例を説明するフローチャートである。
【図１０】図１０は、実施の形態１に係る画像合成部の処理の一例を説明するフローチャートである。
【図１１Ａ】図１１Ａは、実施の形態１に係る画像合成部の処理の一例を説明するフローチャートの一部である。
【図１１Ｂ】図１１Ｂは、実施の形態１に係る画像合成部の処理の一例を説明するフローチャートの残部である。
【図１２】図１２は、実施の形態１の変形例に係る学習装置の要部の構成の一例を示すブロック図である。
【図１３】図１３は、実施の形態１の変形例に係る学習装置の処理の一例を説明するフローチャートである。
【図１４】図１４は、実施の形態１の他の変形例に係る推論装置の要部の構成の一例を示すブロック図である。
【図１５】図１５は、実施の形態１の他の変形例に係る推論装置の処理の一例を説明するフローチャートである。
【図１６】図１６は、実施の形態２に係る学習用データ生成装置が適用されたレーダシステムの要部の構成の一例を示すブロック図である。
【図１７】図１７は、実施の形態２に係る学習用データ生成装置の要部の構成の一例を示すブロック図である。
【図１８】図１８は、影疑似レーダ画像の一例を示す図である。
【図１９】図１９は、合成疑似レーダ画像の一例を示す図である。
【図２０】図２０は、ノイズ画像の一例を示す図である。
【図２１】図２１は、実施の形態２に係る学習用データ生成装置の処理の一例を説明するフローチャートである。
【図２２Ａ】図２２Ａは、実施の形態２に係る画像合成部の処理の一例を説明するフローチャートの一部である。
【図２２Ｂ】図２２Ｂは、実施の形態２に係る画像合成部の処理の一例を説明するフローチャートの残部である。
【図２３Ａ】図２３Ａは、実施の形態２に係る画像合成部の処理の一例を説明するフローチャートの一部である。
【図２３Ｂ】図２３Ｂは、実施の形態２に係る画像合成部の処理の一例を説明するフローチャートの残部である。
【図２４】図２４は、実施の形態３に係る学習用データ生成装置が適用されたレーダシステムの要部の構成の一例を示すブロック図である。
【図２５】図２５は、実施の形態３に係る学習用データ生成装置の要部の構成の一例を示すブロック図である。
【図２６】図２６は、実施の形態３に係る学習用データ生成装置の処理の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１１】
実施の形態１．
図１から図１１を参照して実施の形態１に係る学習用データ生成装置１００について説明する。
図１は、実施の形態１に係る学習用データ生成装置１００が適用されたレーダシステム１の要部の構成の一例を示すブロック図である。
レーダシステム１は、学習用データ生成装置１００、レーダ装置１０、学習装置２０、推論装置３０、記憶装置４０、入力装置５０、及び出力装置６０を備える。
なお、学習用データ生成装置１００、学習装置２０、及び記憶装置４０を備えた構成は、学習システム２として動作する。
また、学習用データ生成装置１００、学習装置２０、推論装置３０、及び記憶装置４０を備えた構成は、推論システム３として動作する。
【００１２】
記憶装置４０は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の記憶媒体を有する電子情報を記憶するための装置である。記憶装置４０は、有線通信手段又は無線通信手段を介して、学習用データ生成装置１００、レーダ装置１０、学習装置２０、又は推論装置３０等と接続されている。
【００１３】
レーダ装置１０は、レーダ信号を出射し、出射したレーダ信号が反射した信号を反射レーダ信号として受信し、受信した反射レーダ信号に対応するレーダ画像を生成して、生成したレーダ画像を示すレーダ画像情報を出力する。
具体的には、レーダ装置１０は、レーダ画像情報を学習用データ生成装置１００又は記憶装置４０、及び、推論装置３０に出力する。
レーダ装置１０は、レーダ画像情報を、学習用データ生成装置１００又は記憶装置４０、及び、推論装置３０に加えて、学習装置２０に出力しても良い。
【００１４】
レーダ装置１０が出力するレーダ画像情報は、例えば、レーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すものである。レーダ画像情報は、位相情報を含むものであっても良い。
また、例えば、レーダ装置１０が出力するレーダ画像情報は、レーダ画像情報が示すレーダ画像の各画素値において、反射レーダ信号の強度が、対数スケールに変換され、更に、対数スケールに変換された後の反射レーダ信号の強度が、最大値を１、且つ、最小値を０として正規化されたものであっても良い。このように正規化されたレーダ画像情報が示すレーダ画像は、最大値が１、且つ、最小値が０であるグレースケール画像として視認可能なものである。
以下、レーダ装置１０が出力するレーダ画像情報は、レーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すものであるとして説明する。
【００１５】
学習用データ生成装置１００は、レーダ画像に写る対象物を検知又は識別するための機械学習を行う際に用いる学習用データを生成し、生成した学習用データを学習装置２０又は記憶装置４０に出力する。学習用データ生成装置１００の詳細については、後述する。
【００１６】
学習装置２０は、学習用データを取得し、取得した学習用データを用いて、レーダ装置１０が出力するレーダ画像情報が示すレーダ画像に写る対象物を検知又は識別するための機械学習を行う。学習装置２０は、学習用データ生成装置１００が出力した機械学習を行うために用いる学習用データを、学習用データ生成装置１００又は記憶装置４０から取得する。学習装置２０は、学習用データ生成装置１００又は記憶装置４０から機械学習を行うために用いる学習用データを取得するのに加えて、レーダ装置１０が出力するレーダ画像情報を、学習用データとしてレーダ装置１０又は記憶装置４０から取得しても良い。学習装置２０は、レーダ画像に写る対象物を検知又は識別するための機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を推論装置３０又は記憶装置４０に出力する。学習装置２０が出力する学習済モデル情報が示す学習済モデルは、入力層、中間層、及び出力層等を有するニューラルネットワーク等である。
【００１７】
推論装置３０は、レーダ装置１０が出力したレーダ画像情報をレーダ装置１０又は記憶装置４０から取得し、学習装置２０が出力した学習済モデル情報を学習装置２０又は記憶装置４０から取得する。推論装置３０は、取得した学習済モデル情報が示す学習済モデルを用いて、取得したレーダ画像情報が示すレーダ画像に写る対象物を検知又は識別する。推論装置３０は、対象物を検知した検知結果、又は、識別した識別結果等を示す結果情報を出力装置６０に出力する。
入力装置５０は、例えば、キーボード又はマウス等の操作入力装置である。入力装置５０は、ユーザからの操作を受け付け、ユーザの操作に対応する操作信号を、有線通信手段又は無線通信手段を介して、学習用データ生成装置１００に出力する。
【００１８】
出力装置６０は、例えば、ディスプレイ等の表示出力装置である。出力装置６０は、表示出力装置に限定されるものではなく、ランプ等の照明装置、又は、スピーカ等の音声出力装置等であっても良い。出力装置６０は、推論装置３０が出力した結果情報を取得し、取得した結果情報を光又は音声等により、ユーザが認識可能な状態で出力する。
【００１９】
図２を参照して、実施の形態１に係る学習用データ生成装置１００の要部の構成について説明する。
図２は、実施の形態１に係る学習用データ生成装置１００の要部の構成の一例を示すブロック図である。
学習用データ生成装置１００は、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、及び学習用データ出力部１９９を備える。
学習用データ生成装置１００は、上述の構成に加え、位置決定部１６０、サイズ決定部１７０、及び埋め込み座標取得部１８１を備えるものであっても良い。
実施の形態１に係る学習用データ生成装置１００は、図２に示すように、位置決定部１６０及びサイズ決定部１７０を備えるものとして説明する。
【００２０】
操作受付部１０１は、入力装置５０が出力した操作信号を受け付けて、受け付けた操作信号を操作信号に対応する操作情報に変換し、変換した操作情報を３Ｄモデル取得部１１０、対象物画像生成部１２０、背景画像取得部１４０、又は画像合成部１８０等に出力する。
【００２１】
３Ｄモデル取得部１１０は、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する。３Ｄモデル取得部１１０は、例えば、記憶装置４０から対象物３Ｄモデル情報を読み出すことにより、対象物３Ｄモデル情報を取得する。３Ｄモデル取得部１１０は、予め対象物３Ｄモデル情報を保持していても良い。また、３Ｄモデル取得部１１０は、例えば、対象物３Ｄモデル情報を操作受付部１０１が出力した操作情報に基づいて取得しても良い。より具体的には、例えば、ユーザは、対象物３Ｄモデル情報を、入力装置５０を操作することにより入力する。操作受付部１０１は、対象物３Ｄモデル情報を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を３Ｄモデル取得部１１０に出力する。３Ｄモデル取得部１１０は、操作受付部１０１から操作情報を取得することにより、対象物３Ｄモデル情報を取得する。
【００２２】
３Ｄモデル取得部１１０が取得する対象物３Ｄモデル情報は、対象物の形状又は大きさ等の対象物の構造を示す構造情報等である。対象物３Ｄモデル情報は、構造情報に加えて、対象物を構成する部材の材質、又は表面粗度等の対象物の組成を示す組成情報等を含むものであっても良い。
図３は、３Ｄモデル取得部１１０が取得する対象物３Ｄモデル情報をコンピュータグラフィックスにより可視化した対象物の３Ｄモデルの一例を示す図である。
図３に示すように、対象物は、航空機である。対象物は、航空機に限定されるものではなく、自動車又は船舶等の物体であっても良い。
【００２３】
対象物画像生成部１２０は、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像（以下「対象物模擬レーダ画像」という。）を生成する。
具体的には、例えば、対象物画像生成部１２０は、対象物に対してレーダ照射を行う際の、対象物に対するレーダの照射方向、又は、レーダの照射方向に対する対象物の向き、対象物に対するレーダ照射の出射位置と対象物との間の距離、又は、対象物に対するレーダ照射の出射位置と対象物との間におけるレーダの散乱率等のパラメータを取得する。
【００２４】
対象物画像生成部１２０は、例えば、当該パラメータを操作受付部１０１が出力した操作情報に基づいて取得する。より具体的には、例えば、ユーザは、当該パラメータを、入力装置５０を操作することにより入力する。操作受付部１０１は、当該パラメータを示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を対象物画像生成部１２０に出力する。対象物画像生成部１２０は、操作受付部１０１から操作情報を取得することにより、当該パラメータを取得する。対象物画像生成部１２０は、当該パラメータを予め保持していても良いし、記憶装置４０から読み出すことにより取得しても良い。
対象物画像生成部１２０は、取得した当該パラメータと、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報とに基づいて、対象物に対するレーダ照射を模擬し、対象物模擬レーダ画像を生成する。
【００２５】
図４は、対象物画像生成部１２０が、図３に示す対象物の３Ｄモデルを示す対象物３Ｄモデル情報を用いて、対象物に対するレーダ照射を模擬して生成した対象物模擬レーダ画像の一例を示す図である。なお、図４は、対象物模擬レーダ画像の各画素値において、模擬したレーダ照射の反射レーダ信号の強度を対数スケールに変換し、更に、対数スケールに変換後の反射レーダ信号の強度を、０から１までの間の値となるように正規化することにより、対象物模擬レーダ画像をグレースケール画像として可視化したものである。
【００２６】
レーダ画像取得部１３０は、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得する。具体的には、レーダ画像取得部１３０は、レーダ装置１０が出力したレーダ画像情報を、レーダ装置１０又は記憶装置４０から取得する。
【００２７】
背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する。
具体的には、例えば、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示すレーダ画像に対象物等の物体が写っていないレーザ画像を背景画像として取得する。
図５は、背景画像取得部１４０が取得する背景画像の一例を示す図である。なお、図５は、背景画像の各画素値において、反射レーダ信号の強度を対数スケールに変換し、更に、対数スケールに変換後の反射レーダ信号の強度を、０から１までの間の値となるように正規化することにより、背景画像をグレースケール画像として可視化したものである。
【００２８】
また例えば、レーダ画像取得部１３０が、広域を撮影したレーダ画像を示すレーダ画像情報を取得し、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち一部の画像領域を切り出し、切り出した画像領域を背景画像として取得しても良い。より具体的には、例えば、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち、対象物等の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する。
背景画像取得部１４０は、例えば、操作受付部１０１が出力した操作情報に基づいて、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち、切り出す画像領域を決定する。より具体的には、例えば、ユーザは、切り出す画像領域を、入力装置５０を操作することにより入力する。操作受付部１０１は、切り出す画像領域を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を背景画像取得部１４０に出力する。背景画像取得部１４０は、操作受付部１０１から操作情報を取得することにより、切り出す画像領域を決定する。
【００２９】
図６は、レーダ画像取得部１３０が取得するレーダ画像情報が示す広域を撮影したレーダ画像の一例を示す図である。なお、図６は、レーダ画像の各画素値において、反射レーダ信号の強度を対数スケールに変換し、更に、対数スケールに変換後の反射レーダ信号の強度を、０から１までの間の値となるように正規化することにより、レーダ画像をグレースケール画像として可視化したものである。
背景画像取得部１４０は、図６に示す広域を撮影したレーダ画像のうち、図５に示すような対象物等の物体が写っていない画像領域を切り出し、切り出した画像領域を背景画像として取得する。
【００３０】
画像合成部１８０は、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する。
図７は、画像合成部１８０が生成した合成疑似レーダ画像の一例を示す図である。なお、図７は、合成疑似レーダ画像の各画素値において、反射レーダ信号の強度、及び、模擬したレーダ照射の反射レーダ信号の強度を対数スケールに変換し、更に、対数スケールに変換後の反射レーダ信号の強度、及び、模擬したレーダ照射における対数スケールに変換後の反射レーダ信号の強度を、０から１までの間の値となるように正規化することにより、合成疑似レーダ画像をグレースケール画像として可視化したものである。
【００３１】
画像合成部１８０は、例えば、操作受付部１０１が出力した操作情報に基づいて、対象物模擬レーダ画像を貼り付ける背景画像における位置を取得する。より具体的には、例えば、ユーザは、対象物模擬レーダ画像を貼り付ける背景画像における位置を、入力装置５０を操作することにより入力する。操作受付部１０１は、対象物模擬レーダ画像を貼り付ける背景画像における位置を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を画像合成部１８０に出力する。画像合成部１８０は、操作受付部１０１から操作情報を取得することにより、対象物模擬レーダ画像を貼り付ける背景画像における位置を取得する。
【００３２】
また例えば、学習用データ生成装置１００が位置決定部１６０を備える場合、対象物模擬レーダ画像を貼り付ける背景画像における位置は、位置決定部１６０により決定されても良い。
位置決定部１６０は、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する。
【００３３】
また、画像合成部１８０は、対象物画像生成部１２０が生成した対象物模擬レーダ画像を所定の大きさに変更し、大きさを変更した後の対象物模擬レーダ画像を、背景画像取得部１４０が取得した背景画像における所定の位置に貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成しても良い。
例えば、学習用データ生成装置１００がサイズ決定部１７０を備える場合、対象物模擬レーダ画像の変更後の大きさは、サイズ決定部１７０により決定される。
サイズ決定部１７０は、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
【００３４】
学習用データ生成部１９０は、画像合成部１８０が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する。学習用データ生成部１９０は、画像合成部１８０が、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成しても良い。
より具体的には、例えば、学習用データ生成部１９０は、学習用データ生成装置１００が埋め込み座標取得部１８１を備える場合、画像合成部１８０が背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を埋め込み座標取得部１８１により取得し、取得した当該画像を示す情報と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成しても良い。
埋め込み座標取得部１８１は、画像合成部１８０が背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を画像合成部１８０から取得する。埋め込み座標取得部１８１は、取得した当該情報を学習用データ生成部１９０に出力する。
学習用データ出力部１９９は、学習用データ生成部１９０が生成した学習用データを出力する。
【００３５】
図８Ａ及び図８Ｂを参照して、実施の形態１に係る学習用データ生成装置１００の要部のハードウェア構成について説明する。
図８Ａ及び図８Ｂは、実施の形態１に係る学習用データ生成装置１００の要部のハードウェア構成の一例を示す図である。
【００３６】
図８Ａに示す如く、学習用データ生成装置１００はコンピュータにより構成されており、当該コンピュータはプロセッサ２０１及びメモリ２０２を有している。メモリ２０２には、当該コンピュータを操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、及び学習用データ出力部１９９として機能させるためのプログラムが記憶されている。メモリ２０２に記憶されているプログラムをプロセッサ２０１が読み出して実行することにより、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、及び学習用データ出力部１９９が実現される。
【００３７】
また、図８Ｂに示す如く、学習用データ生成装置１００は処理回路２０３により構成されても良い。この場合、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、及び学習用データ出力部１９９の機能が処理回路２０３により実現されても良い。
【００３８】
また、学習用データ生成装置１００はプロセッサ２０１、メモリ２０２及び処理回路２０３により構成されても良い（不図示）。この場合、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、及び学習用データ出力部１９９の機能のうちの一部の機能がプロセッサ２０１及びメモリ２０２により実現されて、残余の機能が処理回路２０３により実現されるものであっても良い。
【００３９】
プロセッサ２０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
【００４０】
メモリ２０２は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ２０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＳＳＤ、又はＨＤＤなどを用いたものである。
【００４１】
処理回路２０３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
【００４２】
図９を参照して、実施の形態１に係る学習用データ生成装置１００の動作について説明する。
図９は、実施の形態１に係る学習用データ生成装置１００の処理の一例を説明するフローチャートである。
学習用データ生成装置１００は、例えば、当該フローチャートの処理を繰り返して実行する。
【００４３】
まず、ステップＳＴ９０１にて、３Ｄモデル取得部１１０は、対象物３Ｄモデル情報を取得する。
次に、ステップＳＴ９０２にて、対象物画像生成部１２０は、対象物模擬レーダ画像を生成する。
次に、ステップＳＴ９０３にて、レーダ画像取得部１３０は、レーダ画像情報を取得する。
次に、ステップＳＴ９０４にて、背景画像取得部１４０は、背景画像を取得する。
次に、ステップＳＴ９０５にて、位置決定部１６０は、対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する。
次に、ステップＳＴ９０６にて、サイズ決定部１７０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
次に、ステップＳＴ９０７にて、画像合成部１８０は、合成疑似レーダ画像を生成する。
次に、ステップＳＴ９０８にて、埋め込み座標取得部１８１は、画像合成部１８０が背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する。
次に、ステップＳＴ９０９にて、学習用データ生成部１９０は、学習用データを生成する。
次に、ステップＳＴ９１０にて、学習用データ出力部１９９は、学習用データを出力する。
【００４４】
学習用データ生成装置１００は、ステップＳＴ９１０の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ９０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
なお、当該フローチャートの処理において、ステップＳＴ９０１の処理がステップＳＴ９０２の処理より先行し、且つ、ステップＳＴ９０３の処理がステップＳＴ９０４の処理より先行し、且つ、ステップＳＴ９０１からステップＳＴ９０４までの処理がステップＳＴ９０５より先行していれば、ステップＳＴ９０１からステップＳＴ９０４までの処理の順序は、任意である。
また、当該フローチャートの処理を繰り返し実行する際に、対象物３Ｄモデル情報を変更する必要が無い場合、ステップＳＴ９０１の処理を省略することが可能である。
また、当該フローチャートの処理を繰り返し実行する際に、レーダ画像情報を変更する必要が無い場合、ステップＳＴ９０３の処理を省略することが可能である。
【００４５】
画像合成部１８０が、背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する方法について説明する。
画像合成部１８０が合成疑似レーダ画像を生成する第１の方法について説明する。
画像合成部１８０における背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する方法について説明する。
画像合成部１８０は、例えば、対象物模擬レーダ画像の各画素値と、対象物模擬レーダ画像を合成する背景画像の、対象物模擬レーダ画像の各画素の位置に対応する画素の位置における画素値とを加算することにより、背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する。
【００４６】
画像合成部１８０が合成疑似レーダ画像を生成する第２の方法について説明する。
対象物画像生成部１２０が、対象物模擬レーダ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として対象物模擬レーダ画像を生成し、且つ、背景画像取得部１４０が、背景画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として背景画像を取得する場合、画像合成部１８０は、例えば、以下に示すように背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成しても良い。
当該場合、例えば、画像合成部１８０は、対象物模擬レーダ画像の各画素値と、対象物模擬レーダ画像を合成する背景画像の、対象物模擬レーダ画像の各画素の位置に対応する画素の位置における画素値とを比較し、対象物模擬レーダ画像の画素値が背景画像の画素値より大きい画素について、背景画像の画素値を対象物模擬レーダ画像の画素値を置き換えることにより、背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する。
【００４７】
画像合成部１８０が合成疑似レーダ画像を生成する第１及び第２の方法は、一例に過ぎず、画像合成部１８０が背景画像と対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する方法は、上述の第１及び第２の方法に限定されるものではない。
【００４８】
図１０及び図１１を参照して、実施の形態１に係る画像合成部１８０の動作について説明する。
図１０は、実施の形態１に係る画像合成部１８０の処理の一例を説明するフローチャートである。すなわち、図１０は、図９に示すステップＳＴ９０７の処理を示すフローチャートである。図１０に示すフローチャートは、画像合成部１８０が合成疑似レーダ画像を生成する第１の方法における画像合成部１８０の動作を示すものである。
【００４９】
まず、ステップＳＴ１００１にて、画像合成部１８０は、対象物模擬レーダ画像を取得する。
次に、ステップＳＴ１００２にて、画像合成部１８０は、背景画像を取得する。
次に、ステップＳＴ１００３にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける位置を取得する。
次に、ステップＳＴ１００４にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさを取得する。
次に、ステップＳＴ１００５にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさに基づいて、対象物模擬レーダ画像の大きさを変更する。
【００５０】
次に、ステップＳＴ１００６にて、画像合成部１８０は、対象物模擬レーダ画像における画素と、当該画素に対応する背景画像における画素とを選択する。
次に、ステップＳＴ１００７にて、画像合成部１８０は、選択した背景画像における画素の画素値に、選択した対象物模擬レーダ画像における画素の画素値を加算する。
次に、ステップＳＴ１００８にて、画像合成部１８０は、対象物模擬レーダ画像における全ての画素を選択したか否かを判定する。
ステップＳＴ１００８にて、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０は、ステップＳＴ１００６の処理に戻って、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ１００６からステップＳＴ１００８までの処理を繰り返し実行する。
【００５１】
ステップＳＴ１００８にて、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０は、当該フローチャートの処理を終了する。
なお、当該フローチャートの処理において、ステップＳＴ１００１からステップＳＴ１００４までの処理の順序は任意である。
【００５２】
また、学習用データ生成装置１００は、合成疑似レーダ画像を生成する際に、対象物模擬レーダ画像をアルファブレンド等により所定の割合で透過させて、背景画像と対象物模擬レーダ画像とを合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０は、ステップＳＴ１００７の処理において、背景画像における画素の画素値に、対象物模擬レーダ画像における画素の画素値を加算する際に、画像合成部１８０は、対象物模擬レーダ画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値を背景画像における画素の画素値に加算しても良い。
このようにして生成された合成疑似レーダ画像は、合成疑似レーダ画像における対象物模擬レーダ画像が貼り付けられた領域が不鮮明になり、学習用データ生成装置１００は、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
【００５３】
図１１は、実施の形態１に係る画像合成部１８０の処理の一例を説明するフローチャートである。すなわち、図１１は、図９に示すステップＳＴ９０７の処理を示すフローチャートである。図１１に示すフローチャートは、画像合成部１８０が合成疑似レーダ画像を生成する第２の方法における画像合成部１８０の動作を示すものである。なお、図１１Ａは、実施の形態１に係る画像合成部１８０の処理フローの一部を示し、図１１Ｂは、実施の形態１に係る画像合成部１８０の処理フローの残部を示したものである。
【００５４】
まず、ステップＳＴ１１０１にて、画像合成部１８０は、対象物模擬レーダ画像を取得する。
次に、ステップＳＴ１１０２にて、画像合成部１８０は、背景画像を取得する。
次に、ステップＳＴ１１０３にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける位置を取得する。
次に、ステップＳＴ１１０４にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさを取得する。
次に、ステップＳＴ１１０５にて、画像合成部１８０は、対象物模擬レーダ画像を背景画像に貼り付ける大きさに基づいて、対象物模擬レーダ画像の大きさを変更する。
次に、ステップＳＴ１１０６にて、画像合成部１８０は、対象物模擬レーダ画像における画素と、当該画素に対応する背景画像における画素とを選択する。
【００５５】
次に、ステップＳＴ１１０７にて、画像合成部１８０は、選択した対象物模擬レーダ画像における画素の画素値が、選択した背景画像における画素の画素値より大きいか否かを判定する。
ステップＳＴ１１０７にて、画像合成部１８０が、選択した対象物模擬レーダ画像における画素の画素値が、選択した背景画像における画素の画素値より大きいと判定した場合、ステップＳＴ１１０８にて、画像合成部１８０は、選択した背景画像における画素の画素値を、選択した対象物模擬レーダ画像における画素の画素値で置き換える。
ステップＳＴ１１０８の後、ステップＳＴ１１０９にて、画像合成部１８０は、対象物模擬レーダ画像における全ての画素を選択したか否かを判定する。
ステップＳＴ１１０７にて、画像合成部１８０が、選択した対象物模擬レーダ画像における画素の画素値が、選択した背景画像における画素の画素値より大きくないと判定した場合、画像合成部１８０は、ステップＳＴ１１０９の処理を実行する。
【００５６】
ステップＳＴ１１０９にて、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０は、ステップＳＴ１１０６の処理に戻って、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ１１０６からステップＳＴ１１０９までの処理を繰り返し実行する。
ステップＳＴ１１０９にて、画像合成部１８０が、対象物模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０は、当該フローチャートの処理を終了する。
【００５７】
なお、当該フローチャートの処理において、ステップＳＴ１１０１からステップＳＴ１１０４までの処理の順序は任意である。
【００５８】
また、学習用データ生成装置１００は、合成疑似レーダ画像を生成する際に、対象物模擬レーダ画像をアルファブレンド等により所定の割合で透過させて、背景画像と対象物模擬レーダ画像とを合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０は、ステップＳＴ１１０８の処理において、背景画像における画素の画素値を対象物模擬レーダ画像における画素の画素値で置き換える際に、画像合成部１８０は、対象物模擬レーダ画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値で背景画像における画素の画素値を置き換えても良い。
このようにして生成された合成疑似レーダ画像は、合成疑似レーダ画像における対象物模擬レーダ画像が貼り付けられた領域が不鮮明になり、学習用データ生成装置１００は、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
【００５９】
以上のように、学習用データ生成装置１００は、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０と、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０と、画像合成部１８０が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを出力する学習用データ出力部１９９と、を備えた。
このように構成することで、学習用データ生成装置１００は、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
【００６０】
また、このように構成することで、学習用データ生成装置１００は、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を用いて背景画像を生成するため、対象物の背景を３Ｄモデル化する必要がない。
また、対象物の背景の３Ｄモデル等から背景画像を数値計算により生成する必要がないため、学習用データを短時間で生成することができる。
【００６１】
また、学習用データ生成装置１００は、上述の構成において、学習用データ生成部１９０は、画像合成部１８０が、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成するように構成した。
このように構成することで、学習用データ生成装置１００は、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
【００６２】
また、学習用データ生成装置１００は、上述の構成に加えて、画像合成部１８０が、背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する埋め込み座標取得部１８１を備え、学習用データ生成部１９０は、埋め込み座標取得部１８１が取得した背景画像における画素の座標を示す情報と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成するように構成した。
このように構成することで、学習用データ生成装置１００は、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
【００６３】
また、学習用データ生成装置１００は、上述の構成に加えて、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する位置決定部１６０を備えた。
このように構成することで、学習用データ生成装置１００は、対象物模擬レーダ画像を背景画像に貼り付ける位置をユーザが入力する手間を省くことができる。
【００６４】
また、学習用データ生成装置１００は、上述の構成に加えて、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定するサイズ決定部１７０を備えた。
このように構成することで、学習用データ生成装置１００は、対象物模擬レーダ画像を背景画像に貼り付ける大きさをユーザが入力する手間を省くことができる。
【００６５】
また、学習用データ生成装置１００は、上述の構成において、レーダ画像取得部１３０は、広域を撮影したレーダ画像を示すレーダ画像情報を取得し、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち一部の画像領域を切り出し、切り出した画像領域を背景画像として取得するようにした。
このように構成することで、学習用データ生成装置１００は、背景画像を簡単に取得できる。
【００６６】
なお、これまでの説明において、レーダ装置１０が出力するレーダ画像情報は、レーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すものであり、レーダ画像取得部１３０は、レーダ装置１０が生成したレーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すレーダ画像情報を取得するものとして説明したが、レーダ画像取得部１３０が取得するレーダ画像情報が示すレーダ画像は、レーダ画像情報が示すレーダ画像の各画素値において、反射レーダ信号の強度が、対数スケールに変換され、更に、対数スケールに変換された後の反射レーダ信号の強度が、０から１までの間の値等となるように正規化することにより、レーダ画像をグレースケール化したものであっても良い。
レーダ画像取得部１３０が取得するレーダ画像情報が示すレーダ画像がグレースケール化されたものである場合、対象物画像生成部１２０は、対象物模擬レーダ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として対象物模擬レーダ画像を生成する。更に、画像合成部１８０は、図１１に示すフローチャートの処理を行う。
【００６７】
実施の形態１の変形例．
図１２及び図１３を参照して実施の形態１の変形例に係る学習装置２０ａについて説明する。
図１２は、実施の形態１の変形例に係る学習装置２０ａの要部の構成の一例を示すブロック図である。
実施の形態１の変形例に係る学習装置２０ａは、実施の形態１に係る学習用データ生成装置１００が備える学習用データを生成する機能を有し、生成した学習用データを用いて、レーダ画像に写る対象物を検知又は識別するための機械学習するものである。
【００６８】
図１２に示すように、学習装置２０ａは、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、及び学習済モデル出力部２３を備える。
学習装置２０ａは、上述の構成に加え、位置決定部１６０、サイズ決定部１７０、及び埋め込み座標取得部１８１を備えるものであっても良い。
図１２は、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、及び学習済モデル出力部２３に加えて、位置決定部１６０及びサイズ決定部１７０を備えた学習装置２０ａを示している。
実施の形態１の変形例に係る学習装置２０ａの構成において、実施の形態１に係る学習用データ生成装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図２に記載した符号と同じ符号を付した図１２の構成については、説明を省略する。
【００６９】
学習部２１は、学習用データ生成部１９０が生成した学習用データを用いて機械学習を行う。具体的には、例えば、学習部２１は、学習用データ生成部１９０が生成した学習用データを用いて、レーダ画像に写る対象物を検知又は識別を行うための深層学習等の教師あり学習を行う。画像認識により対象物の検知又は識別を行うための教師あり学習は、公知であるため説明を省略する。
学習済モデル生成部２２は、学習部２１が行った機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する。学習済モデル生成部２２が生成する学習済モデル情報が示す学習済モデルは、入力層、中間層、及び出力層等を有するニューラルネットワーク等である。なお、学習済モデル生成部２２は、既に学習済モデル情報を生成済みである場合、学習部２１が行った機械学習により、当該学習済モデル情報が示す学習済モデルを更新して、学習結果に対応する学習済モデルを示す学習済モデル情報を生成しても良い。
学習済モデル出力部２３は、学習済モデル生成部２２が生成した学習済モデル情報を出力する。具体的には、例えば、学習済モデル出力部２３は、学習済モデル生成部２２が生成した学習済モデル情報を図１に示す推論装置３０又は記憶装置４０に出力する。
【００７０】
なお、実施の形態１の変形例に係る学習装置２０ａにおける操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、及び学習済モデル出力部２３の各機能は、実施の形態１において図８Ａ及び図８Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
【００７１】
図１３を参照して、実施の形態１の変形例に係る学習装置２０ａの動作について説明する。
図１３は、実施の形態１の変形例に係る学習装置２０ａの処理の一例を説明するフローチャートである。
学習装置２０ａは、例えば、当該フローチャートの処理を繰り返して実行する。
なお、実施の形態１の変形例に係る学習装置２０ａの動作において、図９に示す実施の形態１に係る学習用データ生成装置１００の動作と同様の動作については、同じ符号を付して重複した説明を省略する。すなわち、図９に記載した符号と同じ符号を付した図１３の処理については、説明を省略する。
【００７２】
まず、学習装置２０ａは、ステップＳＴ９０１からステップＳＴ９０９までの処理を実行する。
ステップＳＴ９０９の後、ステップＳＴ１３０１にて、学習部２１は、機械学習を行う。
次に、ステップＳＴ１３０２にて、学習済モデル生成部２２は、学習済モデル情報を生成する。
次に、ステップＳＴ１３０３にて、学習済モデル出力部２３は、学習済モデル情報を出力する。
学習装置２０ａは、ステップＳＴ１３０３の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ９０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
なお、学習装置２０ａは、ステップＳＴ１３０１の処理を実行する前に、ステップＳＴ９０１からステップＳＴ９０９までの処理を繰り返し実行するものであっても良い。
【００７３】
以上のように、学習装置２０ａは、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０と、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０と、画像合成部１８０が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを用いて機械学習を行う学習部２１と、学習部２１が行った機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成部２２と、学習済モデル生成部２２が生成した学習済モデル情報を出力する学習済モデル出力部２３と、を備えた。
【００７４】
このように構成することで、学習装置２０ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを簡単に生成することができるため、レーダ画像に写る対象物を高精度に検知又は識別できる学習済モデルを生成することができる。
【００７５】
実施の形態１の他の変形例．
図１４及び図１５を参照して実施の形態１の変形例とは異なる、実施の形態１の他の変形例について説明する。
図１４は、実施の形態１の他の変形例に係る推論装置３０ａの要部の構成の一例を示すブロック図である。
実施の形態１の他の変形例に係る推論装置３０ａは、実施の形態１の変形例に係る学習装置２０ａが備える学習用データ及び学習済モデル情報を生成する機能を有し、生成した学習済モデル情報を用いて、取得したレーダ画像に写る対象物を検知又は識別するものである。
【００７６】
図１４に示すように、推論装置３０ａは、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、推論対象レーダ画像取得部３１、推論部３２、及び推論結果出力部３３を備える。
推論装置３０ａは、上述の構成に加え、位置決定部１６０、サイズ決定部１７０、及び埋め込み座標取得部１８１を備えるものであっても良い。
図１４は、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、推論対象レーダ画像取得部３１、推論部３２、及び推論結果出力部３３に加えて、位置決定部１６０及びサイズ決定部１７０を備えた推論装置３０ａを示している。
実施の形態１の他の変形例に係る推論装置３０ａの構成において、実施の形態１の変形例に係る学習装置２０ａと同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１２に記載した符号と同じ符号を付した図１４の構成については、説明を省略する。
【００７７】
推論対象レーダ画像取得部３１は、レーダ装置１０がレーダ照射することにより生成された推論対象であるレーダ画像を示す推論対象レーダ画像情報を取得する。
推論部３２は、学習済モデル生成部２２が生成した学習済モデル情報が示す学習済モデルを用いて、推論対象レーダ画像取得部３１が取得した推論対象レーダ画像情報が示すレーダ画像に対象物の像が存在するかを推論する。
推論結果出力部３３は、推論部３２が推論した推論結果を示す推論結果情報を出力する。具体的には、例えば、推論結果出力部３３は、学推論結果情報を図１に示す出力装置６０に出力する。
【００７８】
なお、実施の形態１の他の変形例に係る推論装置３０ａにおける操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、位置決定部１６０、サイズ決定部１７０、画像合成部１８０、埋め込み座標取得部１８１、学習用データ生成部１９０、学習部２１、学習済モデル生成部２２、推論対象レーダ画像取得部３１、推論部３２、及び推論結果出力部３３の各機能は、実施の形態１において図８Ａ及び図８Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
【００７９】
図１５を参照して、実施の形態１の他の変形例に係る推論装置３０ａの動作について説明する。
図１５は、実施の形態１の他の変形例に係る推論装置３０ａの処理の一例を説明するフローチャートである。
なお、実施の形態１の他の変形例に係る推論装置３０ａの動作において、図１３に示す実施の形態１の変形例に係る学習装置２０ａの動作と同様の動作については、同じ符号を付して重複した説明を省略する。すなわち、図１３に記載した符号と同じ符号を付した図１５の処理については、説明を省略する。
【００８０】
まず、推論装置３０ａは、ステップＳＴ９０１からステップＳＴ９０９までの処理を実行する。
ステップＳＴ９０９の後、推論装置３０ａは、ステップＳＴ１３０１からステップＳＴ１３０２までの処理を実行する。
ステップＳＴ１３０２の後、ステップＳＴ１５０１にて、推論対象レーダ画像取得部３１は、推論対象レーダ画像情報を取得する。
次に、ステップＳＴ１５０２にて、推論部３２は、推論対象レーダ画像情報が示すレーダ画像に対象物の像が存在するかを推論する。
次に、ステップＳＴ１５０３にて、推論結果出力部３３は、推論結果情報を出力する。
推論装置３０ａは、ステップＳＴ１５０３の処理を実行した後、当該フローチャートの処理を終了する。
なお、推論装置３０ａは、ステップＳＴ１３０１の処理を実行する前に、ステップＳＴ９０１からステップＳＴ９０９までの処理を繰り返し実行するものであっても良い。また、推論装置３０ａは、ステップＳＴ１５０１の処理を実行する前に、ステップＳＴ１３０１からステップＳＴ１３０２までの処理を繰り返し実行するものであっても良い。
【００８１】
以上のように、推論装置３０ａは、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０と、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０と、画像合成部１８０が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを用いて機械学習を行う学習部２１と、学習部２１が行った機械学習による学習結果に対応する学習済モデルを示す学習済モデル情報を生成する学習済モデル生成部２２と、レーダ装置１０がレーダ照射することにより生成された推論対象であるレーダ画像を示す推論対象レーダ画像情報を取得する推論対象レーダ画像取得部３１と、学習済モデル生成部２２が生成した学習済モデル情報が示す学習済モデルを用いて、推論対象レーダ画像取得部３１が取得した推論対象レーダ画像情報が示すレーダ画像に対象物の像が存在するかを推論する推論部３２と、推論部３２が推論した推論結果を示す推論結果情報を出力する推論結果出力部３３と、を備えた。
【００８２】
このように構成することで、推論装置３０ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを簡単に生成し、生成した学習用データを用いて、レーダ画像に写る対象物を高精度に検知又は識別する学習済モデルを生成することができるため、レーダ画像に写る対象物を高精度に検知又は識別できる。
【００８３】
実施の形態２．
図１６から図２３を参照して実施の形態２に係る学習用データ生成装置１００ａについて説明する。
図１６は、実施の形態２に係る学習用データ生成装置１００ａが適用されたレーダシステム１ａの要部の構成の一例を示すブロック図である。
レーダシステム１ａは、学習用データ生成装置１００ａ、レーダ装置１０、学習装置２０、推論装置３０、記憶装置４０、入力装置５０、及び出力装置６０を備える。
レーダシステム１ａは、実施の形態１に係るレーダシステム１における学習用データ生成装置１００が、学習用データ生成装置１００ａに変更されたものである。
なお、学習用データ生成装置１００ａ、学習装置２０、及び記憶装置４０を備えた構成は、学習システム２ａとして動作する。
また、学習用データ生成装置１００ａ、学習装置２０、推論装置３０、及び記憶装置４０を備えた構成は、推論システム３ａとして動作する。
実施の形態２に係るレーダシステム１ａの構成において、実施の形態１に係るレーダシステム１と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１に記載した符号と同じ符号を付した図１６の構成については、説明を省略する。
【００８４】
図１７を参照して、実施の形態２に係る学習用データ生成装置１００ａの要部の構成について説明する。
図１７は、実施の形態２に係る学習用データ生成装置１００ａの要部の構成の一例を示すブロック図である。
学習用データ生成装置１００ａは、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、影画像生成部１５０、画像合成部１８０ａ、学習用データ生成部１９０、及び学習用データ出力部１９９を備える。
学習用データ生成装置１００ａは、上述の構成に加え、ノイズ画像取得部１５１、位置決定部１６０ａ、サイズ決定部１７０ａ、及び埋め込み座標取得部１８１ａを備えるものであっても良い。
実施の形態２に係る学習用データ生成装置１００ａは、図１７に示すように、ノイズ画像取得部１５１、位置決定部１６０ａ、及びサイズ決定部１７０ａを備えるものとして説明する。
【００８５】
図１７に示す学習用データ生成装置１００ａは、図２に示す実施の形態１に係る学習用データ生成装置１００の構成に影画像生成部１５０及びノイズ画像取得部１５１が追加され、更に、実施の形態１に係る学習用データ生成装置１００における画像合成部１８０、位置決定部１６０、及びサイズ決定部１７０が、画像合成部１８０ａ、位置決定部１６０ａ、及びサイズ決定部１７０ａに変更されたものである。
実施の形態２に係る学習用データ生成装置１００ａの構成において、実施の形態１に係る学習用データ生成装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図２に記載した符号と同じ符号を付した図１７の構成については、説明を省略する。
【００８６】
影画像生成部１５０は、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出したレーダシャドウとなる領域を示す疑似レーダ画像（以下「影疑似レーダ画像」という。）を生成する。
【００８７】
より具体的には、例えば、影画像生成部１５０は、影疑似レーダ画像におけるレーダシャドウとなる領域を、以下の式（１）及び式（２）に基づいて算出する。
Ｘ０＝Ｘ＋Ｚ×ｔａｎθ  ・・・  式（１）
Ｙ０＝Ｙ  ・・・  式（２）
ここで、（Ｘ０，Ｙ０）は、影疑似レーダ画像におけるレーダシャドウとなる任意の座標である。また、（Ｘ，Ｙ，Ｚ）は、模擬したレーダ照射におけるレーダ信号が出力される位置を原点とするＸＹＺ座標系における対象物３Ｄモデル情報が示す対象物の３Ｄモデル表面上の位置である。また、θは、当該ＸＹＺ座標系における原点から（Ｘ，Ｙ，Ｚ）により示される対象物の３Ｄモデル表面上の位置に向かう方方向とＺ軸とが成す角度である。すなわち、θは、（Ｘ，Ｙ，Ｚ）により示される対象物の３Ｄモデル表面上の位置における模擬したレーダ照射におけるレーダ信号の照射角度である。
【００８８】
影画像生成部１５０は、例えば、（Ｘ０，Ｙ０）により示される影疑似レーダ画像におけるレーダシャドウとなる任意の座標の値、すなわち、影疑似レーダ画像におけるレーダシャドウとなる画素の画素値を、１等の所定値とし、（Ｘ０，Ｙ０）以外の任意の座標の値、すなわち、影疑似レーダ画像におけるレーダシャドウとならない画素の画素値を上述の所定値より大きい値とした矩形画像として、影疑似レーダ画像を生成する。
図１８は、影画像生成部１５０が、図３に示す対象物の３Ｄモデルを示す対象物３Ｄモデル情報を用いて、対象物に対するレーダ照射を模擬して生成した影疑似レーダ画像の一例を示す図である。なお、図１８に示す影疑似レーダ画像は、影疑似レーダ画像におけるレーダシャドウとなる画素の画素値を０とし、レーダシャドウとならない画素の画素値を１となるように正規化した２値のモノクロ画像として可視化したものである。
【００８９】
画像合成部１８０ａは、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像と、影画像生成部１５０が生成した影模擬レーダ画像とを貼り付けて、背景画像、対象物模擬レーダ画像、及び、影模擬レーダ画像を合成した合成疑似レーダ画像を生成する。
図１９は、画像合成部１８０ａが生成した合成疑似レーダ画像の一例を示す図である。なお、図１９は、合成疑似レーダ画像の各画素値において、０から１までの間の値となるように正規化することにより、合成疑似レーダ画像をグレースケール画像として可視化したものである。
【００９０】
ノイズ画像取得部１５１は、影画像生成部１５０が生成する影疑似レーダ画像にノイズを付加するためのノイズ画像を取得する。
ノイズ画像取得部１５１は、例えば、ノイズ画像を示すノイズ画像情報を記憶装置４０から読み出すことにより取得する。また、例えば、ノイズ画像取得部１５１は、ノイズ画像取得部１５１が、レーダ画像取得部１３０が取得したレーダ画像情報が示すレーダ画像、又は、背景画像取得部１４０が、レーダ画像取得部１３０が取得したレーダ画像情報を用いて取得した背景画像に基づいて演算処理を行うことにより、ガウシアンノイズ又はレイリーノイズ等のノイズを示すノイズ画像を生成して取得しても良い。また、例えば、ノイズ画像取得部１５１は、ノイズ画像取得部１５１が、演算処理を行うことにより、ランダムノイズ等のノイズを示すノイズ画像を生成して取得しても良い。
図２０は、ノイズ画像取得部１５１が取得したノイズ画像の一例を示す図である。なお、図２０は、ノイズ画像の各画素値において、０から１までの間の値となるように正規化することにより、ノイズ画像をグレースケール画像として可視化したものである。
【００９１】
例えば、学習用データ生成装置１００ａがノイズ画像取得部１５１を備える場合、画像合成部１８０ａは、背景画像取得部１４０が取得した背景画像に、影画像生成部１５０が生成した影模擬レーダ画像を貼り付けた領域に、ノイズ画像取得部１５１が取得したノイズ画像が示すノイズを付加し、更に、対象物模擬レーダ画像を貼り付けることにより、合成疑似レーダ画像を生成する。より具体的には、例えば、画像合成部１８０ａは、背景画像に影模擬レーダ画像を貼り付けた領域の各画素の画素値に、当該領域の各画素に対応するノイズ画像の画素の画素値を加算して、背景画像に影模擬レーダ画像を貼り付けた領域にノイズ画像が示すノイズを付加する。
【００９２】
画像合成部１８０ａは、例えば、操作受付部１０１が出力した操作情報に基づいて、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける背景画像における位置を取得する。より具体的には、例えば、ユーザは、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける背景画像における位置を、入力装置５０を操作することにより入力する。操作受付部１０１は、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける背景画像における位置を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を画像合成部１８０ａに出力する。画像合成部１８０ａは、操作受付部１０１から操作情報を取得することにより、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける背景画像における位置を取得する。
【００９３】
また例えば、学習用データ生成装置１００ａが位置決定部１６０ａを備える場合、対象物模擬レーダ画像及び影模擬レーダ画像を貼り付ける位置は、位置決定部１６０ａにより決定されても良い。
位置決定部１６０ａは、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を背景画像に貼り付ける位置を決定する。
【００９４】
また、画像合成部１８０ａは、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を所定の大きさに変更し、大きさを変更した後の対象物模擬レーダ画像及び影模擬レーダ画像を、背景画像取得部１４０が取得した背景画像における所定の位置に貼り付けて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成した合成疑似レーダ画像を生成しても良い。
例えば、学習用データ生成装置１００ａがサイズ決定部１７０ａを備える場合、対象物模擬レーダ画像及び影模擬レーダ画像の変更後の大きさは、サイズ決定部１７０ａにより決定される。
サイズ決定部１７０ａは、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
【００９５】
学習用データ生成部１９０は、画像合成部１８０ａが生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する。学習用データ生成部１９０は、画像合成部１８０ａが、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成しても良い。
埋め込み座標取得部１８１ａは、画像合成部１８０ａが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を画像合成部１８０ａから取得する。埋め込み座標取得部１８１ａは、取得した当該情報を学習用データ生成部１９０に出力する。例えば、学習用データ生成部１９０は、学習用データ生成装置１００ａが埋め込み座標取得部１８１ａを備える場合、画像合成部１８０ａが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成しても良い。
【００９６】
なお、実施の形態２に係る学習用データ生成装置１００ａにおける操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０、レーダ画像取得部１３０、背景画像取得部１４０、影画像生成部１５０、ノイズ画像取得部１５１、位置決定部１６０ａ、サイズ決定部１７０ａ、画像合成部１８０ａ、埋め込み座標取得部１８１ａ、学習用データ生成部１９０、及び学習用データ出力部１９９の各機能は、実施の形態１において図８Ａ及び図８Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
【００９７】
図２１を参照して、実施の形態２に係る学習用データ生成装置１００ａの動作について説明する。
図２１は、実施の形態２に係る学習用データ生成装置１００ａの処理の一例を説明するフローチャートである。
学習用データ生成装置１００ａは、例えば、当該フローチャートの処理を繰り返して実行する。
なお、実施の形態２に係る学習用データ生成装置１００ａの動作において、図９に示す実施の形態１に係る学習用データ生成装置１００の動作と同様の動作については、同じ符号を付して重複した説明を省略する。すなわち、図９に記載した符号と同じ符号を付した図２１の処理については、説明を省略する。
【００９８】
まず、学習用データ生成装置１００ａは、ステップＳＴ９０１からステップＳＴ９０４までの処理を実行する。
ステップＳＴ９０４の後、ステップＳＴ２１０１にて、影画像生成部１５０は、影疑似レーダ画像を生成する。
次に、ステップＳＴ２１０２にて、ノイズ画像取得部１５１は、ノイズ画像を取得する。
次に、ステップＳＴ２１０３にて、位置決定部１６０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置を決定する。
次に、ステップＳＴ２１０４にて、サイズ決定部１７０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさを決定する。
次に、ステップＳＴ２１０５にて、画像合成部１８０ａは、合成疑似レーダ画像を生成する。
次に、ステップＳＴ２１０６にて、埋め込み座標取得部１８１ａは、画像合成部１８０ａが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する。
次に、ステップＳＴ２１０７にて、学習用データ生成部１９０は、学習用データを生成する。
次に、ステップＳＴ２１０８にて、学習用データ出力部１９９は、学習用データを出力する。
【００９９】
学習用データ生成装置１００ａは、ステップＳＴ２１０８の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ９０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
なお、当該フローチャートの処理において、ステップＳＴ２１０２の処理がステップＳＴ２１０７の処理より先行していれば、ステップＳＴ２１０２の処理の順序は、任意である。
また、当該フローチャートの処理において、ステップＳＴ９０１の処理がステップＳＴ９０２及びステップＳＴ２１０１の処理より先行し、且つ、ステップＳＴ９０３の処理がステップＳＴ９０４の処理より先行し、且つ、ステップＳＴ９０１からステップＳＴ９０４までの処理、及び、ステップＳＴ２１０１の処理が、ステップＳＴ２１０３より先行していれば、ステップＳＴ９０１からステップＳＴ９０４までの処理、及び、ステップＳＴ２１０１の処理の順序は、任意である。
【０１００】
画像合成部１８０ａが、背景画像、対象物模擬レーダ画像、及び影疑似レーダ画像を合成して合成疑似レーダ画像を生成する方法について説明する。
【０１０１】
画像合成部１８０ａが合成疑似レーダ画像を生成する第１の方法について説明する。
画像合成部１８０ａは、例えば、背景画像の画素のうち、影画像生成部１５０が生成した影模擬レーダ画像におけるレーダシャドウとなる領域の画素、すなわち、影模擬レーダ画像における画素値が１等の所定値である画素に対応する画素の画素値を、影模擬レーダ画像の画素値と置き換えることにより、背景画像に影模擬レーダ画像を貼り付ける。
【０１０２】
画像合成部１８０ａは、学習用データ生成装置１００ａがノイズ画像取得部１５１を備える場合、画像合成部１８０ａは、例えば、背景画像に影模擬レーダ画像を貼り付けた領域のうち、背景画像の画素値を影模擬レーダ画像の画素値と置き換えた各画素の画素値に、当該画素に対応するノイズ画像の画素の画素値を加算して、背景画像に影模擬レーダ画像を貼り付けた領域にノイズ画像が示すノイズを付加する。
【０１０３】
画像合成部１８０ａは、背景画像に影模擬レーダ画像を貼り付けた後、又は、貼り付けた影模擬レーダ画像にノイズを付加した後、例えば、対象物模擬レーダ画像の各画素値を、背景画像の対象物模擬レーダ画像の各画素の位置に対応する画素の画素値に、加算することにより、影模擬レーダ画像を貼り付けた後の背景画像に対象物模擬レーダ画像を貼り付けて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成して合成疑似レーダ画像を生成する。
【０１０４】
画像合成部１８０ａが合成疑似レーダ画像を生成する第２の方法について説明する。
対象物画像生成部１２０が、対象物模擬レーダ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として対象物模擬レーダ画像を生成し、且つ、影画像生成部１５０が、影模擬レーダ画像の各画素値において、レーダシャドウになる画素の画素値を０とし、レーダシャドウにならない画像の画素値を１とする２値のモノクロ画像として影模擬レーダ画像を生成し、且つ、背景画像取得部１４０が、背景画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として背景画像を取得する場合、画像合成部１８０ａは、例えば、以下に示すように合成疑似レーダ画像を生成しても良い。
【０１０５】
当該場合、例えば、画像合成部１８０ａは、以下の式（３）を用いて、背景画像に影模擬レーダ画像を貼り付ける領域における、背景画像に影模擬レーダ画像を貼り付けた後の各画素値を算出して、対応する背景画像の画素値を算出した画素値に置き換え、影模擬レーダ画像を貼り付けた後の背景画像を生成する。
［背景画像の画素値を置き換える画素値］＝［背景画像の画素値］×［影模擬レーダ画像の画素値］  ・・・  式（３）
式（３）を用いて背景画像の画素値を置き換える画素値を算出することにより、影模擬レーダ画像を貼り付けた後の背景画像の各画素値を、レーダシャドウになる画素の画素値を０にし、レーダシャドウにならない画素の画素値を背景画像取得部１４０が取得した背景画像の画素値にすることができる。
【０１０６】
画像合成部１８０ａは、学習用データ生成装置１００ａがノイズ画像取得部１５１を備える場合は、以下の式（４）を用いて、背景画像に影模擬レーダ画像を貼り付ける領域における、背景画像に影模擬レーダ画像を貼り付けた後にノイズを付加した各画素値を算出して、対応する背景画像の画素値を算出した画素値に置き換え、影模擬レーダ画像を貼り付けた後にノイズを付加した背景画像を生成する。
［背景画像の画素値を置き換える画素値］＝［背景画像の画素値］×［影模擬レーダ画像の画素値］＋［ノイズ画像の画素値］×（１−［影模擬レーダ画像の画素値］）  ・・・  式（４）
式（４）を用いて背景画像の画素値を置き換える画素値を算出することにより、背景画像における影模擬レーダ画像を貼り付けた領域のうち、レーダシャドウになる領域のみにノイズを付加することができる。
【０１０７】
なお、上述の説明では、影画像生成部１５０が、２値のモノクロ画像として影模擬レーダ画像を生成するものとして説明したが、影模擬レーダ画像を背景画像に貼り付ける際に、影模擬レーダ画像を拡大又は縮小すると、レーダシャドウになる領域とレーダシャドウにならない領域との境界における画素値が０から１までの間の値になる場合がある。当該場合においても、式（３）又は式（４）を適用することができる。
【０１０８】
画像合成部１８０ａは、背景画像に影模擬レーダ画像を貼り付けた後、又は、貼り付けた影模擬レーダ画像にノイズを付加した後、例えば、対象物模擬レーダ画像の各画素値と、背景画像に影模擬レーダ画像を貼り付けた後、又は、貼り付けた影模擬レーダ画像にノイズを付加した後の背景画像における対象物模擬レーダ画像の各画素の位置に対応する画素の位置における画素値とを比較し、対象物模擬レーダ画像の画素値が当該背景画像の画素値より大きい画素について、当背景画像の画素値を対象物模擬レーダ画像の画素値を置き換えることにより、合成疑似レーダ画像を生成する。
【０１０９】
画像合成部１８０ａが合成疑似レーダ画像を生成する第１及び第２の方法は、一例に過ぎず、画像合成部１８０ａが、背景画像、対象物模擬レーダ画像、及び影疑似レーダ画像を合成して合成疑似レーダ画像を生成する方法は、上述の第１及び第２の方法に限定されるものではない。
【０１１０】
図２２及び図２３を参照して、実施の形態２に係る画像合成部１８０ａの動作について説明する。
図２２は、実施の形態２に係る画像合成部１８０ａの処理の一例を説明するフローチャートである。すなわち、図２２は、図２１に示すステップＳＴ２１０５の処理を示すフローチャートである。図２２に示すフローチャートは、画像合成部１８０ａが合成疑似レーダ画像を生成する第１の方法における画像合成部１８０ａの動作を示すものである。なお、図２２Ａは、実施の形態２に係る画像合成部１８０ａの処理フローの一部を示し、図２２Ｂは、実施の形態２に係る画像合成部１８０ａの処理フローの残部を示したものである。
【０１１１】
まず、ステップＳＴ２２０１にて、画像合成部１８０ａは、対象物模擬レーダ画像を取得する。
次に、ステップＳＴ２２０２にて、画像合成部１８０ａは、影疑似レーダ画像を取得する。
次に、ステップＳＴ２２０３にて、画像合成部１８０ａは、ノイズ画像を取得する。
次に、ステップＳＴ２２０４にて、画像合成部１８０ａは、背景画像を取得する。
次に、ステップＳＴ２２０５にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置を取得する。
次に、ステップＳＴ２２０６にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさを取得する。
次に、ステップＳＴ２２０７にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさに基づいて、対象物模擬レーダ画像及び影疑似レーダ画像の大きさを変更する。
【０１１２】
次に、ステップＳＴ２２１１にて、画像合成部１８０ａは、影模擬レーダ画像におけるレーダシャドウとなる領域の画素と、当該画素に対応する背景画像における画素とを選択する。
次に、ステップＳＴ２２１２にて、画像合成部１８０ａは、選択した背景画像における画素の画素値を、選択した影模擬レーダ画像における画素の画素値に置き換える。
次に、ステップＳＴ２２１３にて、画像合成部１８０ａは、選択した背景画像における画素に対応するノイズ画像における画素を選択する。
次に、ステップＳＴ２２１４にて、画像合成部１８０ａは、選択した背景画像における画素の画素値に、選択したノイズ画像における画素の画素値を加算する。
次に、ステップＳＴ２２１５にて、画像合成部１８０ａは、影模擬レーダ画像のレーダシャドウとなる領域における全ての画素を選択したか否かを判定する。
ステップＳＴ２２１５にて、画像合成部１８０ａが、影模擬レーダ画像のレーダシャドウとなる領域における全ての画素を選択していないと判定した場合、画像合成部１８０ａは、ステップＳＴ２２１１の処理に戻って、画像合成部１８０ａが、影模擬レーダ画像のレーダシャドウとなる領域における全ての画素を選択したと判定するまで、ステップＳＴ２２１１からステップＳＴ２２１５までの処理を繰り返し実行する。
【０１１３】
ステップＳＴ２２１５にて、画像合成部１８０ａが、影模擬レーダ画像のレーダシャドウとなる領域における全ての画素を選択したと判定した場合、画像合成部１８０ａは、ステップＳＴ２２２１にて、画像合成部１８０ａは、対象物模擬レーダ画像における画素と、当該画素に対応する背景画像における画素とを選択する。
次に、ステップＳＴ２２２２にて、画像合成部１８０ａは、選択した背景画像における画素の画素値に、選択した対象物模擬レーダ画像における画素の画素値を加算する。
次に、ステップＳＴ２２２３にて、画像合成部１８０ａは、対象物模擬レーダ画像における全ての画素を選択したか否かを判定する。
ステップＳＴ２２２３にて、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０ａは、ステップＳＴ２２２１の処理に戻って、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ２２２１からステップＳＴ２２２３までの処理を繰り返し実行する。
ステップＳＴ２２２３にて、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０ａは、当該フローチャートの処理を終了する。
【０１１４】
なお、当該フローチャートの処理において、ステップＳＴ２２０１からステップＳＴ２２０６までの処理の順序は任意である。
また、当該フローチャートの処理において、ステップＳＴ２２１３及びステップＳＴ２２１４の処理は、学習用データ生成装置１００ａがノイズ画像取得部１５１を備えていない場合は省略される。
【０１１５】
また、学習用データ生成装置１００ａは、合成疑似レーダ画像を生成する際に、影模擬レーダ画像におけるレーダシャドウになる領域をアルファブレンド等により所定の割合で透過させて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０ａは、ステップＳＴ２２１２の処理において、背景画像における画素の画素値を影模擬レーダ画像における画素の画素値で置き換えた後に、画像合成部１８０ａは、背景画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値を置き換えた後の背景画像における画素の画素値に加算しても良い。
このようにして生成された影模擬レーダ画像におけるレーダシャドウになる領域が貼り付けられた背景画像は、影模擬レーダ画像におけるレーダシャドウになる領域が不鮮明になり、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像におけるレーダシャドウになる領域に類似する合成疑似レーダ画像を有する学習用データを生成できる。
【０１１６】
また、学習用データ生成装置１００ａは、合成疑似レーダ画像を生成する際に、対象物模擬レーダ画像をアルファブレンド等により所定の割合で透過させて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０ａは、ステップＳＴ２２２２の処理において、背景画像における画素の画素値に、対象物模擬レーダ画像における画素の画素値を加算する際に、画像合成部１８０ａは、対象物模擬レーダ画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値を背景画像における画素の画素値に加算しても良い。
このようにして生成された合成疑似レーダ画像は、合成疑似レーダ画像における対象物模擬レーダ画像が貼り付けられた領域が不鮮明になり、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
【０１１７】
図２３は、実施の形態２に係る画像合成部１８０ａの処理の一例を説明するフローチャートである。すなわち、図２３は、図２１に示すステップＳＴ２１０５の処理を示すフローチャートである。図２３に示すフローチャートは、画像合成部１８０ａが合成疑似レーダ画像を生成する第２の方法における画像合成部１８０ａの動作を示すものである。なお、図２３Ａは、実施の形態２に係る画像合成部１８０ａの処理フローの一部を示し、図２３Ｂは、実施の形態２に係る画像合成部１８０ａの処理フローの残部を示したものである。
【０１１８】
まず、ステップＳＴ２３０１にて、画像合成部１８０ａは、対象物模擬レーダ画像を取得する。
次に、ステップＳＴ２３０２にて、画像合成部１８０ａは、影疑似レーダ画像を取得する。
次に、ステップＳＴ２３０３にて、画像合成部１８０ａは、ノイズ画像を取得する。
次に、ステップＳＴ２３０４にて、画像合成部１８０ａは、背景画像を取得する。
次に、ステップＳＴ２３０５にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置を取得する。
次に、ステップＳＴ２３０６にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさを取得する。
次に、ステップＳＴ２３０７にて、画像合成部１８０ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける大きさに基づいて、対象物模擬レーダ画像及び影疑似レーダ画像の大きさを変更する。
【０１１９】
次に、ステップＳＴ２３１１にて、画像合成部１８０ａは、影模擬レーダ画像における画素、当該画素に対応するノイズ画像における画素、及び、当該画素に対応する背景画像における画素を選択する。
次に、ステップＳＴ２３１２にて、画像合成部１８０ａは、式（４）を用いて、選択した背景画像の画素値を置き換える画素値を算出する。
次に、ステップＳＴ２３１３にて、画像合成部１８０ａは、選択した背景画像における画素の画素値を、算出した画素値に置き換える。
次に、ステップＳＴ２３１４にて、画像合成部１８０ａは、影模擬レーダ画像における全ての画素を選択したか否かを判定する。
ステップＳＴ２３１４にて、画像合成部１８０ａが、影模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０ａは、ステップＳＴ２３１１の処理に戻って、画像合成部１８０ａが、影模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ２３１１からステップＳＴ２３１４までの処理を繰り返し実行する。
ステップＳＴ２３１４にて、画像合成部１８０ａが、影模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０ａは、ステップＳＴ２３２１の処理を実行する。
【０１２０】
ステップＳＴ２３２１にて、画像合成部１８０ａは、対象物模擬レーダ画像における画素と、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素とを選択する。
【０１２１】
次に、ステップＳＴ２３２２にて、画像合成部１８０ａは、選択した対象物模擬レーダ画像における画素の画素値が、選択した、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素の画素値より大きいか否かを判定する。
ステップＳＴ２３２２にて、画像合成部１８０ａが、選択した対象物模擬レーダ画像における画素の画素値が、選択した、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素の画素値より大きいと判定した場合、ステップＳＴ２３２３にて、画像合成部１８０ａは、選択した、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素の画素値を、選択した対象物模擬レーダ画像における画素の画素値で置き換える。
ステップＳＴ２３２３の後、ステップＳＴ２３２４にて、画像合成部１８０ａは、対象物模擬レーダ画像における全ての画素を選択したか否かを判定する。
ステップＳＴ２３２２にて、画像合成部１８０ａが、選択した対象物模擬レーダ画像における画素の画素値が、選択した、影模擬レーダ画像を貼り付けた後の背景画像、又は、貼り付けた後の背景画像にノイズを付加した後の背景画像における当該画素に対応する画素の画素値より大きくないと判定した場合、画像合成部１８０ａは、ステップＳＴ２３２４の処理を実行する。
ステップＳＴ２３２４にて、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択していないと判定した場合、画像合成部１８０ａは、ステップＳＴ２３２１の処理に戻って、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択したと判定するまで、ステップＳＴ２３２１からステップＳＴ２３２４までの処理を繰り返し実行する。
ステップＳＴ２３２４にて、画像合成部１８０ａが、対象物模擬レーダ画像における全ての画素を選択したと判定した場合、画像合成部１８０ａは、当該フローチャートの処理を終了する。
【０１２２】
なお、当該フローチャートの処理において、ステップＳＴ２３０１からステップＳＴ２３０６までの処理の順序は任意である。
また、当該フローチャートの処理において、ステップＳＴ２３１２の処理は、学習用データ生成装置１００ａがノイズ画像取得部１５１を備えていない場合、式（３）を用いて、選択した背景画像の画素値を置き換える画素値を算出する。
【０１２３】
また、学習用データ生成装置１００ａは、合成疑似レーダ画像を生成する際に、影模擬レーダ画像におけるレーダシャドウになる領域をアルファブレンド等により所定の割合で透過させて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０ａは、ステップＳＴ２３１２の処理の後、影模擬レーダ画像におけるレーダシャドウになる領域が貼り付けられた背景画像の領域の画素において、画像合成部１８０ａは、式（４）を用いて算出した画素値に置き換える前の背景画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値を、式（４）を用いて算出した画素値に置き換えた後の背景画像における画素の画素値に加算しても良い。
このようにして生成された影模擬レーダ画像におけるレーダシャドウになる領域が貼り付けられた背景画像は、影模擬レーダ画像におけるレーダシャドウになる領域が不鮮明になり、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像におけるレーダシャドウになる領域に類似する合成疑似レーダ画像を有する学習用データを生成できる。
【０１２４】
また、学習用データ生成装置１００ａは、合成疑似レーダ画像を生成する際に、対象物模擬レーダ画像をアルファブレンド等により所定の割合で透過させて、背景画像、対象物模擬レーダ画像、及び影模擬レーダ画像を合成することにより合成疑似レーダ画像を生成しても良い。具体的には、例えば、画像合成部１８０ａは、ステップＳＴ２３２３の処理において、背景画像における画素の画素値を、対象物模擬レーダ画像における画素の画素値で置き換える際に、画像合成部１８０ａは、対象物模擬レーダ画像における画素の画素値に、例えば、０から１までの間の任意の値を乗じ、乗じた後の当該画素値で背景画像における画素の画素値を置き換えても良い。
このようにして生成された合成疑似レーダ画像は、合成疑似レーダ画像における対象物模擬レーダ画像が貼り付けられた領域が不鮮明になり、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
【０１２５】
以上のように、学習用データ生成装置１００ａは、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０と、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０ａと、画像合成部１８０ａが生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを出力する学習用データ出力部１９９と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出したレーダシャドウとなる領域を示す影疑似レーダ画像を生成する影画像生成部１５０とを備え、画像合成部１８０ａは、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０が生成した対象物模擬レーダ画像と、影画像生成部１５０が生成した影模擬レーダ画像とを貼り付けて、背景画像、対象物模擬レーダ画像、及び、影模擬レーダ画像を合成した合成疑似レーダ画像を生成するように構成した。
【０１２６】
このように構成することで、学習用データ生成装置１００ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
また、このように構成することで、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
また、このように構成することで、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を用いて背景画像を生成するため、対象物の背景を３Ｄモデル化する必要がない。
また、対象物の背景の３Ｄモデル等から背景画像を数値計算により生成する必要がないため、学習用データを短時間で生成することができる。
【０１２７】
また、学習用データ生成装置１００ａは、上述の構成において、学習用データ生成部１９０は、画像合成部１８０ａが、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成するように構成した。
このように構成することで、学習用データ生成装置１００ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
【０１２８】
また、学習用データ生成装置１００ａは、上述の構成に加えて、画像合成部１８０ａが、背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する埋め込み座標取得部１８１ａを備え、学習用データ生成部１９０は、埋め込み座標取得部１８１ａが取得した背景画像における画素の座標を示す情報と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成するように構成した。
このように構成することで、学習用データ生成装置１００ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
【０１２９】
また、学習用データ生成装置１００ａは、上述の構成に加えて、影画像生成部１５０が生成する影疑似レーダ画像にノイズを付加するためのノイズ画像を取得するノイズ画像取得部１５１を備え、画像合成部１８０ａは、背景画像取得部１４０が取得した背景画像に、影画像生成部１５０が生成した影模擬レーダ画像を貼り付けた領域に、ノイズ画像取得部１５１が取得したノイズ画像が示すノイズを付加し、更に、対象物模擬レーダ画像を貼り付けることにより、合成疑似レーダ画像を生成するように構成した。
このように構成することで、学習用データ生成装置１００ａは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
また、このように構成することで、学習用データ生成装置１００ａは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
【０１３０】
また、学習用データ生成装置１００ａは、上述の構成に加えて、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を背景画像に貼り付ける位置を決定する位置決定部１６０ａを備えた。
このように構成することで、学習用データ生成装置１００ａは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置をユーザが入力する手間を省くことができる。
【０１３１】
また、学習用データ生成装置１００ａは、上述の構成に加えて、対象物画像生成部１２０が、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０が生成した対象物模擬レーダ画像、及び、影画像生成部１５０が生成した影模擬レーダ画像を背景画像に貼り付ける大きさを決定するサイズ決定部１７０ａを備えた。
このように構成することで、学習用データ生成装置１００ａは、対象物模擬レーダ画像を背景画像に貼り付ける大きさをユーザが入力する手間を省くことができる。
【０１３２】
また、学習用データ生成装置１００ａは、上述の構成において、レーダ画像取得部１３０は、広域を撮影したレーダ画像を示すレーダ画像情報を取得し、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち一部の画像領域を切り出し、切り出した画像領域を背景画像として取得するようにした。
このように構成することで、学習用データ生成装置１００ａは、背景画像を簡単に取得できる。
【０１３３】
なお、これまでの説明において、レーダ装置１０が出力するレーダ画像情報は、レーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すものであり、レーダ画像取得部１３０は、レーダ装置１０が生成したレーダ画像情報が示すレーダ画像の各画素値が、反射レーダ信号の強度を示すレーダ画像情報を取得するものとして説明したが、レーダ画像取得部１３０が取得するレーダ画像情報が示すレーダ画像は、レーダ画像情報が示すレーダ画像の各画素値において、反射レーダ信号の強度が、対数スケールに変換され、更に、対数スケールに変換された後の反射レーダ信号の強度が、０から１までの間の値等となるように正規化することにより、レーダ画像をグレースケール化したものであっても良い。
レーダ画像取得部１３０が取得するレーダ画像情報が示すレーダ画像がグレースケール化されたものである場合、例えば、対象物画像生成部１２０が、対象物模擬レーダ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像として対象物模擬レーダ画像を生成する。また、影画像生成部１５０は、影模擬レーダ画像の各画素値において、レーダシャドウになる画素の画素値を０とし、レーダシャドウにならない画像の画素値を１とする２値のモノクロ画像等として影模擬レーダ画像を生成する。また、ノイズ画像取得部１５１が、ノイズ画像の各画素値において、０から１までの間の値等となるように正規化したグレースケール画像としてノイズ画像を取得する。更に、画像合成部１８０ａは、図２３のフローチャートに示す処理を行う。
【０１３４】
実施の形態３．
図２４から図２６を参照して実施の形態３に係る学習用データ生成装置１００ｂについて説明する。
実施の形態２に係る学習用データ生成装置１００ａは、生成した対象物模擬レーダ画像と、生成した影疑似レーダ画像とを、取得した背景画像に貼り付けて、背景画像、対象物模擬レーダ画像、及び、影模擬レーダ画像を合成した合成疑似レーダ画像を生成するものであった。
これに対して、実施の形態３に係る学習用データ生成装置１００ｂは、生成した影疑似レーダ画像を含む対象物模擬レーダ画像を生成し、生成した対象物模擬レーダ画像を取得した背景画像に貼り付けて、背景画像と、影模擬レーダ画像を含む対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成するものである。
【０１３５】
図２４は、実施の形態３に係る学習用データ生成装置１００ｂが適用されたレーダシステム１ｂの要部の構成の一例を示すブロック図である。
レーダシステム１ｂは、学習用データ生成装置１００ｂ、レーダ装置１０、学習装置２０、推論装置３０、記憶装置４０、入力装置５０、及び出力装置６０を備える。
レーダシステム１ｂは、実施の形態１に係るレーダシステム１における学習用データ生成装置１００が、学習用データ生成装置１００ｂに変更されたものである。
なお、学習用データ生成装置１００ｂ、学習装置２０、及び記憶装置４０を備えた構成は、学習システム２ｂとして動作する。
また、学習用データ生成装置１００ｂ、学習装置２０、推論装置３０、及び記憶装置４０を備えた構成は、推論システム３ｂとして動作する。
実施の形態３に係るレーダシステム１ｂの構成において、実施の形態１に係るレーダシステム１と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１に記載した符号と同じ符号を付した図２４の構成については、説明を省略する。
【０１３６】
図２５を参照して、実施の形態３に係る学習用データ生成装置１００ｂの要部の構成について説明する。
図２５は、実施の形態３に係る学習用データ生成装置１００ｂの要部の構成の一例を示すブロック図である。
学習用データ生成装置１００ｂは、操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０ｂ、レーダ画像取得部１３０、背景画像取得部１４０、画像合成部１８０ｂ、学習用データ生成部１９０、及び学習用データ出力部１９９を備える。
学習用データ生成装置１００ｂは、上述の構成に加え、ノイズ画像取得部１５１ｂ、位置決定部１６０ｂ、サイズ決定部１７０ｂ、及び埋め込み座標取得部１８１ｂを備えるものであっても良い。
実施の形態３に係る学習用データ生成装置１００ｂは、図２５に示すように、ノイズ画像取得部１５１ｂ、位置決定部１６０ｂ、及びサイズ決定部１７０ｂを備えるものとして説明する。
【０１３７】
図２５に示す学習用データ生成装置１００ｂは、図２に示す実施の形態１に係る学習用データ生成装置１００の構成にノイズ画像取得部１５１ｂが追加され、更に、実施の形態１に係る学習用データ生成装置１００における画像合成部１８０、位置決定部１６０、及びサイズ決定部１７０が、画像合成部１８０ｂ、位置決定部１６０ｂ、及びサイズ決定部１７０ｂに変更されたものである。
実施の形態３に係る学習用データ生成装置１００ｂの構成において、実施の形態１に係る学習用データ生成装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図２に記載した符号と同じ符号を付した図２５の構成については、説明を省略する。
【０１３８】
対象物画像生成部１２０ｂは、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する。対象物画像生成部１２０ｂは、対象物模擬レーダ画像を生成する際に、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出したレーダシャドウとなる領域を示す影疑似レーダ画像を生成し、生成した影疑似レーダ画像を対象物模擬レーダ画像に含めて対象物模擬レーダ画像を生成する。
【０１３９】
具体的には、例えば、対象物画像生成部１２０ｂは、実施の形態２に係る学習用データ生成装置１００ａにおける影画像生成部１５０が影疑似レーダ画像を生成する方法と同様の方法により、影疑似レーダ画像を生成する。したがって、対象物画像生成部１２０ｂが影疑似レーダ画像を生成する方法については、説明を省略する。
また、対象物画像生成部１２０ｂは、例えば、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬することにより生成した対象物模擬レーダ画像に、生成した影疑似レーダ画像を貼り付けることにより合成して、影疑似レーダ画像を貼り付けた後の対象物模擬レーダ画像を生成する。
【０１４０】
画像合成部１８０ｂは、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像を貼り付けて、背景画像と、影模擬レーダ画像を含む対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する。具体的には、例えば、画像合成部１８０ｂは、影模擬レーダ画像を含む対象物模擬レーダ画像の各画素値を用いて、背景画像の影模擬レーダ画像を含む対象物模擬レーダ画像の各画素の位置に対応する画素の位置における画素値を置き換えることにより、背景画像と、影模擬レーダ画像を含む対象物模擬レーダ画像とを合成して合成疑似レーダ画像を生成する。
【０１４１】
ノイズ画像取得部１５１ｂは、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像におけるレーダシャドウとなる領域にノイズを付加するための、ノイズ画像を取得する。ノイズ画像取得部１５１ｂは、実施の形態２に係る学習用データ生成装置１００ａにおけるノイズ画像取得部１５１と同様の機能を有するものである。ノイズ画像取得部１５１ｂがノイズ画像を取得する方法については、説明を省略する。
【０１４２】
例えば、学習用データ生成装置１００ｂがノイズ画像取得部１５１ｂを備える場合、画像合成部１８０ｂは、背景画像取得部１４０が取得した背景画像に、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像を貼り付け、対象物模擬レーダ画像を貼り付けた領域における影疑似レーダ画像の領域にノイズを付加して合成疑似レーダ画像を生成する。より具体的には、例えば、画像合成部１８０ｂは、当該場合、背景画像に対象物模擬レーダ画像を貼り付けた領域における影疑似レーダ画像の領域の各画素の画素値に、当該領域の各画素に対応するノイズ画像の画素の画素値を加算して、ノイズを付加する。
【０１４３】
画像合成部１８０ｂは、例えば、操作受付部１０１が出力した操作情報に基づいて、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける背景画像における位置を取得する。より具体的には、例えば、ユーザは、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける背景画像における位置を、入力装置５０を操作することにより入力する。操作受付部１０１は、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける背景画像における位置を示す操作信号を受けて、当該操作信号に対応する操作情報に変換し、変化した操作情報を画像合成部１８０ｂに出力する。画像合成部１８０ｂは、操作受付部１０１から操作情報を取得することにより、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける背景画像における位置を取得する。
【０１４４】
また例えば、学習用データ生成装置１００ｂが位置決定部１６０ｂを備える場合、影模擬レーダ画像を含む対象物模擬レーダ画像を貼り付ける位置は、位置決定部１６０ｂにより決定されても良い。
位置決定部１６０ｂは、対象物画像生成部１２０ｂが、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する。
【０１４５】
また、画像合成部１８０ｂは、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を所定の大きさに変更し、大きさを変更した後の影模擬レーダ画像を含む対象物模擬レーダ画像を、背景画像取得部１４０が取得した背景画像における所定の位置に貼り付けて、背景画像と、影模擬レーダ画像を含む対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成しても良い。
例えば、学習用データ生成装置１００ｂがサイズ決定部１７０ｂを備える場合、影模擬レーダ画像を含む対象物模擬レーダ画像の変更後の大きさは、サイズ決定部１７０ｂにより決定される。
サイズ決定部１７０ｂは、対象物画像生成部１２０ｂが、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
【０１４６】
学習用データ生成部１９０は、画像合成部１８０ｂが生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する。学習用データ生成部１９０は、画像合成部１８０ｂが、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成しても良い。
埋め込み座標取得部１８１ｂは、画像合成部１８０ｂが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を画像合成部１８０ｂから取得する。埋め込み座標取得部１８１ｂは、取得した当該情報を学習用データ生成部１９０に出力する。例えば、学習用データ生成部１９０は、学習用データ生成装置１００ｂが埋め込み座標取得部１８１ｂを備える場合、画像合成部１８０ｂが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成しても良い。
【０１４７】
なお、実施の形態３に係る学習用データ生成装置１００ｂにおける操作受付部１０１、３Ｄモデル取得部１１０、対象物画像生成部１２０ｂ、レーダ画像取得部１３０、背景画像取得部１４０、ノイズ画像取得部１５１ｂ、位置決定部１６０ｂ、サイズ決定部１７０ｂ、画像合成部１８０ｂ、埋め込み座標取得部１８１ｂ、学習用データ生成部１９０、及び学習用データ出力部１９９の各機能は、実施の形態１において図８Ａ及び図８Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
【０１４８】
図２６を参照して、実施の形態３に係る学習用データ生成装置１００ｂの動作について説明する。
図２６は、実施の形態３に係る学習用データ生成装置１００ｂの処理の一例を説明するフローチャートである。
学習用データ生成装置１００ｂは、例えば、当該フローチャートの処理を繰り返して実行する。
【０１４９】
まず、ステップＳＴ２６０１にて、３Ｄモデル取得部１１０は、対象物３Ｄモデル情報を取得する。
次に、ステップＳＴ２６０２にて、対象物画像生成部１２０ｂは、影模擬レーダ画像を含む対象物模擬レーダ画像を生成する。
次に、ステップＳＴ２６０３にて、レーダ画像取得部１３０は、レーダ画像情報を取得する。
次に、ステップＳＴ２６０４にて、背景画像取得部１４０は、背景画像を取得する。
次に、ステップＳＴ２６０５にて、位置決定部１６０ｂは、影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する。
次に、ステップＳＴ２６０６にて、サイズ決定部１７０ｂは、影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定する。
【０１５０】
次に、ステップＳＴ２６０７にて、ノイズ画像取得部１５１ｂは、ノイズ画像を取得する。
次に、ステップＳＴ２６０８にて、画像合成部１８０ｂは、合成疑似レーダ画像を生成する。
次に、ステップＳＴ２６０９にて、埋め込み座標取得部１８１ｂは、画像合成部１８０ｂが背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する。
次に、ステップＳＴ２６１０にて、学習用データ生成部１９０は、学習用データを生成する。
次に、ステップＳＴ２６１１にて、学習用データ出力部１９９は、学習用データを出力する。
【０１５１】
学習用データ生成装置１００ｂは、ステップＳＴ２６１１の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ２６０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
なお、当該フローチャートの処理において、ステップＳＴ２６０１の処理がステップＳＴ２６０２の処理より先行し、且つ、ステップＳＴ２６０３の処理がステップＳＴ２６０４の処理より先行し、且つ、ステップＳＴ２６０１からステップＳＴ２６０４までの処理がステップＳＴ２６０５より先行していれば、ステップＳＴ２６０１からステップＳＴ２６０４までの処理の順序は、任意である。
また、当該フローチャートの処理において、ステップＳＴ２６０７の処理は、ステップＳＴ２６０８より先行していれば良い。
【０１５２】
また、当該フローチャートの処理を繰り返し実行する際に、対象物３Ｄモデル情報を変更する必要が無い場合、ステップＳＴ２６０１の処理を省略することが可能である。
また、当該フローチャートの処理を繰り返し実行する際に、レーダ画像情報を変更する必要が無い場合、ステップＳＴ２６０３の処理を省略することが可能である。
また、当該フローチャートの処理を繰り返し実行する際に、ノイズ画像を変更する必要が無い場合、ステップＳＴ２６０７の処理を省略することが可能である。
【０１５３】
以上のように、学習用データ生成装置１００ｂは、対象物の３Ｄモデルを示す対象物３Ｄモデル情報を取得する３Ｄモデル取得部１１０と、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部１２０ｂと、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を示すレーダ画像情報を取得するレーダ画像取得部１３０と、レーダ画像取得部１３０が取得したレーダ画像情報を用いて背景画像を取得する背景画像取得部１４０と、背景画像取得部１４０が取得した背景画像における所定の位置に、対象物画像生成部１２０ｂが生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部１８０ｂと、画像合成部１８０ｂが生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部１９０と、学習用データ生成部１９０が生成した学習用データを出力する学習用データ出力部１９９と、を備え、対象物画像生成部１２０ｂは、対象物模擬レーダ画像を生成する際に、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいてレーダシャドウとなる領域を算出し、算出したレーダシャドウとなる領域を示す影疑似レーダ画像を生成し、生成した影疑似レーダ画像を対象物模擬レーダ画像に含めて対象物模擬レーダ画像を生成するように構成した。
【０１５４】
このように構成することで、学習用データ生成装置１００ｂは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
また、このように構成することで、学習用データ生成装置１００ｂは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
また、このように構成することで、学習用データ生成装置１００ｂは、レーダ装置１０がレーダ照射することにより生成されたレーダ画像を用いて背景画像を生成するため、対象物の背景を３Ｄモデル化する必要がない。
また、対象物の背景の３Ｄモデル等から背景画像を数値計算により生成する必要がないため、学習用データを短時間で生成することができる。
【０１５５】
また、学習用データ生成装置１００ｂは、上述の構成において、学習用データ生成部１９０は、画像合成部１８０ｂが、背景画像に対象物模擬レーダ画像を貼り付けた位置と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成するように構成した。
このように構成することで、学習用データ生成装置１００ｂは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
【０１５６】
また、学習用データ生成装置１００ｂは、上述の構成に加えて、画像合成部１８０ｂが、背景画像の画素値を対象物模擬レーダ画像の画素値に置き換えた背景画像における画素の座標を示す情報を取得する埋め込み座標取得部１８１ｂを備え、学習用データ生成部１９０は、埋め込み座標取得部１８１ｂが取得した背景画像における画素の座標を示す情報と、対象物の種別を示すクラス情報とを対応付けて、学習用データを生成するように構成した。
このように構成することで、学習用データ生成装置１００ｂは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる教師データ付きの学習用データを、簡単に生成できる。
【０１５７】
また、学習用データ生成装置１００ｂは、上述の構成に加えて、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像における影疑似レーダ画像の領域にノイズを付加するためのノイズ画像を取得するノイズ画像取得部１５１ｂを備え、画像合成部１８０ｂは、対象物画像生成部１２０ｂが生成した影疑似レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付け、対象物模擬レーダ画像を貼り付けた領域における影疑似レーダ画像の領域に、ノイズ画像取得部１５１ｂが取得したノイズ画像が示すノイズを付加して合成疑似レーダ画像を生成するように構成した。
このように構成することで、学習用データ生成装置１００ｂは、レーダ画像に写る対象物を検知又は識別するための機械学習に用いる学習用データを、簡単に生成できる。
また、このように構成することで、学習用データ生成装置１００ｂは、レーダ装置１０がレーダ照射することにより生成された実際のレーダ画像に類似する合成疑似レーダ画像を有する学習用データを生成できる。
【０１５８】
また、学習用データ生成装置１００ｂは、上述の構成に加えて、対象物画像生成部１２０ｂが、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の照射方向とに基づいて、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける位置を決定する位置決定部１６０ｂを備えた。
このように構成することで、学習用データ生成装置１００ｂは、対象物模擬レーダ画像及び影疑似レーダ画像を背景画像に貼り付ける位置をユーザが入力する手間を省くことができる。
【０１５９】
また、学習用データ生成装置１００ｂは、上述の構成に加えて、対象物画像生成部１２０ｂが、３Ｄモデル取得部１１０が取得した対象物３Ｄモデル情報を用いて対象物に対してレーダ照射を模擬する際の、対象物３Ｄモデル情報が示す対象物の３Ｄモデルと、模擬した対象物に対するレーダ照射の出射位置との間の距離と、レーダ装置１０による実際のレーダ照射の際の、想定される対象物と、レーダ装置１０におけるレーダ照射の出射位置との間の距離との比に基づいて、対象物画像生成部１２０ｂが生成した影模擬レーダ画像を含む対象物模擬レーダ画像を背景画像に貼り付ける大きさを決定するサイズ決定部１７０ｂを備えた。
このように構成することで、学習用データ生成装置１００ｂは、対象物模擬レーダ画像を背景画像に貼り付ける大きさをユーザが入力する手間を省くことができる。
【０１６０】
また、学習用データ生成装置１００ｂは、上述の構成において、レーダ画像取得部１３０は、広域を撮影したレーダ画像を示すレーダ画像情報を取得し、背景画像取得部１４０は、レーダ画像取得部１３０が取得したレーダ画像情報が示す広域を撮影したレーダ画像のうち一部の画像領域を切り出し、切り出した画像領域を背景画像として取得するようにした。
このように構成することで、学習用データ生成装置１００ｂは、背景画像を簡単に取得できる。
【０１６１】
なお、この発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１６２】
この発明に係る学習用データ生成装置は、レーダシステム、学習システム、又は推論システム等に適用することができる。
【符号の説明】
【０１６３】
１，１ａ，１ｂ  レーダシステム、２，２ａ，２ｂ  学習システム、３，３ａ，３ｂ  推論システム、１０  レーダ装置、２０，２０ａ  学習装置、２１  学習部、２２  学習済モデル生成部、２３  学習済モデル出力部、３０，３０ａ  推論装置、３１  推論対象レーダ画像取得部、３２  推論部、３３  推論結果出力部、４０  記憶装置、５０  入力装置、６０  出力装置、１００，１００ａ，１００ｂ  学習用データ生成装置、１０１  操作受付部、１１０  ３Ｄモデル取得部、１２０，１２０ｂ  対象物画像生成部、１３０  レーダ画像取得部、１４０  背景画像取得部、１５０  影画像生成部、１５１，１５１ｂ  ノイズ画像取得部、１６０，１６０ａ，１６０ｂ  位置決定部、１７０，１７０ａ，１７０ｂ  サイズ決定部、１８０，１８０ａ，１８０ｂ  画像合成部、１８１，１８１ａ，１８ｂ  埋め込み座標取得部、１９０  学習用データ生成部、１９９  学習用データ出力部、２０１  プロセッサ、２０２  メモリ、２０３  処理回路。
【要約】
学習用データ生成装置（１００，１００ａ，１００ｂ）は、対象物の３Ｄモデルを用いて対象物に対するレーダ照射を模擬し、対象物の模擬レーダ画像である対象物模擬レーダ画像を生成する対象物画像生成部（１２０，１２０ｂ）と、レーダ装置がレーダ照射することにより生成されたレーダ画像情報を用いて背景画像を取得する背景画像取得部（１４０）と、背景画像取得部（１４０）が取得した背景画像における所定の位置に、対象物画像生成部（１２０，１２０ｂ）が生成した対象物模擬レーダ画像を貼り付けて、背景画像と対象物模擬レーダ画像とを合成した合成疑似レーダ画像を生成する画像合成部（１８０，１８０ａ，１８０ｂ）と、画像合成部（１８０，１８０ａ，１８０ｂ）が生成した合成疑似レーダ画像を示す合成模擬レーダ画像情報と、対象物の種別を示すクラス情報とを対応付けた学習用データを生成する学習用データ生成部（１９０）と、を備えた。【図１】
0006775697.tif 000002
【図２】
0006775697.tif 000003
【図３】
0006775697.tif 000004
【図４】
0006775697.tif 000005
【図５】
0006775697.tif 000006
【図６】
0006775697.tif 000007
【図７】
0006775697.tif 000008
【図８】
0006775697.tif 000009
【図９】
0006775697.tif 000010
【図１０】
0006775697.tif 000011
【図１１Ａ】
0006775697.tif 000012
【図１１Ｂ】
0006775697.tif 000013
【図１２】
0006775697.tif 000014
【図１３】
0006775697.tif 000015
【図１４】
0006775697.tif 000016
【図１５】
0006775697.tif 000017
【図１６】
0006775697.tif 000018
【図１７】
0006775697.tif 000019
【図１８】
0006775697.tif 000020
【図１９】
0006775697.tif 000021
【図２０】
0006775697.tif 000022
【図２１】
0006775697.tif 000023
【図２２Ａ】
0006775697.tif 000024
【図２２Ｂ】
0006775697.tif 000025
【図２３Ａ】
0006775697.tif 000026
【図２３Ｂ】
0006775697.tif 000027
【図２４】
0006775697.tif 000028
【図２５】
0006775697.tif 000029
【図２６】
0006775697.tif 000030