(57)【要約】【課題】空中撮影画像において建物を認識する機械学習に用いる学習用データを自動的に抽出する際に内容に偏りが生じる。【解決手段】窓画像抽出手段２０は学習用データの生成に用いる空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す。建物領域割合判定手段２４は建物の存在領域が表示された地図を用いて、抽出窓内の所定部分における建物領域の割合を算出し、窓画像に対応する建物領域割合を求める。学習用データ格納手段２６は、複数切り出された窓画像を、建物領域割合に応じて予め定められた複数のクラスに分類し学習用データとして格納する。【選択図】図１
2019204258.tif 000002
【特許請求の範囲】
【請求項１】
上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する装置であって、
前記学習用データの生成に用いる前記空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す窓画像抽出手段と、
建物の存在領域が表示された地図を用いて、前記抽出窓内の所定部分における建物領域の割合を算出し、前記窓画像に対応する建物領域割合を求める建物領域割合判定手段と、
複数切り出された前記窓画像を、前記建物領域割合に応じて予め定められた複数のクラスに分類し前記学習用データとして格納する学習用データ格納手段と、
を有することを特徴とする学習用データ生成装置。
【請求項２】
請求項１に記載の学習用データ生成装置において、
前記窓画像抽出手段は、複数の前記窓画像を切り出す際に、前記空中撮影画像内にてランダムな位置に前記抽出窓を設定すること、を特徴とする学習用データ生成装置。
【請求項３】
請求項１又は請求項２に記載の学習用データ生成装置において、
前記建物領域割合判定手段は、建物に関する予め定められた複数の種類ごとに前記建物領域割合を求め、
前記学習用データ格納手段における前記複数のクラスは、前記種類ごとの前記建物領域割合に基づいて予め定められていること、
を特徴とする学習用データ生成装置。
【請求項４】
請求項３に記載の学習用データ生成装置において、
前記建物に関する前記種類は、建物の大きさに基づいて定められていること、を特徴とする学習用データ生成装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の学習用データ生成装置において、
前記学習用データ格納手段は、前記クラスごとに前記学習用データの目標格納数を予め設定され、格納した前記窓画像の数が当該目標格納数に達した前記クラスについては前記窓画像の格納を停止すること、を特徴とする学習用データ生成装置。
【請求項６】
上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、
前記学習用データの生成に用いる前記空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す窓画像抽出手段、
建物の存在領域が表示された地図を用いて、前記抽出窓内の所定部分における建物領域の割合を算出し、前記窓画像に対応する建物領域割合を求める建物領域割合判定手段、及び、
複数切り出された前記窓画像を、前記建物領域割合に応じて予め定められた複数のクラスに分類し前記学習用データとして格納する学習用データ格納手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する装置に関する。
【背景技術】
【０００２】
航空画像や衛星画像等の空中撮影画像から建物を認識する機械学習モデルを生成する際には、学習用の空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像（窓画像）を切り出して学習用データとして用いる。学習用データには例えば、数万枚の窓画像が必要となる。
【０００３】
従来の学習用データの作成方法では、例えば、学習用の空中撮影画像内のランダムな位置から窓画像を切り出す。また、下記特許文献１に示される技術では、窓画像から抽出される特徴を示す特徴情報に予め定められたルールを適用して、当該窓画像内に対象物が存在しているか否かを判定する一方、ユーザに窓画像を判読させて教師データを取得し、窓画像と教師データとを組み合わせて学習用データを生成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１９２００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
空中撮影画像に対してランダムに位置を選択して窓画像を切り出した場合、建物が存在していない窓画像が大半となり、切り出された窓画像に対して建物が存在する画像と存在しない画像とで割合が偏り、その結果、偏った学習用データが作成され得る。偏った学習用データを用いて生成された機械学習モデルは、当該偏り自体を学習する結果、精度よく建物を抽出することができなかった。また、窓画像から学習用データを生成し蓄積する際に、窓画像内に対象物が存在しているか否かを判定するだけでは、学習用データにおける上述の偏りは無くならない。
【０００６】
本発明は上記問題点を解決するためになされたものであり、空中撮影画像において建物を認識する機械学習に関し、偏りが抑制された学習用データを作成することができる学習用データ生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）本発明に係る学習用データ生成装置は、上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する装置であって、前記学習用データの生成に用いる前記空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す窓画像抽出手段と、建物の存在領域が表示された地図を用いて、前記抽出窓内の所定部分における建物領域の割合を算出し、前記窓画像に対応する建物領域割合を求める建物領域割合判定手段と、複数切り出された前記窓画像を、前記建物領域割合に応じて予め定められた複数のクラスに分類し前記学習用データとして格納する学習用データ格納手段と、を有する。
【０００８】
（２）上記（１）の学習用データ生成装置において、前記窓画像抽出手段は、複数の前記窓画像を切り出す際に、前記空中撮影画像内にてランダムな位置に前記抽出窓を設定する構成とすることができる。
【０００９】
（３）上記（１），（２）の学習用データ生成装置において、前記建物領域割合判定手段は、建物に関する予め定められた複数の種類ごとに前記建物領域割合を求め、前記学習用データ格納手段における前記複数のクラスは、前記種類ごとの前記建物領域割合に基づいて予め定められている構成とすることができる。
【００１０】
（４）上記（３）の学習用データ生成装置において、前記建物に関する前記種類は、建物の大きさに基づいて定められている構成とすることができる。
【００１１】
（５）上記（１）〜（４）の学習用データ生成装置において、前記学習用データ格納手段は、前記クラスごとに前記学習用データの目標格納数を予め設定され、格納した前記窓画像の数が当該目標格納数に達した前記クラスについては前記窓画像の格納を停止する構成とすることができる。
【００１２】
（６）本発明に係るプログラムは、上空から撮影した空中撮影画像において建物を認識する機械学習に用いる学習用データを生成する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、前記学習用データの生成に用いる前記空中撮影画像内に所定サイズの抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す窓画像抽出手段、建物の存在領域が表示された地図を用いて、前記抽出窓内の所定部分における建物領域の割合を算出し、前記窓画像に対応する建物領域割合を求める建物領域割合判定手段、及び、複数切り出された前記窓画像を、前記建物領域割合に応じて予め定められた複数のクラスに分類し前記学習用データとして格納する学習用データ格納手段、として機能させる。
【発明の効果】
【００１３】
本発明によれば、空中撮影画像において建物を認識する機械学習に関し、偏りが抑制された学習用データを作成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る学習用データ生成システムの概略の構成を示すブロック図である。
【図２】本発明の実施形態に係る学習用データ生成システムによる学習用データの生成に関する概略の処理フロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１６】
図１は、実施形態である学習用データ生成システム２の概略の構成を示すブロック図である。学習用データ生成システム２は、上空から撮影した空中撮影画像に写った建物を認識する機械学習に用いる学習用データ（訓練データ）を生成する。学習用データ生成システム２は、演算処理装置４、記憶装置６、入力装置８及び出力装置１０を含んで構成される。演算処理装置４として、本システムの処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置４は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。
【００１７】
当該コンピュータのＣＰＵ（Central Processing Unit）が演算処理装置４を構成し、後述する窓画像抽出手段２０、地図対応付け手段２２、建物領域割合判定手段２４及び学習用データ格納手段２６として機能する。
【００１８】
記憶装置６はコンピュータシステムに内蔵されるハードディスクなどで構成される。記憶装置６は演算処理装置４を窓画像抽出手段２０、地図対応付け手段２２、建物領域割合判定手段２４及び学習用データ格納手段２６として機能させるためのプログラム及びその他のプログラムや、本システムの処理に必要な各種データを記憶する。例えば、記憶装置６は、学習用データの生成処理における入力データとして空中撮影画像３０及び建物地図３２を予め記憶する。また、記憶装置６は、本システムにより生成される学習用データ３４を記憶する。
【００１９】
入力装置８はキーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。
【００２０】
出力装置１０は例えば、生成された学習用データをユーザに示すディスプレイ、プリンタや、学習用データを他のシステムへ出力するインターフェース装置である。
【００２１】
空中撮影画像３０は、航空画像や衛星画像など、地表を上空から撮影した画像のデータであり、例えばオルソ画像である。空中撮影画像３０は建物を認識する学習に用いる学習用データを生成するために用意され、建物が存在する領域の画像と建物が存在しない領域の画像とを含む。後述するように、学習用データは空中撮影画像３０内の一部領域を切り出して生成される画像である。よって、基本的に空中撮影画像３０は学習用データとする画像より広範囲を撮影した画像である。また、機械学習により生成されるモデルの精度を確保するためには多数の学習用データが必要となる。よって、空中撮影画像３０として、生成する学習用データの数に応じて広い撮影面積の画像が用意される。なお、当該撮影面積は複数枚の空中撮影画像に分割することができ、本実施形態では空中撮影画像３０は複数枚の空中撮影画像からなるものとする。
【００２２】
また、後述するように本実施形態では、建物に関する複数の種類ごとに学習用データを生成するので、空中撮影画像３０を用意する際には、当該各種類の建物の画像が得られるようにすることが好適である。
【００２３】
建物地図３２は地表における建物の存在領域が表示された地図データであり、具体的には、建物の位置及び平面形状の情報を与える。建物地図３２は、教師あり学習に用いる学習用データを生成する際の正解データとして用いられる。そのため、建物地図３２は基本的に、空中撮影画像３０に撮影されている領域について用意される。建物地図３２として既存の住宅地図等を用いることができる。また、建物に関する複数の種類ごとに学習用データを生成する場合には、建物地図３２は各建物が当該複数の種類のいずれであるかを示す情報を含む。具体的には、本実施形態では、建物の複数の種類として、建物の大きさに関し「大（Ｌ）」、「中（Ｍ）」、「小（Ｓ）」の３サイズを設定することに対応し、建物地図３２は各建物に当該サイズを対応付けて記憶する。なお、建物の大きさはここでは建築面積で定義するが、建物の高さや容積で定義してもよい。また、建物の種類は、木造と非木造といった建物の構造に関するものとすることもできる。
【００２４】
学習用データ３４は、空中撮影画像３０から切り出された画像である。ここで、空中撮影画像３０内にて画像を切り出す領域を抽出窓と称し、当該領域から切り出される画像を窓画像と称する。つまり、学習用データ３４は空中撮影画像３０内に設定された抽出窓から切り出された窓画像である。また、記憶装置６は、学習用データ３４として、当該窓画像に対応する位置の建物地図３２を記憶する。
【００２５】
また、本実施形態では、学習用データ３４は、Ｌサイズの建物用の学習用データＤＬ、Ｍサイズの建物用の学習用データＤＭ、Ｓサイズの建物用の学習用データＤＳ、及び非建物領域用の学習用データＤＡに分類される。
【００２６】
窓画像抽出手段２０は、記憶装置６から空中撮影画像３０を読み出し、当該空中撮影画像３０内に抽出窓を配置し、当該抽出窓内の画像を窓画像として切り出す。
【００２７】
抽出窓のサイズ、形状は予め定められる。例えば、抽出窓のサイズ、形状は、生成される学習用データ３４を用いて行う機械学習に対応して設定することができる。
【００２８】
空中撮影画像３０内にて互いに異なる複数の位置に抽出窓を設定して窓画像を切り出せば、１枚の空中撮影画像３０から複数の学習用データを生成することができる。つまり、空中撮影画像３０の枚数が少なくても多数の学習用データを生成できる。本実施形態では、窓画像抽出手段２０は抽出窓の位置を空中撮影画像３０内にてランダムに設定し、１枚の空中撮影画像３０から複数の学習用データを得ることを可能にする。
【００２９】
地図対応付け手段２２は、窓画像に建物地図３２から切り出した地図データを対応付ける。ここで、切り出した当該地図データをパッチ地図と呼ぶことにする。例えば、窓画像抽出手段２０にて窓画像の切り出しに用いたものと共通の抽出窓を建物地図３２に設定して、窓画像と同じ位置の地図データを建物地図３２から切り出しパッチ地図とする。
【００３０】
建物領域割合判定手段２４は、地図対応付け手段２２により切り出したパッチ地図を用いて、抽出窓内の所定部分における建物領域の割合を算出し、窓画像に対応する建物領域割合を求める。当該所定部分を算出対象領域と呼ぶことにすると、建物領域割合ＲＢは算出対象領域における建物領域の面積ＳＢを算出対象領域の面積Ｓ０で除した値（ＳＢ／Ｓ０）で定義することができる。なお、建物領域割合判定手段２４はさらに、算出対象領域における建物が存在しない領域の割合（非建物領域割合）ＲＡを算出してもよい。ＲＡはＲＡ＝１−ＲＢで求められる。
【００３１】
また、建物に関し複数の種類を設定し、建物領域割合ＲＢは当該種類ごとに算出することができる。具体的には、本実施形態では、建物の複数の種類として、建物の大きさに関し上述のように３サイズを設定するので、建物領域割合判定手段２４は、建物領域割合の算出対象領域内にてＬサイズの建物が占める割合をＬサイズ建物領域割合ＲＬとして算出し、同様に、Ｍサイズ、Ｓサイズの建物についてＭサイズ建物領域割合ＲＭ、Ｓサイズ建物領域割合ＲＳを算出する。ここでは、建物地図３２において任意の建物はＬ、Ｍ、Ｓサイズのいずれかに対応付けられているとし、従って、ＲＬ＋ＲＭ＋ＲＳ＝ＲＢである。
【００３２】
建物領域割合の算出対象領域とする抽出窓の所定部分は抽出窓の一部、全部のどちらであってもよい。例えば、ＣＮＮ（Convolutional Neural Network）による機械学習の学習用データを生成する場合に、当該部分は抽出窓の中心に位置し、ＣＮＮの出力データのサイズに応じた大きさの矩形領域とすることができる。
【００３３】
学習用データ格納手段２６は、複数切り出された窓画像を、建物領域割合に応じて予め定められた複数のクラスに分類し、記憶装置６に学習用データ３４として格納する。例えば、建物領域割合判定手段２４が建物の種類を区別せずに、建物領域割合として単一のＲＢのみを求める場合には、ＲＢと、予め設定された閾値ＴＨＢとの大小関係に基づいて、窓画像を２クラスに分類することができる。例えば、ＲＢ≧ＴＨＢである窓画像は、「建物占有率が高い窓画像」というクラスに分類し、一方、ＲＢ＜ＴＨＢ（又はＲＡ＞１−ＴＨＢ）である窓画像は、「建物占有率が低い窓画像」というクラスに分類することができる。
【００３４】
また、学習用データ格納手段２６における複数のクラスは、建物領域割合判定手段２４により算出される建物の種類ごとの建物領域割合に基づいて予め設定することができる。例えば、本実施形態では、建物領域割合ＲＬ，ＲＭ，ＲＳに基づいて窓画像を４つのクラスに分類する。なお、本実施形態における具体的な分類については後述する。
【００３５】
学習用データ格納手段２６は、クラスごとに学習用データの目標格納数を予め設定され、格納した窓画像の数が当該目標格納数に達したクラスについては窓画像の格納を停止する構成とすることができる。例えば、各クラスの目標格納数は同数とすることができる。この構成により、生成される学習用データの数についてクラス間での偏りを抑制することが可能となる。
【００３６】
図２は学習用データ生成システム２による学習用データの生成に関する概略の処理フロー図である。
【００３７】
窓画像抽出手段２０は記憶装置６に記憶されている複数枚の空中撮影画像３０からランダムに１枚選択する（ステップＳ５）。そして、窓画像抽出手段２０は選択した空中撮影画像３０内にてランダムな位置に抽出窓を設定し（ステップＳ１０）、抽出窓内の画像を窓画像として切り出す（ステップＳ１５）。一方、地図対応付け手段２２は建物地図３２から抽出窓に対応する位置の地図データをパッチ地図として切り出す（ステップＳ２０）。
【００３８】
建物領域割合判定手段２４はパッチ地図に示された建物の領域及びサイズに基づいて建物領域割合ＲＬ，ＲＭ，ＲＳを算出する（ステップＳ２５）。具体的には、算出対象領域の画像を構成するピクセルの数をＳ０とし、算出対象領域内のＬＭＳ各サイズの建物の領域のピクセル数をＳ０で除した値をＲＬ，ＲＭ，ＲＳとする。さらに、建物領域割合判定手段２４は、ＲＡ＝１−（ＲＬ＋ＲＭ＋ＲＳ）で与えられる非建物領域割合ＲＡを算出してもよい。
【００３９】
ここで、算出対象領域は窓画像の一部分とすることができる。一例として、ＣＮＮへ入力される窓画像のサイズを６４×６４ピクセルとすると、ＣＮＮの出力のサイズはそれより小さい例えば１６×１６ピクセルとすることができ、建物領域割合の算出対象領域は当該出力に合わせて、パッチ地図の中心の１６×１６ピクセルとすることができる。
【００４０】
学習用データ格納手段２６は、ステップＳ２５にて算出されたＲＬ，ＲＭ，ＲＳ，ＲＡと、これら割合に関して予め設定された閾値ＴＨＬ，ＴＨＭ，ＴＨＳ，ＴＨＡとを用いて、ステップＳ１５にて抽出された窓画像を学習用データ３４の４つのクラスに分類する。
【００４１】
まず、学習用データ格納手段２６は、ステップＳ１５にて抽出された窓画像の非建物領域割合ＲＡが閾値ＴＨＡより大きければ（ステップＳ３０にて「ＹＥＳ」の場合）、当該窓画像は「建物占有率が低い窓画像」であるとし、学習用データＤＡとして収集するか否かを判断する（ステップＳ３１）。学習用データ格納手段２６は、学習用データＤＡの収集が未完了、つまり学習用データＤＡに既に格納されているデータ数が予め定めた目標格納数ＮＡ未満であれば（ステップＳ３１にて「ＮＯ」の場合）、当該窓画像を学習用データＤＡとして記憶装置６に格納する（ステップＳ３２）。
【００４２】
一方、学習用データ格納手段２６は、ステップＳ３０にて「ＮＯ」、又はステップＳ３１にて「ＹＥＳ」と判定された窓画像、つまり学習用データＤＡに格納されなかった窓画像については、建物領域割合ＲＳが閾値ＴＨＳより大きければ（ステップＳ４０にて「ＹＥＳ」の場合）、当該窓画像は「Ｓサイズの建物占有率が高い窓画像」であるとし、学習用データＤＳとして収集するか否かを判断する（ステップＳ４１）。学習用データ格納手段２６は、学習用データＤＳの収集が未完了、つまり学習用データＤＳに既に格納されているデータ数が予め定めた目標格納数ＮＳ未満であれば（ステップＳ４１にて「ＮＯ」の場合）、当該窓画像を学習用データＤＳとして記憶装置６に格納する（ステップＳ４２）。
【００４３】
同様に、学習用データ格納手段２６は、ステップＳ４０にて「ＮＯ」、又はステップＳ４１にて「ＹＥＳ」と判定され学習用データＤＳに格納されなかった窓画像については、建物領域割合ＲＭが閾値ＴＨＭより大きければ（ステップＳ５０にて「ＹＥＳ」の場合）、当該窓画像を学習用データＤＭとして収集するか否かを判断する（ステップＳ５１）。学習用データ格納手段２６は、学習用データＤＭの収集が未完了、つまり学習用データＤＭに既に格納されているデータ数が予め定めた目標格納数ＮＭ未満であれば（ステップＳ５１にて「ＮＯ」の場合）、当該窓画像を学習用データＤＭとして記憶装置６に格納する（ステップＳ５２）。
【００４４】
また、ステップＳ５０にて「ＮＯ」、又はステップＳ５１にて「ＹＥＳ」と判定され、学習用データＤＭに格納されなかった窓画像については、建物領域割合ＲＬが閾値ＴＨＬより大きければ（ステップＳ６０にて「ＹＥＳ」の場合）、当該窓画像を学習用データＤＬとして収集するか否かを判断する（ステップＳ６１）。学習用データＤＬの収集が未完了、つまり学習用データＤＬに既に格納されているデータ数が予め定めた目標格納数ＮＬ未満であれば（ステップＳ６１にて「ＮＯ」の場合）、学習用データ格納手段２６は当該窓画像を学習用データＤＬとして記憶装置６に格納する（ステップＳ６２）。
【００４５】
なお、窓画像と、当該窓画像と共通の抽出窓で切り出されたパッチ地図とを対応付けて学習用データとし、記憶装置６に格納することができる。
【００４６】
このようにして、或る窓画像に対する学習用データ３４のクラス分類が終わると、窓画像抽出手段２０は、４クラスの学習用データＤＬ，ＤＭ，ＤＳ，ＤＡのデータ数が全てそれぞれの目標格納数ＮＬ，ＮＭ，ＮＳ，ＮＡに達しているかを調べ、いずれかのクラスが目標格納数に達していなければ（ステップＳ７０にて「ＮＯ」の場合）、ステップＳ５から処理を繰り返し、一方、全てのクラスが目標格納数に達していれば（ステップＳ７０にて「ＹＥＳ」の場合）、学習用データの生成処理を終了する。
【００４７】
閾値ＴＨＬ，ＴＨＭ，ＴＨＳ，ＴＨＡは、必要とされる学習用データ３４の内容を考慮して設定することができる。例えば、閾値ＴＨＬ，ＴＨＭ，ＴＨＳ，ＴＨＡは共通の値（例えば、０．２）とすることもできるし、異なる値とすることもできる。
【００４８】
また、建物領域割合を用いた学習用データ３４の分類の仕方は上述の例には限られず、必要とされる学習用データ３４の内容に応じて分類の条件、手順を設計することができる。例えば、上述の構成では窓画像が学習用データＤＡ，ＤＳ，ＤＭ，ＤＬの順に格納可能かを判断したが、この順序は変えることができる。また、例えば、窓画像のＲＬ，ＲＭ，ＲＳ，ＲＡのうち最大のものをＲλ（λはＬ，Ｍ，Ｓ，Ａのいずれか）と表すと、当該窓画像を学習用データＤλに分類する構成とすることができ、また、当該窓画像を学習用データＤλに格納するに際し、Ｒλが閾値ＴＨλより大きいことを条件として課す構成とすることもできる。
【００４９】
実施形態を用いて上に説明した本発明によれば、窓画像内の建物領域割合に応じて当該窓画像を複数のクラスに分類し、学習用データ３４はクラスごとに振り分けて格納される。つまり、本発明によれば、学習用データの数をクラスごとに制御することができ、クラスごとに所望の数の学習用データを生成することができる。また、クラス間での学習用データの数の偏りをなくすこともできる。
【符号の説明】
【００５０】
２  学習用データ生成システム、４  演算処理装置、６  記憶装置、８  入力装置、１０  出力装置、２０  窓画像抽出手段、２２  地図対応付け手段、２４  建物領域割合判定手段、２６  学習用データ格納手段、３０  空中撮影画像、３２  建物地図、３４  学習用データ。
【図１】
2019204258.tif 000003
【図２】
2019204258.tif 000004