(57)【要約】【課題】適切な正解ラベルを付加された学習用データを簡易に生成できる技術を提供する。【解決手段】学習用データ生成装置１は、背景画像上において対象領域を定める領域決定部２２と、対象領域に対象物の画像を貼り付けて合成画像を生成する画像合成部２６と、対象物の画像にかかるデータに基づいて合成画像の正解ラベルを作成する正解ラベル作成部２７と、を備える。【選択図】図１
2020149086.tif 000002
【特許請求の範囲】
【請求項１】
背景画像上において対象領域を定める領域決定部と、
前記対象領域に対象物の画像を貼り付けて合成画像を生成する画像合成部と、
前記対象物の画像にかかるデータに基づいて前記合成画像の正解ラベルを作成する正解ラベル作成部と、を備える学習用データ生成装置。
【請求項２】
前記対象領域が写った複数の撮影画像を用いて前記背景画像を生成する背景画像生成部を備える、請求項１に記載の学習用データ生成装置。
【請求項３】
前記複数の撮影画像から前記対象物を検出する対象物検出部と、
前記検出された対象物から前記対象物の画像を生成する対象物画像生成部と、を備える、請求項２に記載の学習用データ生成装置。
【請求項４】
前記対象物画像生成部は、前記対象領域で定められた検出枠内の画像だけを用いて前記対象物の画像を生成する、請求項３に記載の学習用データ生成装置。
【請求項５】
前記画像合成部は、前記対象物の画像を貼り付ける位置に応じて、前記対象物の画像の縦または横の長さを変更する、請求項１から４の何れかに記載の学習用データ生成装置。
【請求項６】
前記正解ラベルは、前記合成画像上における前記対象物の位置にかかるデータを含む、請求項１から５の何れかに記載の学習用データ生成装置。
【請求項７】
背景画像上において対象領域を定めるステップと、
前記対象領域に対象物の画像を貼り付けて合成画像を生成するステップと、
前記対象物の画像にかかるデータに基づいて前記合成画像の正解ラベルを作成するステップと、をコンピュータが実行する学習用データ生成方法。
【請求項８】
背景画像上において対象領域を定めるステップと、
前記対象領域に対象物の画像を貼り付けて合成画像を生成するステップと、
前記対象物の画像にかかるデータに基づいて前記合成画像の正解ラベルを作成するステップと、をコンピュータに実行させる学習用データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習、特に深層学習に用いる学習用データを生成する技術に関する。
【背景技術】
【０００２】
従来、物体検出のための検出モデルの学習には、画像および正解ラベルで構成される学習用データが多く必要とされている。また、検出モデルが現地の画像を用いて学習を行わない場合、検出モデルによる物体検出の精度が低くなることが知られている。ここで、現地の画像は、検出モデルが、運用段階で、所定の固定カメラで撮影された画像に物体検出を施す場合、当該固定カメラで撮影された画像に相当する。このため、従来、現地の画像に物体検出アルゴリズムを適用し、その検出結果から現地の画像の正解ラベルを作成することで、学習用データを生成していた。
【０００３】
また、非パターン認識系およびパターン認識系のアルゴリズムを用いて、カメラの映像から物体領域を自動的に切り出し、当該物体領域から特徴量を抽出して、教示データを作成する装置が特許文献１に示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−５９７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像に物体検出アルゴリズムを適用し、その検出結果から正解ラベルを作成すると、画像から検出されなかった対象物には正解ラベルが付加されない。このため、検出モデルは、画像から検出されなかった対象物を背景として学習してしまう。その結果、検出モデルによる物体検出の精度が低くなるおそれがある。
【０００６】
本発明の目的は、適切な正解ラベルを付加された学習用データを簡易に生成できる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の一例である学習用データ生成装置は、背景画像上において対象領域を定める領域決定部と、前記対象領域に対象物の画像を貼り付けて合成画像を生成する画像合成部と、前記対象物の画像にかかるデータに基づいて前記合成画像の正解ラベルを作成する正解ラベル作成部と、を備える。
【０００８】
対象物は、例えば、車両、人、動物、その他の移動体である。具体的に、対象物は、例えば、自動車、バイク、自転車、人、犬、猫である。対象領域は、例えば、対象物が、通過、移動または滞在し得る領域である。背景画像には、対象領域が写っているが、対象物が写っていない。
【０００９】
正解ラベルは、例えば、合成画像上の対象物にかかるデータを含む。具体的に、正解ラベルは、例えば、対象物の位置（座標）、対象物の種類、対象物の色、対象物の向き、対象物の画像のピンボケの有無にかかるデータを含む。対象物の種類は、例えば、自動車、バイク、自転車、人、犬、猫である。正解ラベルは、例えば、対象物が他の対象物と重なっているかどうか、対象物の画像が合成画像の端で切れているかどうかを示すデータを含む。正解ラベルは、対象物が人である場合、例えば、対象物の性別、対象物の年齢、対象物の服装、対象物の姿勢、対象物の持ち物にかかるデータを含む。対象物の姿勢は、例えば、立った姿勢、倒れた姿勢、しゃがんだ姿勢である。正解ラベルは、対象物が車両である場合、例えば、対象物の車種、対象物の付属品にかかるデータを含む。正解ラベルは、対象物が動物である場合、例えば対象物の品種にかかるデータを含む。
【００１０】
この構成では、学習用データの生成指示に従って学習用データが自動的に生成される。また、学習用データの画像上の全ての対象物に正解ラベルが付加される。このため、適切な正解ラベルを付加された学習用データを簡易に生成できる。
【００１１】
本開示の一例である学習用データ生成装置は、前記対象領域が写った複数の撮影画像を用いて前記背景画像を生成する背景画像生成部を備えてもよい。この構成では、実在の場所に対応する背景画像を生成できる。
【００１２】
本開示の一例である学習用データ生成装置は、前記複数の撮影画像から前記対象物を検出する対象物検出部と、前記検出された対象物から前記対象物の画像を生成する対象物画像生成部と、を備えてもよい。この構成では、対象物の画像および背景画像を同じ撮影画像から生成するので、もっともらしい合成画像を生成できる。
【００１３】
前記対象物画像生成部は、前記対象領域で定められた検出枠内の画像だけを用いて前記対象物の画像を生成してもよい。この構成では、誤検出された物体から対象物の画像が生成されるリスクが低減される。このため、誤検出された物体が学習に用いられるリスクが低減される。
【００１４】
前記画像合成部は、前記対象物の画像を貼り付ける位置に応じて、前記対象物の画像の縦または横の長さを変更してもよい。この構成では、対象物の見え方を反映させて対象物を背景画像に貼り付けるので、もっともらしい合成画像を生成できる。
【００１５】
前記正解ラベルは、前記合成画像上における前記対象物の位置にかかるデータを含んでもよい。
【発明の効果】
【００１６】
本発明によれば、適切な正解ラベルが付加された学習用データを簡易に生成できる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施形態にかかる学習用データ生成装置１の主要部の構成を例示するブロック図である。
【図２】図２は学習用データ生成装置１の動作を例示するフローチャートである。
【図３】図３は撮影画像を例示する概略図である。
【図４】図４は背景画像を例示する概略図である。
【図５】図５は背景画像上の対象領域を例示する概略図である。
【図６】図６は対象物の検出を例示する概略図である。
【図７】図７は合成画像を例示する概略図である。
【発明を実施するための形態】
【００１８】
§１  構成例
図１は、本発明の実施形態にかかる学習用データ生成装置１の主要部の構成を例示するブロック図である。学習用データ生成装置１は、例えば、制御部１１、操作部１２、表示部１３、通信部１４、記憶部１５およびデータベースアクセス部１６（ＤＢアクセス部１６）を備えてもよい。学習用データ生成装置１は、例えば、撮影画像保存データベース２（撮影画像保存ＤＢ２）、背景画像保存データベース３（背景画像保存ＤＢ３）、対象物画像保存データベース４（対象物画像保存ＤＢ４）および学習用データ保存データベース５（学習用データ保存ＤＢ５）に接続されてもよい。
【００１９】
なお、学習用データ生成装置１は、撮影画像保存ＤＢ２、背景画像保存ＤＢ３、対象物画像保存ＤＢ４および学習用データ保存ＤＢ５を備えてもよい。
【００２０】
操作部１２はオペレータの入力操作を受け付ける。オペレータは、操作部１２に入力操作を行うことで制御部１１に対して指示を行う。表示部１３は学習用データ生成装置１からオペレータへの出力を表示する。通信部１４は、通信を行うためのインタフェースであり、外部機器とのデータ通信を制御する。記憶部１５は、制御部１１で実行されるプログラム等を記憶し、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。
【００２１】
なお、学習用データ生成装置１は、通信部１４を介して、外部機器からオペレータの入力操作を受信し、外部機器にオペレータへの出力を送信してもよい。
【００２２】
ＤＢアクセス部１６は、撮影画像保存ＤＢ２、背景画像保存ＤＢ３、対象物画像保存ＤＢ４および学習用データ保存ＤＢ５とのインタフェースである。学習用データ生成装置１は、ＤＢアクセス部１６を介して、撮影画像保存ＤＢ２、背景画像保存ＤＢ３、対象物画像保存ＤＢ４および学習用データ保存ＤＢ５に対するデータの読み出しおよびデータの書き込みを行う。撮影画像保存ＤＢ２は撮影画像を保存する。背景画像保存ＤＢ３は背景画像を保存する。対象物画像保存ＤＢ４は対象物の画像を保存する。学習用データ保存ＤＢ５は学習用データを保存する。
【００２３】
撮影画像保存ＤＢ２、背景画像保存ＤＢ３、対象物画像保存ＤＢ４および学習用データ保存ＤＢ５は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。撮影画像保存ＤＢ２、背景画像保存ＤＢ３、対象物画像保存ＤＢ４および学習用データ保存ＤＢ５は、１つの補助記憶装置で構成されてもよいし、複数の補助記憶装置で構成されてもよい。
【００２４】
制御部１１は、例えば、背景画像生成部２１、領域決定部２２、対象物検出部２３、対象物画像生成部２４、条件決定部２５、画像合成部２６および正解ラベル作成部２７を有してもよい。背景画像生成部２１は、対象領域が写った複数の撮影画像を用いて背景画像を生成する。領域決定部２２は、背景画像上において対象領域を定め、当該背景画像に当該対象領域のデータを付加する。対象物検出部２３は、背景画像の生成に用いられた複数の撮影画像から対象物を検出する。対象物画像生成部２４は、検出された対象物から対象物の画像を生成する。条件決定部２５は、背景画像に対象物の画像を貼り付ける合成条件を決定する。画像合成部２６は、決定された合成条件下で、背景画像上の対象領域に対象物の画像を貼り付けて合成画像を生成する。正解ラベル作成部２７は、対象物の画像にかかるデータに基づいて合成画像の正解ラベルを作成する。
【００２５】
制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、情報処理に応じて各構成要素の制御を行う。制御部１１は、記憶部１５に記憶されたプログラムをＲＡＭに展開し、当該プログラムをＣＰＵにより解釈および実行する。これにより、制御部１１は、背景画像生成部２１、領域決定部２２、対象物検出部２３、対象物画像生成部２４、条件決定部２５、画像合成部２６および正解ラベル作成部２７として動作する。
【００２６】
§２  動作例
次に、学習用データ生成装置１の動作について説明する。ここでは、撮影画像の例として現地の画像を、対象物の例として車両を、対象領域の例として対象物が通過し得る領域を想定して、学習用データ生成装置１の動作を例示する。
【００２７】
図２は学習用データ生成装置１の動作を例示するフローチャートである。学習用データ生成装置１は、例えば、オペレータから学習用データの生成指示を受けると、図２に示す処理を実行する。
【００２８】
まず、背景画像生成部２１が、対象領域が写った複数の撮影画像を用いて背景画像を生成する（ｓ１）。背景画像生成部２１は、撮影画像保存ＤＢ２に保存された撮影画像を用いてもよいし、通信部１４を介してカメラから受信した撮影画像を用いてもよい。背景画像生成部２１は、生成した背景画像を背景画像保存ＤＢ３に保存してもよい。
【００２９】
背景画像生成部２１は、例えば、複数の撮影画像に背景差分を施して背景画像を生成する。背景差分は、複数の画像を比較して前景領域と背景領域とを分割する処理である。前景領域は、背景領域に存在しない物体が占める領域である。背景画像生成部２１は、複数の撮影画像の各座標における画素値の度数に基づいて背景画像の当該座標における画素値を定めてもよい。背景画像の各座標における画素値は、複数の撮影画像の各座標における画素の最頻値でもよい。
【００３０】
図３は撮影画像を例示する概略図である。図３では、道路３２付近に設置された固定カメラで、道路３２を通過する車両３１が撮影されている。図４は背景画像を例示する概略図である。図４では、画像処理によって道路３２から車両３１が除かれている。
【００３１】
次に、領域決定部２２が、背景画像上において対象領域を定め、当該背景画像に当該対象領域のデータを付加する（ｓ２）。領域決定部２２は、例えば、オペレータが指定した背景画像内の範囲に基づいて、背景画像上において対象領域を定める。
【００３２】
領域決定部２２は、背景画像の作成に用いられた複数の撮影画像を用いて対象領域（対象物が通過し得る領域）を推定することで、背景画像上において対象領域を定めてもよい。
【００３３】
また、ある日時に撮影された画像から第１の背景画像を生成し、別の日時に撮影された画像から第２の背景画像を生成することが想定される。この場合、領域決定部２２は、第１の背景画像上において定められた対象領域のデータに基づいて、第２の背景画像上において対象領域を定めてもよい。
【００３４】
図５は背景画像上の対象領域を例示する概略図である。図５では、背景画像上において対象領域が道路３２の路面の領域と定められている。図５には、背景画像上の対象領域を囲む枠３３が示されている。
【００３５】
次に、対象物検出部２３が、背景画像の生成に用いられた複数の撮影画像から対象物を検出する（ｓ３）。即ち、対象物検出部２３は、複数の撮影画像内に存在する対象物の位置およびラベルを推定する。対象物検出部２３は、任意の物体検出モデルを用いて対象物を検出する。
【００３６】
図６は対象物の検出を例示する概略図である。図６では、車両３１が検出されて検出枠３４で囲まれている。
【００３７】
次に、対象物画像生成部２４が、検出された対象物から対象物の画像を生成する（ｓ４）。対象物画像生成部２４は、検出枠内の画像を切り出し、検出枠内の画像における対象物の周りを透過することで、対象物の画像を生成する。対象物画像生成部２４は、検出枠内の画像および背景画像に背景差分を施すことで、対象物の周りを透過してもよい。対象物画像生成部２４は、検出枠内の画像にエッジ検出を施すことで、対象物の周りを透過してもよい。
【００３８】
背景画像上の対象領域外で検出された物体は対象物ではない可能性が高い。このため、対象物画像生成部２４は、背景画像上の対象領域で定められた検出枠内の画像だけを用いて対象物の画像を生成してもよい。これにより、誤検出された物体から対象物の画像が生成されるリスクが低減される。
【００３９】
撮影画像において、対象物が他の対象物と重なったり、対象物が撮影画像の端で切れたりすることで、対象物の一部が欠けることが想定される。対象物画像生成部２４は、当該対象物が写った検出枠内の画像の使用を排除してもよい。これにより、背景画像に貼り付けることに適した対象物の画像を生成できる。
【００４０】
対象物画像生成部２４は、対象物検出部２３で推定された対象物の位置およびラベルを、対象物の画像の属性として、対象物の画像に付加する。対象物画像生成部２４は対象物の画像を対象物画像保存ＤＢ４に保存してもよい。
【００４１】
次に、条件決定部２５が、背景画像に対象物の画像を貼り付ける合成条件を決定する（ｓ５）。条件決定部２５は、例えば、オペレータが指示した条件に従って合成条件を決定する。合成条件は、例えば、作成される合成画像の数、背景画像に貼り付けられる対象物の画像の数に関する条件を含む。合成条件は、例えば、閑散、混雑のような交通状況に関する条件を含む。
【００４２】
次に、画像合成部２６が、決定された合成条件下で、背景画像上の対象領域に対象物の画像を貼り付けて合成画像を生成する（ｓ６）。画像合成部２６は、例えば、決定された合成条件下で、背景画像上の対象領域に対象物の画像をランダムに貼り付ける。
【００４３】
画像合成部２６は、対象物の画像を貼り付ける位置に応じて、対象物の画像の縦または横の長さを変更してもよいし、対象物の画像を回転させてもよい。換言すると、画像合成部２６は、対象物の画像を貼り付ける位置に応じて、対象物の画像の回転、拡大縮小、およびアスペクト比の変更を行ってもよい。これにより、対象物の見え方を反映させて対象物を背景画像に貼り付けることができる。
【００４４】
特に、画像合成部２６は、背景画像上の対象領域の幅の変化に合わせて、対象物の画像を拡大縮小して背景画像上の対象領域に貼り付けてもよい。背景画像上において対象領域を定めているので、背景画像上の対象領域に基づいて対象物の画像の拡大縮小の倍率を明確に定めることができる。
【００４５】
画像合成部２６は、対象物の画像と他の対象物の画像とが重なる場合、手前の対象物の画像を奥の対象物の画像の上に重ねて貼り付けてもよい。画像合成部２６は、対象物と対象物より手前に位置する物体（例えばガードレール）とが重なる場合、当該物体の画像を対象物の画像の上に重ねて貼り付けてもよい。
【００４６】
画像合成部２６は、対象物の画像に付加された対象物の位置と同じ背景画像の位置に、当該対象物の画像を貼り付けてもよい。これにより、対象物の画像を変形せずに背景画像に貼り付けても、もっともらしい合成画像を生成できる。
【００４７】
画像合成部２６は、背景画像上の対象領域（車両が通過し得る領域）に車線が写っている場合、合成画像において対象物（車両）が車線から外れる確率が低くなるように、対象物の画像を背景画像に貼り付けてもよい。
【００４８】
図７は合成画像を例示する概略図である。図７では、背景画像の道路３２上に車両３１の画像が貼り付けられている。
【００４９】
次に、正解ラベル作成部２７が、対象物の画像にかかるデータに基づいて正解ラベルを作成する（ｓ７）。対象物の画像にかかるデータは、対象物の画像が貼り付けられた位置（即ち合成画像上における対象物の位置）、対象物の画像の属性等を含む。正解ラベルは、上記のように、例えば、合成画像上における対象物の位置、対象物の種類、対象物の色、対象物の向きにかかるデータを含む。正解ラベル作成部２７は正解ラベルを合成画像に付加する。正解ラベルを付加された合成画像は学習用データを構成する。正解ラベル作成部２７は学習用データを学習用データ保存ＤＢ５に保存してもよい。
【００５０】
なお、学習用データ生成装置１が生成した学習用データを用いて学習した認識モデルは、例えば画像センサに実装され、例えば、車両の同定、人の同定、交通流の把握、混雑度の把握、異常検知を行う。
【００５１】
本実施形態によれば、画像合成部２６は背景画像に対象物の画像を貼り付けて合成画像を生成する。正解ラベル作成部２７は対象物の画像にかかるデータに基づいて合成画像の正解ラベルを作成する。合成画像および正解ラベルは学習用データを構成する。このため、学習用データの生成指示に従って学習用データが自動で生成される。また、学習用データの画像上の全ての対象物に正解ラベルが付加される。その結果、適切な正解ラベルを付加された学習用データを簡易に生成できる。
【００５２】
また、正解ラベルの入力のコストがかからない大量の学習用データを学習に使用できる。
【００５３】
また、現地の画像を用いて背景画像および対象物の画像を生成することで、現地の画像に対応した学習用データを生成できる。当該学習用データを認識モデルの学習に用いることで、認識モデルの運用段階において認識モデルによる検出の精度が低下することを防止できる。
【００５４】
また、適切な正解ラベルを付加された学習用データを学習に用いることで、対象物の検出精度を向上させることができる。
【００５５】
また、いろいろなパターンの学習用データの画像、例えば、交通の閑散、混雑状態を表す学習用データの画像を生成できるので、学習用データのバリエーションを増やすことができる。
【００５６】
§３  変形例
以上、本発明の実施形態を詳細に説明してきたが、上記の説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記の実施形態と同様の構成要素に関しては同様の符号を用い、上記の実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
【００５７】
＜３．１＞
上記の実施形態において、背景画像および対象物の画像は同じ撮影画像を用いて生成される。しかしながら、背景画像および対象物の画像は、別々の撮影画像を用いて生成されてもよい。背景画像または対象物の画像は、コンピュータグラフィックスのような描かれた画像でもよい。背景画像は、対象物が写っていない撮影画像でもよい。
【００５８】
＜３．２＞
上記の実施形態において、制御部１１は、ステップｓ１〜ｓ７を実行することで学習用データを生成する。しかしながら、背景画像が用意されている場合、制御部１１はステップｓ１を実行しなくてもよい。対象物の画像が用意されている場合、制御部１１はステップｓ３，ｓ４を実行しなくてもよい。
【００５９】
＜３．３＞
上記の実施形態において、制御部１１はステップｓ１〜ｓ７をこの順で実行する。しかしながら、制御部１１は、ステップｓ１，ｓ２の前にステップｓ３，ｓ４を実行してもよい。制御部１１は、ステップｓ１〜ｓ４の前にステップｓ５を実行してもよい。制御部１１はステップｓ６，ｓ７を並行して実行してもよい。
【００６０】
上記の実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【００６１】
本発明にかかる構成と上記の実施形態にかかる構成との対応関係は、以下の付記のように記載できる。
【００６２】
＜付記＞
背景画像上において対象領域を定める領域決定部（２２）と、
前記対象領域に対象物の画像を貼り付けて合成画像を生成する画像合成部（２６）と、
前記対象物の画像にかかるデータに基づいて前記合成画像の正解ラベルを作成する正解ラベル作成部（２７）と、を備える学習用データ生成装置（１）。
【符号の説明】
【００６３】
１…学習用データ生成装置
２…撮影画像保存データベース（撮影画像保存ＤＢ）
３…背景画像保存データベース（背景画像保存ＤＢ）
４…対象物画像保存データベース（対象物画像保存ＤＢ）
５…学習用データ保存データベース（学習用データ保存ＤＢ）
１１…制御部
１２…操作部
１３…表示部
１４…通信部
１５…記憶部
１６…データベースアクセス部（ＤＢアクセス部）
２１…背景画像生成部
２２…領域決定部
２３…対象物検出部
２４…対象物画像生成部
２５…条件決定部
２６…画像合成部
２７…正解ラベル作成部
３１…車両
３２…道路
３３…枠
３４…検出枠
【図１】
2020149086.tif 000003
【図２】
2020149086.tif 000004
【図３】
2020149086.tif 000005
【図４】
2020149086.tif 000006
【図５】
2020149086.tif 000007
【図６】
2020149086.tif 000008
【図７】
2020149086.tif 000009