(57)【特許請求の範囲】
【請求項１】
物体が撮像された教師画像、および、前記物体に対応する補助情報を取得する第１補助情報参照部と、
前記第１補助情報参照部が取得した補助情報を前記教師画像に反映した合成教師画像を生成する第１補助情報合成部と、
前記第１補助情報合成部が生成した合成教師画像を用いた学習により機械学習モデルを生成する学習部と、
前記第１補助情報合成部が生成した合成教師画像を複数の小教師画像に分割する第１画像分割部と、
前記第１画像分割部が分割した複数の小教師画像を複数の分類に分類する統計量解析部と、
前記統計量解析部が分類した後の、各分類に属する小教師画像を、各分類に属する小教師画像の数に応じて、間引きする教師データ間引き部を備え、
前記学習部は、前記教師データ間引き部が間引きした後の小教師画像の学習によって前記機械学習モデルを生成する
ことを特徴とする学習装置。
【請求項２】
前記第１補助情報合成部は、前記補助情報に基づき、前記教師画像上において、当該補助情報に応じた画素をマスクして前記合成教師画像を生成する
ことを特徴とする請求項１記載の学習装置。
【請求項３】
機械学習を用いて対象画像から前記物体を検出する物体検出装置であって、
請求項１記載の学習装置と、
前記対象画像、および、当該対象画像に対応する補助情報を取得する第２補助情報参照部と、前記第２補助情報参照部が取得した補助情報を前記対象画像に反映した合成対象画像を生成する第２補助情報合成部と、前記機械学習モデルに前記合成対象画像を入力することにより前記物体を検出する推論部を備えた推論装置
を備えた物体検出装置。
【請求項４】
前記第２補助情報合成部は、前記補助情報に基づき、前記対象画像上において、当該補助情報に応じた画素をマスクして前記合成対象画像を生成する
ことを特徴とする請求項３記載の物体検出装置。
【請求項５】
第１補助情報参照部が、物体が撮像された教師画像、および、前記物体に対応する補助情報を取得するステップと、
第１補助情報合成部が、前記第１補助情報参照部が取得した補助情報を前記教師画像に反映した合成教師画像を生成するステップと、
学習部が、前記第１補助情報合成部が生成した合成教師画像を用いた学習により機械学習モデルを生成するステップと、
第１画像分割部が、前記第１補助情報合成部が生成した合成教師画像を複数の小教師画像に分割するステップと、
統計量解析部が、前記第１画像分割部が分割した複数の小教師画像を複数の分類に分類するステップと、
教師データ間引き部が、前記統計量解析部が分類した後の、各分類に属する小教師画像を、各分類に属する小教師画像の数に応じて、間引きするステップを備え、
前記学習部は、前記教師データ間引き部が間引きした後の小教師画像の学習によって前記機械学習モデルを生成するステップを有する
ことを特徴とする学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、機械学習モデルを生成する学習装置、学習方法、および、機械学習を用いた物体検出装置に関するものである。
【背景技術】
【０００２】
機械学習を用いて対象画像から特定の物体（以下、「特定の物体」のことを単に「物体」という。）を検出する物体検出装置が知られている。対象画像とは、物体が撮像されている可能性がある画像であり、物体検出装置が物体を検出する対象となる画像である。例えば、特許文献１には、空中撮像画像内の移動車両を識別する出力を生成するための機械学習モデルを使用した移動車両分析システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１８−５３６２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対象画像とともに機械学習モデルへ入力した場合に、物体の検出精度を向上させることができる情報（以下「補助情報」という。）が存在する。補助情報として、例えば、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ）情報がある。
しかしながら、従来、機械学習において補助情報を用いるためには、例えば、対象画像のみを入力パラメータとする機械学習モデルをそのまま用いることはできず、対象画像および補助情報の両方を入力パラメータとする機械学習モデルを改めて設計する必要があるという課題があった。【０００５】
この発明は上記のような課題を解決するためになされたもので、補助情報を入力パラメータとする機械学習モデルを用いることなく、補助情報を考慮した機械学習モデルを生成することができる学習装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
この発明に係る学習装置は、物体が撮像された教師画像、および、物体に対応する補助情報を取得する第１補助情報参照部と、第１補助情報参照部が取得した補助情報を教師画像に反映した合成教師画像を生成する第１補助情報合成部と、第１補助情報合成部が生成した合成教師画像を用いた学習により機械学習モデルを生成する学習部と、第１補助情報合成部が生成した合成教師画像を複数の小教師画像に分割する第１画像分割部と、第１画像分割部が分割した複数の小教師画像を複数の分類に分類する統計量解析部と、統計量解析部が分類した後の、各分類に属する小教師画像を、各分類に属する小教師画像の数に応じて、間引きする教師データ間引き部を備え、学習部は、教師データ間引き部が間引きした後の小教師画像の学習によって機械学習モデルを生成することを特徴とするものである。
【発明の効果】
【０００７】
この発明によれば、補助情報を入力パラメータとする機械学習モデルを用いることなく、補助情報を考慮した機械学習モデルを生成することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る物体検出装置の構成例を示す図である。
【図２】実施の形態１において、第１補助情報合成部が、補助情報と教師画像とを合成して合成教師画像を生成するイメージの一例を説明するための図である。
【図３】実施の形態１において、第１画像分割部が、小教師画像に分割する前の合成教師画像と、小教師画像に分割した後の合成教師画像のイメージの一例を説明するための図である。
【図４】実施の形態１において、教師データ間引き部が行う、小教師画像の間引きのイメージの一例について説明するための図である。
【図５】実施の形態１において、第２画像分割部が、小対象画像に分割する前の合成対象画像と、小対象画像に分割した後の合成対象画像のイメージの一例を説明するための図である。
【図６】実施の形態１に係る学習装置の動作を説明するためのフローチャートである。
【図７】実施の形態１に係る推論装置の動作を説明するためのフローチャートである。
【図８】実施の形態１において、例えば、物体を、道路を移動中の車両とし、補助情報を道路情報および幹線道路情報とした場合に、第１補助情報合成部または第２補助情報合成部が、教師画像または対象画像に対して、補助情報を反映した、合成教師画像または合成対象画像を生成するイメージの一例を説明する図である。
【図９】図９Ａ，図９Ｂは、実施の形態１に係る学習装置および推論装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
【００１０】
実施の形態１において、物体検出装置１は、教師データと補助情報とを用いて学習を実行し、機械学習モデルを生成する。そして、物体検出装置１は、物体を検出する対象となる対象画像を取得し、機械学習モデルを用いて当該対象画像から物体を検出する。実施の形態１では、物体として、ボートが想定されている。また、実施の形態１では、対象画像および後述する教師画像として、衛星画像、ドローン空撮画像、または、航空機画像等が想定されている。
以下の実施の形態１では、物体検出装置１は、水上を航行中のボートまたは水上で出発準備中のボートを対象画像から検出するものとする。
【００１１】
図１は、実施の形態１に係る物体検出装置１の構成例を示す図である。
物体検出装置１は、学習装置１０、第１補助情報ＤＢ２０、機械学習モデル４０、推論装置５０、および、第２補助情報ＤＢ６０を備える。
【００１２】
学習装置１０は、物体検出装置１において、機械学習における学習を実行する装置であり、例えば、高性能なワークステーションから成る。
学習装置１０は、教師データと補助情報とを用いて、学習を実行する。学習装置１０は、学習により、対象画像から物体を検出するための機械学習モデル４０を生成する。
学習装置１０は、教師データ取得部１００、第１補助情報参照部１０１、第１補助情報合成部１０２、第１画像分割部１０３、統計量解析部１０４、教師データ間引き部１０５、および、学習部１０６を備える。
【００１３】
教師データ取得部１００は、教師データを取得する。なお、教師データは、予め用意されており、例えば、学習装置１０が参照可能な場所に記憶されている。
実施の形態１において、教師データは、複数の、物体が撮像された画像（以下「教師画像」という。）を含む。また、教師データは、複数の教師画像のうちの各教師画像に対応づけられた、当該各教師画像上の物体に関するテキスト情報を含む。対象物に関するテキスト情報とは、例えば、物体の、教師画像上の位置情報である。教師画像上の物体の位置は、例えば、物体の矩形に基づいてあらわされる。物体の矩形とは、例えば、教師画像上で物体を囲む最小矩形である。実施の形態１では、物体をボートとしているので、例えば、教師画像上でボートを囲む最小矩形の４つの頂点を示すピクセル位置（ｘ，ｙ）が、物体の、教師画像上の位置情報となる。
なお、１つの教師画像上に存在する物体は１つとは限らない。１つの教師画像上に複数の物体が存在する場合、教師データには、１つの教師画像と対応付けて、複数の物体それぞれに関するテキスト情報が含まれる。例えば、１つの教師画像上にボートが２艘存在していれば、当該２艘のボートの矩形の４つの頂点が２組で、合計８つの頂点を示すピクセル位置が、ボートの位置情報として教師データに含まれる。
教師画像のメタデータには、教師画像に撮像されている地点または領域を示す位置情報（以下「第１撮像位置情報」という。）が含まれている。第１撮像位置情報は、具体的には、例えば、教師画像に撮像されている地点または領域を示す、緯度および経度の情報である。
教師データ取得部１００は、取得した教師データを、第１補助情報参照部１０１および学習部１０６に出力する。
【００１４】
第１補助情報参照部１０１は、第１補助情報ＤＢ２０を参照して、教師データ取得部１００が取得した教師画像のメタデータに含まれている、第１撮像位置情報に基づき、第１補助情報ＤＢ２０から補助情報を取得する。
実施の形態１において、補助情報とは、教師画像または対象画像に撮像されている地点または領域に関連した情報である。補助情報は、例えば、水域地図、地形図、陸域地図、道路地図、土地被覆地図、または、過去に、教師画像若しくは対象画像に撮像されている地点若しくは領域と同じ地点若しくは領域が撮像された画像である。補助情報には、それぞれ、地理情報が付与されている。地理情報とは、例えば、緯度、経度および標高の情報であり、当該地理情報に基づいて、当該地理情報に地理的に対応する範囲の補助情報が特定される。
第１補助情報ＤＢ２０には、補助情報が記憶されている。
第１補助情報参照部１０１が、どのような種類の補助情報を取得するかは、物体に応じて予め決められている。例えば、ボートに対しては、水域地図等の、水域に関する情報を補助情報とすると予め決められている。従って、ここでは、第１補助情報参照部１０１は、第１補助情報ＤＢ２０を参照して、水域に関する情報を取得する。
第１補助情報参照部１０１は、教師データと、取得した補助情報とを第１補助情報合成部１０２に出力する。
【００１５】
第１補助情報合成部１０２は、第１補助情報参照部１０１から出力された教師データおよび補助情報に基づき、補助情報と教師画像を合成する。具体的には、第１補助情報合成部１０２は、例えば、教師画像において、水域に該当する箇所以外の箇所の画素を、特定の色で塗りつぶすことでマスクした画像を生成する。実施の形態１において、第１補助情報合成部１０２が補助情報と教師画像を合成して生成した画像を、「合成教師画像」ともいう。ここでは、一例として、第１補助情報合成部１０２は、教師画像において、水域に該当する箇所以外の箇所の画素を、黒色で塗りつぶすものとする。
なお、上述のとおり、補助情報は、第１撮像位置情報に基づき取得されたものであり、教師画像に撮像されている地点または領域と、地理的に対応した情報である。従って、第１補助情報合成部１０２は、補助情報に基づき、教師画像上で水域に該当する箇所を特定することができる。
【００１６】
図２は、実施の形態１において、第１補助情報合成部１０２が、補助情報と教師画像とを合成して合成教師画像を生成するイメージの一例を説明するための図である。
図２では、教師画像は、ボートが浮かんでいる水際を撮像した空撮画像とし、補助情報は、水域に関する情報としている。図２において、水域を、２０１で示している。
第１補助情報合成部１０２が、教師画像と補助情報を合成すると、合成教師画像は、２０１で示す水域を表す範囲以外の範囲の画素が、黒色に塗りつぶされた画像となる。
なお、補助情報が、１枚の教師画像に撮像されている領域の一部に対して存在しない場合には、当該一部の領域については、例えば、上記水域に該当する箇所を特定できない場合もあり得る。
【００１７】
第１補助情報合成部１０２は、教師画像を合成教師画像に置き換えた教師データ（以下「合成教師データ」という。）を、第１画像分割部１０３に出力する。
なお、第１補助情報合成部１０２は、第１補助情報参照部１０１から補助情報が出力されず、教師画像と合成する補助情報が存在しなかった場合は、教師データをそのまま合成教師データとして、第１画像分割部１０３に出力する。
【００１８】
第１画像分割部１０３は、合成教師データに含まれる合成教師画像のサイズが大きい場合に、当該合成教師画像を、予め決められたサイズに分割する。例えば、第１画像分割部１０３は、合成教師画像を、２５６×２５６のサイズに分割する。
以下、第１画像分割部１０３によって小さいサイズに分割された合成教師画像を、「小教師画像」という。
【００１９】
図３は、実施の形態１において、第１画像分割部１０３が、小教師画像に分割する前の合成教師画像と、小教師画像に分割した後の合成教師画像のイメージの一例を説明するための図である。
図３では、合成教師画像のサイズが１０２４×２０４８であったとし、第１画像分割部１０３は、合成教師画像を、２５６×２５６のサイズの小教師画像に分割するものとしている。
第１画像分割部１０３が合成教師画像を分割した結果、合成教師画像は、３２枚の小教師画像に分割される。
このとき、第１画像分割部１０３は、小教師画像上に物体が存在する場合、小教師画像上の物体の位置情報を、小教師画像に付与しておくようにする。第１画像分割部１０３は、小教師画像上の物体の位置情報を、合成教師画像に対応付けられている物体の位置情報から判断すればよい。
第１画像分割部１０３は、小教師画像に分割した後の合成教師データを、統計量解析部１０４に出力する。
【００２０】
統計量解析部１０４は、第１画像分割部１０３から出力された合成教師データについて、小教師画像の特性ごとに当該小教師画像を分類し、分類毎の小教師画像の枚数をカウントする。
実施の形態１では、一例として、統計量解析部１０４は、小教師画像を、「補助情報合成有り、かつ、物体有り」、「補助情報合成有り、かつ、物体無し」、「補助情報合成無し、かつ、物体有り」、または、「補助情報合成無し、かつ、物体無し」の４パターンに分類するものとする。なお、これは一例に過ぎず、統計量解析部１０４は、適宜のパターンに小教師画像を分類可能である。
統計量解析部１０４は、小教師画像の枚数をカウントした結果に関する情報を、合成教師データとともに、教師データ間引き部１０５に出力する。このとき、統計量解析部１０４は、小教師画像に対して、どの分類に分類分けされたかの情報を付与するようにする。
【００２１】
教師データ間引き部１０５は、統計量解析部１０４が小教師画像の枚数をカウントした結果に基づき、偏りのある分類に属する小教師画像を、間引く。具体的には、教師データ間引き部１０５は、合成教師データに含まれる小教師画像について、各分類に属する小教師画像が理想的な比率になるように、画像数が多い分類に属する小教師画像を取り出し、破棄する。これにより、教師データ間引き部１０５は、不要な小教師画像の間引きを行う。
なお、各分類に属する小教師画像の理想的な比率は、ユーザ等によって、適宜設定されるものとする。理想的な比率の例としては、上述の４パターンに小教師画像が分類分けされるものとすると、「補助情報合成有り、かつ、物体有り」：「補助情報合成有り、かつ、物体無し」：「補助情報合成無し、かつ、物体有り」：「補助情報合成無し、かつ、物体無し」が、「１：１：１：１」、「１：３：１：３」、または、「２：６：１：３」等が挙げられる。
【００２２】
図４は、実施の形態１において、教師データ間引き部１０５が行う、小教師画像の間引きのイメージの一例について説明するための図である。
図４では、一例として、教師データ間引き部１０５は、統計量解析部１０４が上述の４パターンに分類した後の小教師画像を間引くものとしている。また、図４では、教師データ間引き部１０５は、各分類に属する小教師画像の枚数が「１：１：１：１」の比率となるように、小教師画像を間引くものとしている。
図４では、「補助情報合成有り、かつ、物体無し」および「補助情報合成無し、かつ、物体無し」の分類に属する小教師画像が多い。そこで、教師データ間引き部１０５は、「補助情報合成有り、かつ、物体有り」および「補助情報合成無し、かつ、物体有り」の分類に属する小画像の枚数と同じ枚数になるまで、「補助情報合成有り、かつ、物体無し」および「補助情報合成無し、かつ、物体無し」の分類に属する小教師画像を間引く。
教師データ間引き部１０５は、間引き後の合成教師データを、学習部１０６に出力する。
【００２３】
学習部１０６は、教師データ間引き部１０５から出力された間引き後の合成教師データと、教師データ取得部１００が取得した教師データとを、所定の比率で混ぜた上で学習を実行し、機械学習モデル４０を生成する。なお、学習部１０６は、教師データ間引き部１０５から出力された間引き後の合成教師データと、教師データ取得部１００が取得した教師データとを混ぜる際、教師データに含まれる教師画像を、小教師画像と同じサイズに分割する。学習部１０６が、合成教師データと教師データとを混ぜた上で学習を実行するのは、補助情報の有無にかかわらず、推論装置５０における推論の際に、１つの機械学習モデル４０での推論を可能とするためである。また、補助情報が必ず存在する場合であっても、第１補助情報参照部１０１が、必ずしも、教師画像と紐づく補助情報を取得できるとも限らない。学習部１０６は、合成教師データと教師データとを混ぜた上で学習を実行することで、機械学習モデル４０のロバスト性を向上させることができる。
機械学習モデル４０は、学習部１０６が学習時に使用したネットワーク構造および調整後のパラメータを保持する。
実施の形態１において、機械学習モデル４０は、ＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ）またはＳＳＤ（Ｓｉｎｇｌｅ  Ｓｈｏｔ  Ｄｅｔｅｃｔｉｏｎ）等の、物体検出型のニューラルネットワーク等を想定している。
【００２４】
第１補助情報ＤＢ２０は、補助情報を記憶するデータベースである。
【００２５】
推論装置５０は、物体検出装置１において、機械学習における推論を実行する装置であり、例えば、高性能なワークステーションから成る。実施の形態１において、推論装置５０は、対象画像に物体が撮像されているか否かを推論する。また、実施の形態１において、推論装置５０は、物体が存在すると推論された場合に、物体の位置およびサイズを検出する。
推論装置５０は、対象画像および第２補助情報ＤＢ６０に記憶されている補助情報を取得し、学習装置１０が生成した機械学習モデル４０を用いて、対象画像中の物体の有無を推論して、対象画像中の物体の位置およびサイズを検出する。
なお、図１では、物体検出装置１は、学習装置１０および推論装置５０をそれぞれ備えるものとしたが、これは一例に過ぎない。物体検出装置は、学習装置１０および推論装置５０が統合された装置を備えるようにしてもよい。ただし、学習装置１０と推論装置５０に求められる仕様は互いに異なり、一般的に、学習装置１０の方が高い処理性能が必要とされる。
推論装置５０は、画像取得部５００、第２補助情報参照部５０１、第２補助情報合成部５０２、第２画像分割部５０３、推論部５０４、検出結果統合部５０５、および、検出結果出力部５０６を備える。
【００２６】
画像取得部５００は、対象画像を取得する。なお、対象画像は、予め用意されており、例えば、推論装置５０が参照可能な場所に記憶されている。
対象画像のメタデータには、対象画像に撮像されている地点または領域を示す位置情報（以下「第２撮像位置情報」という。）が含まれている。第２撮像位置情報は、具体的には、例えば、対象画像に撮像されている地点または領域を示す、緯度および経度の情報である。
画像取得部５００は、取得した対象画像を、第２補助情報参照部５０１に出力する。
第２補助情報参照部５０１は、第２補助情報ＤＢ６０を参照して、画像取得部５００が取得した対象画像のメタデータに含まれている、第２撮像位置情報に基づき、第２補助情報ＤＢ６０から補助情報を取得する。
第２補助情報参照部５０１が、どのような種類の補助情報を取得するかは、物体に応じて予め決められている。ここでは、物体としてボートが想定されているため、第２補助情報参照部５０１は、第２補助情報ＤＢ６０を参照して、水域に関する情報を取得する。
第２補助情報参照部５０１は、取得した補助情報を、対象画像と対応付けて、第２補助情報合成部５０２に出力する。
第２補助情報参照部５０１は、補助情報を取得できなかった場合は、対象画像をそのまま、第２補助情報合成部５０２に出力する。
【００２７】
第２補助情報合成部５０２は、第２補助情報参照部５０１から出力された対象画像に基づき、対象画像に補助情報が対応付けられている場合、補助情報と対象画像とを合成する。具体的には、第２補助情報合成部５０２は、例えば、対象画像において、水域に該当する箇所以外の画素を、特定の色で塗りつぶしてマスクした画像を生成する。実施の形態１において、第２補助情報合成部５０２が補助情報と対象画像を合成して生成した画像を、「合成対象画像」ともいう。ここでは、一例として、第２補助情報合成部５０２は、合成対象画像において、水域に該当する箇所以外の箇所の画素を、黒色で塗りつぶすものとする。第２補助情報合成部５０２が、対象画像と補助情報を合成する方法は、適宜の方法とすることが可能であるが、第１補助情報合成部１０２が、補助情報と教師画像を合成する方法とあわせる必要がある。
なお、上述のとおり、補助情報は、第２撮像位置情報に基づき取得されたものであり、対象画像に撮像されている地点または領域と、地理的に対応した情報である。従って、第２補助情報合成部５０２は、補助情報に基づき、対象画像上で水域に該当する箇所を特定することができる。
第２補助情報合成部５０２は、合成対象画像を、第２画像分割部５０３に出力する。
このとき、第２補助情報合成部５０２は、合成対象画像とともに、対象画像も、第２画像分割部５０３に出力するものとする。
第２補助情報合成部５０２は、対象画像に補助情報が対応づけられていない場合、対象画像のみを、そのまま、第２画像分割部５０３に出力する。
【００２８】
第２画像分割部５０３は、第２補助情報合成部５０２から出力された、対象画像または合成対象画像を、予め決められたサイズに分割する。
具体的には、第２画像分割部５０３は、第２補助情報合成部５０２から対象画像のみが出力された場合は、対象画像を、予め決められたサイズに分割する。第２画像分割部５０３は、第２補助情報合成部５０２から、対象画像とともに合成対象画像が出力された場合は、合成対象画像を、予め決められたサイズに分割する。以下、第２画像分割部５０３によって分割された対象画像または合成対象画像を、「小対象画像」という。
【００２９】
第２画像分割部５０３が対象画像または合成対象画像を分割する具体的な方法の一例について説明する。以下では、第２画像分割部５０３が合成対象画像を分割する方法の一例として説明するが、第２画像分割部５０３が対象画像を分割する方法も合成対象画像を分割する方法と同様である。
【００３０】
図５は、実施の形態１において、第２画像分割部５０３が、小対象画像に分割する前の合成対象画像と、小対象画像に分割した後の合成対象画像のイメージの一例を説明するための図である。
図５では、合成対象画像のサイズが１０２４×２０４８であったとし、第２画像分割部５０３は、合成対象画像を、２５６×２５６のサイズの小対象画像に分割するものとしている。
実施の形態１において、第２画像分割部５０３が合成対象画像を分割した結果、合成対象画像は、例えば、５３枚の小対象画像に分割される。第２画像分割部５０３が、合成対象画像に基づき、合成対象画像を分割してできた小対象画像同士の間にオーバーラップが発生するような小対象画像を作成するのは、合成対象画像を分割してできた小対象画像同士の境界に存在する物体が検出されないことを防ぐためである。
【００３１】
第２画像分割部５０３は、対象画像と、対象画像を分割してできた小対象画像または合成対象画像を分割してできた小対象画像とを、推論部５０４に出力する。
【００３２】
推論部５０４は、第２画像分割部５０３が分割した小対象画像を入力として、機械学習モデル４０を用いて、小対象画像上の物体の有無を推論し、小対象画像上に物体が存在する場合、物体の位置およびサイズを検出する。
ただし、推論部５０４は、明らかに推論が不要な小対象画像があれば、当該小対象画像については、推論対象外として推論を行わないことも可能である。明らかに推論が不要な小対象画像とは、ここでは、画像全面が水域ではないと判断可能な小対象画像である。
例えば、水上を航行中、または、水上で出発準備中のボートを検出する場合には、陸上のボートは検出の対象外となる。従って、推論部５０４は、例えば、画像全面が陸である小対象画像については、推論を行わなくてもよい。推論部５０４は、画像全面が陸であることを、例えば、小対象画像の全面が黒く塗りつぶしがされていることで判断すればよい。推論部５０４が、明らかに推論が不要な小対象画像について推論を行わない場合、推論部５０４は、補助情報、言い換えれば、水域に関する情報に基づき、小対象画像の全面が黒く塗りつぶされた小対象画像以外の小対象画像に対して、推論を行う。
推論部５０４は、全ての小対象画像を入力とした推論、または、推論対象外の小対象画像以外の全ての小対象画像を入力した推論を行うと、対象画像と、小対象画像毎の推論結果とを、検出結果統合部５０５に出力する。
【００３３】
検出結果統合部５０５は、推論部５０４から出力された、小対象画像毎の推論結果に基づき、対象画像に対する推論結果となるよう、小対象画像毎の推論結果を統合して、対象画像に対する推論結果を生成する。
例えば、オーバーラップがある状態で、小対象画像をそれぞれ入力画像として推論部５０４が推論を行うと、同じ物体が複数の小対象画像にうつりこんでいる場合に、当該物体をダブルカウントすることになる。そこで、同じ物体がダブルカウントされることを避けるため、検出結果統合部５０５が、小対象画像毎の推論結果を統合する。検出結果統合部５０５は、小対象画像の境界部分を考慮しながら、小対象画像毎の推論結果を統合する。このように小対象画像毎の推論結果を統合して生成された推論結果が、対象画像に対する推論結果となる。
検出結果統合部５０５は、対象画像と、当該対象画像に対する推論結果とを、検出結果出力部５０６に出力する。
【００３４】
検出結果出力部５０６は、検出結果統合部５０５から出力された対象画像と当該対象画像に対する推論結果に基づき、推論結果がユーザに目視可能となるような表示画面を示す表示データを、例えば、表示装置（図示省略）に出力する。表示装置は、例えば、物体検出装置１とネットワークを介して接続されている。検出結果出力部５０６は、具体的には、例えば、対象画像上で、物体を囲む矩形を重畳表示させる表示用データを生成し、表示装置に出力する。表示装置は、検出結果出力部５０６から出力された表示用データに従い、対象画像上に、物体を囲む矩形が重畳表示された画面を表示する。
【００３５】
第２補助情報ＤＢ６０は、補助情報を記憶しているデータベースである。
【００３６】
なお、実施の形態１では、図１に示すように、第１補助情報ＤＢ２０、第２補助情報ＤＢ６０、および、機械学習モデル４０は、物体検出装置１に備えられるものとするが、これに限らず、第１補助情報ＤＢ２０、第２補助情報ＤＢ６０、および、機械学習モデル４０は、物体検出装置１の外部の、学習装置１０または推論装置５０が参照可能な場所に備えられるようにしてもよい。また、第１補助情報ＤＢ２０と第２補助情報ＤＢ６０とは、共通の１つの補助情報ＤＢとして構成されていても良い。
【００３７】
実施の形態１に係る物体検出装置１の動作について説明する。
図６および図７は、実施の形態１に係る物体検出装置１の動作を説明するためのフローチャートである。図６は、実施の形態１に係る学習装置１０の動作を説明するためのフローチャートであり、図７は、実施の形態１に係る推論装置５０の動作を説明するためのフローチャートである。
まず、図６を用いて、学習装置１０の動作について説明する。
教師データ取得部１００は、教師データを取得し、取得した教師データを、第１補助情報参照部１０１および学習部１０６に出力する。
図６中の「ｐ＝１，教師画像数，１」は、学習装置１０が、以下のステップＳＴ６０１〜ステップＳＴ６０３の処理を、教師データに含まれる複数の教師画像の全てに対して順次行うことを示している。すなわち、以下のステップＳＴ６０１〜ＳＴ６０３の処理の説明において、「教師画像」とは、現在、処理対象となっている、ある１つの教師画像を意味し、「教師データ」とは、当該１つの教師画像と当該教師画像に対応づけられたテキスト情報とを意味している。
第１補助情報参照部１０１は、第１補助情報ＤＢ２０を参照して、教師データ取得部１００が取得した教師画像のメタデータに含まれている第１撮像位置情報に基づき、第１補助情報ＤＢ２０から補助情報を取得する（ステップＳＴ６０１）。ここでは、第１補助情報参照部１０１は、第１補助情報ＤＢ２０を参照して、水域に関する情報を取得する。
第１補助情報参照部１０１は、教師データと、教師画像上の物体に対応する補助情報とを第１補助情報合成部１０２に出力する。
具体例を挙げると、第１補助情報参照部１０１は、補助情報として、水域に関する情報を取得し、教師データとともに、第１補助情報合成部１０２に出力する。
【００３８】
第１補助情報合成部１０２は、ステップＳＴ６０１にて第１補助情報参照部１０１から出力された教師データおよび補助情報に基づき、補助情報と教師画像を合成する（ステップＳＴ６０２）。具体的には、第１補助情報合成部１０２は、例えば、教師画像において、水域に該当する箇所以外の箇所の画素を、特定の色で塗りつぶした合成教師画像を生成する。
第１補助情報合成部１０２は、教師画像を合成教師画像に置き換えた合成教師データを、第１画像分割部１０３に出力する。
【００３９】
第１画像分割部１０３は、ステップＳＴ６０２において第１補助情報合成部１０２から出力された合成教師データに含まれる合成教師画像のサイズが大きい場合に、当該合成教師画像を、予め決められたサイズの小教師画像に分割する（ステップＳＴ６０３）。
第１画像分割部１０３は、小教師画像に分割した後の合成教師データを、統計量解析部１０４に出力する。
学習装置１０は、以上のステップＳＴ６０１〜ステップＳＴ６０３の処理を、教師データに含まれる複数の教師画像の全てに対して順次行う。
学習装置１０は、教師データに含まれる複数の教師画像の全てに対してステップＳＴ６０１〜ステップＳＴ６０３の処理を行うと、ステップＳＴ６０４の処理へ進む。
【００４０】
統計量解析部１０４は、ステップＳＴ６０３にて第１画像分割部１０３から出力された合成教師データについて、小教師画像の特性ごとに当該小教師画像を分類し、分類毎の小教師画像の枚数をカウントする（ステップＳＴ６０４）。
統計量解析部１０４は、小教師画像の枚数をカウントした結果に関する情報を、合成教師データとともに、教師データ間引き部１０５に出力する。このとき、統計量解析部１０４は、小教師画像に対して、どの分類に分類分けされたかの情報を付与するようにする。
【００４１】
教師データ間引き部１０５は、ステップＳＴ６０４にて統計量解析部１０４が小教師画像の枚数をカウントした結果に基づき、偏りのある分類に属する小教師画像を、間引く（ステップＳＴ６０５）。
教師データ間引き部１０５は、間引き後の合成教師データを、学習部１０６に出力する。
【００４２】
学習部１０６は、ステップＳＴ６０５にて教師データ間引き部１０５から出力された間引き後の合成教師データと、ステップＳＴ６０１にて教師データ取得部１００が取得した教師データとを、所定の比率で混ぜた上で学習を行い（ステップＳＴ６０６）、機械学習モデル４０を生成する（ステップＳＴ６０７）。
【００４３】
次に、図７を用いて、推論装置５０の動作について説明する。
画像取得部５００は、対象画像を取得し、取得した対象画像を、第２補助情報参照部５０１に出力する。
第２補助情報参照部５０１は、第２補助情報ＤＢ６０を参照して、画像取得部５００が取得した対象画像のメタデータに含まれている第２撮像位置情報に基づき、第１補助情報ＤＢ２０内の補助情報が参照可能かどうかを判定する（ステップＳＴ７０１）。ここでは、第２補助情報参照部５０１は、第２補助情報ＤＢ６０内の水域に関する情報が参照可能かどうかを判定する。
【００４４】
ステップＳＴ７０１において、第２補助情報参照部５０１が、水域に関する情報が参照可能ではないと判定した場合（ステップＳＴ７０１の“ＮＯ”の場合）、推論装置５０の動作は、ステップＳＴ７０４に進む。このとき、第２補助情報参照部５０１は、対象画像を、第２補助情報合成部５０２を介して第２画像分割部５０３に出力する。
ステップＳＴ７０１において、第２補助情報参照部５０１が、水域に関する情報が参照可能であると判定した場合（ステップＳＴ７０１の“ＹＥＳ”の場合）、第２補助情報参照部５０１は、第２補助情報ＤＢ６０から補助情報を取得する（ステップＳＴ７０２）。ここでは、第２補助情報参照部５０１は、第２補助情報ＤＢ６０から水域に関する情報を取得する。
第２補助情報参照部５０１は、取得した補助情報を、対象画像と対応付けて、第２補助情報合成部５０２に出力する。
【００４５】
第２補助情報合成部５０２は、ステップＳＴ７０２にて第２補助情報参照部５０１から出力された対象画像に基づき、補助情報と対象画像とを合成する（ステップＳＴ７０３）。具体的には、第２補助情報合成部５０２は、例えば、対象画像において、水域に該当する箇所以外の箇所の画素を、特定の色で塗りつぶした合成対象画像を生成する。
第２補助情報合成部５０２は、合成対象画像を、第２画像分割部５０３に出力する。
このとき、第２補助情報合成部５０２は、合成対象画像とともに、対象画像も、第２画像分割部５０３に出力する。
【００４６】
第２画像分割部５０３は、第２補助情報合成部５０２から対象画像のみが出力された場合（ステップＳＴ７０１の“ＮＯ”の場合）は、対象画像を、予め決められたサイズの小対象画像に分割する。
一方、第２画像分割部５０３は、第２補助情報合成部５０２から、対象画像とともに合成対象画像が出力された場合（ステップＳＴ７０１の“ＹＥＳ”〜ステップＳＴ７０３の場合）は、合成対象画像を、予め決められたサイズの小対象画像に分割する（ステップＳＴ７０４）。
第２画像分割部５０３は、対象画像と、対象画像を分割してできた小対象画像または合成対象画像を分割してできた小対象画像とを、推論部５０４に出力する。
【００４７】
図７中の「ｐ＝１，分割数，１」は、推論装置５０が、以下のステップＳＴ７０５〜ステップＳＴ７０６の処理を、ステップＳＴ７０４にて第２画像分割部５０３から出力された全ての小対象画像に対して順次行うことを示している。
推論部５０４は、小対象画像が、明らかに推論が不要な画像であるか否かを判定する（ステップＳＴ７０５）。具体的には、ここでは、推論部５０４は、小対象画像の画像全面が陸であるかどうかを判定する。
ステップＳＴ７０５において、小対象画像の画像全面が陸ではない、すなわち、画像の一部または全面が水域であると判定した場合（ステップＳＴ７０５の“ＮＯ”の場合）、推論部５０４は、小対象画像に対して、推論を行う（ステップＳＴ７０６）。
ステップＳＴ７０５において、小対象画像の画像全面が陸であると判定した場合（ステップＳＴ７０５の“ＹＥＳ”の場合）、推論部５０４は、ステップＳＴ７０６の処理を行わない。
【００４８】
推論部５０４は、ステップＳＴ７０５〜ステップＳＴ７０６の処理を、ステップＳＴ７０４にて第２画像分割部５０３から出力された全ての小対象画像に対して行う。
推論部５０４は、全ての小対象画像に対してステップＳＴ７０５〜ステップＳＴ７０６の処理を行うと、対象画像と、小対象画像毎の推論結果とを、検出結果統合部５０５に出力する
【００４９】
検出結果統合部５０５は、ステップＳＴ７０６にて推論部５０４から出力された、小対象画像毎の推論結果に基づき、対象画像に対する推論結果となるよう、小対象画像毎の推論結果を統合する（ステップＳＴ７０７）。
検出結果統合部５０５は、対象画像と、当該対象画像に対する推論結果とを、検出結果出力部５０６に出力する。
【００５０】
検出結果出力部５０６は、ステップＳＴ７０７にて検出結果統合部５０５から出力された対象画像と当該対象画像に対する推論結果に基づき、推論結果がユーザに目視可能となるような表示画面を示す表示データを、表示装置に出力する（ステップＳＴ７０８）。
【００５１】
このように、物体検出装置１における学習装置１０は、対象画像から物体を検出するための機械学習モデル４０を生成する際、教師データと補助情報とに基づいて学習を実行することで、機械学習モデル４０を生成する。その際、学習装置１０は、教師データに含まれる教師画像と補助情報とを合成した合成教師画像を用いて学習を実行する。また、物体検出装置１において、推論装置５０は、学習装置１０が生成した機械学習モデル４０を用いて、対象画像から物体を検出する。その際、推論装置５０は、機械学習モデル４０の入力として、対象画像と補助情報とを合成した合成対象画像を入力可能とした。
物体検出装置１は、補助情報を考慮して対象画像から物体を検出できるため、物体の検出精度が向上する。
【００５２】
一般的には、上述した従来技術のように、補助情報を用いるためには、対象画像および補助情報の両方を入力パラメータとする機械学習モデルを改めて設計する必要があった。また、汎用ソフト等に組み込まれている機械学習モジュールを使用する場合は、機械学習モデルの変更が不能な場合もある。
これに対し、実施の形態１に係る物体検出装置１は、補助情報を入力パラメータとする機械学習モデルを用いることなく、補助情報を考慮した物体の検出を行うことができる。すなわち、例えば、対象画像のみを入力パラメータとする機械学習モデルを用いつつ、かつ、補助情報を考慮した精度の高い物体の検出を行うことができる。
【００５３】
また、実施の形態１に係る物体検出装置１において、機械学習モデル４０への入力パラメータは、補助情報を用いる場合も、補助情報を用いない場合も、例えば画像のみとすることができ、いずれの場合も同じ機械学習モデル４０での推論を実行できる。これは、学習を実行する際も、補助情報を用いる場合と補助情報を用いない場合との両方の場合に対応した学習を、同時に実行できることを意味している。例えば、実施の形態１では、合成教師データと教師データとを、所定の比率で混ぜた上で学習を実行することで、補助情報を用いる場合と補助情報を用いない場合との両方に用いることができる機械学習モデル４０を生成している。そのため、実施の形態１に係る物体検出装置１においては、補助情報を用いる場合と、補助情報を用いない場合とで、互いに別の機械学習モデルを生成するために、別々の学習を実行させる場合よりも、学習時間の短縮が可能となる。
【００５４】
また、一般に、機械学習では、教師データを様々なケースにおいて偏りなく収集することが望ましいが、多くの場合、教師データの偏りが発生することで、特定の条件下で物体の誤検知が増える。
これに対し、実施の形態１に係る物体検出装置１では、第１画像分割部１０３が、第１補助情報合成部１０２が生成した合成教師画像を複数の小教師画像に分割し、統計量解析部１０４が、当該複数の小教師画像を複数の分類に分類する。そして、教師データ間引き部１０５が、統計量解析部１０４が分類した後の、各分類に属する小教師画像を、各分類に属する小教師画像の数に応じて、間引きする。そのため、偏りのない教師データから機械学習モデル４０を作成することができ、対象画像から物体を検出する精度を向上させることができる。
【００５５】
以上の実施の形態１では、ボートに対する補助情報は水域に関する情報とし、補助情報は１つとして説明したが、物体に対する補助情報は１種類に限らない。物体に対する補助情報は複数種類あってもよい。
【００５６】
また、以上の実施の形態１では、物体をボートとしたが、これは一例に過ぎない。例えば、物体は車両とし、物体検出装置１は、車両を検出する際に、補助情報として道路に関する情報を考慮するようにしてもよい。車両を検出する際に、道路に関する情報を考慮することで、例えば、通常、車両が存在しないような、道路以外の場所での、車両の誤検出を抑制することができる。
また、以上の実施の形態１では、第１補助情報合成部１０２および第２補助情報合成部５０２は、二値の水域情報を画像に反映するものとして説明したが、これは一例に過ぎない。例えば、第１補助情報合成部１０２および第２補助情報合成部５０２は、補助情報を、二値ではなく、５０％のグレーとして教師画像または対象画像に反映するようにしてもよい。また、例えば、第１補助情報合成部１０２および第２補助情報合成部５０２は、補助情報をモノクロではなく特定の色として教師画像または対象画像に反映するようにしてもよい。
【００５７】
また、以上の実施の形態１では、物体検出装置１は、第１画像分割部１０３および第２画像分割部５０３を備え、第１画像分割部１０３および第２画像分割部５０３は、合成教師画像を分割するようにした。しかし、これは一例に過ぎず、物体検出装置１において、合成教師画像の分割は必須ではない。例えば、合成教師画像のサイズが小さい場合、物体検出装置１は、合成教師画像を分割しなくてもよい。この場合、物体検出装置１は、第１画像分割部１０３および第２画像分割部５０３を備えない構成とすることができる。
また、物体検出装置１において、合成教師画像を分割しない場合、学習部１０６は、合成教師データと教師データとを混ぜて学習を実行する際、教師データに含まれる教師画像を、小教師画像と同じサイズの小画像に分割する必要はない。
【００５８】
ここで、図８は、実施の形態１において、例えば、物体を、道路を移動中の車両とし、補助情報を道路情報および幹線道路情報とした場合に、第１補助情報合成部１０２または第２補助情報合成部５０２が、教師画像または対象画像に対して、補助情報を反映した、合成教師画像または合成対象画像を生成するイメージの一例を説明する図である。
図８では、第１補助情報合成部１０２または第２補助情報合成部５０２は、道路（図８の８０１で示す）以外の箇所の画素（図８の８０２で示す）に、透明度５０％の赤色を重ねた合成教師画像または合成対象画像を生成するものとしている。なお、図８では、便宜上、透明度５０％の赤色を、横線で示している。
また、図８では、第１補助情報合成部１０２または第２補助情報合成部５０２は、幹線道路（図８の８０３で示す）以外の箇所の画素（図８の８０４で示す）に、透明度５０％の青色を重ねた合成教師画像または合成対象画像を生成するものとしている。なお、図８では、便宜上、透明度５０％の青色を、縦線で示している。
【００５９】
また、以上の実施の形態１では、学習装置１０および推論装置５０が、物体検出装置１に備えられるものとしたが、これは一例に過ぎない。学習装置１０および推論装置５０は、それぞれ単体で用いられるものとしてもよい。
【００６０】
図９Ａ，図９Ｂは、実施の形態１に係る学習装置１０および推論装置５０のハードウェア構成の一例を示す図である。
実施の形態１において、教師データ取得部１００と、第１補助情報参照部１０１と、第１補助情報合成部１０２と、第１画像分割部１０３と、統計量解析部１０４と、教師データ間引き部１０５と、学習部１０６の機能は、処理回路９０１により実現される。すなわち、学習装置１０は、教師データと補助情報を用いた学習を実行することにより、対象画像から物体を検出するための機械学習モデル４０を生成する処理の制御を行うための処理回路９０１を備える。
また、実施の形態１において、画像取得部５００と、第２補助情報参照部５０１と、第２補助情報合成部５０２と、第２画像分割部５０３と、推論部５０４と、検出結果統合部５０５と、検出結果出力部５０６の機能は、処理回路９０１により実現される。すなわち、推論装置５０は、対象画像および補助情報を取得し、機械学習モデル４０を用いて、対象画像から物体を検出する処理の制御を行うための処理回路９０１を備える。
処理回路９０１は、図９Ａに示すように専用のハードウェアであっても、図９Ｂに示すようにメモリ９０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０５であってもよい。
【００６１】
処理回路９０１が専用のハードウェアである場合、処理回路９０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【００６２】
処理回路９０１がＣＰＵ９０５の場合、教師データ取得部１００と、第１補助情報参照部１０１と、第１補助情報合成部１０２と、第１画像分割部１０３と、統計量解析部１０４と、教師データ間引き部１０５と、学習部１０６と、画像取得部５００と、第２補助情報参照部５０１と、第２補助情報合成部５０２と、第２画像分割部５０３と、推論部５０４と、検出結果統合部５０５と、検出結果出力部５０６の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、教師データ取得部１００と、第１補助情報参照部１０１と、第１補助情報合成部１０２と、第１画像分割部１０３と、統計量解析部１０４と、教師データ間引き部１０５と、学習部１０６と、画像取得部５００と、第２補助情報参照部５０１と、第２補助情報合成部５０２と、第２画像分割部５０３と、推論部５０４と、検出結果統合部５０５と、検出結果出力部５０６は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）９０２、メモリ９０６等に記憶されたプログラムを実行するＣＰＵ９０５、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ９０２、またはメモリ９０６等に記憶されたプログラムは、教師データ取得部１００と、第１補助情報参照部１０１と、第１補助情報合成部１０２と、第１画像分割部１０３と、統計量解析部１０４と、教師データ間引き部１０５と、学習部１０６と、画像取得部５００と、第２補助情報参照部５０１と、第２補助情報合成部５０２と、第２画像分割部５０３と、推論部５０４と、検出結果統合部５０５と、検出結果出力部５０６の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ９０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。
【００６３】
なお、学習装置１０において、教師データ取得部１００と、第１補助情報参照部１０１と、第１補助情報合成部１０２と、第１画像分割部１０３と、統計量解析部１０４と、教師データ間引き部１０５と、学習部１０６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、教師データ取得部１００と第１補助情報参照部１０１については専用のハードウェアとしての処理回路９０１でその機能を実現し、第１補助情報合成部１０２と、第１画像分割部１０３と、統計量解析部１０４と、教師データ間引き部１０５と、学習部１０６については処理回路がメモリ９０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、推論装置５０において、画像取得部５００と、第２補助情報参照部５０１と、第２補助情報合成部５０２と、第２画像分割部５０３と、推論部５０４と、検出結果統合部５０５と、検出結果出力部５０６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部５００と検出結果出力部５０６については専用のハードウェアとしての処理回路９０１でその機能を実現し、第２補助情報参照部５０１と、第２補助情報合成部５０２と、第２画像分割部５０３と、推論部５０４と、検出結果統合部５０５については処理回路がメモリ９０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、学習装置１０および推論装置５０は、表示装置等の外部の装置との通信を行う、入力インタフェース装置９０３、および、出力インタフェース装置９０４を有する。
【００６４】
以上のように、実施の形態１に係る学習装置１０は、物体が撮像された教師画像、および、物体に対応する補助情報を取得する第１補助情報参照部１０１と、第１補助情報参照部１０１が取得した補助情報を教師画像に反映した合成教師画像を生成する第１補助情報合成部１０２と、第１補助情報合成部１０２が生成した合成教師画像を用いた学習により機械学習モデル４０を生成する学習部１０６を備えるように構成されている。そのため、補助情報を入力パラメータとする機械学習モデルを用いることなく、補助情報を考慮した機械学習モデルを生成することができる。
また、実施の形態１に係る物体検出装置１は、上述の学習装置１０と、対象画像、および、当該対象画像に対応する補助情報を取得する第２補助情報参照部５０１と、第２補助情報参照部５０１が取得した補助情報を対象画像に反映した合成対象画像を生成する第２補助情報合成部５０２と、機械学習モデル４０に合成対象画像を入力することにより物体を検出する推論部５０４を備えるように構成されている。そのため、補助情報を入力パラメータとする機械学習モデルを用いることなく、補助情報を考慮した物体の検出を行うことができる。
【００６５】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００６６】
この発明に係る物体検出装置は、補助情報を入力パラメータとする機械学習モデルを用いることなく、補助情報を考慮した機械学習モデルを生成することができるように構成したため、物体を検出するための機械学習モデルを生成する学習装置に適用することができる。
【符号の説明】
【００６７】
１  物体検出装置、１０  学習装置、２０  第１補助情報ＤＢ、４０  機械学習モデル、５０  推論装置、６０  第２補助情報ＤＢ、１００  教師データ取得部、１０１  第１補助情報参照部、１０２  第１補助情報合成部、１０３  第１画像分割部、１０４  統計量解析部、１０５  教師データ間引き部、１０６  学習部、５００  画像取得部、５０１  第２補助情報参照部、５０２  第２補助情報合成部、５０３  第２画像分割部、５０４  推論部、５０５  検出結果統合部、５０６  検出結果出力部、９０１  処理回路、９０２  ＨＤＤ、９０３  入力インタフェース装置、９０４  出力インタフェース装置、９０５  ＣＰＵ、９０６  メモリ。
【要約】
物体が撮像された教師画像、および、物体に対応する補助情報を取得する第１補助情報参照部（１０１）と、第１補助情報参照部（１０１）が取得した補助情報を教師画像に反映した合成教師画像を生成する第１補助情報合成部（１０２）と、第１補助情報合成部（１０２）が生成した合成教師画像を用いた学習により機械学習モデル（４０）を生成する学習部（１０６）を備えた。【図１】
0006945772.tif 000002
【図２】
0006945772.tif 000003
【図３】
0006945772.tif 000004
【図４】
0006945772.tif 000005
【図５】
0006945772.tif 000006
【図６】
0006945772.tif 000007
【図７】
0006945772.tif 000008
【図８】
0006945772.tif 000009
【図９】
0006945772.tif 000010