(57)【要約】【課題】画像に対する物体検出で用いる計算資源を小型化させることが可能な検出装置、検出方法、コンピュータプログラム及び学習モデルを提供する。【解決手段】検出装置は、画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体を検出する検出装置であって、前記検出モデルは、入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を含み、前記畳み込み層は、前記画像、又は他の畳み込み層によって畳み込み後の特徴マップに対し、前記特徴マップを複数に分割したセル毎に、円形状の枠に対応するセルの特徴量を出力する。【選択図】図５
2020087355.tif 000002
【特許請求の範囲】
【請求項１】
画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体を検出する検出装置であって、
前記検出モデルは、
入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を含み、
前記畳み込み層は、前記画像、又は他の畳み込み層によって畳み込み後の特徴マップに対し、前記特徴マップを複数に分割したセル毎に、円形状の枠に対応するセルの特徴量を出力する
検出装置。
【請求項２】
画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体を検出する検出装置であって、
前記検出モデルは、
入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を複数段階含み、段階毎に前記画像の特徴マップを抽出する抽出器と、
該抽出器から段階毎に抽出される特徴マップに対して夫々、前記特徴マップを複数に分割したセル毎に設定される所定の半径の円形状のデフォルト枠毎に、検出対象の物体が存在する場合の前記デフォルト枠に対する前記物体の検出範囲候補の相対位置及び相対半径、並びに、前記デフォルト枠内に前記物体が存在する確度によって前記検出対象の物体を検出する検出器と、
段階毎の特徴マップ夫々に対して前記検出器で検出された検出範囲候補及び確度を使用して検出枠を決定するサプレッサと
を含み、検出対象を撮影した画像及び該画像内の前記物体の位置及び円形状の範囲を示す正解データによって学習されてある
検出装置。
【請求項３】
前記サプレッサは、
異なる特徴マップに基づく物体の検出範囲候補が相互に重複する場合に、円形状である第１の検出範囲候補及び第２の検出範囲同士で、検出範囲候補の中心から半径の所定の割合分の範囲内に、他方の検出範囲候補の中心が相互に含まれるか否かを判定し、
中心が相互に含まれると判定された場合、前記確度が低い方の仮の検出範囲候補を除外する
請求項２に記載の検出装置。
【請求項４】
前記サプレッサは、前記所定の割合の設定を受け付ける
請求項３に記載の検出装置。
【請求項５】
画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体をコンピュータが検出する検出方法であって、
前記検出モデルは、
入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を含み、
前記畳み込み層は、前記画像、又は他の畳み込み層によって畳み込み後の特徴マップに対し、前記特徴マップを複数に分割したセル毎に、円形状の枠に対応するセルの特徴量を出力するようにしてあり、
前記コンピュータは、
撮影された画像を前記検出モデルに与えて前記画像に写る前記物体を検出し、
検出結果の円形状の検出枠の前記画像中における位置及び半径の情報を出力する
検出方法。
【請求項６】
画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体をコンピュータが検出する検出方法であって、
前記検出モデルは、
入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を複数段階含み、段階毎に前記画像の特徴マップを抽出する抽出器と、
該抽出器から段階毎に抽出される特徴マップに対して夫々、前記特徴マップを複数に分割したセル毎に設定される所定の半径の円形状のデフォルト枠毎に、検出対象の物体が存在する場合の前記デフォルト枠に対する前記物体の検出範囲候補の相対位置及び相対半径、並びに、前記デフォルト枠内に前記物体が存在する確度によって前記検出対象の物体を検出する検出器と、
段階毎の特徴マップ夫々に対して前記検出器で検出された検出範囲候補及び確度を使用して検出枠を決定するサプレッサと
を含み、検出対象を撮影した画像及び該画像内の前記物体の位置及び円形状の範囲を示す正解データによって学習されてあり、
前記コンピュータは、
撮影された画像を前記検出モデルに与えて前記画像に写る前記物体を検出し、
検出結果の円形状の検出枠の前記画像中における位置及び半径の情報を出力する
検出方法。
【請求項７】
画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体を検出する処理をコンピュータに実行させるコンピュータプログラムであって、
前記検出モデルは、
入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を複数段階含み、段階毎に前記画像の特徴マップを抽出する抽出器と、
該抽出器から段階毎に抽出される特徴マップに対して夫々、前記特徴マップを複数に分割したセル毎に設定される所定の半径の円形状のデフォルト枠毎に、検出対象の物体が存在する場合の前記デフォルト枠に対する前記物体の検出範囲候補の相対位置及び相対半径、並びに、前記デフォルト枠内に前記物体が存在する確度によって前記検出対象の物体を検出する検出器と、
段階毎の特徴マップ夫々に対して前記検出器で検出された検出範囲候補及び確度を使用して検出枠を決定するサプレッサと
を含み、検出対象を撮影した画像及び該画像内の前記物体の位置及び円形状の範囲を示す正解データによって学習されてあり、
前記コンピュータに、
撮像された画像を前記検出モデルに与えて前記画像に写る前記物体を検出し、
検出結果の円形状の検出枠の前記画像中における位置及び半径の情報を出力する
処理を実行させるコンピュータプログラム。
【請求項８】
入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を複数段階含み、段階毎に前記画像の特徴マップを抽出する抽出器と、
該抽出器から段階毎に抽出される特徴マップに対して夫々、前記特徴マップを複数に分割したセル毎に設定される所定の半径の円形状のデフォルト枠毎に、検出対象の物体が存在する場合の前記デフォルト枠に対する前記物体の検出範囲候補の相対位置及び相対半径、並びに、前記デフォルト枠内に前記物体が存在する確度によって前記検出対象の物体を検出する検出器と、
段階毎の特徴マップ夫々に対して前記検出器で検出された検出範囲候補及び確度を使用して検出枠を決定するサプレッサと
を含み、
検出対象の物体を撮影した画像及び該画像内の前記物体の位置及び円形状の範囲を示す正解データによって学習されてあり、
コンピュータに、撮像された画像が入力された場合に前記画像に写る前記物体に対する円形状の検出枠の位置及び半径の情報を出力させるように機能させる学習モデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対する物体検出で用いる計算資源をより小型化させることが可能な検出装置、検出方法、コンピュータプログラム及び学習モデルに関する。
【背景技術】
【０００２】
ニューラルネットワークを用いた深層学習による物体検出アルゴリズムとして、種々のモデルが提案されている。それらの内のＳＳＤ（Single Shot MultiBox Detector ）という物体検出モデルが利用されている。ＳＳＤは、画像を複数の検出層において縦横のグリッドで分割し、グリッドにより分割された各セルにて異なるアスペクト比の矩形状のデフォルトボックスを生成し、デフォルトボックス毎に、物体が存在するか否かのスコア、バウンディングボックスへの相対位置、相対寸法を計算する。得られたバウンディングボックスのスコア、位置、及び寸法に基づき、重複したバウンディングボックスを除外し検出領域とする方法である。このＳＳＤにより、高速且つ高い精度の検出が実現されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Liu Wei et al.、“SSD: Single Shot MultiBox Detector”、［online］、２０１５年１２月８日、［２０１８年１０月１９日検索］、インターネット<URL:https://arxiv.org/pdf/1512.02325.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＳＳＤでは上述したように、矩形状のデフォルトボックス（バウンディングボックス）を用いている。ＳＳＤはその手法へ到達する各手法において歴史的に矩形状の検出枠を使用してきている。というのも、物体検出の対象となる画像は、人間又は車両からの目線で見える景色を基準とした画像、つまり、略水平方向の撮影方向（目線）、斜め上、又は斜め下の撮影方向で撮影されているものであるため、検出される人物、犬、猫等の動物、木、建物等の静物、車、自転車等の動体はいずれも矩形領域が適合する。したがって矩形状の検出枠を使用することが適切である。
【０００５】
しかしながら矩形状の検出枠を用いる場合、その検出領域を特定する情報は、基準となる点の横方向と縦方向の位置と、幅及び高さ（又は縦横）の長さとの４つが必要である。ＩｏＴ（Internet of Things ）関連技術を実現するためには検出結果を無線通信によって送信することを想定する場合、送信される情報はより軽量であることが望ましい。
【０００６】
本発明の目的は、画像に対する物体検出で用いる計算資源をより小型化させることが可能な検出装置、検出方法、コンピュータプログラム及び学習モデルを提供することである。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る検出装置は、画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体を検出する検出装置であって、前記検出モデルは、入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を含み、前記畳み込み層は、前記画像、又は他の畳み込み層によって畳み込み後の特徴マップに対し、前記特徴マップを複数に分割したセル毎に、円形状の枠に対応するセルの特徴量を出力する。
【０００８】
本開示の一態様に係る検出装置は、画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体を検出する検出装置であって、前記検出モデルは、入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を複数段階含み、段階毎に前記画像の特徴マップを抽出する抽出器と、該抽出器から段階毎に抽出される特徴マップに対して夫々、前記特徴マップを複数に分割したセル毎に設定される所定の半径の円形状のデフォルト枠毎に、検出対象の物体が存在する場合の前記デフォルト枠に対する前記物体の検出範囲候補の相対位置及び相対半径、並びに、前記デフォルト枠内に前記物体が存在する確度（スコア）によって前記検出対象の物体を検出する検出器と、段階毎の特徴マップ夫々に対して前記検出器で検出された検出範囲候補及び確度を使用して検出枠を決定するサプレッサとを含み、検出対象を撮影した画像及び該画像内の前記物体の位置及び円形状の範囲を示す正解データによって学習されてある。
【０００９】
本開示の一態様に係る検出方法は、画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体をコンピュータが検出する検出方法であって、前記検出モデルは、入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を含み、前記畳み込み層は、前記画像、又は他の畳み込み層によって畳み込み後の特徴マップに対し、前記特徴マップを複数に分割したセル毎に、円形状の枠に対応するセルの特徴量を出力するようにしてあり、前記コンピュータは、撮影された画像を前記検出モデルに与えて前記画像に写る前記物体を検出し、検出結果の円形状の検出枠の前記画像中における位置及び半径の情報を出力する。
【００１０】
本開示の一態様に係るコンピュータプログラムは、画像が入力された場合に、前記画像内に検出対象の物体が写っている範囲を検出するように学習されてある検出モデルを用いて前記画像に写る物体を検出する処理をコンピュータに実行させるコンピュータプログラムであって、前記検出モデルは、入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を複数段階含み、段階毎に前記画像の特徴マップを抽出する抽出器と、該抽出器から段階毎に抽出される特徴マップに対して夫々、前記特徴マップを複数に分割したセル毎に設定される所定の半径の円形状のデフォルト枠毎に、検出対象の物体が存在する場合の前記デフォルト枠に対する前記物体の検出範囲候補の相対位置及び相対半径、並びに、前記デフォルト枠内に前記物体が存在する確度によって前記検出対象の物体を検出する検出器と、段階毎の特徴マップ夫々に対して前記検出器で検出された検出範囲候補及び確度を使用して検出枠を決定するサプレッサとを含み、検出対象を撮影した画像及び該画像内の前記物体の位置及び円形状の範囲を示す正解データによって学習されてあり、前記コンピュータに、撮像された画像を前記検出モデルに与えて前記画像に写る前記物体を検出し、検出結果の円形状の検出枠の前記画像中における位置及び半径の情報を出力する処理を実行させる。
【００１１】
本開示の一態様に係る学習モデルは、入力される画像に対し、畳み込みニューラルネットワークにより畳み込みを実施する畳み込み層又はプーリング層を複数段階含み、段階毎に前記画像の特徴マップを抽出する抽出器と、該抽出器から段階毎に抽出される特徴マップに対して夫々、前記特徴マップを複数に分割したセル毎に設定される所定の半径の円形状のデフォルト枠毎に、検出対象の物体が存在する場合の前記デフォルト枠に対する前記物体の検出範囲候補の相対位置及び相対半径、並びに、前記デフォルト枠内に前記物体が存在する確度によって前記検出対象の物体を検出する検出器と、段階毎の特徴マップ夫々に対して前記検出器で検出された検出範囲候補及び確度を使用して検出枠を決定するサプレッサとを含み、検出対象の物体を撮影した画像及び該画像内の前記物体の位置及び円形状の範囲を示す正解データによって学習されてあり、コンピュータに、撮像された画像が入力された場合に前記画像に写る前記物体に対する円形状の検出枠の位置及び半径の情報を出力させるように機能させる。
【発明の効果】
【００１２】
本開示の検出装置、検出方法、コンピュータプログラム及び学習モデルによれば、物体検出を、矩形枠でなく円形枠を用いて実施する。このため、検出領域を特定する情報は中心点を示す２次元座標情報と半径と３つに済むから学習パラメータ及び演算量を少なくし、計算資源を小型化させることができる。
【図面の簡単な説明】
【００１３】
【図１】モニタリングシステムの概要を示す模式図である。
【図２】撮影機の構成を示すブロック図である。
【図３】モニタ装置の構成を示すブロック図である。
【図４】検出モデルの構成を示す説明図である。
【図５】検出・分類器の概要を示す説明図である。
【図６】サプレッサによる処理の概要を示す図である。
【図７】検出結果の例を示す模式図である。
【図８】変形例１におけるモニタリングシステムの概要を示す模式図である。
【図９】変形例２におけるモニタリングシステムの概要を示す模式図である。
【発明を実施するための形態】
【００１４】
以下、本開示の検出方法、検出装置及びコンピュータプログラムについてその実施形態を示す図面に基づいて具体的に説明する。なお以下に示す実施の形態では、本開示の検出方法、検出装置及びコンピュータプログラムを、植物の生育状態のモニタリングを実現するサービスに適用した例を挙げて説明する。
【００１５】
図１は、モニタリングシステム１００の概要を示す模式図である。モニタリングシステム１００は、撮影機１及びモニタ装置２を含む。撮影機１は、カメラ付きの無人飛行機、即ち所謂ドローンである。撮影機１は、モニタ装置２からの指示に従って飛行し、飛行中にカメラ１３で撮影して得られる画像からの検出結果をモニタ装置２へ逐次無線通信により送信する。モニタ装置２は、撮影機１から検出結果を受信し、リアルタイムに、又は事後的に、画像に写っている特定の植物の位置及び半径（即ち範囲）を出力する。撮影機１のカメラ１３は、図１に示すように撮影機１の下部に下方に向けて設置されている。撮影機１のカメラ１３で撮影される画像は、物体を俯瞰又は鳥瞰するようにして写した空中画像である。空中画像は、航空写真又は衛星写真であってもよい。
【００１６】
図１に示すように撮影機１は、空中から画像を撮影し、撮影した画像から特定の植物を検出する処理まで行なう。特定の植物とは、本実施の形態では露地栽培される作物である。撮影機１は、その特定の植物の画像における範囲から大きさを推定し、推定された大きさから収穫時期が来ているか否か、病害虫による被害の有無等を判断してユーザに通知することも可能である。
【００１７】
図２は、撮影機１の構成を示すブロック図である。撮影機１は、制御部１０、記憶部１１、通信部１２、カメラ１３、及びＧＰＳ受信機１４を備える。撮影機１は、プロペラと、これらのプロペラを駆動させるモータ及びアンプを含む駆動回路、電源回路を含み、制御部１０はこれらの構成要素を制御して飛行する。なお撮影機１は、無人飛行機でなく有人飛行機であってもよい。
【００１８】
制御部１０は、記憶部１１、通信部１２、カメラ１３、及びＧＰＳ受信機１４と接続されており、通信部１２にて受信する指示信号に応じて複数のプロペラを制御して撮影機１を飛行させる。制御部１０は、ＣＰＵ（Central Processing Unit ）等のプロセッサ及びメモリ等を用い、装置の構成部を制御して各種機能を実現する。制御部１０は、ＣＰＵ、ＧＰＵ等のプロセッサ、メモリ、更には記憶部１１及び通信部１２を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。
【００１９】
記憶部１１は、フラッシュメモリを用いる。記憶部１１には、検出プログラム１Ｐ、及び検出モデル１Ｍが記憶されている。検出モデル１Ｍには、モデルに含まれるＣＮＮの学習済みの重み係数等を含むパラメータ情報等が含まれる。記憶部１１に記憶される検出プログラム１Ｐ及び検出モデル１Ｍは、記録媒体３から読み取られた検出プログラム３Ｐ及び検出モデル３Ｍを制御部１０が記憶部１１に複製したものであってもよい。例えば制御部１０は、通信部１２を介して外部のサーバ装置から、検出プログラム３Ｐ及び検出モデル３Ｍをダウンロードすることが可能である。又は、図２に示すように撮影機１が読取部１５を備え、制御部１０は読取部１５によって検出プログラム３Ｐ及び検出モデル３Ｍを制御部１０が記憶部１１に複製してもよい。
【００２０】
通信部１２は、モニタ装置２との無線通信を行なうデバイスである。通信部１２は、例えばBluetooth（登録商標）等、近距離無線通信規格により、モニタ装置２と通信を行なうことができるとよい。
【００２１】
カメラ１３は、ＣＭＯＳ（Complementary MOS ）イメージセンサ等の撮像素子を用いる。カメラ１３は、図１に示したように飛行中に下方を撮影するように設けられている。つまりカメラ１３で撮影される画像は、物体を俯瞰又は鳥瞰するように写した空中写真である。制御部１０は、カメラ１３にて撮影される画像を逐次取得することができる。
【００２２】
ＧＰＳ受信機１４は、ＧＰＳ（Global Positioning System ）衛星から受信する信号に基づいて撮影機１の位置を導出する。制御部１０は、ＧＰＳ受信機１４により撮影機１の位置を特定することができる。
【００２３】
このように構成される撮影機１は、制御部１０がＧＰＳ受信機１４にて受信する信号に基づいて撮影機１の位置を算出することが可能であり、指示された位置への移動、指示信号に含まれる位置へ到達した場合にカメラ１３による撮影を開始する制御を行なうことができる。制御部１０は、カメラ１３で撮影した画像に対して逐次、物体検出の処理を実行する。制御部１０は例えば、カメラ１３で撮影される動画像からフレーム画像を順に読み出し、読み出したフレーム画像に対してリアルタイムに物体検出の処理を実行する。制御部１０は、動画像及びこの動画像に対応する検出結果を逐次通信部１２からモニタ装置２へ向けて送信する。
【００２４】
図３は、モニタ装置２の構成を示すブロック図である。モニタ装置２は、制御部２０、記憶部２２、通信部２３、表示部２４及び操作部２５を備える。モニタ装置２は、汎用的なパーソナルコンピュータであり、例えばタブレット端末を用いる。
【００２５】
制御部２０は、ＣＰＵ等のプロセッサ及びメモリ等を用い、装置の構成部を制御して各種機能を実現する。なお、制御部２０は、ＣＰＵ等のプロセッサ、メモリ、更には記憶部２２及び通信部２３を集積した１つのハードウェア（ＳｏＣ：System On a Chip）として構成されていてもよい。
【００２６】
記憶部２２は、ハードディスク又はフラッシュメモリを用いる。記憶部２２はＳＳＤ（Solid State Drive ）であってもよい。記憶部２２には、汎用的なコンピュータを、検出結果を出力する特定のモニタ装置２として機能させるための制御プログラム２Ｐが記憶されている。
【００２７】
通信部２３は、撮影機１との無線通信を行なうデバイスである。通信部２３は例えば、例えばBluetooth（登録商標）等、近距離無線通信規格により、撮影機１と通信を行なうことができるとよい。
【００２８】
表示部２４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディスプレイ等を用いる。表示部２４は、制御部２０の指示により画像を表示することが可能である。操作部２５は、表示部２４に内蔵されたタッチパネル又は筐体に設けられた物理的ボタンを用いる。操作部２５は、ユーザによる操作情報を制御部２０へ通知する。
【００２９】
モニタ装置２は、撮影機１が飛行中、又は飛行終了後に送信する動画像及びこの動画像に対応する検出結果を通信部２３により受信して取得し、取得した検出結果を表示部２４へ表示させる。検出結果は、取得した動画像上に重畳される検出対象の植物を囲う円形の検出枠と、検出枠における確度（スコア）とである。これにより、モニタ装置２の表示部２４を視認するユーザは、撮影機１で撮影された画像に対する検出結果を視認することができる。
【００３０】
本実施の形態の撮影機１の制御部１０による画像からの検出対象の物体の検出、具体的には植物の検出処理について詳細を説明する。制御部１０は、畳み込みニューラルネットワーク（以下、ＣＮＮ（Convolutional Neural Network ）と呼ぶ）を用いた「Ｃｉｒｃｌｅ  ＳＳＤ」に基づいて学習された検出モデル１Ｍにより物体検出を実現する。図４は、検出モデル１Ｍの構成を示す説明図である。検出モデル１Ｍは、抽出器１１１、検出・分類器１１２、及びサプレッサ１１３を含む。
【００３１】
抽出器１１１は、図４に示す通り、複数の畳み込み層を含むＣＮＮであり、異なるスケールでの特徴量を求めるネットワークである。抽出器１１１は、入力画像を複数チャネルに分解し、各々の畳み込み又はプーリング処理を行なった後、複数のスケールの特徴マップを段階的に出力する。図４の例では、抽出器１１１には、５段階の特徴量を出力するように夫々畳み込み層が含まれている。なお、抽出器１１１は、畳み込み層全てに対して設けられなくともよい。抽出器１１１は、複数の畳み込み層又はプーリング層の内のいくつかに設けられていてもよい。
【００３２】
検出・分類器１１２は、抽出器１１１から得られる各段階の特徴マップに対して更に、各セルに対応するデフォルト枠からの相対位置・相対半径を求め適用した物体の検出範囲候補と、確度（スコア）を示すネットワークである。
【００３３】
サプレッサ１１３は、異なる段階（深さ）の特徴量に対して検出・分類器１１２が出力した物体の検出範囲候補及びスコアに基づいて、重複したものを除外しながら、検出範囲候補を集合させて１つの検出枠とする処理を行なう。
【００３４】
図５は、検出・分類器１１２の概要を示す説明図である。検出・分類器１１２は、抽出器１１１の各段階から得られる特徴マップをグリッドで分割した後、セル毎にセル中心に所定の半径のデフォルトサークル１１２０を生成し、各デフォルトサークル１１２０について、物体分類を行なう。具体的には、検出・分類器１１２は、デフォルトサークル１１２０毎に特徴量を求め、特徴マップにおける物体の検出範囲候補及び検出対象の物体である確度の高さを示すスコアを出力する。検出される物体を囲う領域はデフォルトサークル１１２０の中心、半径と合っていない可能性があるので、検出・分類器１１２では、相対中心位置（横：Δｘ、縦：Δｙ）、及び相対半径（Δｒ）の３つの成分について所定のサイズ（例えば３×３、５×５）のフィルタによる畳み込み層を含んで演算するとよい。これにより、デフォルトサークル１１２０に基づき、特徴マップ毎に、そのマップ内における検出範囲が得られる。検出範囲は、特徴マップにおけるデフォルトサークル１１２０からの相対位置（Δｘ，Δｙ）、相対半径（Δｒ）を適用した位置（ｘ，ｙ）、半径（ｒ）で表される。
【００３５】
ここで、従来のＳＳＤでは、抽出器１１１から得られる特徴マップをグリッドで分割した後、セル毎にセル中心（グリッド）に矩形状のデフォルトボックスを設定し、各ボックスに対して物体を検出する処理を行なっていた。これに対し、「Ｃｉｒｃｌｅ  ＳＳＤ」を使用する検出モデル１Ｍは、上述したように円形枠であるデフォルトサークル１１２０を用いる。各検出範囲（バウンディングサークル）は各デフォルトサークル１１２０に対する相対位置（Δｘ，Δｙ）及び相対半径（Δｒ）の３つの成分で特定されるから、物体検出の演算処理のパラメータ数が４成分から３成分に削減され、処理が軽減される。処理が軽減されるため、ＧＰＵ（Graphics Processing Unit）を使用せずにＣＰＵやＦＰＧＡ（Field-Programmable Gate Array ）にて処理を行なうことが可能である。また計算資源を小型化させることができ、撮影機１のような計算資源の限られた装置にも搭載することが可能になる。
【００３６】
図６は、サプレッサ１１３による処理の概要を示す図である。サプレッサ１１３は、異なる段階の特徴マップから検出・分類器１１２が出力した物体の検出範囲候補及びスコアに基づき、重複する検出範囲候補を取捨選択する処理を行なう。図６の例では、異なる段階の特徴マップから導出され、入力画像内で重複する第１の検出範囲候補と、第２の検出範囲候補とが示されている。第１の検出範囲候補は、中心Ｏ１と半径ｒ１とが特定されている。第２の検出範囲候補は、中心Ｏ２と半径ｒ２とが特定されている。
【００３７】
サプレッサ１１３は、重複する第１の検出範囲候補及び第２の検出範囲候補について夫々、記憶部１１に記憶されている設定情報に含まれる割合ｋ（例えば０．１）を用いて以下のように演算する。サプレッサ１１３は、第１の検出範囲候補の中心Ｏ１からｋ＊半径ｒ１（破線）以内に第２の中心枠の中心Ｏ２が含まれており、且つ、第２の検出範囲候補の中心Ｏ２からｋ＊半径ｒ２（破線）以内に第１の検出範囲候補の中心Ｏ１が含まれているかを判定する。相互に中心Ｏ１、Ｏ２が半径ｒ１、ｒ２の割合ｋの内側に存在すると判定された場合、サプレッサ１１３は、第１の検出範囲候補に対するスコアと、第２の検出範囲候補に対するスコアとを比較し、スコアの小さい方の検出範囲候補を除外する。図６の例では、第１の検出範囲候補よりも第２の検出範囲候補のスコアの方が大きいため、第１の検出範囲候補が除外される。なお、割合ｋは、検出モデル１Ｍを使用するためのパラメータとして事後的に設定が可能である。つまり検出モデル１Ｍは、割合ｋの設定インタフェースを有する。
【００３８】
検出モデル１Ｍは、使用前に設定インタフェースによって割合の設定を受け付けることが可能である。制御部１０は、通信部１２によって割合を示す数値を受け付け、記憶部１１に記憶する。制御部１０は、受け付けた数値を検出モデル１Ｍの設定インタフェースに与える。これにより検出モデル１Ｍのサプレッサ１１３は、与えられた数値の割合を用いて検出枠の除外処理を行なう。本実施の形態では、検出対象は例えば１つの特定の植物とする。複数の種類の物体であってもよい。物体の種別に応じて割合を変更するなどして、検出精度を向上させることも期待される。
【００３９】
従来の矩形状の検出枠を用いる検出モデルでは、重複する検出枠が占める面積と、重複する矩形部分の面積との比率に応じて、比率が所定値以上である場合には、スコアが小さい方を除去していた（Non-Maximum Suppression ）。これに対し、円形状のデフォルトサークル１１２０を用いるサプレッサ１１３では、円形に適した検出枠の絞り込みを行なうことができる。
【００４０】
検出モデル１Ｍの学習は、図４−６に示したように構成されるニューラルネットワークに対し、制御部１０は、与えられる教師データに基づいて、各ネットワークにおける重み係数等を含むパラメータを学習させることで実施される。教師データは、画像と、その画像内に写っている検出対象の物体、即ち本実施の形態では特定の植物の範囲を示す中心位置（ｘ、ｙ）及び半径（ｒ）とを含むアノテーションデータである。
【００４１】
モニタ装置２の制御部２０は、撮影機１にて撮影された画像に対する検出結果を通信部２３により受信する都度、表示部２４に表示させる。図７は、検出結果の例を示す模式図である。図７の例では、線図により植物を示し、太実線によって検出枠２４１を示している。このように空中写真に写る物体、特に植物のような水平方向に等方に拡がる物体に対する検出は、上述した円形枠を用いたＳＳＤ、即ち「Ｃｉｒｃｌｅ  ＳＳＤ」を使用する検出モデル１Ｍによって高精度に、且つ、高速に実行することが可能である。高速に実行することが可能であるから、動画像に対してリアルタイムに検出結果を出力させることも可能である。
【００４２】
（変形例１）
図８は、変形例１におけるモニタリングシステム１０１の概要を示す模式図である。変形例１においてモニタリングシステム１０１は、撮影機１、検出装置４及びモニタ装置２を含む。変形例１における撮影機１は検出処理を行なわず、撮影した画像を検出装置４へ送信する。検出装置４は、ＣＰＵ又はＧＰＵを用いる制御部と、検出プログラム４Ｐ及び検出モデル４Ｍを記憶した記憶部とを備える。検出プログラム４Ｐ及び検出モデル４Ｍは、図２にて示した撮影機１の記憶部１１に記憶された検出プログラム１Ｐ及び検出モデル１Ｍと同一である。検出装置４の記憶部には、撮影機１の動作を制御する制御プログラムが記憶されていてもよい。検出装置４の制御部は、撮影機１が飛行中、又は飛行終了後に送信する動画像を無線通信により受信して取得し、取得した動画像からフレーム画像を順に読み出す。検出装置４の制御部は、読み出されたフレーム画像に対し物体検出の処理を実行する。検出装置４は、ネットワークＮを介してモニタ装置２からのアクセスを受け、モニタ装置２にて検出結果を表示させるサーバ装置として機能する。検出装置４は、検出結果を記憶部に、検出対象の空中写真の撮影場所及び撮影時間と対応付けて記憶しておいてもよい。検出装置４は、ブラウザプログラムを用いてアクセスするモニタ装置２に対し、Ｗｅｂベースで検出結果を出力することが可能であってもよい。モニタ装置２にて撮影場所及び撮影時間を指定することにより、検出装置４が検出結果をモニタ装置２へ送信し、モニタ装置２は、動画像を再生しながら検出結果を同画像上に重畳させて表示させるとよい。
【００４３】
検出装置４とモニタ装置２とを一体化してもよい。この場合、モニタ装置２のようなタブレット端末に搭載されているＣＰＵ又はＧＰＵを用いて検出処理を行ない、モニタ装置２にて検出結果を表示させる。検出装置４のようなサーバコンピュータに、ディスプレイを接続して検出結果を表示させてもよい。
【００４４】
（変形例２）
図９は、変形例２におけるモニタリングシステム１０２の概要を示す模式図である。変形例２においてモニタリングシステム１０２は、検出装置４は撮影機１と直接的に無線通信して画像を取得せず、撮影制御装置５及びネットワークＮを介して画像を受信する。撮影制御装置５は、撮影機１の飛行を制御し、撮影機１から送信された画像を逐次、検出装置４へ位置情報と対応付けて送信する。検出装置４は、撮影制御装置５を介して得られる画像に対して検出処理を実行し、検出結果を撮影制御装置５又はモニタ装置２に出力させる処理を行なう。
【００４５】
上述のモニタリングシステム１００−１０２では、畑で生育している植物の状態をモニタリングするシステムとして説明した。しかしながら、撮影及び検出の対象は植物に限られない。画像内で円形枠によって検出することに適合する対象であれば、例えば俯瞰又は鳥瞰で確認される人の頭の検出、丸皿、丸く成形された食品等の検査にも適用できる。更に、上述の検出処理は、撮影機１によって撮影された空中写真に限られない。例えば、対象の表面に対して垂直な方向に撮影方向を有する画像であってもよい。更には、画像内で円形枠によって検出することに適合する対象であれば、人物の顔、タイヤ等であってもよく、それらは略水平方向、又は斜め方向に向けて撮影された画像であってもよい。
【００４６】
上述した検出モデル１Ｍは、ＳＳＤに円形のデフォルトサークルを適用する方法で検出を実現した。しかしながら、ニューラルネットワークを用いた他のアルゴリズムのモデルにも円形枠を適用してもよい。従来の矩形状のボックスをバウンディングボックスとして利用してきた物体検出のアルゴリズム、例えばＲ−ＣＮＮ（Regions with CNN features ）、ＳＰＰｎｅｔ（Spatial Pyramid Pooling ）等の矩形状の検出枠に対して求められてきた特徴量を、円形枠に対して求めることに適用してもよい。これにより、矩形でなく円形枠が適した物体の検出を、計算資源を小型化して高精度に実現することが可能になる。
【００４７】
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００４８】
１  撮影機
１０  制御部
１１  記憶部
１Ｐ  検出プログラム
１Ｍ  検出モデル
１１１  抽出器
１１２  検出・分類器
１１３  サプレッサ
２  モニタ装置
【図１】
2020087355.tif 000003
【図２】
2020087355.tif 000004
【図３】
2020087355.tif 000005
【図４】
2020087355.tif 000006
【図５】
2020087355.tif 000007
【図６】
2020087355.tif 000008
【図７】
2020087355.tif 000009
【図８】
2020087355.tif 000010
【図９】
2020087355.tif 000011