(57)【要約】【課題】花数を適切に計測することができる花数計測システムを提供する。【解決手段】花数計測システムは、１株の花数を撮像装置での撮像により計測する花数計測システムであって、撮像装置により撮像された視点が互いに異なるそれぞれの画像で１株の主茎に基づいて、検出領域を規定して花領域を検出する検出部２０１と、検出部２０１で検出された花領域のうち同じ花を示していると推定される花領域であって、前記画像のうちの２以上の画像にそれぞれ含まれる花領域を対応付ける対応付け部２０２と、検出部２０１で検出された花領域を計数することにより、花数を計測する計数部２０３とを備え、計数部２０３は、計数部２０３で計数した花領域に対応付け部２０２で対応付けられた同じ花を示していると推定される花領域を除いて、検出部２０１で検出された花領域を計数する。【選択図】図３
2017077238.tif 000002
【特許請求の範囲】
【請求項１】
１株の花数を撮像装置での撮像により計測する花数計測システムであって、
前記撮像装置により撮像された視点が互いに異なるそれぞれの画像で前記１株の主茎に基づいて、検出領域を規定して花領域を検出する検出部と、
前記検出部で検出された花領域のうち同じ花を示していると推定される花領域であって、前記画像のうちの２以上の画像にそれぞれ含まれる花領域を対応付ける対応付け部と、
前記検出部で検出された花領域を計数することにより、前記花数を計測する計数部とを備え、
前記計数部は、前記計数部で計数した花領域に前記対応付け部で対応付けられた同じ花を示していると推定される花領域を除いて、前記検出部で検出された花領域を計数する
花数計測システム。
【請求項２】
前記計数部は、前記対応付け部で対応付けられたそれぞれの花領域の位置の変位量が、前記撮像装置の視点の差に従って規定される所定の変位量以下の場合、前記対応付け部で対応付けられたそれぞれの花領域を除いて花領域を計数する
請求項１に記載の花数計測システム。
【請求項３】
前記検出部は、前記画像を分割した画素を、色および距離に基づきまとめて１つの分割領域を取得し、複数の前記分割領域の中から花領域を検出する
請求項１または２に記載の花数計測システム。
【請求項４】
前記検出部は、ＳＬＩＣ（Ｓｉｍｐｌｅ  Ｌｉｎｅａｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｃｌｕｓｔｅｒｉｎｇ）を用いて前記画像を分割する
請求項３に記載の花数計測システム。
【請求項５】
前記検出部は、前記複数の分割領域のうち、所定の色相を示す複数の画素を第１閾値以上含む分割領域を花領域として検出する
請求項３または４に記載の花数計測システム。
【請求項６】
前記所定の色相は、紫であり、
前記検出部は、さらに、前記検出部で検出された花領域から、前記所定の色相を示す複数の画素を直線状に含む花領域を棄却し、
前記計数部は、前記検出部で検出されて棄却されなかった花領域を計数する
請求項５に記載の花数計測システム。
【請求項７】
前記検出部は、さらに、前記検出部で検出された花領域から、緑を示す複数の画素を第２閾値以上含む花領域を棄却し、
前記計数部は、前記検出部で検出されて棄却されなかった花領域を計数する
請求項５または６に記載の花数計測システム。
【請求項８】
前記検出部は、前記検出部で検出された花領域のうち、互いに隣接する花領域を１つの花領域に統合することにより、前記検出部で検出された花領域を更新し、
前記対応付け部は、前記検出部で更新された花領域のうち、前記２以上の画像にそれぞれ含まれる花領域を対応付け、
前記計数部は、前記検出部で更新された花領域を計数する
請求項１〜７のいずれか１項に記載の花数計測システム。
【請求項９】
前記検出部は、前記画像において前記主茎の根元を検出し、前記画像において前記主茎の根元と同じ色相を有する部分をトレースすることにより、前記画像において前記主茎を検出する
請求項１〜８のいずれか１項に記載の花数計測システム。
【請求項１０】
前記対応付け部は、前記２以上の画像の視点間の差に従って前記２以上の画像においてそれぞれ規定される２以上の対応付け範囲において、前記検出部で検出された花領域のうち同じ花を示していると推定される花領域を対応付ける
請求項１〜９のいずれか１項に記載の花数計測システム。
【請求項１１】
前記視点が互いに異なる画像は、第１画像と第２画像とを含み、
前記検出部で検出される花領域は、前記第１画像に含まれる第１花領域と、前記第２画像に含まれる第２花領域とを含み、
前記対応付け部は、
前記第１花領域および前記第１花領域の周囲で構成される第１領域における特徴である第１特徴と、前記第２花領域および前記第２花領域の周囲で構成される第２領域における特徴である第２特徴とを検出し、
前記第１特徴と前記第２特徴とが対応する場合、前記第１花領域と前記第２花領域とを対応付ける
請求項１〜１０のいずれか１項に記載の花数計測システム。
【請求項１２】
前記対応付け部は、前記第１領域および前記第２領域のそれぞれにおいて、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）を用いて特徴点を検出し、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）を用いて前記特徴点の特徴量を検出することにより、前記第１領域における前記特徴点の前記特徴量を前記第１特徴として検出し、前記第２領域における前記特徴点の前記特徴量を前記第２特徴として検出する
請求項１１に記載の花数計測システム。
【請求項１３】
前記視点が互いに異なる画像は、第１画像と第２画像とを含み、
前記検出部で検出される花領域は、前記第１画像に含まれる第１花領域と、前記第２画像に含まれる第２花領域とを含み、
前記対応付け部は、前記第１画像における前記第１花領域の位置と、前記第２画像における前記第２花領域の位置との間の変位量が、前記第１画像の視点と前記第２画像の視点との差に従って規定される変位量に対応する場合、前記第１花領域と前記第２花領域とを対応付ける
請求項１〜１２のいずれか１項に記載の花数計測システム。
【請求項１４】
前記撮像装置は、移動可能な又は飛行可能なロボットに搭載されている
請求項１〜１３のいずれか１項に記載の花数計測システム。
【請求項１５】
前記検出部は、さらに、前記検出部で検出された花領域から、深層畳み込みニューラルネットワークによって花と識別されない花領域を棄却し、
前記計数部は、前記検出部で検出されて棄却されなかった花領域を計数する
請求項１〜１４のいずれか１項に記載の花数計測システム。
【請求項１６】
１株の花数を撮像装置での撮像により計測する花数計測方法であって、
前記撮像装置により撮像された視点が互いに異なるそれぞれの画像で前記１株の主茎に基づいて、検出領域を規定して花領域を検出する検出ステップと、
前記検出ステップで検出された花領域のうち同じ花を示していると推定される花領域であって、前記画像のうちの２以上の画像にそれぞれ含まれる花領域を対応付ける対応付けステップと、
前記検出ステップで検出された花領域を計数することにより、前記花数を計測する計数ステップとを含み、
前記計数ステップでは、前記計数ステップで計数した花領域に前記対応付けステップで対応付けられた同じ花を示していると推定される花領域を除いて、前記検出ステップで検出された花領域を計数する
花数計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１株の花数を撮像装置での撮像により計測する花数計測システム等に関する。
【背景技術】
【０００２】
従来、植物の育成環境を管理するシステムが提案されている。特許文献１に記載の植物栽培システムは、そのようなシステムの一例である。
【０００３】
具体的には、特許文献１に記載の植物栽培システムは、撮像位置移動部と、制御部と、収穫部とを備える。撮像位置移動部は、指示された位置まで撮像の位置を移動させて、指示された方向から植物を撮像可能とする。制御部は、撮像位置移動部によって移動した位置から撮像された植物の画像情報に基づいて、植物の育成環境を制御する。収穫部は、育成環境において栽培された植物の収穫対象を収穫する。
【０００４】
また、特許文献１には、花（実）の密度を取得するため、撮像によって得られた画像の所定の範囲に存在する花（実）の数量を計数することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−５５２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、１株の花数を適切に計測することは容易ではない。例えば、撮像で得られた画像において、撮像位置によって花が葉などで隠れる可能性がある。そのため、本来の花数が画像から適切に得られない場合がある。また、圃場などで群生している植物の撮像を行った場合、画像に他の株の花が含まれる可能性がある。そして、画像に含まれる他の株の花が計数され、１株あたりの花数が適切に得られない場合がある。その結果、全体の花数を把握することが困難になる場合がある。
【０００７】
一方、植物の育成環境は、花数に影響を与えると想定される。また、花数が多いほど、その後に収穫される子実数も多いと想定される。そのため、花数は、農業における効率を示す指標として利用される場合があり、適切に計測されることが期待される。
【０００８】
また、大豆の場合、花が咲いたとしても、何らかのストレスによって、花が落ち、子実につながらない可能性がある。しかし、どのようなストレスで花が子実につながらないのか解明されていない。これを解明するためにも、ストレスを引き起こす環境要因を計測する一方で、花数の正確な計測が期待される。
【０００９】
そこで、本発明は、１株の花数を適切に計測することができる花数計測システム等を提供する。
【課題を解決するための手段】
【００１０】
本発明の一態様における花数計測システムは、１株の花数を撮像装置での撮像により計測する花数計測システムであって、前記撮像装置により撮像された視点が互いに異なるそれぞれの画像で前記１株の主茎に基づいて、検出領域を規定して花領域を検出する検出部と、前記検出部で検出された花領域のうち同じ花を示していると推定される花領域であって、前記画像のうちの２以上の画像にそれぞれ含まれる花領域を対応付ける対応付け部と、前記検出部で検出された花領域を計数することにより、前記花数を計測する計数部とを備え、前記計数部は、前記計数部で計数した花領域に前記対応付け部で対応付けられた同じ花を示していると推定される花領域を除いて、前記検出部で検出された花領域を計数する。
【００１１】
これにより、花数計測システムは、視点の異なる複数の画像を利用して花数を計測することができる。そして、これにより、花数計測システムは、例えば、１つの画像において花が葉などで隠れている場合でも、他の画像を利用して花数を適切に計測することができる。また、花数計測システムは、２以上の画像における２以上の花領域の対応付けによって、同じ花領域を重複して計数することを抑制することができる。
【００１２】
さらに、花数計測システムは、主茎に基づいて検出領域を規定するため、他の株の花を除いて、１株の花数を計測することができる。したがって、花数計測システムは、１株の花数を適切に計測することができる。
【００１３】
例えば、前記計数部は、前記対応付け部で対応付けられたそれぞれの花領域の位置の変位量が、前記撮像装置の視点の差に従って規定される所定の変位量以下の場合、前記対応付け部で対応付けられたそれぞれの花領域を除いて花領域を計数してもよい。
【００１４】
これにより、花数計測システムは、花数が計測される株よりも奥側に他の株が配置され、他の株の花領域が画像に含まれる場合でも、他の株の花領域を計数から除外することができる。したがって、花数計測システムは、１株の花数をより適切に計測することができる。
【００１５】
また、例えば、前記検出部は、前記画像を分割した画素を、色および距離に基づきまとめて１つの分割領域を取得し、複数の前記分割領域の中から花領域を検出してもよい。
【００１６】
これにより、花数計測システムは、分割領域に基づいて、花領域を適切に検出することができる。具体的には、例えば、花数計測システムは、複数の分割領域の１つを複数の花領域の１つとして検出することにより、複数の画像から複数の花領域を容易に検出することができる。
【００１７】
また、例えば、前記検出部は、ＳＬＩＣ（Ｓｉｍｐｌｅ  Ｌｉｎｅａｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｃｌｕｓｔｅｒｉｎｇ）を用いて前記画像を分割してもよい。
【００１８】
これにより、花数計測システムは、色が近く、かつ、距離が近い複数の画素を１つの分割領域にまとめることができる。したがって、花数計測システムは、それぞれが花領域の検出に有効な複数の分割領域を得ることができる。
【００１９】
また、例えば、前記検出部は、前記複数の分割領域のうち、所定の色相を示す複数の画素を第１閾値以上含む分割領域を花領域として検出してもよい。
【００２０】
これにより、花数計測システムは、花の色相に基づいて、花領域を適切に検出することができる。
【００２１】
また、例えば、前記所定の色相は、紫であり、前記検出部は、さらに、前記検出部で検出された花領域から、前記所定の色相を示す複数の画素を直線状に含む花領域を棄却し、前記計数部は、前記検出部で検出されて棄却されなかった花領域を計数してもよい。
【００２２】
これにより、花数計測システムは、パープルフリンジによって誤って検出された花領域を棄却することができる。
【００２３】
また、例えば、前記検出部は、さらに、前記検出部で検出された花領域から、緑を示す複数の画素を第２閾値以上含む花領域を棄却し、前記計数部は、前記検出部で検出されて棄却されなかった花領域を計数してもよい。
【００２４】
これにより、花数計測システムは、パープルフリンジまたはその他の要因によって誤って検出された花領域を棄却することができる。
【００２５】
また、例えば、前記検出部は、前記検出部で検出された花領域のうち、互いに隣接する花領域を１つの花領域に統合することにより、前記検出部で検出された花領域を更新し、前記対応付け部は、前記検出部で更新された花領域のうち、前記２以上の画像にそれぞれ含まれる花領域を対応付け、前記計数部は、前記検出部で更新された花領域を計数してもよい。
【００２６】
これにより、花数計測システムは、１つの花を重複して計数することを抑制することができる。
【００２７】
また、例えば、前記検出部は、前記画像において前記主茎の根元を検出し、前記画像において前記主茎の根元と同じ色相を有する部分をトレースすることにより、前記画像において前記主茎を検出してもよい。
【００２８】
これにより、花数計測システムは、複数の画像のそれぞれにおいて、適切に主茎を検出することができる。
【００２９】
また、例えば、前記対応付け部は、前記２以上の画像の視点間の差に従って前記２以上の画像においてそれぞれ規定される２以上の対応付け範囲において、前記検出部で検出された花領域のうち同じ花を示していると推定される花領域を対応付けてもよい。
【００３０】
これにより、花数計測システムは、適切な対応付けが可能な範囲内において、２以上の花領域を適切に対応付けることができる。
【００３１】
また、例えば、前記視点が互いに異なる画像は、第１画像と第２画像とを含み、前記検出部で検出される花領域は、前記第１画像に含まれる第１花領域と、前記第２画像に含まれる第２花領域とを含み、前記対応付け部は、前記第１花領域および前記第１花領域の周囲で構成される第１領域における特徴である第１特徴と、前記第２花領域および前記第２花領域の周囲で構成される第２領域における特徴である第２特徴とを検出し、前記第１特徴と前記第２特徴とが対応する場合、前記第１花領域と前記第２花領域とを対応付けてもよい。
【００３２】
これにより、花数計測システムは、画像の領域における特徴に基づいて、２つの花領域を対応付けることができる。
【００３３】
また、例えば、前記対応付け部は、前記第１領域および前記第２領域のそれぞれにおいて、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）を用いて特徴点を検出し、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）を用いて前記特徴点の特徴量を検出することにより、前記第１領域における前記特徴点の前記特徴量を前記第１特徴として検出し、前記第２領域における前記特徴点の前記特徴量を前記第２特徴として検出してもよい。
【００３４】
これにより、花数計測システムは、画像の領域における特徴を適切に検出することができる。
【００３５】
また、例えば、前記視点が互いに異なる画像は、第１画像と第２画像とを含み、前記検出部で検出される花領域は、前記第１画像に含まれる第１花領域と、前記第２画像に含まれる第２花領域とを含み、前記対応付け部は、前記第１画像における前記第１花領域の位置と、前記第２画像における前記第２花領域の位置との間の変位量が、前記第１画像の視点と前記第２画像の視点との差に従って規定される変位量に対応する場合、前記第１花領域と前記第２花領域とを対応付けてもよい。
【００３６】
これにより、花数計測システムは、画像間の視点の差に対応する変位量に基づいて、２つの画像にそれぞれ含まれる２つの花領域を対応付けることができる。したがって、花数計測システムは、花領域周辺の特徴が視点によって変化する場合でも、適切に２つの花領域を対応付けることができる。
【００３７】
また、例えば、前記撮像装置は、移動可能な又は飛行可能なロボットに搭載されていてもよい。
【００３８】
これにより、ロボットの移動又は飛行に伴って、撮像位置が適切に変更され、画像の視点が適切に変更される。したがって、花数計測システムは、適切な画像に基づいて、花数を適切に計測することができる。
【００３９】
また、例えば、前記検出部は、さらに、前記検出部で検出された花領域から、深層畳み込みニューラルネットワークによって花と識別されない花領域を棄却し、前記計数部は、前記検出部で検出されて棄却されなかった花領域を計数してもよい。
【００４０】
これにより、花数計測システムは、誤って検出された花領域を深層学習等で利用される深層畳み込みニューラルネットワークに基づいて棄却することができる。したがって、花数計測システムは、花領域の検出精度を向上することができ、適切に多くの花領域を検出することができる。
【００４１】
また、本発明の一態様における花数計測方法は、１株の花数を撮像装置での撮像により計測する花数計測方法であって、前記撮像装置により撮像された視点が互いに異なるそれぞれの画像で前記１株の主茎に基づいて、検出領域を規定して花領域を検出する検出ステップと、前記検出ステップで検出された花領域のうち同じ花を示していると推定される花領域であって、前記画像のうちの２以上の画像にそれぞれ含まれる花領域を対応付ける対応付けステップと、前記検出ステップで検出された花領域を計数することにより、前記花数を計測する計数ステップとを含み、前記計数ステップでは、前記計数ステップで計数した花領域に前記対応付けステップで対応付けられた同じ花を示していると推定される花領域を除いて、前記検出ステップで検出された花領域を計数してもよい。
【００４２】
これにより、視点の異なる複数の画像を利用して花数を計測することが可能である。そして、これにより、例えば、１つの画像において花が葉などで隠れている場合でも、他の画像を利用して花数を適切に計測することが可能である。また、２以上の画像における２以上の花領域の対応付けによって、同じ花領域を重複して計数することを抑制することが可能である。
【００４３】
さらに、主茎に基づいて検出領域が規定されるため、他の株の花を除いて、１株の花数を計測することが可能である。したがって、１株の花数を適切に計測することが可能である。
【００４４】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、および、コンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体のいずれで実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００４５】
本発明における花数計測システム等は、花数を適切に計測することができる。
【図面の簡単な説明】
【００４６】
【図１】図１は、実施の形態における花数計測システムを示す概念図である。
【図２】図２は、実施の形態における花数計測システムの動作を示すフローチャートである。
【図３】図３は、実施の形態における情報処理装置の構成を示すブロック図である。
【図４】図４は、実施の形態における情報処理装置の動作を示すフローチャートである。
【図５】図５は、実施の形態における検出部の動作を示すフローチャートである。
【図６】図６は、実施の形態における検出部が利用するＳＬＩＣを説明するための図である。
【図７】図７は、実施の形態における画像の分割処理を示す図である。
【図８】図８は、実施の形態における画像内の紫ピクセルを示す図である。
【図９】図９は、実施の形態における花領域の検出処理を示す図である。
【図１０】図１０は、実施の形態における複数の花領域の統合処理を示す図である。
【図１１】図１１は、実施の形態における花領域の検出領域を示す図である。
【図１２】図１２は、パープルフリンジを説明するための図である。
【図１３】図１３は、実施の形態における花領域の棄却処理の第１例を示す図である。
【図１４】図１４は、実施の形態における花領域の棄却処理の第２例を示す図である。
【図１５】図１５は、実施の形態における花領域の対応付けを示す図である。
【図１６】図１６は、実施の形態における花領域の対応付け範囲を示す図である。
【図１７】図１７は、実施の形態におけるＦＡＳＴおよびＳＩＦＴに基づく対応付けを示す図である。
【図１８】図１８は、実施の形態における花領域の変位の第１例を示す図である。
【図１９】図１９は、実施の形態における花領域の変位の第２例を示す図である。
【図２０】図２０は、実施の形態における花領域の変位に基づく対応付けを示す図である。
【図２１】図２１は、実施の形態における検出動作の具体例を示すフローチャートである。
【図２２】図２２は、実施の形態における検出動作の具体例の続きを示すフローチャートである。
【発明を実施するための形態】
【００４７】
以下、実施の形態等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態等は、いずれも包括的または具体的な例を示すものである。以下の実施の形態等で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態等における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４８】
また、以下の説明において、便宜上、第１、第２および第３などの序数が構成要素などに対して付与されている場合がある。これらの序数は、適宜、付け替えられてもよいし、取り除かれてもよい。また、新たな序数が構成要素などに対して付け加えられてもよい。
【００４９】
（実施の形態）
図１は、本実施の形態における花数計測システムを示す概念図である。図１に示された花数計測システム１００は、１株の花数を計測するシステムであって、撮像装置１０１および情報処理装置１０２等を備える。群落を構成する植物の１株の花数は、圃場における植物の育成情報として重要である。したがって、群落を構成する植物の１株の花数を計測することが、本実施の形態において重要である。
【００５０】
撮像装置１０１は、被写体を撮像することにより、被写体を示す画像を生成する装置である。撮像装置１０１は、具体的には、デジタルカメラである。撮像装置１０１は、赤外線カメラでもよい。撮像装置１０１は、基本的に静止画を生成する。また、本実施の形態において、撮像装置１０１は、株を撮像することにより、株を示す画像を生成する。撮像装置１０１によって、１株が撮像されるが、他の株も一緒に撮像される場合がある。ここで、１株は、共通の根元を有する１束の植物である。
【００５１】
撮像装置１０１には、撮像位置（デジタルカメラの位置）を移動させるロボット１０３が取り付けられている。具体的には、ロボット１０３は、直動ロボットかつ単軸ロボットであり、撮像位置を任意の速度で上下方向に移動させる。なお、ロボット１０３は、直動ロボットかつ単軸ロボットであって、水平方向に対して移動可能に取り付けられてもよい。そして、ロボット１０３は、撮像位置を任意の速度で水平方向に移動させてもよい。
【００５２】
また、ロボット１０３は、直動ロボットかつ単軸ロボットに限定されない。上下方向および水平方向に対して任意の場所に撮像位置を移動するため、２つの直動ロボットを直角方向に組み合わせた２軸直交ロボットが使用されてもよい。そして、２軸直交ロボットが撮像位置を任意の速度で垂直平面内の任意の場所に移動させてもよい。
【００５３】
また、三次元的に撮像位置を移動させる為に、複数の直動ロボットを組み合わせた直交多関節ロボット、水平多関節ロボットまたは垂直多関節ロボットが使用されてもよい。そして、直交多関節ロボット、水平多関節ロボットまたは垂直多関節ロボットが、撮像位置を任意の速度で三次元空間内の任意の場所に移動させてもよい。ロボット１０３は、撮像位置を移動させるため、移動可能なロボット（移動ロボット）であってもよいし、ドローンのように飛行可能なロボットであってもよい。
【００５４】
また、撮像装置１０１は、ロボット１０３を含んでいてもよい。例えば、撮像装置１０１は、デジタルカメラと、デジタルカメラを移動させるロボット１０３とを含んでいてもよい。
【００５５】
撮像装置１０１は、ロボット１０３によって、撮像位置を変えながら被写体である株を複数回撮像する。これにより、視点の異なる複数の画像を生成する。特に、撮像装置１０１は、上下方向に撮像位置を変えながら株を複数回撮像することにより、上下方向に視点の異なる複数の画像を生成する。
【００５６】
なお、撮像装置１０１は、上下方向に撮像位置を変える際、下から上に撮像位置を変える。つまり、撮像装置１０１は、下から上に撮像位置を変えながら株を複数回撮像する。これにより、株の葉を撮像装置１０１の筐体でよけながら（かきわけながら）、株の花を撮像することができる。
【００５７】
情報処理装置１０２は、情報処理を行う装置であり、具体的には、コンピュータである。情報処理装置１０２は、プロセッサ、メモリおよび入出力回路を備えるパーソナルコンピュータでもよい。また、情報処理装置１０２は、複数の装置で構成されてもよい。情報処理装置１０２は、撮像装置１０１によって得られた複数の画像を解析することにより、１株の花数を計測する。
【００５８】
情報処理装置１０２は、有線または無線の通信によって、撮像装置１０１から複数の画像を取得してもよい。あるいは、情報処理装置１０２は、記録媒体を介して、撮像装置１０１から複数の画像を取得してもよい。
【００５９】
なお、撮像装置１０１およびロボット１０３は、花数計測システム１００に含まれていなくてもよく、情報処理装置１０２が、花数計測システム１００と表現されてもよい。また、情報処理装置１０２は、花数計測装置と表現されてもよい。
【００６０】
図２は、図１に示された花数計測システム１００の動作を示すフローチャートである。まず、撮像装置１０１が撮像位置を変えながら株を複数回撮像する（Ｓ１０１）。より具体的には、撮像装置１０１は、撮像位置の高さを下から上へ徐々に変えながら、株を十数回撮像する。これにより、撮像装置１０１は、上下方向に視点の異なる複数の画像を生成する。
【００６１】
例えば、情報処理装置１０２が、有線または無線の通信によって、撮像装置１０１およびロボット１０３の動作を制御することにより、撮像位置の変更および撮像が行われてもよい。あるいは、撮像装置１０１が、撮像位置の変更および撮像の制御を行ってもよいし、ロボット１０３が、撮像位置の変更および撮像の制御を行ってもよい。
【００６２】
次に、情報処理装置１０２は、撮像装置１０１で得られた複数の画像を通信または記録媒体を介して取得する。そして、情報処理装置１０２は、撮像装置１０１で得られた複数の画像を用いて花数を計測する（Ｓ１０２）。
【００６３】
なお、上述したように、ロボット１０３は、飛行可能なロボットでもよい。例えば、撮像装置１０１は、ドローンに搭載されてもよい。これにより、例えば、群落の中心付近のような入り難い場所における生育情報を収集することが可能になる。また、ドローンの場合、他の機構によらず、撮像位置の高さを変更することが可能である。
【００６４】
また、上述したように、ロボット１０３は、移動可能なロボットでもよい。例えば、撮像装置１０１は、ドローンではなく、圃場を巡回する移動ロボットに搭載されてもよい。これにより、群落内の生育情報を自動的に収集することが可能になる。この場合、撮像位置の高さを変更するため、圃場を巡回する移動ロボットに、撮像位置を上下方向に移動させる直動ロボット等が組み合わされてもよい。
【００６５】
図３は、図１に示された情報処理装置１０２の構成を示すブロック図である。情報処理装置１０２は、検出部２０１、対応付け部２０２および計数部２０３を備える。
【００６６】
例えば、これらの構成要素は、それぞれ、電気回路である。これらの構成要素は、プロセッサ、メモリおよび入出力回路によって実装されてもよい。つまり、情報処理装置１０２が、プロセッサ、メモリおよび入出力回路を備え、プロセッサが、メモリおよび入出力回路を用いて情報処理を行うことにより、検出部２０１、対応付け部２０２および計数部２０３として動作してもよい。
【００６７】
検出部２０１は、複数の画像から、複数の花領域を検出する。花領域は、画像において花を示す領域である。１つの画像には、複数の花領域が含まれる場合もあるし、１つの花領域が含まれる場合もあるし、花領域が含まれない場合もある。
【００６８】
複数の花領域を検出するため、具体的には、まず、検出部２０１は、撮像装置１０１で得られた複数の画像であって、視点が互いに異なる複数の画像を入力として取得する。例えば、検出部２０１は、入力インタフェースまたは通信インタフェース等を介して、撮像装置１０１で得られた複数の画像を取得する。
【００６９】
そして、検出部２０１は、複数の画像のそれぞれにおいて、花数が計測される株の主茎を検出する。つまり、検出部２０１は、複数の画像において同じ１つの株に対応していると推定される主茎を複数の画像のそれぞれにおいて検出する。主茎は、例えば、花数が計測される株の複数の茎のうち、主要な茎であって、中央に最も近い茎であってもよいし、最も太い茎でもよい。なお、ここでは、主茎が利用されているが、主茎の代わりに１株の任意の茎が利用されてもよい。
【００７０】
そして、検出部２０１は、複数の画像のそれぞれについて、検出した主茎から所定範囲内の領域を検出領域として規定する。この検出領域は、花領域を検出するための領域である。また、所定範囲は、撮像位置から株までの距離に基づいて定められてもよいし、ユーザの指定に基づいて定められてもよい。例えば、撮像位置から株までの距離が長いほど、所定範囲は小さくてもよい。検出部２０１は、複数の画像にそれぞれ含まれる複数の検出領域において、複数の花領域を検出する。
【００７１】
なお、検出部２０１は、複数の画像のそれぞれについて、主茎に基づいて検出領域を規定することにより、主茎が曲がっている場合にも、１株の花領域を適切に検出することができる。
【００７２】
対応付け部２０２は、検出部２０１で得られた複数の花領域のうち同じ花を示していると推定される２以上の花領域であって、撮像装置１０１で得られた２以上の画像にそれぞれ含まれる２以上の花領域を対応付ける。すなわち、対応付け部２０２は、画像間で互いに対応する２以上の花領域を対応付ける。また、対応付け部２０２は、画像間における２以上の花領域の対応付けを１組の対応付けとして行い、複数組の対応付けを行う。
【００７３】
対応付け部２０２は、対応関係をメモリ等の記憶部に格納することにより、２以上の花領域を対応付けてもよい。
【００７４】
計数部２０３は、検出部２０１で得られた複数の花領域を計数する。その際、計数部２０３は、検出部２０１で得られた複数の花領域のうち、計数した花領域に対応付けられた他の花領域を計数から除外する。これにより、計数部２０３は、計数の重複を排除して、１株の花数を適切に計測することができる。そして、計数部２０３は、計測された花数を通信によって送信してもよいし、計測された花数をディスプレイ等の出力部に出力してもよいし、計測された花数をメモリ等の記憶部に格納してもよい。
【００７５】
図４は、図３に示された情報処理装置１０２の動作を示すフローチャートである。
【００７６】
まず、検出部２０１は、視点が互いに異なる複数の画像にそれぞれ含まれる領域であって、それぞれが主茎から所定範囲内の領域である複数の検出領域において、複数の花領域を検出する（Ｓ２０１）。次に、対応付け部２０２は、検出部２０１で得られた複数の花領域のうち、画像間で同じ花を示していると推定される２以上の花領域を対応付ける（Ｓ２０２）。次に、計数部２０３は、計数した花領域に対応付けられた他の花領域を除いて複数の花領域を計数することにより、１株の花数を計測する（Ｓ２０３）。
【００７７】
なお、撮像装置１０１は、上述の通り、基本的に、下から上に移動しながら複数回撮像を行うことにより、下から上へ順に複数の画像を取得する。しかし、情報処理装置１０２は、下から上へ順に複数の画像を処理しなくてもよい。例えば、花領域の検出は、撮像位置が下の画像から撮像位置が上の画像へ、順に行われ、花領域の対応付けおよび計数は、撮像位置が上の画像から撮像位置が下の画像へ、順に行われてもよい。
【００７８】
図５は、図３に示された検出部２０１の動作を示すフローチャートである。検出部２０１は、図５に示された動作に従って、画像から花領域を検出する。
【００７９】
まず、検出部２０１は、画像を分割することにより複数の分割領域を取得する（Ｓ３０１）。この分割領域は、花領域であるか否かが判定される領域の単位に対応する。なお、検出部２０１は、画像を分割する際、画像を全体的に分割することに限らず、画像を部分的に分割してもよい。例えば、検出部２０１は、主茎から所定範囲内の検出領域を分割することにより複数の分割領域を取得してもよい。
【００８０】
次に、検出部２０１は、色相に基づいて、花領域を検出する（Ｓ３０２）。具体的には、検出部２０１は、複数の分割領域のそれぞれについて、分割領域が花領域であるか否かを分割領域の色相に基づいて判定する。そして、検出部２０１は、花領域であると判定された分割領域を花領域として検出する。
【００８１】
次に、検出部２０１は、誤って検出された花領域を棄却する（Ｓ３０３）。例えば、検出部２０１は、偽色によって、花領域を誤って検出する場合がある。検出部２０１は、検出された複数の花領域から所定の棄却条件に適合する花領域を棄却することにより、検出された複数の花領域のうち、誤って検出された花領域を棄却する。
【００８２】
そして、検出部２０１は、検出された複数の花領域のうち、誤って検出された花領域を棄却することにより、検出された複数の花領域を更新する。検出部２０１は、更新された複数の花領域、すなわち、棄却されなかった複数の花領域を正式な花領域として検出してもよい。
【００８３】
図６は、図３に示された検出部２０１が画像の分割処理に利用するＳＬＩＣ（Ｓｉｍｐｌｅ  Ｌｉｎｅａｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｃｌｕｓｔｅｒｉｎｇ）を説明するための図である。ＳＬＩＣは、複数の画素をまとめるための方法の一つである。
【００８４】
ＳＬＩＣでは、まず、画像がグリッド状に仕切られる。次に、色が近く、かつ、距離が近い複数の画素がまとめられる。つまり、グリッド状の仕切りが、画素間の色および距離に基づいて、変形される。
【００８５】
これにより、色が近く、かつ、距離が近い複数の画素が、１つの分割領域にまとめられる。なお、最初にグリッド状に仕切られるため、距離の近さがより強く反映される。このような分割領域は、花領域であるか否かを判定するための領域の単位として有効である。そこで、検出部２０１は、画像の分割処理にＳＬＩＣを用いる。
【００８６】
図７は、図３に示された検出部２０１における画像の分割処理を示す図である。図７には、花が映っている画像が示されている。図７のように、検出部２０１は、ＳＬＩＣを用いて画像を分割する。例えば、検出部２０１は、それぞれが３０×３０画素程度の大きさを有する複数の分割領域に画像を分割する。
【００８７】
検出部２０１は、ＳＬＩＣを用いて画像を分割することで、花の部分に沿って画像を分割することができる。
【００８８】
図８は、図３に示された検出部２０１が花領域を検出するための紫ピクセルを示す図である。検出部２０１は、基本的に、色相に基づいて花領域を検出する。そのため、検出部２０１は、画像に含まれる複数の画素のうち、花の色相を示す画素を検出する。なお、本実施の形態では、大豆の花の数が計測される。大豆の花の色相は紫である。したがって、検出部２０１は、画像から、紫を示す画素（紫ピクセル）を検出する。
【００８９】
なお、花の色相は、ユーザの指定に基づいて定められてもよい。具体的には、画像における花の部分がユーザによって指定され、指定された部分の色相が花の色相として定められてもよい。
【００９０】
図９は、図３に示された検出部２０１における花領域の検出処理を示す図である。検出部２０１は、画像を分割することで得られる複数の分割領域（例えば、図７）と、花の色相を示す画素（例えば、図８）とに基づいて、花領域を検出する。
【００９１】
具体的には、検出部２０１は、複数の分割領域のそれぞれにおいて、花の色相を示す画素の数が閾値以上であるか否かを判定する。１つの分割領域において花の色相を示す画素の数が閾値以上である場合、検出部２０１は、その分割領域を花領域であると判定する。すなわち、検出部２０１は、花の色相を示す画素を閾値以上含む分割領域を花領域として検出する。
【００９２】
図１０は、図３に示された検出部２０１における複数の花領域の統合処理を示す図である。検出部２０１は、さらに、検出された複数の花領域のうち、互いに隣接する２以上の花領域を１つの花領域に統合する。これにより、検出部２０１は、検出された複数の花領域を更新する。検出部２０１は、更新された複数の花領域を正式な花領域として検出してもよい。
【００９３】
なお、検出部２０１は、第１花領域と第２花領域とが互いに隣接し、第２花領域と第３花領域とが互いに隣接する場合、第１花領域と第３花領域とが隣接しているか否かにかかわらず、第１花領域と第２花領域と第３花領域とを１つの花領域に統合してもよい。
【００９４】
図１１は、図３に示された検出部２０１が検出する花領域の検出領域（検出範囲）を示す図である。本実施の形態において、検出部２０１は、１株の花数が計測されるように、複数の画像のそれぞれにおいて、１株の主茎を検出し、検出された主茎から所定範囲内の検出領域において、花領域を検出する。
【００９５】
検出部２０１は、複数の画像のそれぞれにおいて１株の主茎を検出するため、まず、複数の画像のうちの１つの画像において１株の主茎の根元を検出する。具体的には、検出部２０１は、複数の画像のうち最も下の撮像位置で得られた画像において１株の主茎の根元を検出する。その際、検出部２０１は、画像の水平方向（左右方向）の中央部分において、地面の色相と、茎の色相との違いに基づいて、１株の主茎の根元を検出する。
【００９６】
より具体的には、検出部２０１は、画像の水平方向の中央から所定範囲において、地面の色相から茎の色相へ色相が変化している部分を画像の下端から上へ順に探索する。この所定範囲は、ユーザの指定等によって定められてもよい。そして、検出部２０１は、色相が変化している部分を１株の主茎の根元として検出する。そして、検出部２０１は、検出された根元から、検出された根元と同じ色相を有する部分を画像の上に向かって辿る（トレースする）ことで、主茎を検出する。
【００９７】
さらに、検出部２０１は、画像（前の画像）において検出された主茎の水平方向の位置、および、色相に基づいて、次の画像において主茎の一部を検出する。検出部２０１は、さらに、前の画像における主茎の太さを用いてもよい。そして、検出部２０１は、検出された主茎の一部と同じ色相を有する部分を画像の垂直方向（上下方向）に向かって辿ることで、次の画像において主茎を検出する。
【００９８】
検出部２０１は、複数の画像において、順に、同じ色相を有する部分を垂直方向に向かって辿ることで、複数の画像のそれぞれにおいて、主茎を検出することができる。そして、検出部２０１は、主茎から所定範囲内の検出領域において花領域を検出する。
【００９９】
なお、検出部２０１は、画像を分割した後に主茎を検出してもよい。この場合、検出部２０１は、主茎の色相を示す分割領域を検出することにより、主茎を検出してもよい。あるいは、検出部２０１は、画像において主茎を検出した後に、主茎から所定範囲内の検出領域をＳＬＩＣによって分割してもよい。この場合、分割のための処理量が削減される。
【０１００】
また、検出部２０１は、画像の全体において複数の花領域を検出した後、検出された複数の花領域のうち、主茎から所定範囲外の花領域を棄却してもよい。そして、これにより、検出部２０１は、画像の全体のうち主茎から所定範囲内において花領域を検出してもよい。
【０１０１】
また、主茎から所定範囲は、主茎から水平方向（左右方向）に対して定められる範囲を意味してもよい。この場合、主茎の下端よりも下側では、主茎から所定範囲として、主茎の下端において定められる範囲と同じ範囲が用いられてもよい。また、この場合、主茎の上端よりも上側では、主茎から所定範囲として、主茎の上端において定められる範囲と同じ範囲が用いられてもよい。
【０１０２】
また、主茎から所定範囲は、画像毎に、主茎の最も左の位置、および、主茎の最も右の位置から、水平方向（左右方向）に対して定められる範囲を意味してもよい。
【０１０３】
上記の通り、検出部２０１は、主茎から所定範囲内の検出領域において花領域を検出する。これにより、検出部２０１は、他の株に対応する花領域を検出することを抑制することができる。
【０１０４】
図１２は、図３に示された検出部２０１において誤検出を引き起こすパープルフリンジを説明するための図である。
【０１０５】
パープルフリンジは、デジタルカメラ等で得られた画像において、高輝度部分と低輝度部分との境界に紫色が偽色として現れる現象である。例えば、パープルフリンジによって、茎または葉の緑色の部分と背景色の白色の部分との境界において紫色の部分が現れる場合がある。図１２は、そのような例を示す。
【０１０６】
図１２の例では、白を示す複数の画素（白ピクセル）と、緑を示す複数の画素（緑ピクセル）との間に、紫を示す複数の画素（紫ピクセル）が現れている。本実施の形態では、花の色相が紫であるため、パープルフリンジによって現れる紫色の部分が、花領域として誤って検出される可能性がある。
【０１０７】
図１３は、図３に示された検出部２０１における花領域の棄却処理の第１例を示す図である。この例において、検出部２０１は、パープルフリンジによって誤って検出された花領域を紫色の部分の形状に基づいて棄却する。具体的には、パープルフリンジによって現れる紫色の部分は、高輝度部分と低輝度部分との境界において現れるため、直線状に現れる傾向がある。したがって、検出部２０１は、紫色の部分を直線状に含む花領域を誤って検出された花領域として棄却する。
【０１０８】
例えば、検出部２０１は、主成分分析を用いて、紫を示す複数の画素（紫ピクセル）が直線状であるか否かを判定する。つまり、検出部２０１は、紫ピクセルの最大径の大きさを紫ピクセルの第１主成分の大きさとして取得する。また、検出部２０１は、紫ピクセルの最大径に垂直な方向における紫ピクセルの大きさを第２主成分の大きさとして取得する。
【０１０９】
そして、検出部２０１は、第２主成分の大きさに対する第１主成分の大きさの比率が所定値よりも大きい場合、紫ピクセルが直線状であると判定する。例えば、検出部２０１は、第１主成分の大きさが第２主成分の大きさの５倍以上である場合、紫ピクセルが直線状であると判定する。
【０１１０】
そして、検出部２０１は、直線状の紫ピクセルを含む花領域、すなわち、紫を示す複数の画素を直線状に含む花領域を誤って検出された花領域として棄却する。
【０１１１】
図１４は、図３に示された検出部２０１における花領域の棄却処理の第２例を示す図である。この例において、検出部２０１は、パープルフリンジによって誤って検出された花領域を緑色の部分に基づいて棄却する。
【０１１２】
本実施の形態では、植物の画像が用いられるため、パープルフリンジによって現れる紫色の部分は、茎または葉のような緑色の部分の周りに現れると想定される。したがって、検出部２０１は、緑色の部分を多く含む花領域を誤って検出された花領域として棄却する。
【０１１３】
具体的には、検出部２０１は、複数の花領域のそれぞれにおいて、緑を示す画素の数が所定の閾値以上であるか否かを判定する。そして、検出部２０１は、１つの花領域において緑を示す画素の数が所定の閾値以上である場合、その花領域を誤って検出された花領域として棄却する。閾値は、割合に基づいていてもよい。例えば、検出部２０１は、１つの花領域において９割以上の画素が緑色を示す場合、その花領域を誤って検出された花領域として棄却してもよい。
【０１１４】
なお、パープルフリンジによって誤って検出された花領域を棄却するため、図１３のように紫の部分の形状に基づいて、誤って検出された花領域を判定してもよいし、図１４のように緑の部分の大きさに基づいて、誤って検出された花領域を判定してもよい。また、これらの一方が行われてもよいし、これらの両方が行われてもよい。
【０１１５】
また、図１４のように緑の部分の大きさに基づいて、誤って検出された花領域を判定する例では、パープルフリンジ以外の要因で誤って検出された花領域も棄却することが可能である。
【０１１６】
図１５は、図３に示された対応付け部２０２における花領域の対応付けを示す図である。対応付け部２０２は、２以上の画像にそれぞれ含まれる２以上の花領域であって、同じ花を示していると推定される２以上の花領域を互いに対応付ける。
【０１１７】
図１５の例では、対応付け部２０２は、第１画像に含まれる花領域と、第２画像に含まれる花領域とを対応付ける。さらに、対応付け部２０２は、第１画像に含まれる別の花領域と、第２画像に含まれる別の花領域とを対応付ける。すなわち、対応付け部２０２は、２以上の花領域の対応付けを１組の対応付けとして行い、別の２以上の花領域の対応付けを別の１組の対応付けとして行ってもよい。このように、対応付け部２０２は、複数組の対応付けを行ってもよい。
【０１１８】
計数部２０３は、複数の画像における複数の花領域を画像毎に順次計数する。その際、計数部２０３は、計数した花領域に対応付けられた他の花領域を計数しない。すなわち、計数部２０３は、計数した花領域に対応付けられた他の花領域を除いて、複数の画像における複数の花領域を画像毎に順次計数する。
【０１１９】
図１５の例では、計数部２０３は、第１画像における複数の花領域を計数する際、第１画像における２つの花領域を計数する。その後、計数部２０３は、第２画像における複数の花領域を計数しようとするが、第２画像における２つの花領域は第１画像における２つの花領域にそれぞれ対応付けられている。第１画像における２つの花領域は既に計数されている。したがって、計数部２０３は、第２画像における２つの花領域を計数しない。
【０１２０】
これにより、計数部２０３は、計数した花領域に対応付けられた他の花領域を除いて、複数の花領域を計数する。
【０１２１】
図１６は、図３に示された対応付け部２０２における花領域の対応付け範囲を示す図である。図１６に示された第１画像および第２画像は、上下方向に異なる視点で撮像を行うことで得られた画像である。したがって、第１画像および第２画像は、上下方向に視差、すなわち、上下方向にズレを有する。すなわち、第１画像および第２画像は、上下方向にズレを有する。
【０１２２】
そこで、対応付け部２０２は、第１画像の視点と第２画像の視点との差に従って、第１画像および第２画像のそれぞれにおいて対応付け範囲を規定する。例えば、対応付け部２０２は、視点の差に従って、第１画像の対応付け範囲と、第２画像の対応付け範囲とをシフトさせる。具体的には、対応付け部２０２は、視点の差が大きい程、第１画像の対応付け範囲と、第２画像の対応付け範囲との間のシフト量を大きくする。
【０１２３】
本実施の形態では、第１画像および第２画像が上下方向にズレを有しているため、第１画像の対応付け範囲と、第２画像の対応付け範囲とは、上下方向にシフトされる。より具体的には、比較的下の位置での撮像によって得られた第１画像の対応付け範囲は、第１画像のうち比較的上側の範囲に対応付け範囲が絞り込まれる。そして、比較的上の位置での撮像によって得られた第２画像の対応付け範囲は、第２画像のうち比較的下側の範囲に対応付け範囲が絞り込まれる。
【０１２４】
そして、対応付け部２０２は、第１画像の対応付け範囲における花領域と、第２画像の対応付け範囲における花領域とを対応付ける。これにより、対応付け部２０２は、誤った対応付けが行われることを抑制することができる。また、対応付け部２０２は、対応付けられる花領域の候補を絞り込むことで、対応付けに伴う演算量を削減することができ、高速に画像間で花領域を対応付けることができる。
【０１２５】
なお、上記の説明では、画像間の視点の差に従って、対応付け範囲が上下方向に絞り込まれている。しかし、対応付け範囲は、主茎から所定範囲内に絞り込まれることによって、左右方向に絞り込まれてもよい。
【０１２６】
また、対応付け範囲は、対応付けられる花領域を探索するための範囲に対応するため、探索範囲と表現されてもよい。
【０１２７】
図１７は、図３に示された対応付け部２０２におけるＦＡＳＴおよびＳＩＦＴに基づく対応付けを示す図である。
【０１２８】
例えば、対応付け部２０２は、第１画像における第１花領域と第１花領域の周囲とで構成される第１周辺領域の特徴を第１特徴として検出する。また、対応付け部２０２は、第２画像における第２花領域と第２花領域の周囲とで構成される第２周辺領域の特徴を第２特徴として検出する。そして、対応付け部２０２は、第１特徴と第２特徴とが対応する場合、第１花領域と第２花領域とを対応付ける。なお、各周辺領域は、例えば、５０×５０ピクセルの大きさで規定される。
【０１２９】
対応付け部２０２は、花領域と花領域の周囲とで構成される周辺領域の特徴を検出するため、ＦＡＳＴおよびＳＩＦＴを用いる。具体的には、対応付け部２０２は、ＦＡＳＴを用いて、周辺領域における特徴点を検出する。ＦＡＳＴ（Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ａｃｃｅｌｅｒａｔｅｄ  Ｓｅｇｍｅｎｔ  Ｔｅｓｔ）は、特徴点を検出するための方法の一つであり、ＦＡＳＴでは、比較的に高速に特徴点が検出される。特徴点は、例えば、画像を構成する輪郭の頂点である。
【０１３０】
そして、対応付け部２０２は、周辺領域においてＦＡＳＴを用いて検出された特徴点の特徴量を周辺領域における特徴として検出する。対応付け部２０２は、特徴量の検出にＳＩＦＴを用いる。ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）は、特徴量を検出するための方法の一つであり、特徴量を表現するための方法の一つである。ＳＩＦＴでは、画像の回転、スケール変化および照明変化等に対して、不変的に特徴量が表現される。
【０１３１】
対応付け部２０２は、ＳＩＦＴで得られた特徴量を画像間で比較し、画像間における対応を検出する。つまり、対応付け部２０２は、ＳＩＦＴで得られた特徴量を用いて、２以上の画像にそれぞれ含まれる２以上の花領域を対応付ける。より具体的には、対応付け部２０２は、第１花領域を含む第１周辺領域における特徴量と第２花領域を含む第２周辺領域における特徴量とが対応する場合、第１花領域と第２花領域とが同じ花を示していると推定し、第１花領域と第２花領域とを対応付ける。
【０１３２】
第１周辺領域における特徴量と第２周辺領域における特徴量とが対応するとは、第１周辺領域における特徴量と第２周辺領域における特徴量とが略一致することを意味する。例えば、第１周辺領域における特徴量と第２周辺領域における特徴量との差が所定範囲内である場合、第１周辺領域における特徴量と第２周辺領域における特徴量とが対応する。
【０１３３】
２以上の画像には視差が含まれるが、ＳＩＦＴで得られた特徴量は視差に対しても不変的であると想定されるため、適切に対応が検出され、適切に２以上の花領域が対応付けられると想定される。
【０１３４】
図１８は、図３に示された対応付け部２０２によって対応付けられた２つの花領域の変位の第１例を示す図である。図１８には、画像間の特徴に基づいて対応付けられた花領域が示されている。より具体的には、第１画像における第１花領域と、第２画像における第２花領域とが、周辺領域の特徴に基づいて対応付けられている。
【０１３５】
第１画像における第１花領域と、第２画像における第２花領域とは、同じ花を示していると推定されるが、第１画像と第２画像とで視点が異なるため、第１画像における第１花領域の位置と、第２画像における第２花領域の位置とは異なる。特に、図１８の例では、花領域の変位は大きい。また、本実施の形態では、複数の画像において、上下方向に視点が異なるため、上下方向に花領域の位置が異なる。
【０１３６】
図１９は、図３に示された対応付け部２０２によって対応付けられた２つの花領域の変位の第２例を示す図である。図１９には、図１８と同様に、画像間の特徴に基づいて対応付けられた花領域が示されている。
【０１３７】
図１９の例において、第１画像における第１花領域の位置と、第２画像における第２花領域の位置とは、大きく異なっていない。すなわち、これらの花領域の変位は小さい。この例では、撮像位置から花までの距離が遠いため、これらの位置が大きく異なっていないと想定される。
【０１３８】
つまり、これらの花領域は、花数が計測される株よりも奥側の他の株の花に対応していると想定される。したがって、計数部２０３は、これらの花領域を計数しない。すなわち、計数部２０３は、対応付けられた２つの花領域の位置の変位量が所定の変位量以下である場合、計数において、撮像位置から距離が遠い花に対応していると想定されるこれらの花領域を除外する。
【０１３９】
一方、計数部２０３は、対応付けられた２つの花領域の位置の変位量が所定の変位量よりも大きい場合、重複を除いて、これらの花領域を計数する。所定の変位量は、撮像位置から株までの距離に基づいて定められてもよいし、ユーザの指定に基づいて定められてもよい。
【０１４０】
発明者らは、対応付けられた２つの花領域の変位が小さい場合にこれらの花領域を計数から除外する実験（実験１）を行った。
【０１４１】
実験圃場は、北海道河西郡芽室町に位置する。計測期間は、２０１５年７月１６日〜同年８月３日であり、計測回数は、８回である。計測株数は、１２株である。評価指標は、以下の花数誤差率から導出される１株あたりの平均花数誤差率である。
【０１４２】
花数誤差率＝｜計測花数−正解花数｜／正解花数
【０１４３】
ここで、計測花数は、花数計測システム１００によって複数の画像から計測された１株の花数である。正解花数は、１株の実際の花数であり、例えば、実物を目視することにより確認される。花数誤差率を計測回数および計測株数に基づいて平均化することで、１株あたりの平均花数誤差率が導出される。
【０１４４】
この結果、変位が小さい花領域を計数から除外しなかった場合の１株あたりの平均花数誤差率は、１１７．１％であった。これは、撮像位置から遠い他の株の花数が計測に含まれ、実際の花数の倍以上の花数が計測されていることを意味する。一方、変位が小さい花領域を計数から除外した場合の１株あたりの平均花数誤差率は、１７．１％であった。すなわち、変位が小さい花領域を計数から除外することで、より適切に花数が計測される。
【０１４５】
図２０は、図３に示された対応付け部２０２における花領域の変位に基づく対応付けを示す図である。図２０の例では、対応付け部２０２は、視点（撮像位置）の差に基づいて、花領域の変位を推定して、画像間で花領域を対応付ける。
【０１４６】
つまり、対応付け部２０２は、１つの画像における１つの花領域の位置と、他の画像における他の花領域の位置との間の変位量が、これらの視点の差に従って規定される変位量に対応する場合、１つの花領域と他の花領域とが同じ花を示していると推定する。そして、この場合、対応付け部２０２は、１つの花領域と他の花領域とを対応付ける。
【０１４７】
具体的には、図２０の例において、対応付け部２０２は、第３画像における花領域と、第３画像における花領域の位置から所定の変位量を有する位置における花領域とを対応付ける。所定の変位量は、視点（撮像位置）の差に基づいて規定される。所定の変位量は、視点の差が大きいほど大きい。さらに、所定の変位量は、視点から株までの距離に基づいて規定されてもよい。所定の変位量は、視点から株までの距離が近いほど大きい。
【０１４８】
対応付け部２０２は、視点の違いによって２以上の画像における特徴が大きく異なる場合でも、変位に基づいて、２以上の画像に含まれる２以上の花領域を適切に対応付けることができる。
【０１４９】
また、図２０の例では、第１画像と第２画像との間、および、第２画像と第３画像との間において視差が比較的小さく、第１画像と第３画像との間において視差が比較的大きい。また、第２画像では、葉または茎によって花が隠れている。このような場合でも、対応付け部２０２は、変位に基づいて、第３画像の花領域と、第１画像の花領域とを適切に対応付けることができる。
【０１５０】
つまり、葉または茎によって花が隠れている現象（オクルージュン）が発生しても、対応付け部２０２は、視点の差に従って規定される変位量に基づいて、２以上の花領域を適切に対応付けることができる。
【０１５１】
なお、対応付け部２０２は、特徴に基づく対応付けと、変位に基づく対応付けとの両方を組み合わせて、花領域の対応付けを行ってもよい。例えば、対応付け部２０２は、特徴に基づく対応付けを行い、特徴に基づく対応付けにおいて対応付けられなかった花領域に対して、変位に基づく対応付けを行ってもよい。あるいは、対応付け部２０２は、特徴に基づく対応付けと、変位に基づく対応付けとのうち、いずれか一方のみを行ってもよい。
【０１５２】
そして、計数部２０３は、検出部２０１で検出された複数の花領域の計数において、対応付けられた２以上の花領域のうち、１つの花領域を計数し、残りの１以上の花領域を計数しない。これにより、計数部２０３は、複数の花領域の計数において、重複を除外することができる。
【０１５３】
図２１および図２２は、図３に示された検出部２０１における検出動作の具体例を示すフローチャートである。すなわち、図２１および図２２には、図５に示された動作のより具体的な例が示されている。
【０１５４】
まず、予め花の色が指定される（Ｓ４０１）。例えば、検出部２０１は、ユーザから花の色（色相）の指定を受け付ける。次に、画像が入力される（Ｓ４０２）。例えば、検出部２０１は、撮像装置１０１から画像の入力を受け付ける。次に、検出部２０１は、上述したように、ＳＬＩＣを用いて画像を複数の小領域に分割する（Ｓ４０３）。
【０１５５】
次に、検出部２０１は、各小領域において、指定された色のピクセル数を計測する（Ｓ４０４）。そして、指定された色のピクセル数が閾値以上である場合（Ｓ４０５でＹｅｓ）、検出部２０１は、小領域を花領域として検出し保存する（Ｓ４０６）。一方、指定された色のピクセル数が閾値以上でない場合（Ｓ４０５でＮｏ）、検出部２０１は、小領域を棄却する（Ｓ４０７）。つまり、指定された色のピクセル数が閾値以上でない場合、検出部２０１は、小領域を花領域として保存しない。
【０１５６】
次に、検出部２０１は、保存された各花領域に対して、花領域が他の花領域に隣接する場合に（Ｓ４０８でＹｅｓ）、これらの花領域を１つの花領域に統合する処理（Ｓ４０９）を繰り返す。
【０１５７】
その後、検出部２０１は、各花領域に対して、花領域が識別器によって花として識別されるか否かを判定する（Ｓ４１０）。ここで、識別器は、具体的には、深層学習によって構築される深層畳み込みニューラルネットワーク（ＣＮＮ）である。花領域が識別器によって花として識別されない場合（Ｓ４１０でＮｏ）、検出部２０１は、花領域を棄却する（Ｓ４１１）。
【０１５８】
そして、検出部２０１は、一連の処理を介して得られた画像と花領域とを出力する（Ｓ４１２）。その後、対応付け部２０２によって花領域の対応付けが行われ、計数部２０３によって花領域の計数が行われる。
【０１５９】
図２１および図２２に示された動作のうち、指定された色のピクセル数と閾値との比較（Ｓ４０５）において、閾値が高いと、実際には花に対応している小領域が花領域として適切に認識されないケースが多く発生する。一方、閾値が低いと、実際には花に対応していない小領域が花領域として誤って認識されるケースが多く発生する。
【０１６０】
そこで、検出部２０１は、深層学習に基づく識別器によって花として識別されない花領域を棄却する。例えば、検出部２０１は、高い閾値では認識されない花領域を低い閾値によって認識し、かつ、低い閾値によって誤って認識された花領域を棄却する。これにより、検出部２０１は、適切に多くの花領域を検出することができる。
【０１６１】
なお、深層学習は、多層構造のニューラルネットワークを用いる機械学習の一例である。ここで、ニューラルネットワークは、生物の神経が模擬された数学的なモデルである。深層畳み込みニューラルネットワークは、多層構造のニューラルネットワークの一例であり、畳み込み層とプーリング層とを交互に含む。畳み込み層では、画像等のデータに対してフィルタを用いて畳み込みが行われる。プーリング層では、畳み込み層の出力データに対してサブサンプリングが行われ、位置ずれが吸収される。
【０１６２】
深層畳み込みニューラルネットワークでは、畳み込みとプーリングとが繰り返されることにより、画像等のデータの特徴が抽出され、抽出された特徴に基づいてデータの内容が識別される。特に、深層畳み込みニューラルネットワークは、フィルタを用いて特徴が抽出されるため、画像における被写体の認識に有効である。検出部２０１は、深層畳み込みニューラルネットワークを利用することにより、花領域をより適切に検出することができる。
【０１６３】
また、図２１および図２２に示された動作では、指定された色のピクセル数が閾値以上である小領域が花領域として保存され、花領域の統合後に、識別器によって花として識別されない花領域が棄却される。しかしながら、検出部２０１は、指定された色のピクセル数が閾値以上であるか否かによらず、識別器によって花として識別される小領域を花領域として検出し、識別器によって花として識別されない小領域を棄却してもよい。ただし、花領域の統合後の方が、識別器によって、花領域のより適切な識別が可能である。
【０１６４】
発明者らは、識別器によって花として識別されない花領域を棄却（計数から除外）する実験（実験２）を行った。
【０１６５】
上述の実験１と同様に、実験圃場は、北海道河西郡芽室町に位置する。計測期間は、２０１５年７月１６日〜同年８月３日であり、計測回数は、８回である。本実験２において、計測株数は、１８株である。評価指標の１つは、上述の実験１で説明した１株あたりの平均花数誤差率である。
【０１６６】
この結果、識別器によって花として識別されない花領域を計数から除外しなかった場合の１株あたりの平均花数誤差率は、２４．１％であった。これは、誤って認識された花領域が計数され、実際の花数の１．２倍以上の花数が計測されていることを意味する。一方、識別器によって花として識別されない花領域を計数から除外した場合の１株あたりの平均花数誤差率は、１６．３％であった。すなわち、識別器によって花として識別されない花領域を計数から除外することで、より適切に花数が計測される。
【０１６７】
さらに、発明者らは、本実験２について、適合率、再現率およびＦ値を評価指標として用いて、花領域の検出結果を評価した。適合率、再現率およびＦ値は、以下の式によって導出される。
【０１６８】
適合率＝（検出された花領域のうち正しい花領域の数）／（検出された花領域の数）
再現率＝（正しい花領域のうち検出された花領域の数）／（正しい花領域の数）
Ｆ値＝（２×再現率×適合率）／（再現率＋適合率）
【０１６９】
つまり、適合率は、検出された花領域のうち、正しい花領域の割合を示す。再現率は、正しい花領域のうち、検出された花領域の割合を示す。Ｆ値は、適合率と再現率との調和平均を示し、適合率と再現率との総合的な評価を示す。適合率、再現率およびＦ値のそれぞれについて、値が大きいほど、評価が高い。ここで、検出された花領域は、棄却されず、最終的に検出された花領域を意味する。また、正しい花領域は、実際に花を示している適切な花領域を意味する。
【０１７０】
評価の結果、識別器によって花として識別されない花領域を棄却しなかった場合、適合率は０．７５８、再現率は０．８３１、Ｆ値は０．７９３であった。識別器によって花として識別されない花領域を棄却した場合、適合率は０．９、再現率は０．８２６、Ｆ値は０．８６１であった。
【０１７１】
この結果によると、棄却処理によって、再現率は若干低下しているが、適合率は大きく上昇している。すなわち、識別器によって花として識別されない花領域が棄却されることで、適切な花領域もわずかに棄却されるが、不適切な花領域が棄却されるため、適合率が大きく上昇する。そして、その結果、適合率と再現率との総合的な評価を示すＦ値が、大きく上昇する。この結果は、識別器によって花として識別されない花領域を棄却することで、より適切に花領域が計測されることを示している。
【０１７２】
上記の実施の形態の通り、花数計測システム１００は、視点が互いに異なる複数の画像において、複数の花領域を検出する。例えば、花数計測システム１００は、視点が互いに異なる複数の画像にそれぞれ含まれる複数の検出領域において、複数の花領域を検出する。１つの検出領域は、１つの画像において検出された主茎から所定範囲内の領域に対応する。また、花数計測システム１００は、同じ花を示していると推定される２以上の花領域を対応付ける。
【０１７３】
そして、花数計測システム１００は、検出された複数の花領域のうちの一部を除いて、検出された複数の花領域を計数する。検出された複数の花領域のうちの一部は、具体的には、計数した花領域に対応付けられた他の花領域である。これにより、花数計測システム１００は、適切に１株の花数を計測することができる。
【０１７４】
なお、実施の形態では、撮像位置が上下方向に移動するため、画像間で上下方向に視点が異なるが、撮像位置が左右方向に移動し、画像間で左右方向に視点が異なっていてもよい。また、撮像位置が三次元的に移動することで、画像間で三次元的に視点が異なっていてもよい。また、複数のデジタルカメラが用いられもよい。この場合、複数のデジタルカメラは移動せずに複数の撮像位置から被写体である株を撮像することができる。
【０１７５】
以上、本発明に係る花数計測システムについて、実施の形態等に基づいて説明したが、本発明は実施の形態に限定されるものではない。実施の形態等に対して当業者が思いつく変形を施して得られる形態、および、実施の形態等における複数の構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
【０１７６】
例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。
【０１７７】
また、本発明は、花数計測システムとして実現できるだけでなく、花数計測システムを構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
【０１７８】
例えば、本発明が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリおよび入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、本発明の各機能要素が実現される。つまり、ＣＰＵが処理対象のデータをメモリまたは入出力回路等から取得してデータを演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各機能要素が実現される。
【０１７９】
また、花数計測システムに含まれる複数の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。
【０１８０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１８１】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、花数計測システムに含まれる構成要素の集積回路化を行ってもよい。
【０１８２】
さらに、本発明は、１株の花数の計測に利用可能であるが、これに限ったものではなく、複数株の花数の計測に利用可能である。具体的には、花数計測システム１００は、複数株の花数を計測してもよい。この場合、花数計測システム１００の検出部２０１は、主茎から所定範囲内の領域に限らず、画像全体から花領域を検出してもよい。また、検出部２０１は、主茎を検出しなくてもよい。そして、他の株の花領域が除外されることなく、花領域の対応付けおよび計数が行われてもよい。
【産業上の利用可能性】
【０１８３】
本発明における花数計測システム等は、花数の計測に利用可能であり、植物の育成環境の構築を支援するための植物観測システムおよび農作物管理システム等に適用可能である。
【符号の説明】
【０１８４】
１００  花数計測システム
１０１  撮像装置
１０２  情報処理装置
１０３  ロボット
２０１  検出部
２０２  対応付け部
２０３  計数部
【図１】
2017077238.tif 000003
【図２】
2017077238.tif 000004
【図３】
2017077238.tif 000005
【図４】
2017077238.tif 000006
【図５】
2017077238.tif 000007
【図６】
2017077238.tif 000008
【図７】
2017077238.tif 000009
【図８】
2017077238.tif 000010
【図９】
2017077238.tif 000011
【図１０】
2017077238.tif 000012
【図１１】
2017077238.tif 000013
【図１２】
2017077238.tif 000014
【図１３】
2017077238.tif 000015
【図１４】
2017077238.tif 000016
【図１５】
2017077238.tif 000017
【図１６】
2017077238.tif 000018
【図１７】
2017077238.tif 000019
【図１８】
2017077238.tif 000020
【図１９】
2017077238.tif 000021
【図２０】
2017077238.tif 000022
【図２１】
2017077238.tif 000023
【図２２】
2017077238.tif 000024