(57)【要約】【課題】花や果実などの対象物体を容易に且つ高精度に認識することができ、衛生的で繊細な授粉が可能であり、処理の自動化が可能な人工授粉システムを提供する。【解決手段】人工授粉システム１は、三次元センサ５００と画像認識装置６００と超音波集束装置４００とを備える。三次元センサは、作物のカラー画像と該作物までの距離情報とを含む三次元情報を取得する。画像認識装置は、三次元情報から、花や果実などの対象物体の認識モデルを作成し蓄積する学習処理部６５０と、三次元情報に対して所定の画像処理を行い、学習処理部が作成し蓄積した認識モデルを用いて対象物体を認識し、該対象物体の位置を取得する画像処理部６３０とを備える。超音波集束装置は、画像認識装置が取得した対象物体の位置および距離情報に基づいて、対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う。【選択図】図１
2019191854.tif 000002
【特許請求の範囲】
【請求項１】
三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、
前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部と
を備える、画像認識装置。
【請求項２】
前記学習処理部は、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積する、請求項１に記載の画像認識装置。
【請求項３】
機械学習アルゴリズムは、サポートベクターマシンとディープラーニングとのうちの少なくとも１つを含み、各々の前記カテゴリにおける結果信頼度を組み合わせる、請求項２に記載の画像認識装置。
【請求項４】
前記画像処理部は、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してＣａｎｎｙ関数を用いることで輪郭画像を抽出する、請求項１に記載の画像認識装置。
【請求項５】
前記画像処理部は、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施す、請求項４に記載の画像認識装置。
【請求項６】
前記画像処理部は、前記平均化された画像上の各領域におけるＲＧＢ情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞る、請求項５に記載の画像認識装置。
【請求項７】
前記画像処理部は、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去する、請求項６に記載の画像認識装置。
【請求項８】
作物のカラー画像と該作物までの距離情報とを含む三次元情報を取得する三次元センサと、
前記三次元センサが取得した前記三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部とを備える画像認識装置と、
前記画像認識装置が取得した前記対象物体の位置および距離情報に基づいて、前記対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う超音波集束装置と
を備える、人工授粉システム。
【請求項９】
前記学習処理部は、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積する、請求項８に記載の人工授粉システム。
【請求項１０】
機械学習アルゴリズムは、サポートベクターマシンとディープラーニングとのうちの少なくとも１つを含み、各々の前記カテゴリにおける結果信頼度を組み合わせる、請求項９に記載の人工授粉システム。
【請求項１１】
前記画像処理部は、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してＣａｎｎｙ関数を用いることで輪郭画像を抽出する、請求項８に記載の人工授粉システム。
【請求項１２】
前記画像処理部は、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施す、請求項１１に記載の人工授粉システム。
【請求項１３】
前記画像処理部は、前記平均化された画像上の各領域におけるＲＧＢ情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞る、請求項１２に記載の人工授粉システム。
【請求項１４】
前記画像処理部は、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去する、請求項１３に記載の人工授粉システム。
【請求項１５】
前記三次元センサは、前記カラー画像と前記距離情報を取得する３Ｄカメラである、請求項８〜１４のいずれか１項に記載の人工授粉システム。
【請求項１６】
前記三次元センサは、前記距離情報を赤外線を用いて取得する、請求項１５に記載の人工授粉システム。
【請求項１７】
前記対象物体の認識モデルを作成し学習データとして蓄積する学習用サーバーをさらに備える、請求項８〜１６のいずれか１項に記載の人工授粉システム。
【請求項１８】
前記学習用サーバーは、前記画像認識装置内に備えられる、請求項１７に記載の人工授粉システム。
【請求項１９】
三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理ステップと、
前記三次元情報に対して所定の画像処理を行い、前記学習処理ステップにおいて作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理ステップと
をコンピュータに実行させるプログラム。
【請求項２０】
前記学習処理ステップは、前記対象物体と、前記対象物体に類似する類似物体と、前記対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、前記対象物体の認識モデルを作成し学習データとして蓄積するステップを含む、請求項１９に記載のプログラム。
【請求項２１】
前記画像処理ステップは、前記三次元センサにより取得された前記カラー画像をグレースケールに変換し、変換後のグレー画像に対してＣａｎｎｙ関数を用いることで輪郭画像を抽出するステップを含む、請求項１９に記載のプログラム。
【請求項２２】
前記画像処理ステップは、前記抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施すステップを含む、請求項２１に記載のプログラム。
【請求項２３】
前記画像処理ステップは、前記平均化された画像上の各領域におけるＲＧＢ情報を、前記対象物体の前記認識モデルに入力し、その領域の色が前記対象物体と同様の色であるか否かを判断することで前記カラー画像上における前記対象物体の候補を絞るステップを含む、請求項２２に記載のプログラム。
【請求項２４】
前記画像処理ステップは、前記対象物体の候補とされている領域のうち、前記対象物体ではないとみなした領域をノイズとして除去するステップを含む、請求項２３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施の形態は、画像認識装置、人工授粉システム、およびプログラムに関する。
【背景技術】
【０００２】
近年、安心で安全な野菜を栽培することのできる完全人工光型植物工場が普及しつつある。人工光型植物工場とは、閉鎖された空間内で人工光や養液を用いて植物の栽培を行う方法であり、季節や環境の影響を受けることなく安定的に生産することができ、細菌や病気のない安全な植物を供給できるというメリットがある。
【０００３】
植物工場にてイチゴなどの作物の周年栽培が可能となれば価格の安定化が見込まれるが、室内（植物工場内）での授粉を蜂（例えばミツバチ）に頼るのは、経済面、衛生面、技術面などから難しいという問題がある。
【０００４】
そこで、蜂に代わる人工授粉装置として、電磁加振装置、超音波振動子、あるいは超音波集束装置などを用いた人工授粉装置が提案されている（特許文献１、２、非特許文献１参照）。例えば、超音波集束装置は、超音波を共振周波数とする超音波振動子の各々の位相を操作することで空間上の一点に音響放射圧を集束させる（非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１３／１２１６３５号パンフレット
【特許文献２】特開２０１５−４３７４１号公報
【非特許文献】
【０００６】
【非特許文献１】朴宰億、外３名、「超音波によるイチゴの人工授粉装置の開発」、日本生物環境工学会  2013年高松大会  講演要旨、日本生物環境工学会、2013年、C09、p. 154-155
【非特許文献２】星貴之、「非接触作用力を発生する小型超音波集束装置の開発」、計測自動制御学会論文集、公益社団法人計測自動制御学会、2014年、第50巻、第7号、p. 543-552
【発明の概要】
【発明が解決しようとする課題】
【０００７】
植物工場におけるイチゴなどの作物の授粉処理として求められている条件としては、工場の衛生面に害を及ぼさないこと、繊細な授粉が可能であること（奇形果を発生させないこと）、処理の自動化が可能であることが挙げられる。
【０００８】
本実施の形態は、花や果実などの対象物体を容易に且つ高精度に認識することができ、衛生的で繊細な授粉が可能であり、処理の自動化が可能な人工授粉システム、および、該人工授粉システムに用いられる画像認識装置、並びにプログラムを提供する。
【課題を解決するための手段】
【０００９】
本実施の形態の一態様によれば、三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部とを備える、画像認識装置が提供される。
【００１０】
本実施の形態の他の態様によれば、作物のカラー画像と該作物までの距離情報とを含む三次元情報を取得する三次元センサと、前記三次元センサが取得した前記三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理部と、前記三次元情報に対して所定の画像処理を行い、前記学習処理部が作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理部とを備える画像認識装置と、前記画像認識装置が取得した前記対象物体の位置および距離情報に基づいて、前記対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う超音波集束装置とを備える、人工授粉システムが提供される。
【００１１】
本実施の形態の他の態様によれば、三次元センサが取得した作物のカラー画像と該作物までの距離情報とを含む三次元情報から、対象物体の認識モデルを作成し蓄積する学習処理ステップと、前記三次元情報に対して所定の画像処理を行い、前記学習処理ステップにおいて作成し蓄積した前記認識モデルを用いて前記対象物体を認識し、該対象物体の位置を取得する画像処理ステップとをコンピュータに実行させるプログラムが提供される。
【発明の効果】
【００１２】
本実施の形態によれば、花や果実などの対象物体を容易に且つ高精度に認識することができ、衛生的で繊細な授粉が可能であり、処理の自動化が可能な人工授粉システム、および、該人工授粉システムに用いられる画像認識装置、並びにプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本技術を適用した一実施の形態に係る人工授粉システムの概略構成を例示する模式的ブロック図。
【図２】本技術を適用した一実施の形態に係る人工授粉システムにおける超音波集束装置の超音波の指向性について説明するための概略説明図であって、（ａ）音波の波長λ＝４Ｄの例、（ｂ）音波の波長λ＝２Ｄの例、（ｃ）音波の波長λ＝１．５Ｄの例、（ｄ）音波の波長λ＝Ｄの例、（ｅ）音波の波長λ＝０．７５Ｄの例、（ｆ）音波の波長λ＝０．５Ｄの例、（ｇ）音波の波長λ＝０．２５Ｄの例、（ｈ）スピーカの直径Ｄの例。
【図３】本技術を適用した一実施の形態に係る人工授粉システムにおける三次元センサおよび超音波集束装置の外観を例示する模式的正面図。
【図４】図３に例示した超音波集束装置の仕様の一例を示す図。
【図５】（ａ）図３に例示した超音波集束装置の外観を例示する模式的鳥瞰図、（ｂ）該超音波集束装置のフェーズドアレイ機能の一例を説明するための模式図。
【図６】図３に例示した超音波集束装置における超音波の変調の一例を説明するための模式図。
【図７】図３に例示した超音波集束装置に搭載される制御基板およびスピーカアレイ基板の構成例を示す模式的ブロック図。
【図８】実施の形態に係る人工授粉システムにおける（ａ）三次元センサの一例（Ｋｉｎｅｃｔ）の模式的外観図、（ｂ）三次元センサの別の例（ＲｅａｌＳｅｎｓｅ）の模式的外観図。
【図９】図８に例示した三次元センサ（ＫｉｎｅｃｔおよびＲｅａｌＳｅｎｓｅ）のそれぞれの仕様の一例を示す図。
【図１０】実施の形態に係る人工授粉システムにおける画像認識装置（パーソナルコンピュータ（ＰＣ））が実行する学習処理プログラムの一例を示すフローチャート。
【図１１】図１０に例示した学習処理におけるグリッドサーチの処理結果の一例を示す図。
【図１２】図１０に例示した学習処理における識別モデルの認識結果の一例を示す図。
【図１３】図１２に例示した識別モデルを３Ｄグラフに表現した例を示す図。
【図１４】実施の形態に係る人工授粉システムにおける画像認識装置が実行する画像処理プログラムの一例を示すフローチャート。
【図１５】図１４に例示した画像処理プログラムにおける画像認識処理の一例を示すフローチャート。
【図１６】本技術を適用した一実施の形態に係る画像認識装置が備えるユーザインタフェース（Ｉ／Ｆ）の一例を示す模式図。
【図１７】本技術を適用した一実施の形態に係る画像認識装置の画像認識結果（精度検証結果）の一例を示す図。
【図１８】本技術を適用した一実施の形態に係る人工授粉システムを用いて行った実験（第１の実験）の方法例を説明するための図。
【図１９】図１８に例示した第１の実験で用いた移動式栽培ベッドの一例を説明するための模式図。
【図２０】図１８に例示した第１の実験の結果（着果率と奇形果発生率）を説明するための図。
【図２１】図１８に例示した第１の実験の結果（超音波授粉区における変調周波数毎の結果）を説明するための図。
【図２２】図１８に例示した第１の実験の結果（周波数毎の花の振幅を計測した結果）を説明するための図。
【図２３】図１８に例示した第１の実験の結果（超音波授粉、筆授粉、無処理のそれぞれの比較結果）を説明するための図。
【図２４】本技術を適用した一実施の形態に係る人工授粉システムを用いて行った別の実験（第２の実験）の方法例を説明するための図。
【図２５】図２４に例示した第２の実験の結果（着果率と奇形果発生率）を説明するための図。
【図２６】図２４に例示した第２の実験の結果（超音波授粉区における変調周波数毎の結果）を説明するための図。
【図２７】図２４に例示した第２の実験の結果（周波数毎の花の振幅を計測した結果）を説明するための図。
【図２８】本技術を適用した一実施の形態に係る人工授粉システムを用いて行った別の実験（第３の実験）結果（花粉付着率）を説明するための図。
【図２９】図２８に例示した第３の実験の結果（可販果率）を説明するための図。
【図３０】図２８に例示した第３の実験の結果（花粉付着率と可販果率との相関関係）を説明するための図。
【図３１】図２８に例示した第３の実験の結果（超音波授粉と蜂授粉とにおける可販果率）を説明するための図。
【図３２】図２８に例示した第３の実験の結果（各実験区における可販果率）を説明するための図。
【図３３】図２８に例示した第３の実験の結果（加振時間毎の平均可販果率）を説明するための図。
【図３４】図２８に例示した第３の実験の結果（変調周波数毎の平均可販果率）を説明するための図。
【図３５】本技術を適用した一実施の形態の変形例１の人工授粉システムに用いられる三次元センサ（Ｓｅｎｚ３Ｄ）および超音波集束装置の外観を例示する模式的正面図。
【図３６】本技術を適用した一実施の形態の変形例２の人工授粉システムに用いられる三次元センサ（ＲｅａｌＳｅｎｓｅ）および超音波集束装置の外観を例示する模式的正面図。
【図３７】変形例１における人工授粉システムの画像認識装置による画像処理結果（花画像と葉画像のＲ値のヒストグラム）の一例を示す模式図。
【図３８】変形例１において画像認識装置が実行する画像処理プログラムの一例を示すフローチャート。
【図３９】変形例２において画像認識装置が実行する画像処理プログラムの一例を示すフローチャート。
【図４０】変形例２における人工授粉システムを用いて行った花の認識精度実験の方法例を説明するための図。
【図４１】変形例２における人工授粉システムを用いて行った授粉実験の方法例（実験環境）を説明するための図。
【図４２】変形例２における人工授粉システムを用いて行った授粉実験の方法例（システム稼働状況）を説明するための図。
【図４３】変形例２における人工授粉システムを用いて行った授粉実験の方法例（カテゴリ分け規格）を説明するための図。
【図４４】変形例２における人工授粉システムを用いて行った花の認識精度実験の結果（的までの距離：２０ｃｍ）を説明するための図。
【図４５】変形例２における人工授粉システムを用いて行った花の認識精度実験の結果（的までの距離：３０ｃｍ）を説明するための図。
【図４６】変形例２における人工授粉システムを用いて行った花の認識精度実験の結果（的までの距離：４０ｃｍ）を説明するための図。
【図４７】変形例２における人工授粉システムを用いて行った花の認識精度実験の結果（的までの距離：５０ｃｍ）を説明するための図。
【図４８】変形例２における人工授粉システムを用いて行った花の認識精度実験の結果を説明するための図。
【図４９】変形例２における人工授粉システムを用いて行った花の認識精度実験で撮影された画像のヒストグラムの一例を説明するための図。
【図５０】変形例２における人工授粉システムを用いて行った授粉実験の結果（着果率、果実の重量）を説明するための図。
【図５１】変形例２における人工授粉システムを用いて行った授粉実験の結果（カテゴリ分けの結果）を説明するための図。
【図５２】変形例２における人工授粉システムを用いて行った授粉実験の結果（着果率）を説明するための図。
【図５３】変形例２における人工授粉システムを用いて行った授粉実験の結果（認識率）を説明するための図。
【図５４】変形例２における人工授粉システムを用いて行った授粉実験の結果（果実の平均重量）を説明するための図。
【図５５】変形例２における人工授粉システムを用いて行った授粉実験の結果（果実の総重量）を説明するための図。
【図５６】変形例２における人工授粉システムを用いて行った授粉実験の結果（果実の数量）を説明するための図。
【図５７】本技術を適用した一実施の形態に係る人工授粉システムを用いて行った実験結果の一例であって（ａ）認識結果、（ｂ）目視による結果、（ｃ）正答率。
【図５８】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第１の態様）の模式的概念構成図。
【図５９】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第２の態様）の模式的概念構成図。
【図６０】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第３の態様）の模式的概念構成図。
【図６１】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第４の態様）の模式的概念構成図。
【図６２】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なセンサネットワークシステム（第５の態様）の模式的概念構成図。
【図６３】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能な農場用無線センサネットワークシステム（第１の態様）の模式的構成図。
【図６４】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能な農場用無線センサネットワークシステム（第２の態様）の模式的構成図。
【図６５】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なワイヤレスセンサネットワークシステムの概要を示す模式的構成図。
【図６６】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能なワイヤレスセンサネットワークシステムの具体例を示す模式的構成図。
【図６７】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能な信号処理装置のハードウェア構成例を示す模式的構成図。
【図６８】本技術を適用した一実施の形態に係る人工授粉システム（三次元センサ）を適用可能な信号処理装置の別のハードウェア構成例を示す模式的構成図。
【発明を実施するための形態】
【００１４】
次に、図面を参照して、実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各層の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることはもちろんである。
【００１５】
又、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の実施の形態は、構成部品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の実施の形態は、特許請求の範囲において、種々の変更を加えることができる。
【００１６】
[実施の形態]
現在、日本のイチゴ生産者の多くが１２月〜５月ごろまでしかイチゴの収穫を行っておらず、夏季のイチゴの供給はほとんどをアメリカからの輸入に頼っている。そのため、夏季のイチゴ卸売数量が減少し価格が上昇してしまっている。この問題を解決する方法として人工光型植物工場にてイチゴを栽培するという手法が考えられる。植物工場は、閉鎖空間内で光や温湿度、二酸化炭素濃度、培養液などの環境条件を人工的に制御して、季節、場所に関係なく野菜を中心とした作物を安定生産するシステムであり、その中でも人工光型植物工場は、栽培する光源に人工光を用いるシステムである。果菜類の中でもイチゴは草丈や栽培面積が小さく、トマトやキュウリに比べ光要求量が低い。そのため、植物工場にてＬＥＤを光源とした多段式栽培が可能であり、単位面積あたりで高い生産性が期待できる。
【００１７】
このように、植物工場にてイチゴの周年栽培が可能となれば価格の安定化が見込まれるが、室内でミツバチに授粉を頼るのは難しい。
【００１８】
イチゴの花は外部からの授粉がなければ正常な果実が形成されず、奇形果が発生してしまう。イチゴ花は一花につき５０〜４５０本のめしべを持っており、それらすべてに花粉が付着し受精が行われなければ実が膨らまず奇形となってしまうため、繊細な授粉処理が必要とされる。
【００１９】
イチゴの授粉はミツバチなどによる虫媒授粉が一般的であるが、植物工場内では様々な理由からミツバチを用いた授粉が難しい。
【００２０】
まず、植物工場では植物の成長に必要な一部の波長領域を含む光源のみしか用いられていない場合が多く、紫外領域の波長が含まれていない。送粉昆虫であるセイヨウミツバチは、紫外線除去フィルムで被覆したハウス内にて採餌活動が阻害され、授粉効果がもたらされない、紫外領域の波長が存在しない植物工場であっても同様に活発な授粉活動が行われない。
【００２１】
また、ミツバチの死骸やフンが室内に散乱することで植物工場の衛生面に悪影響を与える恐れがある。
【００２２】
さらに、ミツバチが世界的に減少しており、ミツバチの入手が困難になってきている。
【００２３】
現在、イチゴの人工授粉方法としては筆を用いた人の手による授粉が一般的である。しかし、筆による授粉では作業者によって授粉方法に差が生じやすく、均一な授粉処理が難しいといえる。さらに、イチゴ花を一つずつ処理する必要があるため多大な時間と労力が必要になる。
【００２４】
植物工場にてイチゴの栽培が可能となれば価格の安定化が見込めるが、授粉方法がボトルネックになっているという背景に加え、ミツバチ以外の授粉方法がほとんど議論されていない。植物工場におけるイチゴの授粉処理として求められている条件は、工場の衛生面に害を及ぼさないこと、繊細な授粉が可能であること（奇形果を発生させないこと）、処理の自動化が可能であることが挙げられる。
【００２５】
本実施の形態では、これらの条件を満たす新たな授粉方法として、超音波と三次元（３Ｄ）カメラを用いた人工授粉システムを提案する。
【００２６】
（人工授粉システム）
図１は、本技術を適用した一本実施の形態に係る人工授粉システム１の概略構成を例示する模式的ブロック図である。本実施の形態に係る人工授粉システム１は、イチゴなどの作物の授粉、収穫、生育評価等を自動的に行うシステムであって、図１に例示するように、三次元センサ５００と、画像認識装置（パーソナルコンピュータ（ＰＣ））６００と、加振装置（超音波集束装置）４００とを備える。三次元センサ５００は、作物のカラー画像（ＸＹ画像）と該作物までの距離情報（Ｚ画像）とを含む三次元情報を取得する。画像認識装置６００は、三次元センサ５００が取得した三次元情報から、花や果実などの対象物体の認識モデルを作成し蓄積する学習処理部６５０と、三次元情報に対して所定の画像処理を行い、学習処理部６５０が作成し蓄積した認識モデルを用いて対象物体を認識し、該対象物体の位置を取得する画像処理部（花認識処理部）６３０とを備える。加振装置（超音波集束装置）４００は、画像認識装置６００が取得した対象物体の位置および距離情報に基づいて、対象物体に対して超音波を照射することで該対象物体を加振させて授粉を行う。
【００２７】
ここで、学習処理部６５０は、花や果実などの単一学習データのみを用いるのではなく、花や果実などの対象物体と、対象物体に類似する葉、茎、背景などの類似物体と、花の向き、開き具合、散り具合などの対象物体の状態とを含む複数のカテゴリの情報を教師サンプルとして機械学習アルゴリズムに学習させ、対象物体の認識モデルを作成し学習データ６５０として蓄積する。機械学習アルゴリズムは、サポートベクターマシンと、ディープラーニングとのうちの少なくとも１つを含み、各々のカテゴリでの結果信頼度を組み合わせることにより、認識信頼度を向上させることができる。
【００２８】
また、対象物体の認識モデルを作成し学習データ７６０として蓄積するための学習用サーバー７００を備えても良い。学習用サーバー７００は、図１に例示するように、画像認識装置６００からの画像データや外部カメラ８００などからの画像データを保存するアーカイブ７４０と、対象物体の認識モデルを作成し学習データ７６０として蓄積する学習処理部７５０とを備える。
【００２９】
なお、学習用サーバー７００は、画像認識装置６００内に備えるようにしても良い。
【００３０】
画像処理部６３０は、三次元センサ５００により取得されたカラー画像をグレースケールに変換し、変換後のグレー画像に対してＣａｎｎｙ関数を用いることで輪郭画像を抽出する。
【００３１】
また、画像処理部６３０は、抽出した輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施すように構成される。
【００３２】
また、画像処理部６３０は、平均化された画像上の各領域におけるＲＧＢ情報を、対象物体の認識モデルに入力し、その領域の色が対象物体と同様の色であるか否かを判断することでカラー画像上における対象物体の候補を絞るように構成される。
【００３３】
また、画像処理部６３０は、対象物体の候補とされている領域のうち、対象物体ではない（「対象物体のようであるが、対象物体ではない」）とみなした領域をノイズとして除去するように構成される。
【００３４】
三次元センサ５００は、カラー画像と距離情報を取得する３Ｄカメラであっても良い。距離情報は、赤外線を用いて取得しても良い。
【００３５】
三次元センサ５００と画像認識装置６００とは、それぞれのＵＳＢポート５１０・６１０を介してＵＳＢ接続され、三次元センサ５００から画像認識装置６００には作物のカラー画像（ＸＹ画像）と該作物までの距離情報（Ｚ画像）とが供給され、画像認識装置６００から三次元センサ５００の電源回路４１１・４１２にはＤＣジャック４１０を通じて電力が供給される。
【００３６】
また、本実施の形態に係る人工授粉システム１は、超音波集束装置に電力を供給するバッテリ２１０とスイッチングレギュレータ２２０とを備える。
【００３７】
また、画像認識装置６００と超音波集束装置４００とは、それぞれのＵＳＢポート６１５とＵＳＢボード４３０を介してＵＳＢ接続され、画像認識装置６００から超音波集束装置４００には画像認識装置６００が取得した対象物体の位置および距離情報（振動場所、強度、周波数制御などの情報）が供給される。対象物体の位置および距離情報は、ＦＰＧＡ（Field-Programmable Gate Array）ボード４２０に供給され、複数の超音波スピーカ４４２をそれぞれ駆動する複数のドライバ回路４４１の動作を制御する。
【００３８】
音波には音響放射圧があり物体に対して力を及ぼすことが可能である。また、図２に例示するように、音波は、周波数が大きくなるほど（波長λが短くなるほど）指向性が高くなるという性質を持つ。このことから、超音波の音響放射圧を利用した触覚ディスプレイとして超音波集束装置４００を用いる。
【００３９】
図３は、本技術を適用した一実施の形態に係る人工授粉システム１における三次元センサ５００（３Ｄカメラ（５００２））、スイッチングレギュレータ２２０および超音波集束装置４００の外観を例示する。
【００４０】
３Ｄカメラ（５００１、５００２）ではカラー画像の他に距離情報も取得するため、カメラに映った物体の３次元位置情報を得ることができる。この３Ｄカメラ（５００１、５００２）と超音波集束装置４００を組み合わせることで、空間上の特定の座標に対して超音波を照射し加振するデバイスの作成が可能となる。
【００４１】
本実施の形態に係る人工授粉システム１は、３Ｄカメラ（５００１、５００２）でイチゴなどの作物の花を認識し、得られた位置情報に対して超音波集束装置４００から超音波を照射し花を振動させ授粉を行うように構成される。
【００４２】
一般的に画像処理によって物体を認識する場合、対象となる物体の特徴を検出することで候補を絞る。このとき、特徴量として多く用いられるものは色情報と形状情報である。既往の花認識用のシステムとして、色情報として色集団、形状情報として重心輪郭間距離と輪郭のヒストグラムを利用し作成された花の画像検索システムがある。このシステムでは近似色の集合を色集団として特徴づけ、物体の重心から輪郭までの距離の平均および輪郭の角度を形状情報として特徴づけている。
【００４３】
しかし、既往の花認識用のシステムは画像検索用のシステムがほとんどで、本実施の形態に係る人工授粉システム１のように画像の中から特定の花のみを検出するものではない。画像検索用のシステムでは、入力画像として正面から撮影した花のみを用いることができるが、実際に栽培している状態のイチゴ花を撮影するため、被写体の角度にばらつきが生じてしまう。この場合被写体の向きによって形状情報が大きく異なるため、形状による特徴づけが困難となる。
【００４４】
そこで、本実施の形態に係る人工授粉システム１では、色情報を主要な特徴としてイチゴの花を認識する。
【００４５】
本実施の形態に係る人工授粉システム１では、人工授粉のための超音波集束装置４００と画像を取得するための３Ｄカメラ（５００１、５００２）を使用し、プログラミングを用いた画像認識装置６００を備える。これらの使用機器とシステム環境の詳細を以降に詳細に説明する。
【００４６】
（超音波集束装置）
先述した通り、本実施の形態では超音波によって花を加振させ授粉を行うため、加振装置として超音波集束装置４００を用いる。図４に超音波集束装置４００の仕様を示す。
【００４７】
超音波集束装置４００は、非接触で作用力を発生させる触覚ディスプレイである。バーチャルリアリティ（ＶＲ）技術を組み合わせることで、ＶＲ空間上の物体に触れたときに、超音波によって皮膚を刺激し触覚へのフィードバックが行われるように構成されている。
【００４８】
超音波集束装置４００には前面にｎ個（例えばｎ＝２８５）の超音波振動子（トランスデューサ（ＸＤＣＲ））４４２が搭載されており、各振動子から超音波を発生させることができる。それぞれの振動子から発生される超音波の放射圧は微力であるが、フェーズドアレイ技術によって超音波を１点（焦点（Ｆｏｃａｌ  Ｐｏｉｎｔ））に集束させ、大きな放射圧を発生させることができる（図５（ａ）および図５（ｂ）参照）。フェーズドアレイ技術は、各振動子の位相を制御し、空中に単一の焦点を結ぶ技術である。また位相を制御することで焦点の位置を変えることもできるため、離れた場所から空間中の任意の位置に力を発生させることができる。この技術によって、３Ｄカメラで検出された位置情報の点に超音波の焦点を結び、対象物体（例えば、イチゴの花）を振動させることができる。
【００４９】
図５（ｂ）において、ｎ番目の超音波振動子（トランスデューサ）からまでの伝搬時間Ｔｎは以下の式で表される。
【００５０】
Ｔｎ＝ｄｎ／ｃ
ここで、Ｔｎはｎ番目の超音波振動子（トランスデューサ）から焦点（Ｆｏｃａｌ  Ｐｏｉｎｔ）までの伝搬時間、ｃは、超音波の速度、ｄｎは、ｎ番目の超音波振動子（トランスデューサ）から焦点（Ｆｏｃａｌ  Ｐｏｉｎｔ）までの距離である。
【００５１】
また、超音波集束装置４００からは、例えば周波数４０ｋＨｚの超音波が照射されるが、これをパルス照射することで疑似的に低周波数に変調することができる。図６に例示するように、例えば、４０ｋＨｚの超音波を１／３０秒間隔で発生させることで３０Ｈｚの音波に変調できる。これによって、超音波の高い指向性を維持しつつ、イチゴ花を振動させることができる周波数の音波を発生可能となる。
【００５２】
図７は、本実施の形態の超音波集束装置４００に搭載される制御基板およびスピーカアレイ基板の構成例を模式的示す。制御基板は、先に説明した、ＤＣジャック４１０とＦＰＧＡボード４２０とＵＳＢボード４３０とを備える。スピーカアレイ基板は、先に説明した、複数（例えば２８５個）の超音波振動子（超音波スピーカ）４４２と複数（例えば２８５個）のドライバ回路４４１（図示省略）とを備える。制御基板とスピーカアレイ基板とは、それぞれの接続用コネクタ４５４・４５３，４５１・４５２を介して、互いに接続される。
【００５３】
（三次元センサ）
本実施の形態では、３次元空間における対象物体（例えば、イチゴの花）の位置情報を得るため、距離情報の取得が可能な３Ｄカメラ（５００１・５００２）を用いる必要がある。距離情報を取得できる代表的なカメラとしてＫｉｎｅｃｔ  ｆｏｒ  Ｗｉｎｄｏｗｓ  ｖ２（Ｍｉｃｒｏｓｏｆｔ、以下、Ｋｉｎｅｃｔ）（５００２）、ＲｅａｌＳｅｎｓｅ  ３Ｄ  Ｃａｍｅｒａ（Ｉｎｔｅｌ、以下、ＲｅａｌＳｅｎｓｅ）（５００１）がある（図８（ａ）および図８（ｂ）参照）。
【００５４】
図９に示す仕様の通り、両機ともカラー画像と距離情報とを取得することができ、それらの解像度やフレームレートには大きな差がないが、距離認識範囲において差が見られ、Ｋｉｎｅｃｔ（５００２）は中長距離の認識に適しており、ＲｅａｌＳｅｎｓｅ（５００１）は近距離の認識に適している。例えば多段式の密植栽培など、装置の稼働に省スペース化が求められ場合には、近距離の認識を行うことのできるＲｅａｌＳｅｎｓｅ（５００１）が適している。
【００５５】
（システム環境）
画像処理によるイチゴ花の認識システムを構築するために、プログラムを作成した。プログラミング言語はＣ＋＋を用い、Ｖｉｓｕａｌ  Ｓｔｕｄｉｏ  ２０１３にて開発を行った。３ＤカメラとしてＲｅａｌＳｅｎｓｅ（５００１）を利用するため、Ｉｎｔｅｌ  ＲｅａｌＳｅｎｓｅ  ＳＤＫを導入した。このＳＤＫによってＲｅａｌＳｅｎｓｅ（５００１）から取得したカラー画像や距離画像を処理することが可能となる。また、画像処理のライブラリとしてＯｐｅｎＣＶ  ３．０を導入した。ＯｐｅｎＣＶ（Ｏｐｅｎ  Ｓｏｕｒｃｅ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｌｉｂｒａｒｙ）はＩｎｔｅｌとＷｉｌｌｏｗ  Ｇａｒａｇｅが開発・公開しているオープンソースのコンピュータービジョン用ライブラリである。さらに、色情報を学習させるツールとしてサポートベクターマシンを採用した。このサポートベクターマシンのライブラリとしてＬＩＢＳＶＭを導入し開発を行った。
【００５６】
（学習処理部）
本実施の形態では、イチゴ花を認識するため、サポートベクターマシンを用いてイチゴ花の特徴量を学習した。サポートベクターマシン（ＳＶＭ（Support Vector Machine））は、パーセプトロン型のパターン認識手法ある。本来線形の識別機であるが、カーネル関数と組み合わせることで非線形に容易に拡張できる。本実施の形態では、サポートベクターマシンによってイチゴ花のＲＧＢ情報を学習し、画像処理システムに組み込む。
【００５７】
−  学習データ  −
愛媛県のイチゴ農場（品種：紅い雫）で撮影された１８９枚の栽培中のイチゴ画像から学習データを作成した。イチゴ花の色情報として１０４サンプル、背景の色情報として１００サンプル、さらにハレーションが発生した葉の色情報を５０サンプル抽出した。
【００５８】
ハレーションは、強い入射光によって被写体が白くぼやけてしまう現象である。植物の葉はクチクラ層を持つためこの現象が起こりやすい。クチクラ層では鏡面反射が発生するため、強い入射光がそのままの強度で反射してしまう。このようにハレーションが起こってしまった葉は、白く映り、イチゴの花の色情報と近い値を示す可能性があるため背景情報とは別に学習させる。
【００５９】
それぞれ抽出したサンプルのうち半分を教師用データとし、残りの半分をテスト用データとする。
【００６０】
−  学習方法  −
本実施の形態では、カーネル関数としてＲＢＦ（Radial Basis Function）カーネルを用いて学習を行う。学習プログラムのコードはＬＩＢＳＶＭにパッケージされているサンプルコードを参考に作成する。
【００６１】
サポートベクターマシンでは、線形分離不可能な入力ｘであっても適当な非線形変換φを使うことで高次元な特徴空間φ（ｘ）へ写像し線形分離を可能にする。このとき、φ（ｘ）の内積をカーネル関数Ｋで置き換えることで、φを具体的に求めず計算することが可能となる。これをカーネルトリックと呼ぶ。
【００６２】
ＲＢＦカーネルは、ガウシアンカーネルとも呼ばれ、サポートベクターマシンの利用において最もよく用いられるカーネル関数の一つである。ＲＢＦカーネルは以下のような式で表される。
【００６３】
Ｋ（ｘ，ｘ′）＝ｅｘｐγ（−γ｜｜ｘ−ｘ’｜｜２）
ＲＢＦカーネルでは上式におけるγの値が小さいほど単純な境界となり、大きいほど複雑な境界になるという性質を持つ。また、許容誤差を決定するパラメーターとしてコストパラメーターＣを用いる。これらγとＣとの２値を正しく定めることにより、より適切な境界を導き出すことができる。
【００６４】
これらの値を定めるための手法としてグリッドサーチがある。グリッドサーチでは、γとＣとの値をそれぞれ変化させ境界を作成し、その精度を調べ格子状の表に表す。これによって適切なγとＣとの組み合わせを調査することが可能になる。
【００６５】
図１１に例示するように、本実施の形態における学習のデータでも、グリッドサーチを行い適切な２値の組み合わせを調査した。両者の常用対数をとってグリッドサーチを行ったところｌｏｇ１０γ＝−３、ｌｏｇ１０Ｃ＝２のときに最大の精度となった。そこで、γ＝０．００１、Ｃ＝１００と設定してサポートベクターマシンを用いたイチゴ花識別モデルの作成を行った。
【００６６】
−  学習モデル検証結果  −
前述した通り、「イチゴ花」、「背景」、「ハレーションした葉」の３種類のサンプルを用意し、そのうち半分を学習データとして用いてイチゴ花識別モデルの作成を行った。その後、作成されたモデルの認識精度を調査するため、残りのサンプルについてモデルによる識別を行った。ここで、認識率は、花を花とみなした割合（真陽性率）とし、誤認識率は、花以外を花とみなした割合（偽陽性率）とする。その結果、図１２に例示するように、認識率は９８．１％と非常に高い値となった。また、誤認識率に関しても１．３％と非常に低く、花のみを的確に識別することができていることがわかる。図１３に例示するように、作成した識別モデルを３Ｄモデルで確認すると、イチゴ花として認識する範囲がイチゴ花のサンプル点にフィットしていることが確認できる。図１３において、プロット記号□は、イチゴ花であり、プロット記号▲は、背景であり、プロット記号■は、ハレーションした葉であり、網掛け領域は、イチゴ花認識範囲である。
【００６７】
以上より、今回作成されたモデルがイチゴ花認識モデルとして妥当であり、このモデルを画像認識装置６００に組み込むことができる、ということがわかる。
【００６８】
−  学習処理プログラム  −
図１０は、実施の形態に係る人工授粉システム１における画像認識装置６００の学習処理部６５０が実行する学習処理プログラムの一例を示すフローチャートである。同様の学習処理プログラムを学習サーバー７００の学習処理部７５０が実行することもできる。なお、学習処理プログラムは、画像認識装置６００（あるいは学習サーバー７００）に内蔵する不図示の記憶装置に格納しても良いし、不図示の着脱可能な記憶メディアに格納しても良いし、不図示の通信媒体を介して、画像認識装置６００（あるいは学習サーバー７００）にロードするようにしても良い。
【００６９】
ステップＳ３１０において、基本学習用画像として、例えば１００枚程度の画像データを読み込む（アーカイブ６４０）。
【００７０】
ステップＳ３１５において、読み込んだ画像データの対象領域を切り取り（抽出し）、ステップＳ３２０において、抽出した領域画像に「花１」ＩＤを付与し、ステップＳ３２５において、ディープラーニングによる機械学習（基本学習）を実行する。
【００７１】
ステップＳ３３０において、強化学習用画像として、例えば１０００枚〜１００００枚程度の画像データを読み込む（アーカイブ６４０）。
【００７２】
ステップＳ３３５において、色・輪郭情報による候補領域を抽出し、ステップＳ３４０において、ディープラーニングによる「花１」ＩＤを認識する。
【００７３】
ステップＳ３４０における認識結果が花である場合（目視による確認）（ステップＳ３４５）、ステップＳ３５０において、認識領域の拡大処理（例えば２倍）を行い（線形補完法）、ステップＳ３５１において、「花＋」ＩＤを付与するとともに、ステップＳ３５５において、認識領域の拡大処理（例えば２倍）を行い（線形補完法）、ステップＳ３５６において、「花−」ＩＤを付与して、ステップＳ３７０において、ディープラーニングによる機械学習（強化学習）を実行する。その後、ステップＳ３９０において、学習データ６６０として保存する。
【００７４】
それに対して、ステップＳ３４０における認識結果が花でない場合（目視による確認）（ステップＳ３４５）、認識結果に応じて、「蕾」ＩＤ（ステップＳ３６０）、「葉・茎」ＩＤ（ステップＳ３６１）、又は「背景」ＩＤ（ステップＳ３６２）を付与して、ステップＳ３７０において、ディープラーニングによる機械学習（強化学習）を実行する。その後、ステップＳ３９０において、学習データ６６０として保存する。
【００７５】
一方で、ステップＳ３４０における認識の結果、それ以外の領域に花がある場合（目視による確認）（ステップＳ３６５）、ステップＳ３６６において、画像データの対象領域を切り取り（抽出し）、ステップＳ３６７において、抽出した領域画像に「花１」ＩＤを付与して、ステップＳ３７０において、ディープラーニングによる機械学習（強化学習）を実行する。その後、ステップＳ３９０において、学習データ６６０として保存する。
【００７６】
それ以外の領域に花がない場合（目視による確認）（ステップＳ３６５）、処理を完了し（ステップＳ３６５）、学習データ６６０として保存する（ステップＳ３９０）。
【００７７】
（画像処理部（花認識処理部））
−  画像処理プログラム  −
学習処理部６５０（あるいは学習処理部７５０）で得られた識別モデルを用いて作成された画像処理プログラム例は、図１４に例示するフローチャートに沿って、画像認識装置６００の画像処理部６３０により処理される。なお、画像処理プログラムは、画像認識装置６００に内蔵する不図示の記憶装置に格納しても良いし、不図示の着脱可能な記憶メディアに格納しても良いし、不図示の通信媒体を介して、画像認識装置６００にロードするようにしても良い。
【００７８】
実施の形態に係る人工授粉システム１のうちの少なくとも超音波集束装置４００は、イチゴの栽培区画を移動して、すべての花に授粉処理を行うことを想定しているため、初めにすべての区画で授粉が完了しているかの確認を行う（ステップＳ１１０）。授粉が完了している場合は処理を終了するが、完了していない場合は授粉処理に移行する。授粉処理では、まず３Ｄカメラ（５００）から画像を取得し内部で処理を行うことでイチゴの花を認識する。その後、認識したイチゴの花に超音波を照射することで加振し、次の区画へ移動させる。
【００７９】
＜  画像取得  ＞
画像処理プログラムでは、初めに、３Ｄカメラ（５００）からカラー画像と距離情報とを取得する（ステップＳ１１５）。カラー画像は、例えば６４０×４８０のサイズで取得し、各画素にはＲＧＢ情報が含まれている。距離情報は、例えば２００ｍｍから１２００ｍｍの範囲までを取得し、それ以外の範囲は認識の対象外としても良い。また、２００ｍｍから１２００ｍｍまでのデータを、例えば２５６等分して、グレースケールデータに当てはめることで、距離データを画像として出力できるよう変換する。これによって後述のインターフェース出力においてカラー画像と合わせて距離画像が目視で確認できるようになる。
【００８０】
Ｒｅａｌ  Ｓｅｎｓｅ  ３Ｄ  Ｃａｍｅｒａ（５００１）ではカラーカメラと距離センサの位置とにずれがあるため、取得されるカラー画像と距離画像の座標系とが異なっている。そのため、カラー画像上の物体の正確な距離を計測するために、Ｒｅａｌ  Ｓｅｎｓｅ  ＳＤＫには、座標変換を行う関数としてＰｒｏｊｅｃｔＣｏｌｏｒＴｏＣａｍｅｒａ関数、およびＰｒｏｊｅｃｔＤｅｐｔｈＴｏＣａｍｅｒａ関数がある。この関数では、カラー・距離画像を、カメラを中心とした実際の３Ｄ空間の座標に変換することが可能である。これによって、それぞれの座標を実空間座標に変換し、そのままのデータを超音波集束装置４００で利用することが可能となる。ただし、実施の形態に係る人工授粉システム１では、超音波集束装置４００の上部に３Ｄカメラ（５００）を取り付けるため、その分の高さと幅の補正が必要となった（図３参照）。この距離は、計測によって求め、一例として、補正値をｘ軸方向に＋３０ｍｍとし、ｙ軸方向に＋１１５ｍｍとした。
【００８１】
＜  輪郭抽出  ＞
次に、イチゴ花の領域を明確にするため、画像の輪郭抽出を行う（ステップＳ１２０）。この輪郭抽出処理では、まず、得られたカラー画像を例えばグレースケールに変換し、このグレー画像に対して例えばＣａｎｎｙ関数を用いることで輪郭の抽出を行う。Ｃａｎｎｙ関数はＯｐｅｎＣＶの導入によって利用可能となる関数の一つであり、Ｃａｎｎｙ法を用いた輪郭の抽出を行うことができる関数である。
【００８２】
Ｃａｎｎｙ法は、輪郭抽出のためのアルゴリズムであり、複数ステップによって抽出が行われる。まず画像を平滑化しノイズを削減する。輪郭抽出は画像中のノイズに対して敏感なためである。次に画像の輝度勾配と方向を以下の式から求める。
【００８３】
【数１】
2019191854.tif 000003
【００８４】
上式において、ＧｘとＧｙはそれぞれ画像を縦方向と横方向に１次微分したときの値である。輝度勾配が大きい画素は、大きな色の変化が起きている部分であり、輪郭である可能性が高いといえる。勾配方向と強度の計算後は、輪郭と関係のない画素を取り除く。具体的には、例えば、勾配方向に沿って輝度勾配が極大値なる画素のみを輪郭の候補として残し、他を取り除くという処理である。最後に輝度勾配の閾値による処理が行われる。閾値としてはｍａｘＶａｌ（最大閾値）とｍｉｎＶａｌ（最小閾値）が用いられる。ｍａｘＶａｌ以上の微分値をとる輪郭は正しい輪郭とみなされるが、ｍａｘＶａｌ以下の輪郭は誤りとみなされ除外される。ただし、例えば、ｍａｘＶａｌ以下であってもｍｉｎＶａｌ以上で、かつｍａｘＶａｌ以上の輪郭とつながっていれば正しい輪郭としてみなされる。これによって最終的に画像中の強度の大きい輪郭を検出することができる。
【００８５】
ＯｐｅｎＣＶのＣａｎｎｙ関数では上記のすべての処理が実行される。この処理によって作成された輪郭画像について、さらに膨張・縮退処理を行い、ノイズを除去する。この処理では、輪郭の画素に接する画素を同様に輪郭とみなす処理（膨張）と輪郭以外の画素と接する画素を同様に輪郭以外とみなす処理（縮退）を繰り返すことで、輪郭とそれ以外をより明確に区別することが可能になる。本実施の形態では、例えば、膨張を４回、縮退を３回行うことによって、Ｃａｎｎｙ関数で得られた輪郭よりも一回り太い輪郭が得られるような処理を施す。
【００８６】
＜  色の平均化  ＞
ステップＳ１２０で得られた輪郭画像を用いて、輪郭に囲まれた領域の色を平均化する処理を施す（ステップＳ１２５）。輪郭内の色を平均化することで、各物体の色を明確にすることができ、色による識別が容易になる。また、ハレーションした葉を含む領域であっても、ハレーションしていない部分との平均をとることでイチゴ花との色の違いが明確に現れる。
【００８７】
処理方法としては、例えば、まず、ステップＳ１２０で作成した輪郭画像をカラー画像に重ね合わせ、ラベリングを行う。ＯｐｅｎＣＶ  ３．０にはラベリング関数が用意されており、画像上の区切られた領域を一つ一つ異なるラベルの領域として認識することができる。ラベリングされた領域内のＲＧＢ情報を合計し画素数で割ることで領域におけるＲＧＢ情報の平均値を算出し、ラベル毎に色を平均化する。
【００８８】
＜  学習モデルによるイチゴ花認識  ＞
ステップＳ１２５で平均化された画像の中から、学習処理部６５０（あるいは学習処理部７５０）で作成された学習モデルによってイチゴ花の認識を行う（ステップＳ１３０）。例えば、平均化された画像上の各領域におけるＲＧＢ情報をイチゴ花認識モデルに入力することで、その領域の色がイチゴ花と同様の色か否かを判断し、これによって画像上のイチゴ花の候補を絞ることができる。
【００８９】
＜  ノイズ領域の除去  ＞
これまでの処理でイチゴ花の候補とされている領域のうち、明らかに花ではないと考えられる領域をノイズとして除去する（ステップＳ１３５）。
【００９０】
まず、領域の大きさに関する閾値を設ける。例えば、花とみなす領域の大きさを２００画素以上１００００画素以下とし、それ以外の領域はノイズとして除去するようにしても良い。
【００９１】
次に、距離による閾値を設ける。一定以上カメラから離れた領域は背景とみなしてイチゴ花の候補から除外することができる。例えば、カメラとイチゴ花の距離がおおむね２０ｃｍから４０ｃｍである場合、カメラから４０ｃｍ以上離れている領域を除去するよう設定しても良い。
【００９２】
最後に、輪郭に直線を含む領域をノイズとするプログラムを組み込む。例えば、イチゴの花の輪郭は基本的に丸みを帯びており、カーブによって構成されている。そのため直線を含む領域はイチゴ花以外の葉や茎などと考えられる。直線の検出にはＯｐｅｎＣＶに用意されているＨｏｕｇｈ変換の関数を用いる。Ｈｏｕｇｈ変換では直線を以下のような式で表わされる。
【００９３】
ρ＝ｘ＊ｃｏｓθ＋ｙ＊ｓｉｎθ
ここで、ｘ、ｙは輪郭上のある点の座標であり、ρは原点からの距離であり、θは原点とのなす角である。Ｈｏｕｇｈ変換では、この式に従って輪郭上のすべての点をρとθのグラフで表す。各点について作成されたグラフ同士が多く交差する点が、複数の点から強く予測される直線のパラメーターとされる。このような処理で直線が存在するとみなされた輪郭を持つ領域は、イチゴ花の領域ではないと考え除外するようにしても良い。
【００９４】
以上の項目で除外されなかったイチゴ花の候補を、最終的なイチゴ花の領域として認識する
＜  インターフェースへの表示  ＞
最終的にイチゴ花として認識した領域をラベリングし、図１６に例示するような画像認識装置（ＰＣ）６００の画面のユーザインターフェース（Ｉ／Ｆ）６２０上に表示する（ステップＳ１４０）。
【００９５】
ユーザインターフェース６２０上には、例えば、カラー画像（ＸＹ画像）６２１、イチゴ花認識画像６２３、距離画像（Ｚ画像）６２２の３種類の画像が映し出される。カラー画像６２１にはカラーカメラから取得された画像が映し出されており、イチゴ花認識プロセスによって認識された領域６２５が矩形で示されている。イチゴ花認識画像６２３にはイチゴ花の候補領域が映し出されている。ノイズとして除去される領域も除去理由によって異なる着色がされて映し出されても良い（一例としては、青：面積による除去、紫：距離による除去、赤：直線検出による除去、といったように区別して表示しても良い）。距離画像６２２には三次元センサ５００から取得した距離情報を色調に変換して表示しており、対象がカメラに近いほど色が濃く、遠いほど色を薄くしても良い。
【００９６】
ユーザインターフェース６２０上で授粉に関するパラメーターなどを調整することも可能である。例えば、カラー画像６２１下の操作部６２８のバーでは超音波の変調周波数を変更するように構成しても良い。距離画像６２２の右隣の操作部６２９のバーでは、例えば、イチゴ花として認識する最大・最小領域の調整や、認識する距離の調整、また超音波の照射時間の変更が可能であるに構成しても良い。
【００９７】
超音波授粉の開始などもユーザインターフェース６２０上の操作部６２９で行うこともできる（ＳＴＡＲＴボタン）。また、設定と画像の保存、装置の移動に関する操作を行うこともできる（ＳＡＶＥボタン、ＣＡＰＴＵＲＥボタン、ＭＯＶＥボタン）。授粉の繰り返し、授粉と移動の繰り返しの指定も可能であり、実際の現場ではこの操作によって全自動で授粉処理を行うことができる（Ｍｏｖｅボタン、Ｒｅｐｅａｔボタン）。
【００９８】
＜  超音波集束装置による加振  ＞
イチゴ花の３次元空間における重心位置を超音波集束装置４００に送り、超音波による授粉を実行させる（ステップＳ１４５）。Ｒｅａｌ  Ｓｅｎｓｅ  ３Ｄ  Ｃａｍｅｒａ（５００１）は、例えば、超音波集束装置４００の上部に取り付けられているため、カメラの座標系から超音波集束装置４００の座標系に変換する必要がある。補正値は、ステップＳ１１５の画像取得処理で説明した通り、ｘ軸方向に＋３０ｍｍ、ｙ軸方向に＋１１５ｍｍとしても良い。一画面中に含まれるすべてのイチゴの花に超音波の照射を行い、完了後次の区画へ移動し再び画像取得からループする（ステップＳ１５０→ステップＳ１１０）。
【００９９】
図１５は、図１４に例示した画像処理プログラムにおける学習モデルによるイチゴ花認識処理の一例を示すフローチャートである。
【０１００】
ステップＳ２１０において、画像を取得し（ステップＳ３３０に対応）、ステップＳ２２０において、色・輪郭情報による候補領域を抽出し（ステップＳ３３５に対応）、ステップＳ２３０において、ディープラーニングデータによるＩＤ認識を行う（ステップＳ３４０に対応）。
【０１０１】
ステップＳ２３０の認識結果に応じて、「花１」（ステップＳ２３１）、「花＋」（ステップＳ２３２）、「花−」（ステップＳ２３３）、「蕾」（ステップＳ２３４）、「葉・茎」（ステップＳ２３５）、「背景」（ステップＳ２３６）、「認識なし」（ステップＳ２３７）のいずれかに進む。
【０１０２】
ステップＳ２４０において、「花１」、「花＋」、「花−」のいずれかの信頼度スコアが高ければ、花として認識し（ステップＳ２５０）、そうでなければ、その他のもの（花以外のもの）として認識する（ステップＳ２６０）。
【０１０３】
（認識精度の検証）
本技術を適用した一実施の形態に係る人工授粉システム１を用いて認識精度の検証を行った。検証には愛媛県のイチゴ農場で撮影された計１４７花のイチゴ花を含む１１０枚の写真を用いた。この画像は学習に用いた画像とすべて異なる画像である。これらすべての写真を画像認識装置６００に通し、写真中のイチゴ花の場所を判断させた。認識終了後画像を確認し、正しく認識した数と誤って認識した数を数えることで認識精度を測定した。
【０１０４】
画像認識装置６００の精度を検証した結果、総イチゴ花数１４７花に対して、認識できた花の数は１３８花となり、認識率は９３．９％となった（図１７）。また、イチゴ花以外を誤って花と認識してしまった回数が計５０回あり、この誤認識は総認識数のうち２６．６％を占めた。誤認識の内訳は、葉が７回、花弁が散った後の花が３６回、その他栽培ベッドのバーなどが７回であった。
【０１０５】
実施の形態に係る人工授粉システム１では、９０％以上の認識率を達成した。サポートベクターマシンによる適切な閾値設定と輪郭抽出による誤認識削減による効果が確認できた。より複雑なモデルや処理を設定することによって誤認識をより低減させることも可能である。
【０１０６】
（授粉実験）
−  第１の実験  −
本技術を適用した一実施の形態に係る人工授粉システム１を用いた授粉実験（第１の実験）を愛媛県のイチゴ農場（品種：紅い雫）にて行った。本実験では超音波授粉の効果を検討するだけでなく、超音波の適切な変調周波数を調査することも目的とした。適切な変調周波数を定めることでより効率的に授粉処理を行うことができ、可販果率の向上が見込まれる。
【０１０７】
本実験では、計１９８花のイチゴ花を用いた。本実験では超音波授粉の効果を検討するため超音波授粉区（１０区画）と筆授粉区（２区画）、無処理区（２区画）を設けた。筆授粉区では筆を用いておしべから放出された花粉をめしべに付着させる処理を行った。さらに、適切な変調周波数を調査するため、超音波授粉区の変調周波数を１０Ｈｚ〜１００Ｈｚまで１０Ｈｚ刻みで１０区画に分けて実験を行った（図１８）。また、超音波の照射回数は１花につき１回、照射時間は２秒間とした。
【０１０８】
本実験では栽培棚として移動式の栽培ベッド（１）〜（１６）が用いられた。イチゴ花を栽培している複数の栽培ベッド（１）〜（１６）をローテーションさせることができる（図１９）。そのため、今回の実験では超音波集束装置４００を１か所に固定し、超音波集束装置４００が授粉可能な範囲を処理する毎に栽培ベッド（１）〜（１６）を移動させ、新たに処理を繰り返すという方式をとった。
【０１０９】
無処理区を除いた各区で授粉処理を行い、収穫後の可販果率を調査した。可販果率は授粉を行った花のうち正常果が収穫できたものの割合である。
【０１１０】
各実験区での可販果数と可販果率を図２０に示す。超音波授粉区において可販果率は最高で９１．７％となったが、低いところでは３６．４％となった。筆授粉区に関してはどちらの区も約６０％程度の可販果率となった。無処理区に関してはばらつきがあったものの、どちらも低い値となった。
【０１１１】
まず、超音波授粉区における周波数毎の結果について考える（図２１）。この超音波授粉区では変調周波数が４０Ｈｚのとき可販果率９１．７％となり、最も良い結果を示した。
【０１１２】
周波数によって着果率や奇形果発生率に変化が表れるとするならば、その原因は超音波照射時におけるイチゴ花の物理的な挙動に起因すると考えられる。この挙動の指標の一つとして振幅が挙げられる。そこで、ハイスピードカメラを用いて周波数毎の振幅の調査を行った。ハイスピードカメラで加振中のイチゴ花を撮影し、その振幅を計測した（各周波数につき１０花（図２２））。その結果、１０Ｈｚにて最大の振幅となったが、３０Ｈｚ〜１００Ｈｚでは有意差が見られなかった（ＡＮＯＶＡ４による分散分析、有意水準ｐ＝０．０５）。この結果と授粉実験の結果の間には相関がみられないため、振幅がイチゴの授粉に与える影響は小さいと考えられる。
【０１１３】
次に、最も結果の良かった４０Ｈｚの超音波授粉と、筆授粉および無処理を比較した（図２３）。グラフより４０Ｈｚの超音波授粉区が最も高い可販果率を示すことがわかる。超音波授粉では、指向性の高い超音波を用いることによってイチゴの花のみを的確に加振し、めしべに満遍なく授粉を行うことができる。そのため、奇形果の発生が抑えられ、可販果率が上昇したと考えられる。筆授粉区では無処理区よりも高い可販果率となったが、やはり人手によって行われるものであるため花粉を付着させられていない部分が発生し、可販果率の低下が引き起こされていた。無処理区でも風や栽培ベッドの振動によって授粉されていたものがあったが、多くは奇形果となっており、適切な授粉処理の必要性が示唆された。
【０１１４】
−  第２の実験  −
第１の授粉実験の再現性を確認するため、再度授粉実験（第２の実験）を行った。第２の授粉実験でも同様に超音波授粉区の変調周波数を１０段階にわけ、最適な授粉方法の調査を目的とした。
【０１１５】
第２の実験では花数の都合上筆授粉区は設けず、無処理区に関しても１区画のみとした。超音波授粉区に関しては１０Ｈｚ〜１００Ｈｚの１０区画を用意し花数は図２４の通りに設定した。授粉回数は１花につき１回とし、授粉時間は２秒間とした。授粉処理が施されたイチゴについて、収穫後可販果率を調査し、その結果から授粉方法の評価を行った。
【０１１６】
各実験区での着果率と奇形果発生率は図２５のようになった。超音波授粉区では５０Ｈｚのとき可販果率が最高の５７％となったが、６０Ｈｚ、９０Ｈｚでは０％となってしまった。一方、無処理区では可販果率が３７％となった。
【０１１７】
周波数毎に比較すると５０Ｈｚの超音波授粉にて最も良い結果となっているが、全体的に可販果率が低く、あまり傾向が見られない（図２６）。これは、比較的高い気温によって受精可能期間が短くなってしまったことに起因していると考えられる。
【０１１８】
そのような条件下ではあったが、最も成績の良かった５０Ｈｚの授粉区と無処理区を比較すると、やはり５０Ｈｚの方が高い可販果率となった（図２７）。この結果から適切な周波数を設定することで超音波授粉の効果が発揮されることがわかる。
【０１１９】
第１回と第２回の授粉実験では、大きく傾向が異なったが、これは気温条件の違いによる影響が大きい。高温条件では受精可能期間が短く１度の授粉機会ではきれいに受精させることができなかったと考えられるため、第１の授粉実験の結果がより正確であると予想される。
【０１２０】
また、双方において特定の周波数であれば無処理や筆授粉よりも超音波授粉の方が高い可販果率を得られることがわかった。このことより、超音波の高い指向性はイチゴ花をピンポイントで加振し満遍なく授粉させ、きれいな果実を形成させることができるとわかる。
【０１２１】
−  第３の実験  −
第３の実験で行う授粉方法として、変調周波数を２０Ｈｚ、４０Ｈｚ、６０Ｈｚの３通り、加振時間を２秒、４秒、６秒、８秒の４通り用意した。実験区はこれらを組み合わせた３×４＝１２通り用意し各授粉区にて１０花の授粉を行った。
【０１２２】
第３の実験では授粉状況を定量的に評価するため、それぞれの実験区にてイチゴ花の蛍光画像を撮影した。
【０１２３】
蛍光画像を処理した結果、撮影された２４０枚（１２区×１０花×授粉前後）のうちイチゴ花粉の状況がはっきりと確認できたものは１１６枚であった。その他の画像については、授粉前後で蛍光分布に変化が見られない画像や、不鮮明で蛍光が確認しづらい画像となり、これらは花粉付着率０％の画像として扱った。
【０１２４】
第３の授粉実験で得られた蛍光画像についてめしべに対する花粉の付着率を以下の式によって定めた。
【０１２５】
めしべに対する花粉の付着率（％）＝花粉が付着しためしべの本数めしべの総本数×１００
この付着率を各実験区について調べたところ、６０Ｈｚ、８秒の区で最大の３６．１％となり、６０Ｈｚ、６秒の区で最小の１０．２％となった（図２８）。
また、イチゴ果実の収穫後、可販果率について各実験区で調査を行ったところ、２０Ｈｚ、４秒と６０Ｈｚ、８秒において最大の９０％となり、６０Ｈｚ、６秒にて最小の４３％となった（図２９）。また、蜂による授粉が行われた花についても調べたところ、可販果率は８０％であった（ｎ＝１０）。
【０１２６】
初めに、めしべにおける花粉の付着率と可販果率の相関関係について調査を行った。１２区画の花粉付着率と可販果率をそれぞれ横軸と縦軸にとり近似直線を引くと、傾きは正となり花粉付着率の向上が可販果率の向上につながっているとわかる（図３０）。しかし、近似直線のＲ２値は０．４２３９となり、相関はあまり強くないことがわかった。
【０１２７】
これは、蛍光画像の撮影環境の不安定性に起因している。本実験では撮影した２４０枚の画像のうち蛍光が確認できたものは約半分の１１６枚であった。今回蛍光が得られなかった画像はすべて花粉付着率０％の花として扱ったが、実際には撮影環境の不安定性が原因できれいな画像が取得できないものもあったと考えられる。イチゴ花の角度は株によって大きく異なるため、各撮影にてイチゴ花に合わせたカメラと照明の角度を設定しなければならない。また、微弱な蛍光を撮影するので露光時間を長く設定しているが、その間のわずかな振動によるブレが大きく反映されてしまう。これらの外的要因によって正確な撮影画像の枚数が減少し、実験区毎の花粉付着率を正しく反映することができていなかったと考えられる。そのため、可販果率との正確な相関を得るためには、実験系を確立し撮影環境の安定性を向上させる必要がある。
【０１２８】
次に、授粉実験としての結果を考察する。超音波授粉を行った１２区画において、可販果率は最大で９０％となり平均では７６．３％であった。ただし、６０Ｈｚ、６秒の区では可販果率が４３％と極端に低い値になった。そこで、このデータに対して外れ値検定（スミルノフ・グラブス検定）を行うと、５％の有意水準にて外れ値とみなされた。これより、外れ値を除いた可販果率の平均値を求めると７９．３％となった。また、今回実験を行った植物工場にて、蜂による授粉が行われたイチゴ花１０花についても調査を行ったところ、可販果率は８０％であった（図３１）。図３１に例示するように、超音波授粉では平均でも蜂授粉と同等の可販果率となり、最大の区では蜂授粉を上回ることがわかる。これは、授粉処理において実施の形態に係る人工授粉システム１が蜂の代替手段になりうるということを示している。
【０１２９】
ただし、各授粉区の可販果率に着目すると、加振時間や変調周波数によってあまり大きな傾向が見られないこともわかる（図３２）。このことから、少なくとも今回設定した範囲において、加振時間や変調周波数は有意性のある要素でないと推察される。各実験区についてより詳しく分析すると、加振時間毎の可販果率の平均値は４秒において最大となり（図３３）、変調周波数については４０Ｈｚで最大となることがわかった（図３４）。そこで、あえて超音波授粉の最適な設定を一つに定めるとするならば、４秒、４０Ｈｚの設定が妥当であると考える。
【０１３０】
[変形例]
（変形例１）
本技術を適用した一実施の形態の変形例１で用いる３Ｄカメラ５００は、Ｓｅｎｚ３Ｄ（５００３）である。このカメラは、カラー画像の他に距離データを取得することができるため、物体の３次元座標を取得することが可能である。カラーカメラの解像度は１２８０×７２０、距離センサの解像度は３２０×２４０、距離センサの有効認識距離は１５〜１００ｃｍである。このカメラを超音波集束装置４００に搭載した（図３５）。
【０１３１】
図３７は、変形例１における人工授粉システム１の画像認識装置６００による画像処理結果（花画像と葉画像のＲ値のヒストグラム）の一例を模式的に示す。また、図３８は、変形例１において画像認識装置６００が実行する画像処理プログラムの一例を示す。
【０１３２】
まず、Ｓｅｎｚ３Ｄ（図３５のカメラ）から、カラー画像（ＲＧＢ）と深度情報（ＺＣ）を取得する（ステップＳ４１０）。まず、画像処理によってイチゴの花を認識するため、イチゴの花とイチゴの葉の色のヒストグラムを比較する。植物工場で撮影したイチゴの画像から花と葉を抜き出し、それぞれのヒストグラムを作成したところ、赤色のヒストグラムに大きな差が見られた（図３５）。
【０１３３】
そこで、カラー画像からＲの値だけ抽出し、閾値を設け二値化し、花と葉を区別する（ステップＳ４１０〜Ｓ４２０）。その後、二値化された画像に対してラベリングを行う（ステップＳ４３０）。ラベリングとは二値画像の連結成分毎に異なったラベルを付けることで特定の領域を検出する画像処理方法である。検出された領域の重心を計算し、各領域の重心座標を取得する（ステップＳ４３０〜Ｓ４４０）。ラベリングされた領域の中で小面積のものはノイズとして除去し（ステップＳ４４５）、さらに、距離画像を利用して、一定距離よりも遠いものも背景として除去する（ステップＳ４５０）。これらの処理で除去されなかった領域を花とみなし、この領域の重心に対して超音波を照射して加振を行う（ステップＳ４５５）。以上が授粉試験の際に使用したプログラムにおける画像処理の方法である（図３８）。
【０１３４】
ただ、このプログラムでは、花と葉のヒストグラムの違いのみを利用して花を認識しているので、花のヒストグラムと同じようなヒストグラムを持つ領域（例えば、ハレーションを起こして白くなってしまっている葉）があれば、その領域も花と認識してしまう。
【０１３５】
（変形例２）
本技術を適用した一実施の形態の変形例２で用いる３Ｄカメラ５００は、ＲｅａｌＳｅｎｓｅ（５００１）である。こカラーカメラの解像度が１９２０×１０８０、距離センサの解像度が６４０×４８０、有効認識距離が２０ｃｍ〜１２０ｃｍである。また、ＲｅａｌＳｅｎｓｅ（５００１）には赤外線カメラが搭載されており、解像度は６４０×４８０とである。このＲｅａｌＳｅｎｓｅ（５００１）を超音波集束装置４００に搭載した（図３６）。
【０１３６】
図３９は、変形例２において画像認識装置６００が実行する画像処理プログラムの一例を示すフローチャート。
【０１３７】
まず、ＲｅａｌＳｅｎｓｅ（５００１）から、カラー画像（ＲＧＢ）、深度情報（ＺＣ）に加えて赤外線画像（ＺＩＲ）を取得する（ステップＳ５１０）。
【０１３８】
そして、カラー画像をＲ値によって二値化し、さらに赤外線画像に関しても二値化を行う（ステップＳ５１０〜Ｓ５２０）。その後、二値化されたカラー画像と赤外線画像に対してラベリングを行う（ステップＳ５２５）。ラベリングされた領域の中で小面積のものはノイズとして除去し、さらに、距離画像を利用して、一定距離よりも遠いものも背景として除去する（ステップＳ５３０〜Ｓ５７５）。これらの処理で除去されなかったもののうち、カラー画像と赤外線画像の両画像において検出された領域を花の座標とし、この座標に対して超音波集束装置４００より加振を行う（ステップＳ５８０〜Ｓ５９０）。
【０１３９】
赤外線カメラには可視光によるハレーションが映らず、カラーカメラには赤外線によるハレーションが映らないため、カラー画像と赤外線画像を用いることによって、可視光と赤外線によるハレーションを防ぐことができる。
【０１４０】
（変形例２による実験）
変形例２では、超音波集束装置４００の距離精度を測定する実験、イチゴの花の認識精度を測定する実験、そして超音波集束装置４００による授粉と蜂による授粉の影響を比較する授粉試験を行った。
【０１４１】
−  装置の精度測定実験  −
超音波集束装置４００の精度の測定を、ＲｅａｌＳｅｎｓｅ（５００１）を搭載した超音波集束装置４００にて行った。超音波集束装置４００は一定以上の大きさの白い領域を花として認識するので、精度測定では白色の円形の的を疑似花として利用した。まず黒い板に白色の的（直径２０ｍｍ）を貼り、次に板を水で満たしたトレイに沈め、波紋によって振動点が視認できるようにし、各的を加振して実際に揺れた場所と的とのずれを測定した。奥行の誤差に関しては波紋から読み取ることができないので、照射された超音波に手をかざし最も力が強くなっている点を焦点と判断した。的は４０×４０ｃｍ２の範囲に縦横１０ｃｍ間隔で合計２５か所設置した。ただし、トレイにすべての的が入りきらなかったため、的を上下にずらし２回ずつ実験を行うことで、振動可能範囲全域を測定したものとした。的は上から１列、２列、…、５列、左からａ行、ｂ行、…、ｅ行というように番号を付けた。また、装置と対象の距離による精度の差を調べるため、この距離を２０ｃｍ、３０ｃｍ、４０ｃｍ、５０ｃｍの４通りに変化させ実験を行った。２０ｃｍ未満ではカメラが対象との距離を認識することができず、５０ｃｍ以上は超音波集束装置４００の加振可能範囲外なのでこのような４水準を設定した。
【０１４２】
−  花の認識精度実験  −
超音波集束装置４００で超音波を照射する位置の距離的な誤差を調査するだけではなく、画像認識装置（ＰＣ）６００による画像処理によってイチゴの花をどの程度認識できるかの測定も行う。そのために、ＲｅａｌＳｅｎｓｅ（５００１）で植物工場内のイチゴを撮影し、図３９に例示した画像処理プログラムを用いて画像処理を行ったときの花の認識率を測定する。
【０１４３】
測定方法としては、画像処理によって認識した花の位置をマークした画像を確認し、写真に写った花の数、正しく花を認識できた数、花以外の場所誤って花と認識してしまった数を調べ、そこから認識率及び誤射率を計算する。認識率とは、（正しく認識できた数）／（写真に写った花の数）、誤射率とは、（花以外の場所を誤って花と認識してしまった数）／（総認識数）と定義した。つまり、認識率が高ければ加振できている花の割合が高くなり、誤射率が高ければ花以外を加振している無駄な時間が多いということになる。同じ花を重複して２回以上認識してしまっている場合は、２回目以降を誤って認識したものとして測定を行う（図４０）。
【０１４４】
−  授粉試験  −
授粉試験の対象株数は３２株、対象果数は１６０〜２００果とした。超音波集束装置４００による授粉を行う区画を実験区、蜂によって実験を行う区を対照区とした（図４１）。
【０１４５】
実験区では、超音波集束装置４００を台車に固定し栽培棚の間を移動させ授粉を行った。超音波の周波数は２０Ｈｚに変調して照射した。イチゴの花の固有振動数は既往の研究では２５〜３０Ｈｚとされていたが、今回の実験で実際に超音波を照射した際２０Ｈｚに変調した場合の方がより激しい振動を確認できたため２０Ｈｚにて実験を行うことにした。授粉は１日１回、１５時から１７時の間に行った。加振時間は２秒と１０秒の２水準設けた（図４２）。
【０１４６】
各区画において着果率を調べ、収穫後は果実の総重量、平均重量を測定した。また、規格に基づきカテゴリ分けを行った（図４３）。
【０１４７】
（変形例２による実験結果）
−  装置の精度測定実験結果  −
精度測定を行ったところ、水面にははっきりとした波紋が確認されたので、この波紋の中心点から的の中心点までの距離を測定した。装置と的との距離が２０ｃｍの場合では、誤差は最大でも１０ｍｍに収まった（図４４）。超音波の焦点径が２０ｍｍなので、目標の点を揺らすことが十分に可能な精度であるといえる。ただし、対象とカメラの距離が近いためカメラの範囲外となる的が多くなり、加振できる的が少なくなった。検出範囲が上方に偏っているのはカメラが超音波集束装置の上部に搭載されており、下方を撮影できないためである。距離３０ｃｍの場合では２０ｃｍの場合よりも誤差が大きくなったが２０ｍｍ以内には収まった（図４５）。２０ｃｍの場合と同様に検出範囲が狭く６か所の的しか検出できなかった。距離４０ｃｍの場合では、誤差は２０ｍｍ以内に収まり、２０ｃｍや３０ｃｍの場合より的の検出範囲が広くなった（図４６）。しかし、装置から距離が遠い検出領域の境界付近では、超音波の放射圧が小さくなり水面があまり揺れなかった。また、１列、５列およびａ行の誤差が大きくなっていることから、装置との距離が離れるほど誤差が大きくなるということがわかる。これは、カメラの位置と超音波集束装置の位置の違いから生じる誤差が、距離を増すにつれて増幅しているからであると考えられる。これを改善するためには、カメラと超音波集束装置の角度をそろえ、カメラから超音波集束装置への座標系の補正をより正確に行う必要がある。距離５０ｃｍの場合では誤差が非常に大きくなり３０ｍｍを超す部分もあった（図４７）。４０ｃｍの場合と比べて水面の揺れがさらに小さく、放射圧も弱くなっていることがわかった。
【０１４８】
以上の結果より、３０ｃｍ程度の距離であれば誤差も少なく対象を振動させることが可能であり、４０ｃｍの距離であればある程度の検出可能範囲を確保できるということがわかる。
【０１４９】
なお、図４４〜図４７において、括弧「（）」内の３つの数字は、左からそれぞれｘ軸，ｙ軸，ｚ軸方向の誤差（ｍｍ）を表している。
【０１５０】
−  花の認識精度実験結果  −
ＲｅａｌＳｅｎｓｅ（５００１）を用いて花の認識精度実験を行ったところ、認識率が５２．１％、誤射率は８９．６％となった（図４８）。認識精度実験では、栽培棚１列分の画像を７０枚撮影した。
【０１５１】
花の認識率が５０％程度ということは、実際に稼働した場合半分の花に対して授粉作業を行えないということになる。このように花の認識率が低くなってしまった原因として、赤外線画像とカラー画像の両方を利用することにより、花と判断する基準が高くなってしまったということが考えられる。装置がイチゴの花を花と認識するためには、赤外線画像とカラー画像の両方で花として認識されなければならず、どちらか片方でも誤って花でないと認識してしまった場合花と認められず、認識率が低下してしまうという問題がある。また、赤外線画像のヒストグラムを調べたところ、画像内の画素が一定の諧調に集中しており、カラー画像の場合よりも花を認識するための閾値を設けることが難しくなっていた（図４９）。
【０１５２】
−  授粉試験結果  −
授粉試験の結果、超音波集束装置４００と蜂によって授粉を行ったイチゴの着果率、平均重量、総重量は図５０のようになった。超音波集束装置４００を用いて２秒および１０秒の加振を行ったイチゴの花のうち、それぞれ８０花に対して着果したかどうかを調べ、その後収穫された果実の重量を測定した。蜂によって授粉を行った区では、９４花の着果率を調べ、果実の重量を測定した。さらに、果実の重量を図４３の規格表に従ってカテゴリ分けしたところ図５１のような結果となった。商品性の有無はサイズおよび形状から判断した。図５１において、４Ｌは３７ｇ以上、３Ｌは２８ｇ以上３７ｇ未満、２Ｌは２０ｇ以上２８ｇ未満、Ｌは１５ｇ以上２０ｇ未満、Ｍは１０ｇ以上１５ｇ未満、Ｓは６ｇ以上１０ｇ未満、ＮＳは６ｇ未満である。
【０１５３】
蜂を用いて授粉を行ったイチゴの着果率は１００％となったが、超音波集束装置４００による授粉を行ったイチゴの着果率は、加振時間２秒において１７．５％、１０秒において２６．３％となった（図５２）。既往の研究では超音波集束装置４００を用いて授粉を行った場合の着果率は５９％となっており、今回の実験ではこれよりも低い値となった。既往の研究とは異なり、今回の実験では画像処理を利用して花の認識を行っていたため、この画像処理の精度の低さが着果率の低さを引き起こした一因であると考えられる。
【０１５４】
今回の実験で撮影した画像を確認し、花の認識精度実験と同様に図４０に基づいて認識率などを調べたところ、図５３のような結果となった。認識率は６５．９％であるため３割以上の花に対して授粉が行えていないということがわかる。また、誤射率が７５．６％となっており、花以外の場所を加振している割合が大きいということがわかる。
【０１５５】
ただし、超音波集束装置４００による授粉を行ったイチゴの着果率は、花の認識率の３分の１程度であるため、認識率の他にも着果率を下げている要因が存在しているということがわかる。
【０１５６】
超音波集束装置４００による授粉では、着果率だけでなく果実の平均重量においても蜂による授粉と比較して有意に小さい値となった（図５４）。１．２で述べている通り、蜂による授粉で重量の大きな果実が多く収穫できるのは、花の柱頭に花粉を満遍なく授粉させることができているからだとされている。このことより、超音波授粉では満遍なく授粉させることができておらず、小さな果実および奇形果が発生し重量が小さくなったと考えられる。この着果率の低さと平均重量の小ささから、総重量に関しても小さい値となった（図５５）。また、図５６より、蜂による授粉ではＭ以上（１０ｇ以上）の果実が多く収穫されているが、超音波集束装置４００による授粉ではほとんどがＳ以下（１０ｇ未満）であり、商品性の低いものが多くなった。
【０１５７】
この重量の低下に関して、イチゴの花の固有振動数の調査が不十分であったことが一因としてあげられる。２．１．１で述べた通り、既往の研究ではイチゴの花の固有振動数は２５〜３０Ｈｚであるとされていたのだが、今回の実験では超音波を２０Ｈｚに変調させて照射していた。これは、３０Ｈｚの場合よりも２０Ｈｚに変調させて照射した場合の方がより大きく振動していると目視で判断したためであり、実験に基づいた判断によるものではない。このイチゴの花の固有振動数については再び調査を行い正確に特定すべきである。
【０１５８】
加振時間に関しては、２秒の場合より１０秒の場合の方が、平均重量が小さいという結果になった。この原因として考えられるのは、過剰な振動によって花柱が傷ついてしまったということである。蜂が授粉を行う場合、過剰な訪花によって花柱が痛み、奇形果が発生することがある。今回の実験の加振時間１０秒の場合でも重量の小さい果実が多く発生していた（図５１、図５６）。この結果より、１０秒では加振時間が長すぎて花柱が傷つき小さな果実となってしまったということが考えられる。
【０１５９】
精度測定の結果より、対象との距離が４０ｃｍ以内であれば、対象に対して誤差２０ｍｍ以内で超音波集束装置４００より超音波を照射できるということがわかった。つまり、この装置でイチゴの花を認識することができれば十分イチゴを加振することができる。
【０１６０】
（人工知能（ＡＩ）を用いた認識精度効果）
図５７は、実施の形態に係る人工授粉システムを用いて行った実験結果の一例であって、図５７（ａ）は認識結果、図５７（ｂ）は、目視による結果、図５７（ｃ）は正答率を例示している。図５７（ｃ）から明らかなように、学習方法を付与するにつれて、正解率が向上するのがわかる（「A/G：23.2％」→「A/(H+B)：72.6％」→「(A+E)/(H+B)：83.4％」）。
【０１６１】
多様性を有する学習データを蓄積して利用するために、複数の農場や植物工場から１００００枚程度の画像を集め、学習用データセット（１Ｍを目標）としてディープラーニング学習を行うことで、画像処理の精度を高度化することができる。
【０１６２】
（センサネットワークシステムへの適用例）
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を適用可能なセンサネットワークシステム９００（第１の態様）の模式的概念構成は、図５８に示すように表される。センサネットワークシステム９００（第１の態様）は、図５８に示すように、センサ対象２（例えば、農場や植物工場）と、センサ対象物体２に搭載され、同等の機能を有する複数の三次元センサ５００（センサノード通信端末ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎ）とを備え、インターネット３００を介してクラウドコンピューティングシステム８０に接続可能である。複数のセンサノード通信端末ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎとインターネット３００を介するクラウドコンピューティングシステム８０との接続では、有線通信、無線通信のいずれかを適用可能である。
【０１６３】
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を適用可能なセンサネットワークシステム９００（第２の態様）の模式的概念構成は、図５９に示すように表される。センサネットワークシステム９００（第２の態様）は、図５９に示すように、センサ対象２（例えば、農場や植物工場）と、センサ対象２に搭載された複数のグループネットワークシステムＧ１・Ｇ２・…・Ｇｉ・…・Ｇｎを備える。
【０１６４】
グループネットワークシステムＧ１は、ホスト通信端末Ｈ１と、ホスト通信端末Ｈ１に接続され、同等の機能を有する複数の三次元センサ５００（センサノード通信端末ＳＮ１１・…・ＳＮ１ｉ・…・ＳＮ１ｎ）とを備える。ここで、複数のセンサノード通信端末ＳＮ１１・…・ＳＮ１ｉ・…・ＳＮ１ｎで得られるセンサデータは、ホスト通信端末Ｈ１に収集され、ホスト通信端末Ｈ１から、インターネット３００を介してクラウドコンピューティングシステム８０に接続可能である。複数のセンサノード通信端末ＳＮ１１・…・ＳＮ１ｉ・…・ＳＮ１ｎとホスト通信端末Ｈ１との通信は、有線通信、無線通信のいずれかを適用可能である。また、ホスト通信端末Ｈ１から、インターネット３００を介するクラウドコンピューティングシステム８０との接続も、有線通信、無線通信のいずれかを適用可能である。グループネットワークシステムＧ２、Ｇｉ、Ｇｎも、グループネットワークシステムＧ１と同様である。
【０１６５】
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を適用可能なセンサネットワークシステム９００（第３の態様）の模式的ブロック構成は、図６０に示すように表される。センサネットワークシステム９００（第３の態様）は、図６０に示すように、センサ対象２（例えば、農場や植物工場）と、センサ対象２に搭載され、同等の機能を有する複数の三次元センサ５００（センサノード通信端末ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎ）と、複数の三次元センサ５００により得られた複数のセンサノード通信端末毎のセンサ情報を蓄積するデータサーバ９０と、データサーバ９０に蓄積されたセンサ情報を分析するデータ管理部１２０とを備える。
【０１６６】
また、図６０に示すように、複数のセンサノード通信端末ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎにインターネット３００Ａを介して接続可能なクラウドコンピューティングシステムを備え、データ管理部１２０は、第１専用インターネット３００Ｂを介してクラウドコンピューティングシステム８０に接続され、データサーバ９０は、第２専用インターネット３００Ｃを介してクラウドコンピューティングシステム８０に接続されていても良い。
【０１６７】
ここで、データ管理部１２０は、第１専用インターネット３００Ｂ、クラウドコンピューティングシステム８０および第２専用インターネット３００Ｃを介してデータサーバ９０にアクセス可能であり、複数のセンサノード通信端末ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎからの測定データを分析処理することができる。データ管理部１２０は、例えば、データ管理会社の計算機などで構成可能である。
【０１６８】
また、複数のセンサノード通信端末ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎと、インターネット３００Ａを介して接続可能なクラウドコンピューティングシステム８０とは、有線通信若しくは無線通信のいずれかにより接続可能である。
【０１６９】
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を適用可能なセンサネットワークシステム９００（第４の態様）の模式的ブロック構成は、図６１に示すように表される。センサネットワークシステム９００（第４の態様）は、図６１に示すように、センサ対象２（例えば、農場や植物工場）と、センサ対象２に搭載され、同等の機能を有する複数の三次元センサ５００（センサノード通信端末ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎ）と、複数の三次元センサ５００により得られたセンサ情報を収集するホスト通信端末Ｈと、複数の三次元センサ５００により得られた複数のセンサ情報を蓄積するデータサーバ９０と、データサーバ９０に蓄積されたセンサ情報を分析するデータ管理部１２０とを備える。
【０１７０】
複数のセンサノード通信端末ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎとホスト通信端末Ｈは、有線通信若しくは無線通信のいずれかにより接続可能である。
【０１７１】
また、図６１に示すように、ホスト通信端末Ｈにインターネット３００Ａを介して接続可能なクラウドコンピューティングシステム８０を備え、データ管理部１２０は、第１専用インターネット３００Ｂを介してクラウドコンピューティングシステム８０に接続され、データサーバ９０は、第２専用インターネット３００Ｃを介してクラウドコンピューティングシステム８０に接続されていても良い。
【０１７２】
データ管理部１２０は、第１専用インターネット３００Ｂ、クラウドコンピューティングシステム８０および第２専用インターネット３００Ｃを介してデータサーバ９０にアクセス可能である。
【０１７３】
ホスト通信端末Ｈとインターネット３００Ａを介して接続可能なクラウドコンピューティングシステムとは、有線回線１３０を介する有線通信若しくは無線通信のいずれかにより接続可能である。
【０１７４】
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を適用可能なセンサネットワークシステム９００（第５の態様）の模式的ブロック構成は、図６２に示すように表される。センサネットワークシステム９００（第４の態様）は、図６２に示すように、センサ対象２（例えば、農場や植物工場）と、センサ対象２に搭載される複数のグループネットワークシステムＧ１・Ｇ２・…・Ｇｉ・…・Ｇｎを備える。グループネットワークシステムＧ１は、図５９と同様に、ホスト通信端末Ｈ１とホスト通信端末Ｈ１に接続された複数のセンサノード通信端末ＳＮ１１・…・ＳＮ１ｉ・…・ＳＮ１ｎを備える。グループネットワークシステムＧ２は、ホスト通信端末Ｈ２とホスト通信端末Ｈ２に接続された複数のセンサノード通信端末ＳＮ２１・…・ＳＮ２ｉ・…・ＳＮ２ｎを備える。同様に、グループネットワークシステムＧｉは、ホスト通信端末Ｈｉとホスト通信端末Ｈｉに接続された複数のセンサノード通信端末ＳＮｉ１・…・ＳＮｉｉ・…・ＳＮｉｎを備える。同様に、グループネットワークシステムＧｎは、ホスト通信端末Ｈｎとホスト通信端末Ｈｎに接続された複数のセンサノード通信端末ＳＮｎ１・…・ＳＮｎｉ・…・ＳＮｎｎを備える。
【０１７５】
センサネットワークシステム９００（第４の態様）は、図６２に示すように、センサ対象２に搭載され、同等の機能を有する複数の三次元センサ５００（センサノード通信端末）と、複数の三次元センサ５００により得られた複数のセンサノード通信端末毎のセンサ情報を収集するホスト通信端末とを有する複数のグループネットワークシステムＧ１・Ｇ２・…・Ｇｉ・…・Ｇｎと、複数の三次元センサ５００により得られた複数のセンサノード通信端末毎のセンサ情報を蓄積するデータサーバ９０と、データサーバ９０に蓄積されたセンサ情報を分析するデータ管理部１２０とを備える。
【０１７６】
複数のグループネットワークシステムＧ１・Ｇ２・…・Ｇｉ・…・Ｇｎ内において、複数のセンサノード通信端末とホスト通信端末は、有線通信若しくは無線通信のいずれかにより接続可能である。
【０１７７】
また、図６２に示すように、ホスト通信端末にインターネット３００Ａを介して接続可能なクラウドコンピューティングシステム８０を備え、データ管理部１２０は、専用インターネット３００Ｂを介してクラウドコンピューティングシステム８０に接続され、データサーバ９０は、クラウドコンピューティングシステム８０内に配置されていても良い。
【０１７８】
データ管理部１２０は、専用インターネット３００Ｂを介してデータサーバ９０にアクセス可能である。
【０１７９】
また、ホスト通信端末と、インターネット３００Ａを介して接続可能なクラウドコンピューティングシステム８０とは、有線回線１３０を介する有線通信若しくは無線通信のいずれかにより接続可能である。
【０１８０】
グループネットワークシステムＧ１・Ｇ２・…・Ｇｉ・…・Ｇｎにおいては、グループ内の複数のセンサノード通信端末で得られるセンサデータは、ホスト通信端末Ｈ１・Ｈ２・…・Ｈｉ・…・Ｈｎに収集され、ホスト通信端末Ｈ１・Ｈ２・…・Ｈｉ・…・Ｈｎから、インターネット３００Ａを介してクラウドコンピューティングシステム８０に接続可能である。
【０１８１】
（農場用無線センサネットワークシステム）
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を通信端末（センサノード）３２０として適用可能な無線センサネットワークシステムとして、農場用無線センサネットワークシステム３２００の模式的鳥瞰構成は、図６３に示すように表される。農場用無線センサネットワークシステム３２００は、図６３に示すように、複数の小規模な農場用無線センサネットワークシステム３２００1・３２００2・…・３２００mから構成されていても良い。
【０１８２】
複数の小規模な農場用無線センサネットワークシステム３２００1・３２００2・…・３２００mは、例えば、栽培される作物単位で分かれていても良い。
【０１８３】
農場用無線センサネットワークシステム３２００は、図６３に示すように、複数のセンサノード３２０11・３２０12・…・３２０1n、３２０21・３２０22・…・３２０2n、・・・、３２０m1・３２０m2・…・３２０mnと、複数のセンサノード３２０11・３２０12・…・３２０1n、３２０21・３２０22・…・３２０2n、・・・、３２０m1・３２０m2・…・３２０mnからの第１無線送信データを常時若しくは定期的に受信可能な複数のホスト３１０1・３１０2・…・３１０mとを備える。ここで、定期的に受信する場合、ホスト３１０における受信頻度は、センサノード３２０の送信頻度よりも頻繁である。
【０１８４】
複数のセンサノード３２０11・３２０12・…・３２０1nは、例えば、ホスト３１０1との間で無線送受信可能であり、同様に、複数のセンサノード３２０21・３２０22・…・３２０2nは、ホスト３１０2との間で無線送受信可能であり、・・・、複数のセンサノード３２０m1・３２０m2・…・３２０mnは、ホスト３１０mとの間で無線送受信可能である。
【０１８５】
複数のセンサノード３２０11・３２０12・…・３２０1n、３２０21・３２０22・…・３２０2n、・・・、３２０m1・３２０m2・…・３２０mnは、それぞれの作物に応じたセンサ情報を取得するためのセンサ２１を備える。
【０１８６】
複数のセンサノード３２０11・３２０12・…・３２０1nは、第１無線送信データを送信終了後の所定の短い期間だけ、ホスト３１０1側からの第２無線送信データを受信可能である。第１無線送信データは、複数のセンサノード３２０11・３２０12・…・３２０1nから、所定のタイミングで、ホスト３１０1に対して送信される。また、第２無線送信データは、第１無線送信データを送信終了後の所定の短い期間だけ、ホスト３１０1側から複数のセンサノード３２０11・３２０12・…・３２０1nに対して送信される。以下同様である。
【０１８７】
ホスト３１０1・３１０2・３１０3・…・３１０mにおいて収集された情報はインターネット回線などを利用してクラウドコンピューティングシステムに供給されて、統合管理可能である。
【０１８８】
農場用無線センサネットワークシステム３２００は、複数のセンサノード３２０11・３２０12・…・３２０1n、３２０21・３２０22・…・３２０2n、・・・、３２０m1・３２０m2・…・３２０mnにおいて、無線送信データを送信終了後の所定の短い期間だけ、ホスト３１０1・３１０2・…・３１０m側からの送信データを受信できる状態としたことによって、低消費電力化されている。すなわち、複数のセンサノード内の受信器を常時オンさせておく必要がないため、低消費電力化されている。
【０１８９】
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を通信端末（センサノード）として適用可能な無線センサネットワークシステム３１００の模式的構成は、図６４に示すように表わされる。
【０１９０】
無線センサネットワークシステム３１００は、図６４に示すように、複数のセンサノードＰ1、Ｐ2、・・・、Ｐi、Ｐi+1、…、Ｐnと、複数のセンサノードＰ1、Ｐ2、・・・、Ｐi、Ｐi+1、…、Ｐnからの第１無線送信データを常時若しくは定期的に受信可能なホスト３１０とを備える。ここで、複数のセンサノードＰ1、Ｐ2、・・・、Ｐi、Ｐi+1、…、Ｐnとホスト３１０との間の距離は、Ｌ1、Ｌ2、・・・、Ｌi、Ｌi+1、…、Ｌnで表わされている。ここで、定期的に受信する場合、ホストにおける受信頻度は、センサノードの送信頻度よりも頻繁である。
【０１９１】
複数のセンサノードＰ1、Ｐ2、・・・、Ｐi、Ｐi+1、…、Ｐnは、第１無線送信データを送信終了後の所定の短い期間だけ、ホスト３１０側からの第２無線送信データを受信可能である。ここで、第１無線送信データは、複数のセンサノードＰ1、Ｐ2、・・・、Ｐi、Ｐi+1、…、Ｐnから、所定のタイミングで、ホスト３１０に対して送信される。
【０１９２】
また、第２無線送信データは、第１無線送信データを送信終了後の所定の短い期間だけ、ホスト１０側から複数のセンサノードＰ1、Ｐ2、・・・、Ｐi、Ｐi+1、…、Ｐnに対して送信される。
【０１９３】
無線センサネットワークシステム３１００は、複数のセンサノードＰ1、Ｐ2、・・・、Ｐi、Ｐi+1、…、Ｐnにおいて、無線送信データを送信終了後の所定の短い期間だけ、ホスト３１０側からの送信データを受信できる状態としたことによって、低消費電力化されている。すなわち、複数のセンサノードＰ1、Ｐ2、・・・、Ｐi、Ｐi+1、…、Ｐn内の受信器を常時オンさせておく必要がないため、低消費電力化されている。
【０１９４】
ホスト１０において収集された情報はインターネット回線などを利用してクラウドコンピューティングシステムに供給されて、統合管理可能である。ホストＨ・クラウド３８０間のデータ通信は、インターネット回線を介した有線通信又は本件の無線通信とは異なる無線通信を適用可能である。
【０１９５】
本実施の形態においては、複数の通信速度機能を持たせた無線センサネットワークシステムを提供可能であり、橋、農場、植物工場、森林など広範囲のエリアをカバーしたい用途に好適である。
【０１９６】
（ワイヤレスセンサネットワークシステムの概要）
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を適用可能なワイヤレスセンサネットワークシステムの概要を示す模式的構成は、図６５に示すように表される。このワイヤレスセンサネットワークシステムは、図６５に示すように、物理世界（Ｐｈｙｓｉｃａｌ）にある多様なデータをセンサネットワークで収集し、仮想世界（Ｃｙｂｅｒ）で大規模データ処理技術等を駆使して分析／知識化を行い、そこで創出した情報／価値によって、産業の活性化や社会問題の解決を図るサイバーフィジカルシステム（ＣＰＳ：Cyber-Physical System）の一部である。具体的には、エッジ（狭義のエッジ）に配置された信号処理装置８１０が狭帯域通信網８２１と広帯域通信網８２２を介してクラウドなどの上位側装置８４０に接続されている。狭帯域通信網８２１と広帯域通信網８２２との間にはゲートウェイ８２０が配置され、広義のエッジにはエッジサーバ８３０なども配置されている。装置間を繋ぐ細い線は低速通信で接続されていることを意味し、太い線は高速通信で接続されていることを意味している。
【０１９７】
信号処理装置８１０は、周囲の物理量などを時系列的に検知するための三次元センサ５００や、三次元センサ５００によって検知されたデータ、測定器などによって検出されたデータやその演算結果などを送信する通信部を備える。信号処理装置８１０は、データを一時的に記憶するメモリなども備えるが、詳細については後述する。信号処理装置８１０とゲートウェイ８２０との間の通信には、ＺｉｇＢｅｅ、ＥｎＯｃｅａｎ、Ｗｉ−ＳＵＮ、ＢＬＥ（Bluetooth Low Energy）などが使用される。
【０１９８】
ゲートウェイ８２０は、通信規約（プロトコル）が異なる二者間（例えば、ＺｉｇＢｅｅとＷｉ−Ｆｉ）やネットワーク間の通信を中継する機器やソフトウェア、システムであり、双方のプロトコルの違いに対応できるものである。具体的には、ゲートウェイ８２０は、信号処理装置８１０から送信されたデータを受信し、受信したデータを上位側装置４８０に送信する。また、ゲートウェイ８２０は、信号処理装置８１０に対する制御命令や設定情報などを上位側装置８４０から受信する。さらに、ゲートウェイ８２０は、信号処理装置８１０から送信されたデータを単に中継するだけでなく、受信したデータを記憶したり演算したりする機能を備えていてもよい。ゲートウェイ８２０と上位側装置８４０との間の通信には、Ｗｉ−Ｆｉ、３Ｇ／ＬＴＥ、有線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などが使用される。
【０１９９】
（ワイヤレスセンサネットワークシステムの具体例）
本技術を適用した一実施の形態に係る人工授粉システム１（三次元センサ５００）を適用可能なワイヤレスセンサネットワークシステムの具体例を示す模式的構成は、図６６に示すように表される。ここでは、多数の信号処理装置８１０が屋内の装置群（装置、ユーティリティ、インフラ等）や屋外の建造物（橋梁、道路、鉄道、ビルディング、農場、植物工場等）に設置されている場合を例示している。信号処理装置８１０とゲートウェイ８２０との間には、通信帯域の制限が大きいＦＡＮが配置されているものとする。ゲートウェイ８２０は、信号処理装置８１０から受信したデータをインターネット８５０を介して上位側装置８４０に送信する。これにより、上位側装置８４０は、ゲートウェイ８２０から受信したデータに基づいて、監視対象物である装置群や建造物の異常の有無を検知することが可能である。
【０２００】
なお、各信号処理装置８１０は、他の信号処理装置８１０から送信されたデータをゲートウェイ８２０へ転送するための中継ルーティング機能を備えていてもよい。また、各信号処理装置８１０は、互いに直接通信するためのアドホック機能を備えていてもよい。さらに、センサネットワークを構成する複数の信号処理装置８１０は、ツリー型のネットワークを構成していてもよいし、メッシュ型のネットワークを構成していてもよい。
【０２０１】
（信号処理装置のハードウェア構成例１）
本実施の形態に係る信号処理装置８１０のハードウェア構成例は、図６７に示すように表される。図６７に示すように、本実施の形態に係る信号処理装置８１０は、照度・音・加速度・傾斜などを検知するセンサエッジ（センサノード）であって、三次元センサ（５００）８１１と、メモリ８１２と、演算部８１３と、通信部８１４と、電源８１５とを備える。
【０２０２】
三次元センサ８１１は、監視対象物の物理量を時系列的に検知する。三次元センサ８１１の種類は特に限定されず、いかなる物理量を検知する三次元センサでも適用可能である。例えば、加速度センサ、ジャイロセンサ、音響センサ（マイクなど）の他、磁気センサ、電界センサ、電流センサ、電圧センサ、圧力センサ、流量センサ、温度センサ、照度センサ、湿度センサなど、様々なセンサを三次元センサ８１１として用いることができる。本実施の形態では、三次元センサ８１１を間欠動作させるのでなく常時動作させるようにしているため、物理量を常時検知しなければならない用途に好適である。図６７では、信号処理装置８１０内に１個の三次元センサ８１１しか示していないが、信号処理装置８１０は、複数個の三次元センサ８１１を備えていてもよい。
【０２０３】
三次元センサ８１１によって時系列的に検知された物理量（以下、「時系列データ」という。）は、メモリ８１２に一時的に記憶される。三次元センサ８１１がアナログ信号を出力するように構成されている場合、三次元センサ８１１の出力信号は、アナログフィルタ（不図示）によってフィルタ処理され、Ａ／Ｄ（Analog to Digital）コンバータ（不図示）によってデジタルデータに変換された後、メモリ８１２に記憶される。
【０２０４】
演算部８１３は、メモリ８１２に記憶された時系列データを用いて各種の演算を実施する。例えば、時系列データに対する１次側クレンジング、代表値算出、調整統計演算などを実施する。このような演算部８１３は、ＣＰＵ（Central Processing Unit）で構成される。メモリ８１２やその他の周辺装置（不図示）とともに、マイクロコントローラ（ＭＣＵ：Micro Control Unit）として構成されてもよい。
【０２０５】
通信部８１４は、演算部８１３の演算結果を狭帯域無線通信により上位側装置８４０に送信する通信モジュールである。この無線通信には、前述のＷｉ−ＳＵＮ等の通信方式が使用される。
【０２０６】
電源８１５は、信号処理装置８１０を構成する各要素８１１，８１２，８１３，８１４に駆動電圧を供給する。信号処理装置８１０は、外部から電源供給を受けずに、内部の電源８１５のみによって動作するように構成されているのが望ましい。例えば、電源８１５は、太陽電池と蓄電池によって構成されていてもよい。この場合、太陽電池の発電電力によって蓄電池が充電され、蓄電池の出力電圧によって信号処理装置８１０を構成する各要素８１１，８１２，８１３，８１４が駆動される。蓄電池の代わりにスーパーキャパシタ等も使用される。
【０２０７】
（信号処理装置のハードウェア構成例２）
本実施の形態に係る信号処理装置８１０の別のハードウェア構成例は、図６８に示すように表される。図６８に示すように、本実施の形態に係る信号処理装置８１０は、測定器８１からの外部信号を受信するセンシングエッジ（センシングノード）であって、ＡＤＣ８１６と、メモリ８１２と、演算部８１３と、通信部８１４と、電源８１５とを備える。測定器８１は、監視対象物の物理量を時系列的に測定する機器である。測定器８１は、図示しない三次元センサを備え、この三次元センサがアナログ信号を出力しているものとする。信号処理装置８１０側のＡＤＣ８１６は、測定器８１から出力されるアナログ信号をデジタル信号に変換するようになっている。その他の各要素８１２，８１３，８１４については図６７と同様である。なお、本構成例はセンシングエッジであるが、このセンシングエッジも、本実施の形態に係る信号処理装置８１０の一例であり、本実施の形態に係るワイヤレスセンサネットワークシステムの構成要件に含まれるものとする。
【０２０８】
以上説明したように、本実施の形態によれば、衛生的で、繊細な授粉が可能であり、処理の自動化が可能な人工授粉システム１、および、該人工授粉システム１に用いられる画像認識装置６００、並びにプログラムを提供することができる。
【０２０９】
[その他の実施の形態]
上記のように、実施の形態によって記載したが、この開示の一部をなす論述および図面は例示的なものであり、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなろう。
【０２１０】
例えば、本実施の形態に係る人口授粉システム１においては、イチゴ花を例として説明したが、イチゴ花に限定されるものではない。他家結実性を有するナシ、リンゴ、サクランボ、マスクメロン、マンゴーや、自家結実性を有するイネ、コムギ、ナシ（おさ二十世紀）、トマト、ナスなどにも適用可能である。
【０２１１】
また、単為結実性を有するトマト（多くの種類）、ミカン、カキ、ウメ、ブドウなどにも適用可能である。
【０２１２】
また、上記のプログラム（学習処理プログラム、画像処理プログラム）は、記録媒体に搭載されていても良い。
【０２１３】
このように、本実施の形態はここでは記載していない様々な実施の形態などを含む。
【産業上の利用可能性】
【０２１４】
本実施の形態の画像認識装置、人工授粉システム、およびプログラムは、農場や植物工場において、他家結実性、自家結実性、単為結実性を有する幅広い作物等の授粉に適用できる。
【符号の説明】
【０２１５】
１…人工授粉システム、
２…センサ対象、
８０…クラウドコンピューティングシステム、
８１…測定器、
９０…データサーバ、
１２０…データ管理部、
２１０…バッテリ、
２２０…スイッチングレギュレータ、
４００…加振装置（超音波集束装置）、
４１０…ＤＣジャック、
４１１・４１２…電源回路、
４２０…ＦＰＧＡボード、
４３０…ＵＳＢボード、
４４１…ドライバ回路、
４４２…超音波スピーカ（トランスデューサ）、
５００…三次元センサ（３Ｄカメラ）、
５００１…ＲｅａｌＳｅｎｓｅ、
５００２…Ｋｉｎｅｃｔ、
５００３…Ｓｅｎｚ３Ｄ
５１０…ＵＳＢポート、
６００…画像認識装置（パーソナルコンピュータ（ＰＣ））、
６１０、６１５…ＵＳＢポート、
６２０…ユーザインターフェース（Ｉ／Ｆ）、
６２１…カラー画像（ＸＹ画像）、
６２２…距離画像（Ｚ画像）、
６２３…イチゴ花認識画像、
６３０…画像処理部（花認識処理部）、
６４０…アーカイブ、
６５０、７５０…学習処理部、
６６０、７６０…学習データ、
７００…学習用サーバー、
７４０…アーカイブ、
８００…外部カメラ、
３００、３００Ａ、３００Ｂ、３００Ｃ、８５０…インターネット、
３２０…通信端末（センサノード）、
３２００…農場用無線センサネットワークシステム、
３２００1・３２００2・…・３２００m…農場用無線センサネットワークシステム、
３２０11・３２０12・…・３２０1n、３２０21・３２０22・…・３２０2n、・・・、３２０m1・３２０m2・…・３２０mn、３２０11・３２０12・…・３２０1n、３２０21・３２０22・…・３２０2n、・・・、３２０m1・３２０m2・…・３２０mn…センサノード、
３１０、３１０1・３１０2・３１０3・…・３１０m…ホスト、
３８０…クラウド、
８１０…信号処理装置、
８１１…三次元センサ、
８１２…メモリ、
８１３…演算部、
８１４…通信部、
８１５…電源、
８１６…Ａ／Ｄ（Analog to Digital）コンバータ（ＡＤＣ）、
８２０…ゲートウェイ、
８２１…狭帯域通信網、
８２２…広帯域通信網、
８３０…エッジサーバ、
８４０…上位側装置、
９００…センサネットワークシステム、
Ｇ１・Ｇ２・…・Ｇｉ・…・Ｇｎ…グループネットワークシステム、
Ｈ、Ｈ１…ホスト通信端末、
ＳＮ１・ＳＮ２・…・ＳＮｉ−１・ＳＮｉ・ＳＮｉ＋１・…・ＳＮｎ…センサノード通信端末
【図１】
2019191854.tif 000004
【図２】
2019191854.tif 000005
【図３】
2019191854.tif 000006
【図４】
2019191854.tif 000007
【図５】
2019191854.tif 000008
【図６】
2019191854.tif 000009
【図７】
2019191854.tif 000010
【図８】
2019191854.tif 000011
【図９】
2019191854.tif 000012
【図１０】
2019191854.tif 000013
【図１１】
2019191854.tif 000014
【図１２】
2019191854.tif 000015
【図１３】
2019191854.tif 000016
【図１４】
2019191854.tif 000017
【図１５】
2019191854.tif 000018
【図１６】
2019191854.tif 000019
【図１７】
2019191854.tif 000020
【図１８】
2019191854.tif 000021
【図１９】
2019191854.tif 000022
【図２０】
2019191854.tif 000023
【図２１】
2019191854.tif 000024
【図２２】
2019191854.tif 000025
【図２３】
2019191854.tif 000026
【図２４】
2019191854.tif 000027
【図２５】
2019191854.tif 000028
【図２６】
2019191854.tif 000029
【図２７】
2019191854.tif 000030
【図２８】
2019191854.tif 000031
【図２９】
2019191854.tif 000032
【図３０】
2019191854.tif 000033
【図３１】
2019191854.tif 000034
【図３２】
2019191854.tif 000035
【図３３】
2019191854.tif 000036
【図３４】
2019191854.tif 000037
【図３５】
2019191854.tif 000038
【図３６】
2019191854.tif 000039
【図３７】
2019191854.tif 000040
【図３８】
2019191854.tif 000041
【図３９】
2019191854.tif 000042
【図４０】
2019191854.tif 000043
【図４１】
2019191854.tif 000044
【図４２】
2019191854.tif 000045
【図４３】
2019191854.tif 000046
【図４４】
2019191854.tif 000047
【図４５】
2019191854.tif 000048
【図４６】
2019191854.tif 000049
【図４７】
2019191854.tif 000050
【図４８】
2019191854.tif 000051
【図４９】
2019191854.tif 000052
【図５０】
2019191854.tif 000053
【図５１】
2019191854.tif 000054
【図５２】
2019191854.tif 000055
【図５３】
2019191854.tif 000056
【図５４】
2019191854.tif 000057
【図５５】
2019191854.tif 000058
【図５６】
2019191854.tif 000059
【図５７】
2019191854.tif 000060
【図５８】
2019191854.tif 000061
【図５９】
2019191854.tif 000062
【図６０】
2019191854.tif 000063
【図６１】
2019191854.tif 000064
【図６２】
2019191854.tif 000065
【図６３】
2019191854.tif 000066
【図６４】
2019191854.tif 000067
【図６５】
2019191854.tif 000068
【図６６】
2019191854.tif 000069
【図６７】
2019191854.tif 000070
【図６８】
2019191854.tif 000071