(57)【要約】      （修正有）【課題】観察対象となる植物毎に個別に生育状況に係るセンシングデータとそれに関連付けされた画像データを得ることができる技術を提供する。【解決手段】分光計測機能を有する植物センサ１の計測範囲とカメラ（ビデオ）１１の撮影範囲とを重複させ、またその動作を同期させることで、対象となる植物Ｃｒの分光計１０によるセンシングデータと画像データとを同時に取得する。【選択図】図１
2017131116.tif 000002
【特許請求の範囲】
【請求項１】
植物を光学的にセンシングする植物用センサと、
前記植物用センサのセンシング範囲の少なくとも一部を撮影するカメラと
を備え、
前記植物用センサと前記カメラとが同期して動作することを特徴とする植物用センサ装置。
【請求項２】
前記植物用センサの光軸と前記カメラの光軸が同じ方向を向いていることを特徴とする請求項１に記載の植物用センサ装置。
【請求項３】
前記植物用センサが計測した前記植物の計測データと前記カメラが撮影した前記植物の画像データとが関連付けされて記憶される記憶装置を備えることを特徴とする請求項１または２に記載の植物用センサ装置。
【請求項４】
前記カメラが撮影した画像中に前記植物用センサがセンシングの対象とする植物が写っているか否かが判定され、
前記植物が前記画像中に写っている場合に前記植物用センサによる前記植物のセンシングが行われることを特徴とする請求項１〜３のいずれか一項に記載の植物用センサ装置。
【請求項５】
前記カメラは、前記植物を立体写真計測するためのステレオペア画像の撮影を行うことを特徴とする請求項１〜４のいずれか一項に記載の植物用センサ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、植物を観察する技術に関する。
【背景技術】
【０００２】
従来から、特許文献１に示すように、各種のセンサを用いて植物の生育状態や生育環境を観察する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２３００８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、センサによるデータと視覚的なデータとを同時に得ることができない。植物の育成状況の把握は、茎や葉の色、伸び具合、張り、瑞々しさといった視覚から得る情報による部分が大きい。
【０００５】
そこで本発明では、植物の観察において、観察対象となる植物毎に個別に生育状況に係るセンシングデータとそれに関連付けされた画像データを得ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、分光計測機能を有する植物センサの計測範囲とカメラ（ビデオ）の撮影範囲とを重複させ、またその動作を同期させることで、対象となる植物の分光計によるセンシングデータと画像データとを同時に取得する。
【０００７】
請求項１に記載の発明は、植物を光学的にセンシングする植物用センサと、前記植物用センサのセンシング範囲の少なくとも一部を撮影するカメラとを備え、前記植物用センサと前記カメラとが同期して動作することを特徴とする植物用センサ装置である。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、前記植物用センサの光軸と前記カメラの光軸が同じ方向を向いていることを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記植物用センサが計測した前記植物の計測データと前記カメラが撮影した前記植物の画像データとが関連付けされて記憶される記憶装置を備えることを特徴とする。
【００１０】
請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記カメラが撮影した画像中に前記植物用センサがセンシングの対象とする植物が写っているか否かが判定され、前記植物が前記画像中に写っている場合に前記植物用センサによる前記植物のセンシングが行われることを特徴とする。
【００１１】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記カメラは、前記植物を立体写真計測するためのステレオペア画像の撮影を行うことを特徴とする請求項１〜４のいずれか一項に記載の植物用センサ装置。
【００１２】
植物センサ装置としては、例えば、特開２０１２−２４７２３５号公報に記載された技術を利用可能である。好ましい態様として、植物センサ装置は、生育状況測定対象を照射すべく第１波長の第１測定光を出射する第１発光部と、前記生育状況測定対象を照射すべく第２波長の第２測定光を出射する第２発光部と、前記生育状況測定対象による前記各測定光の反射光を受光して受光信号を出力する受光部と、前記第１発光部からの出射と前記第２発光部からの出射とを異なるタイミングで発光制御する制御部と、前記第１発光部からの第１測定光の第１出射光路と、前記第２発光部からの第２測定光の第２出射光路と、を合流する光路合流手段と、該光路合流手段と、第１測定光および第２測定光を前記生育状況測定対象へ向けて出射する出射部と、を接続する共通出射光路とを備える。
【００１３】
前記共通出射光路は、少なくとも一部が光ファイバにより形成されていてもよい。前記光ファイバは、モードスクランブラ処理が施されていてもよい。前記出射部は、出射光軸に直交する平面で見て一方向のみに屈折力を持つ光学部材を有し、該光学部材は、前記出射光軸回りに回転可能に保持されていてもよい。前記共通出射光路は、前記光ファイバよりも前記出射部側に、通過する第１測定光および第２測定光の一部を測定光出力制御部へ向けて分岐する光束分岐手段を有していてもよい。
【発明の効果】
【００１４】
分光による成分数値の生育状態情報に、カメラ（ビデオ）による目視可能情報が関連付けされて記録され、作業現場に行かなくても生育状態を視覚的に把握できる。すなわち、カメラの画像データから、目視による観察対象植物の識別、当該植物の生育状態の把握が可能となり、同時に分光計測データから当該植物の生育状態を数値化した情報が得られる。このため、その場にいなくても現場に則した詳しい生育状態が把握できる。
【００１５】
例えば、作業未経験者であっても、記録された分光による成分数値の情報と画像データから、熟練者に状況判断をあおぐことができ、植物の生育に必要な知識を習得し植物生育に必要な技術、技能の上達が早められ、後継者育成にも役立てることができる。また、データを蓄積しておけば過去の状況を把握して、現在及び将来の作業計画に役立てる事が出来る。
【図面の簡単な説明】
【００１６】
【図１】実施形態の説明図である。
【図２】実施形態のブロック図である。
【図３】実施形態のブロック図である。
【発明を実施するための形態】
【００１７】
（第１の実施形態）
図１には、複合センサ１が示されている。複合センサ１は、分光計１０とカメラ１１を複合した構成を有している。分光計１０とカメラ１１は、分光計測を行なう範囲と撮影の範囲が少なくとも一部で重なる（好ましくは、極力一致する）ように同じ方向に向けて固定されている。分光計１０とカメラ１１は、同期して動作する。ここで、同期して動作するというのは、（１）同時に動作する場合、（２）時間差を持って動作するが分光計１０による分光の対象とカメラ１１による撮影の対象が同一である場合が挙げられる。要は、分光計１０による分光の対象とカメラ１１による撮影の対象が同一となるようにすることが重要である。分光計１０とカメラ１１は、トラクターＴＲに固定され、トラクターＴＲは移動しながら、複合センサ１を用いた植物Ｃｒの観察（分光測定と画像観察）を行う。
【００１８】
分光計１０は、第１測定光Ｐ１と第２測定光Ｐ２とを同一の照射領域に照射可能である。なお、この照射領域は、撮影範囲がＬのカメラ１１によって撮影される。分光計については、特開２０１２−２４７２３５号公報に記載された技術を利用可能である。
【００１９】
分光計１０は、第１測定光Ｐ１を発光する発光装置、第１測定光Ｐ１の反射光を検出する受光装置、第２測定光Ｐ２を発光する発光装置、第２測定光Ｐ２の反射光を検出する受光装置を備える。
【００２０】
第１測定光Ｐ１と第２測定光Ｐ２とは、互いに異なる波長に設定されている。第１測定光Ｐ１および第２測定光Ｐ２における波長とは、各測定光のスペクトルにおいて強度がピーク値となる波長をいう。例えば、第１測定光Ｐ１の波長として７３５ｎｍ、第２測定光Ｐ２の波長として８０８ｎｍが選択される。
【００２１】
分光計１０は、第１測定光Ｐ１および第２測定光Ｐ２を測定対象とする植物Ｃｒに照射し、その反射光を検出する。この反射光の検出情報に基づき、後述する計測部で第１測定光Ｐ１および第２測定光Ｐ２に対する植物Ｃｒから反射率を取得し、更に育成状態に関する情報が取得される。反射率は、照射光の光量と検出した反射光の光量を比較することで得られる。
【００２２】
第１測定光Ｐ１および第２測定光Ｐ２に対する植物Ｃｒの反射率に基づき、植物の生育状況を判断できる。例えば、第１測定光Ｐ１として赤の波長帯域の光を用い、第２測定光Ｐ２として赤外の波長帯域の光を用いて、植物Ｃｒの第１測定光Ｐ１および第２測定光Ｐ２に対するそれぞれの反射率を取得する。この赤の波長帯域の第１測定光Ｐ１の反射率（Ｒとする）と、赤外の波長帯域の第２測定光Ｐ２の反射率（ＩＲとする）と、を用いることにより、当該生育状況測定対象とする植物の生育状況（例えば、そこに含まれる栄養素の量）を示す正規化差植生指数（ＮＤＶＩ）を求めることができる。この正規化差植生指数は、（ＮＤＶＩ＝（ＩＲ−Ｒ）／（ＩＲ＋Ｒ））で表される。正規化差植生指数から、当該植物の育成状態を定量的に評価できる。例えば、予め特定の栄養素の含有量とＤＶＩの関係を取得しておくことで、計測値から得られたＮＤＶＩから当該栄養素の含有量を推定できる。
【００２３】
カメラ１１は、分光器１０と同じ方向に向けて固定されており、第１測定光Ｐ１と第２測定光Ｐ２が照射される領域と重なる領域Ｌを撮影する。撮影する画像は静止画でも動画でもよい。カメラ１１の光軸は、分光器１０の光軸と同じ方向に設定されている。カメラ１１は、分光器１０と同期して起動し、撮影を行う。すなわち、分光器１０が動作する際、カメラ１１が撮影を行い、分光計測する対象物の画像をカメラ１１が撮影する。この動作により、対象となる植物のＮＤＶＩ値と当該植物の画像データとが関連付けされた状態で得られる。
【００２４】
図１２には、複合センサ１の計測処理（ＮＤＶＩ値を得るための処理）と複合センサ１の動作制御を行う計測・制御部２００が示されている。計測・制御部２００は、コンピュータとして機能するハードウェアであり、計測部２０１、同期制御部２０２、記憶部２０３を備えている。計測・制御部２００は、専用のハードウェアで構成することも可能であるが、汎用のコンピュータに図示する機能部の機能を実行するプログラムをインストールし、当該コンピュータを計測・制御部２００として用いることも可能である。
【００２５】
計測部２０１は、分光器１０の出力に基づき測定対象物（植物Ｃｒ）の測定光に対する反射率の算出、当該反射率に基づく正規化差植生指数（ＮＤＶＩ）の算出を行う。同期制御部２０２は、分光器１０の動作（分光計測）とカメラ１１の動作（撮影動作）を同期して行うための制御を行う。例えば、分光器１０の計測を３秒間隔で行うように設定されている場合、その動作に同期してカメラ１１が撮影を行う制御が同期制御部２０２で行われる。
【００２６】
記憶部２０３は、計測・制御部２００で扱う各種のデータおよび計測・制御部２００で得られたデータを記憶する。また、計測制御部２００を動かすプログラムを記憶する。記録部２０３は、半導体メモリやハードディスク装置が用いられる。記憶部２０３として外部記憶手段を用いることもできる。記憶部２０３として、ＰＣ、モバイル機器、携帯電話等を用いることもできる。また、記憶部２０３として、ＵＳＢ半導体メモリ、携帯型ハードディスク装置等の専用の情報記憶装置を用いることもできる。
【００２７】
計測部２０１は、測定時刻、正規化差植生指数、対象となった植物の画像データを取得する。これらのデータは、互いに関連付けされて記憶部２０３に記憶される。例えば、記憶２０３には、カメラ１１が撮影した画像、各画像の撮影時刻、撮影された植物の正規化差植生指数が関連付けされて記憶される。
【００２８】
（変形例）
この例では、予め計測の対象となる植物の画像データを記憶部２０３に記憶しておく。そして、トラクターＴＲを走行させながら、カメラ１１は連続撮影（例えば、１秒間隔の撮影）を行う。カメラ１１が撮影した画像は、公知の画像解析技術およびマッチング処理技術を用いて解析され、予め記憶部２０３に記憶している計測対象植物の画像が当該撮影画像内に写っているか否かの判定が行われる。この判定は、計測部２０１で行われる。
【００２９】
カメラ１１が計測対象植物を撮影した場合に、それを契機として、カメラ１１に同期する形で分光器１０が動作し、当該計測対象植物の正規化差植生指数を取得する。
【００３０】
この態様によれば、複合センサ１の無駄な動作が抑制される。また、特定の植物を選択しての撮影とセンシングが可能となる。
【００３１】
（むすび）
本発明によれば、生育状況測定対象である植物等の単体毎の詳細な画像を分光分析で取得する画像と同期させ、または同軸に取得し記録することで、植物等の単体毎の可視画像を詳細に観察、検査することができ、作業現場に行かなくても生育状態を把握することができ、作業現場が山間部か、海岸近辺であるのか、現場に則した詳しい生育状態を把握することができ、また記録された分光による成分数値の情報と画像データから、作業未経験者が生育状況を改善させたいときに、熟練の作業者に状況判断をあおぐことができ、現在及び将来の作業計画に役立てることができるデータが得られる。
【００３２】
（第２の実施形態）
カメラを用いて異なる複数の視点からステレオ撮影を行うことで、撮影対象物の三次元位置情報を得ることができる（例えば、特開２０１３−１８６８１６号公報参照）。第１の実施形態では、トタクターＴＲが移動しながら、植物Ｃｒの撮影を特定の時間間隔で連続的に行う。この場合、異なる時刻に撮影した画像において、同じ植物Ｃｒが写っているものを複数選択し、この複数の画像の中の２つをステレオペア画像として、植物Ｃｒの立体計測を行なうことができる。植物Ｃｒの立体計測を行なうことで、植物Ｃｒの成育状態を計測できる。例えば、稲や麦の根元から先端までの長さの計測、キャベツやリンゴの直径の計測、茄子の立体形状の定量的な計測が可能となる。
【００３３】
通常の２次元画像からも植物の大凡の寸法の推定は可能である。しかしながら、例えばカメラの方向に向かって延びている茎の長さを２次元画像から推定することは誤差が大きく適切でない。これに対して、ステレオペア画像を用いた立体写真計測では、撮影対象各部の三次元座標が得られるので、２次元写真画像を用いた場合に比較して精度よく寸法の計測を行なえる。
【００３４】
図３には、本実施形態における計測・制御部３００のブロック図が示されている。計測・制御部３００は、図２の計測・制御部２００に画像を用いた三次計測の機能を付加したものである。計測・制御部３００は、図２に示す構成に加えてステレオ画像取得部２０４、特徴点抽出部２０５、対応関係特定部２０６、三次元位置算出部２０７および三次元モデル作成部２０８を備えている。
【００３５】
ステレオ画像取得部２０４、特徴点抽出部２０５、対応関係特定部２０６および三次元位置算出部２０７については、例えば特開２０１３−１８６８１６号公報に記載されている。また、三次元モデル作成部２０８については、例えば特開２０１２−２３０５９４号公報や特開２０１４−３５７０２号公報に記載されている。
【００３６】
以下、各機能部について簡単に説明する。なお、計測部２０１、同期制御部２０２および記憶部２０３については、図２で関連して説明したのと同じである。
【００３７】
ステレオ画像取得部２０４は、同一の植物Ｃｒを写した２つのペア画像をステレオペア画像として選択する。例えば、トラクターＴＲを移動させながら連続撮影した場合に、時間軸上で隣接する２枚の画像をステレオペア画像として選択する。この場合、選択されるステレオペア画像の両方に計測対象となる植物Ｃｒが写るようにトラクターＴＲの速度およびカメラ１１による撮影間隔を設定する。
【００３８】
特徴点抽出部２０５は、ステレオ画像取得部２０４が取得したステレオペア画像のそれぞれから特徴点の抽出を行う。対応関係特定部２０６は、それぞれ特徴点の抽出が行われたステレオペア画像間で対応する特徴点の特定を行う。
【００３９】
三次元位置算出部２０７は、ステレオペア画像間で対応関係が特定された特徴点の三次元位置の算出を行う。この処理は、三角測量の原理を用いて行われる。三次元モデル作成部２０８は、三次元位置が特定された特徴点に基づく三次元モデルの作成を行う。三次元モデル作成部２０８では、計測対象の植物Ｃｒの三次元モデルを作成する。
【００４０】
本実施形態において、カメラ１１と分光器１０は同期して動作する。この際、ステレオペア画像を構成する２つ画像（勿論、３以上の画像を用いて立体写真測量を行うことも可能である）の少なくとも一つの画像の撮影に同期して分光器１０による植物Ｃｒの分光計測が行われる。なお、カメラ１１による撮影と分光器１０による計測が同一の対象物に対して行われればよいので、この条件が満たされるのであれば、カメラ１１による撮影と分光器１０による計測のタイミングに多少のずれがあってもよい。
【００４１】
本実施形態によれば、植物Ｃｒの測定時刻、正規化差植生指数、画像データ、三次元モデルのデータが得られる。これらのデータは、互いに関連付けされて記憶部２０３に記憶される。例えば、記憶２０３には、カメラ１１が撮影した画像、各画像の撮影時刻、撮影された植物の正規化差植生指数、撮影された植物の三次元モデルが関連付けされて記憶される。
【００４２】
例えば、特定の間隔（１日間隔や３日間隔）でトラクターＴＲを走行させての計測を行ない、その都度、対象となる植物Ｃｒの画像、撮影時刻、正規化差植生指数、三次元モデルのデータを取得する。この場合、各データの時系列変化を見ることで、栄養状態の変化、茎の長さが実の大きさといった寸法の変化、画像から分かる色や見た目の状態の変化を総合的に見ることができる。
【００４３】
このデータは、インターネット回線等を利用して遠隔地に伝送できるので、植物Ｃｒを栽培する農地から離れた遠隔地で当該植物Ｃｒの育成状況の観察が可能となる。特に、三次元モデルは、画面上で回転させることができるので、視点を変えての植物Ｃｒの観察が可能となり、育成状態を立体的に把握することが可能となる。
【００４４】
本実施形態において、複数台（少なくとも２台）のカメラを用いてステレオ写真画像を得ることも可能である。この場合、ステレオペア写真を構成する２枚の写真画像が同時に得られる。また、植物Ｃｒを動画撮影し、この動画を構成するフレーム画像からステレオペア写真を構成する画像を抜き出してもよい。
【符号の説明】
【００４５】
１…複合センサ、１０…分光器、１１…カメラ、ＴＲ…トラクター、Ｃｒ…計測対象の植物。
【図１】
2017131116.tif 000003
【図２】
2017131116.tif 000004
【図３】
2017131116.tif 000005