(57)【要約】【課題】地上に存在している植物の葉の位置を高精度に特定できるようにする。【解決手段】  移動体１１に距離センサ３と撮像装置５を設ける。距離センサ３は各被計測点までの距離を計測する。撮像装置５は、各被計測点を含む領域を撮像する。データ処理装置９は、各計測時刻について、（Ａ）計測時刻で距離センサ３が計測した被計測点までの距離に基づいて、被計測点の位置を、距離センサ３に固定されたセンサ座標系の座標値で表し、（Ｂ）撮像時刻と当該計測時刻との間における移動体１１の動作変化量に基づいて、センサ座標系の座標値を、撮像時刻における撮像装置５に固定されたカメラ座標系の座標値に変換し、（Ｃ）変換した座標値が、撮像装置により得た画像において葉を示す画素に対応するかを判断し、葉を示す画素に対応すると判断された座標値を、地上に固定された静止座標系の座標値に変換する。【選択図】図１
2014202601.tif 000002
【特許請求の範囲】
【請求項１】
地上において植物の葉が存在している位置を計測する植物位置計測装置であって、
移動体に設定された基点から各計測方向にレーザ光を発することにより、各計測方向に存在する植物または他の物体上の各被計測点までの距離を計測する距離センサと、
前記各被計測点を含む領域を撮像する撮像装置と、を備え、
距離センサと撮像装置は、地上を移動する移動体に設けられており、
移動体の移動中に、距離センサにより、複数の計測時刻で距離計測を行い、
さらに、撮像時刻と各計測時刻との間における、移動体の向きと位置の変化量を求める動作量計測装置と、
距離センサにより計測した距離および計測方向と、撮像装置により得た画像と、動作量計測装置により得た前記変化量に基づいて、葉の位置を求めるデータ処理装置と、を備え、
データ処理装置は、各計測時刻について、
（Ａ）当該計測時刻で距離センサが計測した被計測点までの距離および計測方向に基づいて、被計測点の位置を、距離センサに固定されたセンサ座標系の座標値で表し、
（Ｂ）撮像時刻と当該計測時刻との間における前記変化量に基づいて、センサ座標系の前記座標値を、撮像時刻における撮像装置に固定されたカメラ座標系の座標値に変換し、
（Ｃ）変換した座標値が、撮像装置により得た画像において葉を示す画素に対応するかを判断し、
前記（Ｃ）で葉を示す画素に対応すると判断された前記座標値を、地上に固定された静止座標系の座標値に変換し、当該変換した座標値を葉の位置として記録する、ことを特徴とする植物位置計測装置。
【請求項２】
複数の計測時刻の間で、移動体の本体に対するセンサ座標系の姿勢が異なるように、移動体の本体に対して距離センサの姿勢が変更され、
データ処理装置は、前記（Ｂ）において、各計測時刻について、
距離センサが基準姿勢にある時のセンサ座標系を基準センサ座標系とし、当該計測時刻のセンサ座標系が基準センサ座標系に一致していない場合に、当該センサ座標系の前記座標値を、距離センサの当該計測時刻の移動体の本体に固定された本体座標系の座標値に変換し、
当該本体座標系の座標値を、撮像装置の撮像時刻の移動体の本体に固定された本体座標系の座標値に変換し、
当該本体座標系の座標値を、撮像時刻の撮像装置に固定されたカメラ座標系の座標値に変換する、ことを特徴とする請求項１に記載の植物位置計測装置。
【請求項３】
データ処理装置は、前記（Ｂ）において、各計測時刻について、
センサ座標系の前記座標値を、当該計測時刻の移動体の本体に固定された本体座標系の座標値に変換し、
当該本体座標系の座標値を、撮像時刻の移動体の本体に固定された本体座標系の座標値に変換し、
当該本体座標系の座標値を、撮像時刻の撮像装置に固定されたカメラ座標系の座標値に変換する、ことを特徴とする請求項１に記載の植物位置計測装置。
【請求項４】
地上において植物の葉が存在している位置を計測する植物位置計測方法であって、
移動体に設定された基点から各計測方向にレーザ光を発することにより、各計測方向に存在する植物または他の物体上の各被計測点までの距離を計測する距離センサと、
前記各被計測点を含む領域を撮像する撮像装置と、を地上を移動する移動体に設け、
移動体の移動中に、距離センサにより、複数の計測時刻で距離計測を行うとともに、撮像装置により撮像を行い、
撮像時刻と各計測時刻との間における、移動体の向きと位置の変化量を求め、
各計測時刻について、
（Ａ）当該計測時刻で距離センサが計測した被計測点までの距離および計測方向に基づいて、被計測点の位置を、距離センサに固定されたセンサ座標系の座標値で表し、
（Ｂ）撮像時刻と当該計測時刻との間における前記変化量に基づいて、センサ座標系の前記座標値を、撮像時刻における撮像装置に固定されたカメラ座標系の座標値に変換し、
（Ｃ）変換した座標値が、撮像装置により得た画像において葉を示す画素に対応するかを判断し、
前記（Ｃ）で葉を示す画素に対応すると判断された前記座標値を、地上に固定された静止座標系の座標値に変換し、当該変換した座標値を葉の位置として記録する、ことを特徴とする植物位置計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地上に存在する植物の葉の位置を計測する植物位置計測装置と方法に関する。
【背景技術】
【０００２】
植物の葉の位置を計測することにより、葉の位置の分布を取得し、この分布を、次のように用いることが望まれている。
（１）未舗装の地上を自律移動する車両やロボットは、植物の葉が存在する位置の分布に基づいて、当該位置が通過可能かどうかを判断する。これにより、植物の葉を、直ちに、通過不能な障害物として判定してしまうことを回避できる。
（２）葉の位置の分布を示す地図を、森林資源や防災などに利用できる。例えば、植物の葉が位置している山地を、森林資源が存在している領域として記録し、植物の葉が存在していない山地を土砂崩れが起きやすい領域として記録できる。
（３）畑において葉の位置の分布を示す地図を作成する。この地図に基づいて、作物が植えられている範囲外において、植物の葉が存在する位置を雑草の位置と認識できる。このような雑草の位置に基づいて、自律移動する農作業機械は、雑草を取り除くことができる。
【０００３】
植物の葉の検出に関する技術は、例えば、下記の特許文献１、２に記載されている。
【０００４】
特許文献１では、植物の葉から反射された太陽光を分光して受光し、分光された各光の受光強度に基づいて、植物の育成度を求めている。
【０００５】
特許文献２では、植物の葉で吸収されない第１波長域の光のみを透過させる光学フィルタを介して撮像した画像と、植物の葉で吸収される第２波長域の光のみを透過させる光学フィルタを介して撮像した画像とに基づいて、観測対象物が植物であるかを判別している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３１４２１５号公報
【特許文献２】特開２０１０−４４６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１のように検出した受光強度、または、特許文献２のように取得した画像データに基づいては、植物の位置を高精度に求めることができない。特許文献１では、植物の育成度を検出しているが、植物の葉の位置を厳密に検出していない。特許文献２のように、画像データに基づく葉の位置の検出では、位置検出の精度に限界がある。
【０００８】
そこで、本発明の目的は、地上に存在している葉の位置を高精度に特定できる植物位置計測装置と方法を提供することにある。
【課題を解決するための手段】
【０００９】
上述の目的を達成するため、本発明によると、地上において植物の葉が存在している位置を計測する植物位置計測装置であって、
移動体に設定された基点から各計測方向にレーザ光を発することにより、各計測方向に存在する植物または他の物体上の各被計測点までの距離を計測する距離センサと、
前記各被計測点を含む領域を撮像する撮像装置と、を備え、
距離センサと撮像装置は、地上を移動する移動体に設けられており、
移動体の移動中に、距離センサにより、複数の計測時刻で距離計測を行い、
さらに、撮像時刻と各計測時刻との間における、移動体の向きと位置の変化量を求める動作量計測装置と、
距離センサにより計測した距離および計測方向と、撮像装置により得た画像と、動作量計測装置により得た前記変化量に基づいて、葉の位置を求めるデータ処理装置と、を備え、
データ処理装置は、各計測時刻について、
（Ａ）当該計測時刻で距離センサが計測した被計測点までの距離および計測方向に基づいて、被計測点の位置を、距離センサに固定されたセンサ座標系の座標値で表し、
（Ｂ）撮像時刻と当該計測時刻との間における前記変化量に基づいて、センサ座標系の前記座標値を、撮像時刻における撮像装置に固定されたカメラ座標系の座標値に変換し、
（Ｃ）変換した座標値が、撮像装置により得た画像において葉を示す画素に対応するかを判断し、
前記（Ｃ）で葉を示す画素に対応すると判断された前記座標値を、地上に固定された静止座標系の座標値に変換し、当該変換した座標値を葉の位置として記録する、ことを特徴とする植物位置計測装置が提供される。
【００１０】
本発明の好ましい実施形態によると、複数の計測時刻の間で、移動体の本体に対するセンサ座標系の姿勢が異なるように、移動体の本体に対して距離センサの姿勢が変更され、
データ処理装置は、前記（Ｂ）において、各計測時刻について、
距離センサが基準姿勢にある時のセンサ座標系を基準センサ座標系とし、当該計測時刻のセンサ座標系が基準センサ座標系に一致していない場合には、当該センサ座標系の前記座標値を、距離センサの当該計測時刻の移動体の本体に固定された本体座標系の座標値に変換し、
当該本体座標系の座標値を、撮像装置の撮像時刻の移動体の本体に固定された本体座標系の座標値に変換し、
当該本体座標系の座標値を、撮像時刻の撮像装置に固定されたカメラ座標系の座標値に変換する。
【００１１】
また、データ処理装置は、前記（Ｂ）において、各計測時刻について、
センサ座標系の前記座標値を、当該計測時刻の移動体の本体に固定された本体座標系の座標値に変換し、
当該本体座標系の座標値を、撮像時刻の移動体の本体に固定された本体座標系の座標値に変換し、
当該本体座標系の座標値を、撮像時刻の撮像装置に固定されたカメラ座標系の座標値に変換してもよい。
【００１２】
また、本発明によると、地上において植物の葉が存在している位置を計測する植物位置計測方法であって、
移動体に設定された基点から各計測方向にレーザ光を発することにより、各計測方向に存在する植物または他の物体上の各被計測点までの距離を計測する距離センサと、
前記各被計測点を含む領域を撮像する撮像装置と、を地上を移動する移動体に設け、
移動体の移動中に、距離センサにより、複数の計測時刻で距離計測を行うとともに、撮像装置により撮像を行い、
撮像時刻と各計測時刻との間における、移動体の向きと位置の変化量を求め、
各計測時刻について、
（Ａ）当該計測時刻で距離センサが計測した被計測点までの距離および計測方向に基づいて、被計測点の位置を、距離センサに固定されたセンサ座標系の座標値で表し、
（Ｂ）撮像時刻と当該計測時刻との間における前記変化量に基づいて、センサ座標系の前記座標値を、撮像時刻における撮像装置に固定されたカメラ座標系の座標値に変換し、
（Ｃ）変換した座標値が、撮像装置により得た画像において葉を示す画素に対応するかを判断し、
前記（Ｃ）で葉を示す画素に対応すると判断された前記座標値を、地上に固定された静止座標系の座標値に変換し、当該変換した座標値を葉の位置として記録する、ことを特徴とする植物位置計測方法が提供される。
【発明の効果】
【００１３】
上述した本発明によると、距離センサと撮像装置との両方を用いるので、葉の位置を高精度に特定できる。すなわち、距離センサが計測した各被計測点までの距離に基づいて、各被計測点の位置を、距離センサに固定されたセンサ座標系の座標値で表し、センサ座標系で表わした被計測点の各座標値を、カメラ座標系の各座標値に変換し、変換した各座標値のうち、撮像装置により得た画像において葉を示す画素に対応する座標値を特定することにより、地上に存在している葉の位置を高精度に特定できる。
また、計測時刻毎に、計測時刻と撮像時刻との間における移動体の向きと位置の変化量に基づいて、センサ座標系の前記座標値を、撮像時刻における撮像装置に固定されたカメラ座標系の座標値に変換するので、地上に存在している葉の位置をより高精度に特定できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態による植物位置計測装置を示す。
【図２】撮像装置の構成例を示す。
【図３】本発明の実施形態による植物位置計測方法を示すフローチャートである。
【図４】座標変換の説明図である。
【図５】本発明の実施形態による効果の説明図である。
【発明を実施するための形態】
【００１５】
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【００１６】
図１は、本発明の実施形態による植物位置計測装置１０を示す。
【００１７】
植物位置計測装置１０は、距離センサ３と、撮像装置５と、動作量計測装置７と、データ処理装置９とを備える。
【００１８】
距離センサ３と撮像装置５と動作量計測装置７とは、移動体１１に設置される。データ処理装置９は、好ましくは、移動体１１に設置される。データ処理装置９を移動体１１に設置しない場合には、例えば、データ処理装置９は、距離センサ３と撮像装置５と動作量計測装置７とから無線によりデータを受ける。なお、移動体１１は、図１の例では、地上に接触して回転駆動される車輪により地上を移動する車両であるが、歩行する脚を有するロボットや、クローラにより地上を走行する走行体などの他の移動体であってもよい。
【００１９】
距離センサ３は、基点Ｐａを含む平面を走査面として、レーザ光を、基点Ｐａから、走査面内に含まれる各計測方向に発することにより、各計測方向に存在する植物または他の物体上の各被計測点までの距離を計測する。
【００２０】
距離センサ３は、複数の計測時刻で距離計測を行う。複数の計測時刻の間で、移動体１１の本体１１ａに対する距離センサ３の姿勢（すなわち、本体１１ａに固定された基準線に対する、距離センサ３に固定された基準線の向き）が基準姿勢から変更されることにより、前記走査面の向きを変更してよい。例えば、図１に示すように、図１の紙面と垂直で、基点Ｐａを通る回転軸回りに、本体１１ａに対して、距離センサ３を揺動させることにより、本体１１ａに対する距離センサ３の姿勢を変更する。このようにして、各計測時刻の間で、レーザ光が進行する走査面が異なるようにする。例えば、これらの走査面は、図１において、それぞれ、破線Ｘ１、Ｘ２、Ｘ３、Ｘ４で表わされており、これらの走査面Ｘ１、Ｘ２、Ｘ３、Ｘ４は、図１の紙面に直交する。
距離センサ３による計測方向は、好ましくは、移動体１１の進行方向側を向く。この場合、移動体１１の進行方向に対する左右方向に関して、距離センサ３による計測範囲（視野角）は、撮像装置５による撮像範囲（視野角）よりも広くなるように設定されている。
【００２１】
撮像装置５は、距離センサ３が計測した各被計測点を含む領域を撮像する。撮像装置５による撮像方向は、移動体１１の進行方向側を向き、かつ、水平方向から下方に傾く方向である。撮像装置５による撮像範囲（視野角）は、例えば、左右に６０度である。なお、撮像装置５による撮像範囲に、距離センサ３により距離が計測される複数の被計測点の少なくとも一部が含まれる。
【００２２】
撮像装置５は、図２に示すように、第１フィルタ１３を介して、前記領域を撮像することにより第１画像を生成する第１撮像部５ａと、第２フィルタ１５を介して、前記領域を撮像することにより第２画像を生成する第２撮像部５ｂと、を有する。
第１フィルタ１３は、第１波長域に含まれる波長範囲の光を透過させる。好ましくは、第１フィルタ１３は、第１波長域に含まれる波長範囲の光のみを透過させる。ここで、第１波長域は、植物の葉（すなわち、クロロフィル）で反射される光の波長域である。具体的には、第１波長域は、８００ｎｍ〜１２００ｎｍの波長域であり、８００ｎｍと１２００ｎｍを含む。また、第１波長域に含まれる前記波長範囲は、好ましくは、１００ｎｍ以上の幅を有する。
第２フィルタ１５は、第２波長域に含まれる波長範囲の光を透過させる。好ましくは、第２フィルタ１５は、第２波長域に含まれる波長範囲の光のみを透過させる。ここで、第２波長域は、植物の葉（すなわち、クロロフィル）で吸収される光の波長域である。具体的には、第２波長域は、６００ｎｍ〜６８０ｎｍの波長域であり、６００ｎｍと６８０ｎｍを含む。この場合、第２波長域に含まれる前記波長範囲は、最大で８０ｎｍの幅を有する。好ましくは、第１フィルタ１３は、３０ｎｍ以上、１００ｎｍ以下の幅を有する前記波長範囲の光を透過させるものであってよい。
【００２３】
第１撮像部５ａは、前記領域からの光を第１フィルタ１３を介して受ける撮像面１７を有する。この撮像面１７には、多数のＣＣＤ受光素子が２次元状に配列されている。第１撮像部５ａは、受けた光に応じた第１画像（この例では、２次元画像）を生成する。第２撮像部５ｂは、前記領域からの光を第２フィルタ１５を介して受ける撮像面１９を有する。この撮像面１９には、多数のＣＣＤ受光素子が２次元状に配列されている。第２撮像部５ｂは、受けた光に応じた第２画像（この例では、２次元画像）を生成する。
【００２４】
動作量計測装置７は、距離センサ３の各計測時刻と撮像装置５の撮像時刻との間における移動体１１の向きと位置の変化量を求める。
詳しくは、動作量計測装置７は、距離センサ３による計測時刻の移動体１１の向きに対する、撮像装置５による撮像時刻の移動体１１の相対的な向きと、距離計測時の移動体１１の位置に対する撮像時刻の移動体１１の相対的な位置と、を前記変化量として求める。なお、移動体１１の向きとは、例えば、移動体１１の中心点から見た、移動体１１の前方部に設定された基準点の方向である。
【００２５】
動作量計測装置７は、計測部７ａと演算部７ｂとを有する。
【００２６】
計測部７ａは、距離計測時刻と撮像時刻との間の期間に含まれる各時刻（例えば、距離計測時刻と撮像時刻との中間の時刻を含む各時刻）、および、距離計測時刻と撮像時刻において、移動体１１の向きと移動体１１の移動速度を計測する。計測部７ａは、例えば、移動体１１が、地上を転動することにより移動する車輪を有する場合には、動作量計測装置７は、この車輪の回転速度を計測し、この回転速度から移動体１１の移動速度を演算する。また、計測部７ａは、移動体１１に設置されたジャイロセンサを用いて、移動体１１の向き（進行方向）を検出する。
【００２７】
演算部７ｂは、計測部７ａにより計測した各時刻における移動体１１の向きと移動速度とに基づいて、距離計測時の移動体１１の向きに対する、撮像時刻の移動体１１の相対的な向きと、距離計測時の移動体１１の位置に対する撮像時刻の移動体１１の相対的な位置と、を求める。
【００２８】
データ処理装置９は、好ましくは移動体１１に設置される。データ処理装置９は、距離センサ３が計測した距離と撮像装置５が撮像した画像とに基づいて、葉の位置を求める。
【００２９】
データ処理装置９は、各計測時刻について、次の処理（Ａ）〜（Ｃ）を行う。
（Ａ）当該計測時刻で距離センサ３が計測した計測方向と、該計測方向に存在する被計測点までの距離とに基づいて、被計測点の位置を、距離センサ３に固定されたセンサ座標系の座標値で表す。
（Ｂ）撮像時刻と当該計測時刻との間における、動作量計測装置７が計測した前記変化量に基づいて、センサ座標系の前記座標値を、撮像時刻における撮像装置５に固定されたカメラ座標系の座標値に変換する。
（Ｃ）変換した座標値が、撮像装置５が撮像により得た画像データにおいて葉を示す画素に対応するかを判断する。
【００３０】
データ処理装置９は、さらに、前記各計測時刻について前記（Ｃ）で葉を示す画素に対応すると判断した座標値を、地上に固定された静止座標系の座標値に変換し、当該変換した座標値を葉の位置として記録する。
【００３１】
図３は、本発明の実施形態による植物位置計測方法を示すフローチャートである。
【００３２】
この方法は、植物位置計測装置１０により行われる。また、この方法は、ステップＳ１〜Ｓ８を有する。ステップＳ１〜Ｓ８の間、移動体１１は、地上を移動し続けていてよい。
【００３３】
ステップＳ１において、距離センサ３により、基点Ｐａから、走査面内に含まれる各計測方向にレーザ光を発することにより、各計測方向に存在する植物または他の物体上の各被計測点までの距離を計測する。
各計測方向において計測した距離と、当該計測方向とは、互いに対応づけられた状態で、計測データとして、データ処理装置９の記憶部に蓄積される。
【００３４】
ステップＳ２において、動作量計測装置７の計測部７ａにより、ステップＳ１を行った時の移動体１１の位置と向きを計測する。これについて、計測される移動体１１の位置と向きは、地上に固定された静止座標系で表されたものである。
【００３５】
一方、ステップＳ３において、後述するように複数回行われたステップＳ１で計測された（後述の変更例１では、これから行われる複数回のステップＳ１で計測される）各被計測点を含む領域を撮像する。
【００３６】
次いで、ステップＳ４において、動作量計測装置７により、ステップＳ３を行った時の移動体１１の位置と向きを計測する。これについて、計測される移動体１１の位置と向きは、静止座標系で表されたものである。
【００３７】
ステップＳ３の撮像は、時間の間隔をおいて行われる。ステップ３を行ってから次のステップＳ３を行うまでに、複数回のステップＳ１が行われる。なお、各ステップＳ３において、第１撮像部５ａにより第１画像を取得し、第２撮像部５ｂにより第２画像を取得する。すなわち、各ステップＳ３により、第１画像と第２画像とからなる画像データを得る。
【００３８】
上述したステップＳ２の次に、ステップＳ５を行う。ステップＳ５において、ステップＳ３の撮像が行われたかを判断する。ステップＳ５の判断が、「いいえ」の場合には、ステップＳ１に戻る。
【００３９】
ステップＳ１に戻ったら、このステップＳ１は、前回のステップＳ１の場合から、移動体１１の本体１１ａに対する前記走査面の向きを異ならせた状態で行われる。これにより、距離センサ３でより広い範囲を計測することができる。
【００４０】
ステップＳ５の判断が、「はい」となった場合には、ステップＳ１を繰り返すことにより計測した各計測方向における被計測点までの距離および当該計測方向からなる計測データと、直前のステップＳ３で撮像装置５により得た画像データに対して、ステップＳ６〜Ｓ８の処理を行う。
その一方で、ステップＳ５の判断が、「はい」となったら、再び、ステップＳ１に戻って、上述と同様に、ステップＳ１、Ｓ２、Ｓ５を繰り返すとともに、次のステップＳ３が、上述のように前回のステップＳ３から時間の間隔をおいて行われる。これにより、再び、ステップＳ５の判断が「はい」となった時には、新たな前記計測データと前記画像データが得られる。この新たな計測データと画像データに対して、ステップＳ６〜Ｓ８の処理を再び行う。
以降も、同様に、新たな前記計測データと前記画像データを取得し、この新たな計測データと画像データに対して、ステップＳ６〜Ｓ８の処理を再び行う。
【００４１】
ステップＳ６において、データ処理装置９により、前記画像データにおいて葉を示す画素を特定する。ステップＳ６は、次のようなステップＳ６１、Ｓ６２を有する（ステップＳ６の詳細は、例えば特許文献２を参照）。
【００４２】
ステップＳ６１において、第１画像の各画素について、該画素の輝度をＡとし、前記領域において該画素と同じ位置に相当する第２画像の画素の輝度をＢとし、データ処理装置９により、輝度Ａに対する輝度Ｂの比率Ｂ／Ａを求める。
【００４３】
ステップＳ６２において、データ処理装置９により、第１画像または第２画像において、前記比率Ｂ／Ａに基づいて、第１画像または第２画像における植物の葉の位置を特定する。ここでは、第１画像または第２画像において、比率Ｂ／Ａがしきい値以上となる画素の位置を、第１画像または第２画像における植物の葉を示す位置として特定する。
【００４４】
計測データのうち、各計測時刻で得たデータ毎に、ステップＳ７が行われる。
すなわち、計測データが、ｎ個の計測時刻で得たデータである場合には、１番目の計測時刻で得た計測方向における被計測点までの距離と当該計測方向とのデータに対してステップＳ７が行われ、２番目の計測時刻で得た計測方向における被計測点までの距離と当該計測方向とのデータに対してステップＳ７が行われ、このように続けて、最後に、ｎ番目の計測時刻で得た計測方向における被計測点までの距離と当該計測方向とのデータに対してステップＳ７が行われる。
【００４５】
ステップＳ７は、ステップＳ７１〜Ｓ７４を有する。
【００４６】
ステップＳ７１において、動作量計測装置７の演算部７ｂにより、対象の計測時刻と撮像時刻との間における移動体１１の位置と向きの変化量を演算する。
この演算は、ステップＳ２で計測した対象の計測時刻における移動体１１の位置および向きと、ステップＳ４で計測した対象の撮像時刻における移動体１１の位置および向きとに基づいて行われる。
【００４７】
ステップＳ７２において、データ処理装置９により、対象の計測時刻で距離センサ３が計測した計測方向と、該計測方向における被計測点までの距離とに基づいて、被計測点の位置を、対象の計測時刻における距離センサ３に固定されたセンサ座標系の座標値で表す。
このセンサ座標系は、移動体１１の移動により静止座標系（すなわち、地上）に対して移動する。ステップＳ７２で用いられるセンサ座標系は、対象の計測時刻における座標系であり、この計測時刻で、静止座標系のある点にその原点が位置している。
【００４８】
ステップＳ７３において、データ処理装置９により、ステップＳ７１で求めた前記変化量に基づいて、ステップＳ７２で得たセンサ座標系の前記座標値を、撮像時刻における撮像装置５に固定されたカメラ座標系の座標値に変換する。
このカメラ座標系は、移動体１１の移動により静止座標系（すなわち、地上）に対して移動する。ステップＳ７３で用いられるカメラ座標系は、対象の撮像時刻における座標系であり、この撮像時刻で、静止座標系のある点にその原点が位置している。
【００４９】
ステップＳ７４において、データ処理装置９により、ステップＳ７３で変換した座標値が、ステップＳ６により、葉の位置として特定した、前記画像データ（第１画像または第２画像）の画素に対応するかを判断する。
【００５０】
計測データに含まれるすべての計測時刻で得たデータに対して、ステップＳ７が行われる。これにより、ステップＳ７４において、データ処理装置９により、ステップＳ７３で変換した座標値のうち、ステップＳ６により、葉の位置として特定した、前記画像データ（第１画像または第２画像）の画素に対応する座標値を特定する。その後、ステップＳ８へ進む。
【００５１】
ステップＳ７３を、図４に基づいて説明する。
【００５２】
図４において、符号ｔは、撮像時刻を示し、符号（ｔ＋Δｔｉ）は、対象としている計測時刻を示す。ここで、Δｔｉの添え字ｉは、１つの撮像時刻ｔ（すなわち、直前のステップＳ３を行った時刻）に対して互いに異なる複数の計測時刻を識別するためのものであり、１つの撮像時刻ｔに対してｎ個の計測時刻がある場合には、ｉは、１〜ｎのいずれかである。本実施形態では、Δｔｉは負の値であるのに対し、後述の変更例では、正の値であるか、または、正と負の両方の値を含む。各座標系ＳＬ０、ＳＬ１、ＳＣ、ＳＢは、地上に固定された静止座標系ＳＳに対する移動体１１の移動により、静止座標系ＳＳに対して移動する。従って、添え字ｔが付された座標系は、撮像時刻ｔにおける座標系であり、この撮像時刻ｔで、静止座標系ＳＳのある点にその原点が位置している。同様に、添え字（ｔ＋Δｔｉ）が付された座標系は、対象の計測時刻（ｔ＋Δｔｉ）における座標系であり、この計測時刻（ｔ＋Δｔｉ）で、静止座標系ＳＳのある点にその原点が位置している。また、距離センサ３が基準姿勢にある時のセンサ座標系を基準センサ座標系ＳＬ０とし、計測時刻（ｔ＋Δｔｉ）のセンサ座標系をＳＬ１で表わす。
【００５３】
ステップＳ７３では、データ処理装置９により、下記のように、（１）〜（６）の座標変換を行う。
【００５４】
（１）対象とする計測時刻（ｔ＋Δｔｉ）のセンサ座標系ＳＬ１，ｔ＋Δｔｉが基準センサ座標系ＳＬ０，ｔ＋Δｔｉに一致していない場合には、対象の計測時刻（ｔ＋Δｔｉ）におけるセンサ座標系ＳＬ１，ｔ＋Δｔｉの前記座標値を、それぞれ、基準センサ座標系ＳＬ０，ｔ＋Δｔｉの座標値へ座標変換する。この座標変換は、後述する行列ＴＬＲＦ−ＬＲＦ（θ）により行われる。
ここで、センサ座標系ＳＬ１，ｔ＋Δｔｉは、距離センサ３に固定された座標系であって、本体１１ａから見た座標系である。したがって、本体１１ａに対するセンサ座標系ＳＬ１，ｔ＋Δｔｉの姿勢は、本体１１ａに対する距離センサ３の姿勢（すなわち、本体１１ａに固定された基準線に対する、距離センサ３に固定された基準線の向き）を意味する。
【００５５】
（２）この基準センサ座標系ＳＬ０，ｔ＋Δｔｉの前記座標値を、それぞれ、対象とする計測時刻（ｔ＋Δｔｉ）におけるカメラ座標系ＳＣ，ｔ＋Δｔｉの座標値へ座標変換する。この座標変換は、後述する行列ＴＣＡＭ−ＬＲＦにより行われる。
【００５６】
（３）このカメラ座標系ＳＣ，ｔ＋Δｔｉの前記座標値を、それぞれ、対象とする計測時刻（ｔ＋Δｔｉ）における移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔ＋Δｔｉの座標値へ座標変換する。この座標変換は、後述する行列ＴＢＯＤＹ−ＣＡＭにより行われる。
【００５７】
（４）この本体座標系ＳＢ，ｔ＋Δｔｉの前記座標値を、それぞれ、地上に固定された静止座標系ＳＳの座標値へ座標変換する。この座標変換は、後述する行列ＴＥＡＲＴＨ−ＢＯＤＹ（ｔ＋Δｔｉ）により行われる。
【００５８】
（５）この静止座標系ＳＳの前記座標値を、撮像時刻ｔにおける移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔの座標値へ座標変換する。この座標変換は、後述する行列ＴＢＯＤＹ−ＥＡＲＴＨにより行われる。
【００５９】
（６）この本体座標系ＳＢ，ｔの座標値を、それぞれ、撮像時刻ｔにおける撮像装置５に固定されたカメラ座標系ＳＣ，ｔの座標値へ座標変換する。この座標変換は、後述する行列ＴＣＡＭ−ＢＯＤＹにより行われる。
【００６０】
すなわち、ステップＳ７３では、次の式による演算を行う。
ＶＣＡＭ，ｔ＝ＴＣＡＭ−ＢＯＤＹＴＢＯＤＹ−ＥＡＲＴＨＴＥＡＲＴＨ−ＢＯＤＹ（ｔ＋Δｔｉ）ＴＢＯＤＹ−ＣＡＭＴＣＡＭ−ＬＲＦＴＬＲＦ−ＬＲＦ（θ）ＶＬＲＦ（θ，ｔ＋Δｔｉ）
【００６１】
この式における各記号は、次のように定義される。
ＶＬＲＦ（θ，ｔ＋Δｔｉ）：対象とする計測時刻（ｔ＋Δｔｉ）におけるセンサ座標系ＳＬ０，ｔ＋Δｔｉの前記座標値である。
ＴＬＲＦ−ＬＲＦ（θ）：前記（１）の座標変換を表わす行列である。
ＴＣＡＭ−ＬＲＦ：前記（２）の座標変換を表わす行列である。
ＴＢＯＤＹ−ＣＡＭ：前記（３）の座標変換を表わす行列である。
ＴＥＡＲＴＨ−ＢＯＤＹ（ｔ＋Δｔｉ）：前記（４）の座標変換を表わす行列である。
ＴＢＯＤＹ−ＥＡＲＴＨ：前記（５）の座標変換を表わす行列である。
ＴＣＡＭ−ＢＯＤＹ：前記（６）の座標変換を表わす行列である。
ＶＣＡＭ，ｔ：対象とする撮像時刻ｔにおけるカメラ座標系ＳＣ，ｔの前記座標値である。
【００６２】
各行列は、適宜の手段により求められる。例えば、各行列は、次のように求められる。ＴＬＲＦ−ＬＲＦ（θ）は、計測時刻（ｔ＋Δｔｉ）における本体１１ａに対する距離センサ３の向きを適宜の手段で計測することにより求められる。ＴＣＡＭ−ＬＲＦは、基準姿勢にある距離センサ３と撮像装置５との位置および向きの関係に基づいて求められる。ＴＢＯＤＹ−ＣＡＭおよびＴＣＡＭ−ＢＯＤＹは、撮像装置５と本体１１ａとの位置および向きの関係に基づいて求められる。なお、本体１１ａに対する撮像装置５の向きが変化する場合には、ＴＢＯＤＹ−ＣＡＭおよびＴＣＡＭ−ＢＯＤＹは、さらに、それぞれ、計測時刻（ｔ＋Δｔｉ）および撮像時刻ｔにおける撮像装置５と本体１１ａとの向きの関係を適宜の手段で計測することにより求められる。ＴＥＡＲＴＨ−ＢＯＤＹ（ｔ＋Δｔｉ）は、静止座標系ＳＳにおける、計測時刻（ｔ＋Δｔｉ）での本体１１ａの位置と向きに基づいて求められる。ＴＢＯＤＹ−ＥＡＲＴＨは、静止座標系ＳＳにおける、撮像時刻ｔでの本体１１ａの位置と向きに基づいて求められる。
【００６３】
好ましくは、前記（４）および前記（５）の座標変換（ＴＥＡＲＴＨ−ＢＯＤＹ（ｔ＋Δｔｉ）およびＴＢＯＤＹ−ＥＡＲＴＨ）は、地上（地面または水平面）に対する本体１１ａの向きを反映させて行う。この場合、地上（例えば水平面）に対する本体１１ａの向きを計測する適宜のセンサを本体１１ａに設けてよく、このセンサにより、地上に対する本体１１ａの向きの計測値を、ＴＥＡＲＴＨ−ＢＯＤＹ（ｔ＋Δｔｉ）およびＴＢＯＤＹ−ＥＡＲＴＨに反映させる。
これにより、地上に対する本体１１ａの位置と向きを考慮した前記（４）および前記（５）の座標変換を行うことができる。
【００６４】
ステップＳ７４をより詳しく説明する。
【００６５】
ステップＳ７４において、画像データ（第１画像または第２画像）は、２次元座標系において配列された多数の画素により構成される。この例では、この２次元座標系の座標軸は、互いに直交するｕ軸とｖ軸であり、この２次元座標系における各画素ｋ（ｋは、画素の番号を示す）の位置を、ｕ座標値ｕ（ｋ）とｖ座標値ｖ（ｋ）で表わす。また、この例では、カメラ座標系ＳＣ，ｔは、互いに直交するｘ軸とｙ軸とｚ軸を有する３次元座標系である。この３次元座標系において、画素ｋに対応する被計測位置は、ｘ座標値ｘ（ｋ）とｙ座標値ｙ（ｋ）とｚ座標値ｚ（ｋ）で表わされる。
【００６６】
この場合、前記２次元座標系に配列された各画素の位置を示す座標値ｕ（ｋ）、ｖ（ｋ）と、カメラ座標系の座標値ｘ（ｋ）、ｙ（ｋ）、ｚ（ｋ）とは、次の式により対応づけられる。
ｕ（ｋ）＝−ｆｕｙ（ｋ）／ｘ（ｋ）＋Ｃｕ
ｖ（ｋ）＝−ｆｖｚ（ｋ）／ｘ（ｋ）＋Ｃｖ
ここで、ｆｕとｆｖは、撮像装置５の焦点距離に関するパラメータであり、Ｃｕ、Ｃｖは、撮像装置５の光軸に関するパラメータである。
【００６７】
ステップＳ８において、データ処理装置９により、前記各計測時刻についてステップＳ７４で、葉の位置として特定した座標値を、地上に固定された静止座標系の座標値に変換し、当該変換した座標値を葉の位置として記録する。ここで、地上に固定された静止座標系が、水平方向を向いて互いに直交するｘ軸とｙ軸と、鉛直方向を向くｚ軸とを有する直交座標系であり、さらに、この直交座標系を鳥瞰図による２次元座標系に変換する場合には、当該直交座標系において、葉の位置として特定されている位置のｘ座標値とｙ座標値により、当該２次元座標系において葉の位置を示す。
【００６８】
以下、本発明の実施形態による効果を説明する。
【００６９】
図５は、本発明の実施形態による効果の説明図である。
図５（Ａ）のように、カメラを地表面より上方に配置して、斜め下方を向く方向に、植物の葉を撮像する場合を想定する。この場合、撮像により得た画像に基づいて、葉の位置の分布を示す鳥瞰図を作成すると、図５（Ｂ）の斜線で示す植物の分布が得られる。この分布の水平方向の長さは、Ｌａとなり、実際の長さＬｂより大きくなってしまう。
これに対し、本発明の実施形態では、計測方向と撮像方向は、図５（Ａ）のカメラと同じであるが、精度よく、葉の位置の分布の水平方向における長さを得ることができる。本実施形態では、図５（Ａ）のカメラのように、斜め下方を向く方向に、距離センサ３による計測と撮像装置５による撮像を行う。ところが、本実施形態では、距離センサ３により、３次元的な位置を計測できるので、図５（Ｃ）の斜線で示す植物の分布が得られる。この分布の水平方向の長さは、実際の長さＬｂに精度よく一致する。
例えば、撮像装置５（カメラ）が地上から２．２ｍの高さに位置し、植物の高さが地上から０．２ｍであり、撮像装置５から植物までの水平距離が１０ｍである場合には、次のようになる。図５（Ｂ）においては、誤差Ｌａ−Ｌｂは、１ｍになる。これに対し、本発明の実施形態の図５（Ｃ）においては、誤差Ｌａ−Ｌｂは発生せず、誤差が発生するとしても、その誤差は、距離センサ３による小さい距離計測誤差（例えば数ｃｍ程度）になる。
【００７０】
しかも、計測時刻毎に、計測時刻と撮像時刻との間における移動体の向きと位置の変化量に基づいてセンサ座標系ＳＬ０，ｔ＋Δｔｉの前記座標値を、撮像時刻における撮像装置５に固定されたカメラ座標系ＳＣ，ｔの座標値に変換するので、地上に存在している葉の位置を高精度に特定できる。よって、地上に存在している葉の分布を高精度に求めることができる。
【００７１】
また、地上（地面または水平面）に対する移動体１１の位置と向きの変化による誤差を以下のように回避して、高精度に葉の分布を求めることができる。
例えば、距離センサ３が、１００Ｈｚで計測（すなわち、１秒で１００個の被計測点までの距離を計測）し、撮像装置５が１０Ｈｚで撮像（すなわち、１秒で１０個の画像を取得する）場合、距離センサ３による計測時刻と、撮像装置５による撮像時刻との時間差が９０ミリ秒になりえる。
この場合、上述の時間差の間に、移動体１１が、５０ｋｍ／秒の速度で移動していた場合には、移動体１１の移動距離１．２５ｍが誤差になる。これに対し、上述の実施形態では、この誤差を、前記（１）〜（６）の座標変換により回避できる。
また、上述の時間差の間に、本体１１ａの向きが、１０度/秒の速度で地面または水平面に対して変化していた場合には、距離センサ３と撮像装置５の向きの変化量０．９度が誤差になる。これに対し、上述の実施形態では、この誤差を、前記（１）〜（６）の座標変換により回避できる。
【００７２】
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、以下の変更例１〜４のいずれかを単独で採用してもよいし、変更例１〜４を適宜に組み合わせて採用してもよい。この場合、以下で説明しない点は、上述と同じである。
【００７３】
（変更例１）
図３の方法の開始において、ステップＳ３を開始した後に、ステップＳ１を開始してもよい。この場合、ステップＳ３を行うことによりステップＳ５の判断が、「はい」となったら、当該ステップＳ３で得た画像データと、当該ステップＳ３の後、次のステップＳ３が行われるまでの間に複数回行われたステップＳ１で得た計測データとに対して、ステップＳ６〜Ｓ８が行われてもよい。
代わりに、図３の方法の開始において、ステップＳ３を開始した後に、ステップＳ１を開始する場合に、ステップＳ３を行うことによりステップＳ５の判断が、「はい」となったら、当該ステップＳ３で得た画像データと、計測データとに対して、ステップＳ６〜Ｓ８が行われてもよい。この計測データは、当該画像データを得たステップＳ３と、当該ステップＳ３の直前に行われたステップＳ３との中間時刻（中間時点）から、当該画像データを得たステップＳ３の次のステップＳ３との中間時刻（中間時点）までの間に複数回行われたステップＳ１で得たデータであってよい。
【００７４】
（変更例２）
上述では、距離センサ３は、基点Ｐａを含む平面を走査面として、レーザ光を、基点Ｐａから、走査面内に含まれる各計測方向に発することにより、各計測方向に存在する植物または他の物体上の各被計測点までの距離を計測したが、本発明は、これに限定されない。すなわち、本発明によると、距離センサ３による距離計測の方法は、上述の方法（走査面内の複数方向にレーザ光を射出するライン走査）に限定されず、距離センサ３は、各計測方向に存在する植物または他の物体上の各被計測点までの距離を計測できればよい。なお、上述のステップＳ１において、複数の計測方向ではなく１つの計測方向へレーザ光を発して、ステップＳ２へ進んでもよい。
【００７５】
（変更例３）
上述では、移動体１１の移動中に、複数の計測時刻の間で（例えば、複数のステップＳ１の間で）、移動体１１の本体１１ａに対する前記走査面の向きが異なるようにして、距離センサ３により、距離計測を行ったが、本発明はこれに限定されない。すなわち、本発明によると、複数の計測時刻の間で（例えば、複数のステップＳ１の間で）、移動体１１の本体１１ａに対する前記走査面の向きが同じであってもよい。この場合、センサ座標系は、基準センサ座標系ＳＬ０，ｔ＋Δｔｉに維持され、前記（１）の座標変換が省略される。
【００７６】
（変更例４）
上述では、図４の座標変換において、前記（１）〜（６）の座標変換を行ったが、前記（２）および（３）の座標変換を省略してもよい。この場合、前記（１）の座標変換で得られた基準センサ座標系ＳＬ０，ｔ＋Δｔｉの前記座標値を、対象とする計測時刻（ｔ＋Δｔｉ）における移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔ＋Δｔｉの座標値へ、直接、座標変換し、前記（４）〜（６）の座標変換を行う。
また、上述では、図４の座標変換において、前記（１）〜（６）の座標変換を行ったが、前記（２）〜（５）の座標変換を省略してもよい。この場合、前記（１）の座標変換で得られた基準センサ座標系ＳＬ０，ｔ＋Δｔｉの前記座標値を、対象とする計測時刻（ｔ＋Δｔｉ）における移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔ＋Δｔｉの座標値へ、直接、座標変換し、当該本体座標系ＳＢ，ｔ＋Δｔｉの座標値を、撮像時刻ｔにおける移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔの座標値へ、直接、座標変換し、前記（６）の座標変換を行う。
また、上述では、図４の座標変換において、前記（１）〜（６）の座標変換を行ったが、前記（１）〜（３）の座標変換を省略してもよい。この場合、対象とする計測時刻（ｔ＋Δｔｉ）のセンサ座標系ＳＬ１，ｔ＋Δｔｉが基準センサ座標系ＳＬ０，ｔ＋Δｔｉに一致していない場合に、対象の計測時刻（ｔ＋Δｔｉ）におけるセンサ座標系ＳＬ１，ｔ＋Δｔｉの前記座標値を、対象とする計測時刻（ｔ＋Δｔｉ）における移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔ＋Δｔｉの座標値へ、直接、座標変換し、前記（４）〜（６）の座標変換を行う。一方、対象とする計測時刻（ｔ＋Δｔｉ）のセンサ座標系ＳＬ１，ｔ＋Δｔｉが基準センサ座標系ＳＬ０，ｔ＋Δｔｉに一致している場合には、対象の計測時刻（ｔ＋Δｔｉ）における基準センサ座標系ＳＬ０，ｔ＋Δｔｉの前記座標値を、対象とする計測時刻（ｔ＋Δｔｉ）における移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔ＋Δｔｉの座標値へ、直接、座標変換し、前記（４）〜（６）の座標変換を行う。
また、上述では、図４の座標変換において、前記（１）〜（６）の座標変換を行ったが、前記（１）〜（５）の座標変換を省略してもよい。この場合、対象とする計測時刻（ｔ＋Δｔｉ）のセンサ座標系ＳＬ１，ｔ＋Δｔｉが基準センサ座標系ＳＬ０，ｔ＋Δｔｉに一致していない場合に、対象の計測時刻（ｔ＋Δｔｉ）におけるセンサ座標系ＳＬ１，ｔ＋Δｔｉの前記座標値を、対象とする計測時刻（ｔ＋Δｔｉ）における移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔ＋Δｔｉの座標値へ、直接、座標変換し、当該本体座標系ＳＢ，ｔ＋Δｔｉの座標値を、撮像時刻ｔにおける移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔの座標値へ、直接、座標変換し、前記（６）の座標変換を行う。一方、対象とする計測時刻（ｔ＋Δｔｉ）のセンサ座標系ＳＬ１，ｔ＋Δｔｉが基準センサ座標系ＳＬ０，ｔ＋Δｔｉに一致している場合には、対象の計測時刻（ｔ＋Δｔｉ）における基準センサ座標系ＳＬ０，ｔ＋Δｔｉの前記座標値を、対象とする計測時刻（ｔ＋Δｔｉ）における移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔ＋Δｔｉの座標値へ、直接、座標変換し、当該本体座標系ＳＢ，ｔ＋Δｔｉの座標値を、撮像時刻ｔにおける移動体１１の本体１１ａに固定された本体座標系ＳＢ，ｔの座標値へ、直接、座標変換し、前記（６）の座標変換を行う。
【符号の説明】
【００７７】
３  距離センサ、５  撮像装置、５ａ  第１撮像部、５ｂ  第２撮像部、７  動作量計測装置、７ａ  計測部、７ｂ  演算部、９  データ処理装置、１０  植物位置計測装置、１１  移動体、１１ａ  移動体の本体、１３  第１フィルタ、１５  第２フィルタ、１７，１９  撮像面
【図１】
2014202601.tif 000003
【図２】
2014202601.tif 000004
【図３】
2014202601.tif 000005
【図４】
2014202601.tif 000006
【図５】
2014202601.tif 000007