(57)【特許請求の範囲】
【請求項１】
物体を背景から識別するために、小さな要素（ピクセル）に分割されたデジタル画像であって、数個のカラーチャネルを有するカメラで捕らえられたデジタル画像を、セグメント化する方法であって、
カメラの昼光軌跡および色軌跡は、カメラのカラーチャネルにより定義された空間にモデル化され、
昼光軌跡は、相関色温度（ＣＣＴ）の変化の標準昼光に対するカメラの反応であり、
色軌跡は、前記標準昼光の状態における物体のボディ反射率特性に従ってモデル化されるとともに、
標準的な数学的手法により、モデル化された昼光軌跡に垂直なノーマルベクトル（ｎｓ）を決定し、
小さな各要素に対して、カメラのカラーチャネルからの反応形式である前記要素の色ベクトル（Ｃｆ）と、前記ノーマルベクトルとのスカラー積を、算出し、この算出結果に基づいて、前記要素は、物体あるいは背景を表現しているとみなされるとともに、
前記色軌跡上に色ベクトルがある要素が、物体を表現しているとみなされ、前記色軌跡上に色ベクトルがある要素のスカラー積と、同じ符号を有するスカラー積をもたらす色ベクトルのある要素も、物体を表現しているとみなされて、
物体とみなされた要素には、第１の値が割り当てられ、背景とみなされた要素には、第２の値が割り当てられる、
ことを特徴とする方法。
【請求項２】
物体とみなされた前記要素には、第１および第２の値の間の値が、前記色軌跡からの、前記色ベクトル（Ｃｆ）の距離に従って、割り当てられることを特徴とする請求項１に記載の方法。
【請求項３】
用具、特に、農具を制御し、前記用具への制御信号を、セグメント化されたデジタル画像から得るための方法であって、
前記画像は、請求項１または２の方法により、セグメント化されていることを特徴とする方法。
【発明の詳細な説明】
【０００１】
本発明は、デジタル画像をセグメント化する方法に関し、このデジタル画像は、小要素（ピクセル）に分割されるとともに、数個のカラーチャネルを有するカメラで捕らえられる。これにより、物体を背景から識別することができ、カメラの昼光軌跡および色軌跡は、理論的に、物体のボディ反射率特性に従ってモデル化される。
【０００２】
本発明は、更に用具、特に、農具の制御方法に関する。
【０００３】
畑の作物の画像を撮り、その作物を考慮して用具を制御することは、周知であり、少なくとも、これが可能になることは、明らかに望まれることである。ここでは、コンピュータが、画像を処理するとともに、用具に対して制御信号を供給する。例えば、ＵＳ−Ａ−５  ４４２  ５５２は、植物の列の中央線に対して、この植物の列のデジタル画像により、自動的に位置決めされた耕耘機について、記載している。画像は、デジタル化されるが、そこでは、適当な色度図が作成され、この画像のピクセルからの色ベクトルが、この図に関連して評価される。次に、ピクセルは、色ベクトルが図の中に入るか、あるいは、外れるかによって、植物／非植物に分類される。しかし、この方法の問題は、色が照度により変化することであり、照度は、屋外（昼光）では、一定ではないのである。従って、このような方法は、時には正確な結果をもたらすであろうが、別の時には、不正確かつ使用できない結果をもたらすことになるであろう。
【０００４】
ＵＳ−Ａ−５  ４８３  ０６６は、植物を、偏向に敏感な赤外線検出器を用いて認識するシステムについて、記載している。
【０００５】
ＵＳ−Ａ−５  ９１１  ６６９およびＷＯ−Ａ−９８／４６０６５は、電気によって走査された画像のセグメンテーション、および、画像に基づき、農具に制御信号を提供することについて、記載している。
【０００６】
ＵＳ−Ａ−６  ０２５  ７９０およびＵＳ−Ａ−６  ０５３  ２６８は、道路、および、その白色の車線分離線の画像による、車両の制御について、記述している。
【０００７】
本発明は、特に、畑にある「緑」の鮮やかな植物性材料を、背景、つまり、土壌の表面から、分離可能にすることを目指している。しかし、本発明は、植物性材料と関連して使用することに限られるものではない。
【０００８】
その結果、「緑」の鮮やかな植物性材料を所定の背景から分離させる、デジタル画像のセグメンテーション方法が、例として、記載されている。
【０００９】
この方法は、画像形成過程の物質的なモデル化に基づく。この画像形成過程には、カメラ感度、「緑」の植物の反射率特性、国際照明委員会（ＣＩＥ）（測色法  技術報告第２版、国際照明委員会（ＣＩＥ）、１９８６）の昼光基準の使用をモデル化することが、含まれる。また、植物からの反射は、ニュートラル・インタフェース想定の下で、２色性反射モデルに従うという想定をモデル化することも、これに含まれる。
【００１０】
画像形成過程のモデル化
カメラの画像形成過程は、スペクトル統合により実施される。このスペクトル統合は、所定の相関色温度（ＣＣＴ）を有する光源により照射される、画像平面内の、所定の空間位置（ｘ、ｙ）に対して、次のように記載される。
【００１１】
【数１】
0003833539.tif 000002
Ｃｆ（ＣＣＴ、ｘ、ｙ）は、ｆ次元のベクトルであり、その要素は、チャネルｆの分光感度を含む。このベクトルは、画像平面における軌跡（ｘ、ｙ）の「色ベクトル」と呼ばれる。標準的なカラーカメラでは、ベクトルは、カメラの赤、緑、および、青のチャネルの反応に対応する３次元を有する。
【００１２】
Ｅ（ＣＣＴ、ｘ、ｙ、λ）は、空間位置（ｘ、ｙ）に対する光源を指す。これは、その相関色温度ＣＣＴを用いて記載されるとともに、昼光の国際照明委員会（ＣＩＥ）基準（上記参照）に記述される方法により、モデル化される。
【００１３】
ρ（ｘ、ｙ、λ）は、画像平面における空間位置（ｘ、ｙ）の反射である。
【００１４】
τｆ（λ）は、カメラの、（標準的なカラーカメラでは、赤、緑、および、青の感度に対応して、３つのチャネルがあると考えられる）つまり、カメラ特性の、チャネルｆの分光感度である。
【００１５】
ｍ（θ）は、測光角度（θ）による、幾何学的なスケーリング因子である。この測光角度（θ）は、入射光ｉ、反射ｊの出射角、および、ｉとｊ間の位相角ｇである。
【００１６】
植物反射のモデル化
植物の反射は、２色性反射モデルを用いて、記載される。この２色性反射モデルでは、反射は、植物の、表面およびボディ反射の和として、与えられる。これは、画像平面における空間位置（ｘ、ｙ）の所定の色ベクトルＣｆ（ＣＣＴ、ｘ、ｙ）が、
【数２】
0003833539.tif 000003
によって表されることを、意味する。
【００１７】
式（２）によると、画像平面における空間位置（ｘ、ｙ）からの植物の反射は、２つの成分に分割される。
【００１８】
第一の成分は、植物のボディ反射からの寄与を意味する。この植物のボディ反射は、式（１）に記述されるスペクトル統合に起因する。反射率ρ（ｘ、ｙ、λ）は、「Ｈ．Ｊ．アンダーセン、Ｃ．Ｍ．オンヤンゴ、および、Ｅ．グラナムによる、モデルに基づく昼光および色順応のセグメンテーション方法、産業検査における偏光およびカラー技術に関するＥＯＳ／ＳＰＩＥ会議にて、１９９９年６月」に記述される特徴に従い、モデル化され、これに参照される。ボディ反射へのカメラの反応は、この刊行物では、「色軌跡」と呼ばれる。ボディ反射は、一般に、所定の物体の表面下でおこる反射を指す。それにより、入射光の一部は、物体により吸収される。こうして、ボディ反射は、物体にその色を与える。
【００１９】
第二の成分は、植物の表面反射からの寄与である。この植物の表面反射は、式（１）に記述されるスペクトル統合に起因する。ニュートラル・インタフェース想定下では、表面反射の反射率は、一定（すなわち、１）に固定されても良い。次に、表面反射へのカメラの反応が、カメラの光源への反応と一致するであろう。このカメラの光源への反応は、カメラの昼光軌跡と呼ばれる。物体表面部分は、観察者の方向に、表面反射を「イールド」する。そのため、物体表面部分は、もし光源の光が白色と考えられるならば、観察者にとって「白色」に見える。
【００２０】
これらのモデルは、それ自体、前述の「Ｈ．Ｊ．アンダーセン、Ｃ．Ｍ．オンヤンゴ、および、Ｅ．グラナムによる、モデルに基づく昼光および色順応のセグメンテーション方法、産業検査における偏光およびカラー技術に関するＥＯＳ／ＳＰＩＥ会議にて、１９９９年６月」から周知であり、これに参照される。この引例によると、画像は、セグメント化され、昼光軌跡および色軌跡は、空間に変形される。この空間は、３つのカラークロマチブのうちの２つ、および、その強度により、定義される。次に、各々のピクセルの色ベクトルは、画像のセグメンテーションの間に、正規化、つまり、単位長に減じられる。これは、算出という観点では、非常に面倒な過程であり、結果的には、長引く過程となる。
【００２１】
本発明の目的は、この欠点に悩まされることなく、画像をセグメント化する方法を提供することである。本発明の、更なる目的は、デジタル信号プロセッサ（ＤＳＰ）における実施に適した方法を、提供することである。
【００２２】
この目的は、イントロダクションとして記述される性質の方法によって、達成される。この方法の特徴は、理論的に、昼光軌跡へのノーマルベクトル（ｎｓ）が決定され、そして、各小要素に対して、カメラのカラーチャネルからの反応形式の色ベクトル（Ｃｆ）と、昼光軌跡へのノーマルベクトル（ｎｓ）との間のスカラー積が、算出されることにある。そして、次に、要素は、算出結果に基づき、物体あるいは背景が表現されているとみなされる。なお、物体とみなされた要素には、第１の値が割り当てられ、背景とみなされた要素には、第２の値が割り当てられる。
【００２３】
好適な実施形態によれば、セグメント化された画像は、重みをかけられ、それにより、物体とみなされた要素には、色軌跡からの色ベクトル（Ｃｆ）の距離に従い、第１および第２の値間の値が、割り当てられる。
【００２４】
本発明の更なる目的は、用具、例えば農具を、デジタル画像に基づいて制御する、改善された可能性を提供することである。
【００２５】
本発明は、実施形態および図面を参照することにより、以下に詳述される。
【００２６】
図１は、畑表面のカラー画像のコンピュータ画面を表し、黒／白で表示される。
【００２７】
図２は、同じ画像のコンピュータ画面であるが、本発明による方法により、セグメント化されている。
【００２８】
式（２）によると、所定の色ベクトルは、純粋なボディ反射からのベクトルと、純粋な表面反射からのベクトル、つまり、式（２）の第一および第二項、との間に置かれる。
【００２９】
数的に、式（２）は、以下によって概算される。
【００３０】
【数３】
0003833539.tif 000004
λａからλｂへのインターバルは、λへ１ｎｍ中心に入ったインターバルΔλに、分割される。式（３）の各２項(ボディおよび表面反射)は、３００ｎｍから８３０ｎｍ、および、４０００ケルビンから２５０００ケルビンの相関色温度にモデル化される。これは、「測色法、技術報告第２版、国際照明委員会（ＣＩＥ）、１９８６」に記述される、５８インターバルに従っている。この中に、Ｅ（ＣＣＴ、λ）の値が、見受けられる。モデル化によって、マトリックスΓおよびＹは、各項に集められ、このマトリックスは、第一および第二項、つまり、植物のボディ反射、および、表面反射の和を含む。その結果、ΓおよびＹは、５８×ｆ次元を得る。ここで、ｆは、カメラのチャネル数に対応する。こうして、Γは、５８のモデル化された色ベクトルを、純粋なボディ反射に対して含むとともに、Ｙは、５８のモデル化された昼光ベクトルを含む。
【００３１】
下記から明白なように、ベクトルΓおよびＹは、実際の例において、後の計算により、正規化、つまり、単位長に減じられる。というのは、ｍｓ（θ）およびｍＢ（θ）からの寄与は、取り除かれるからである。従って、これら２つの因数は、２つのマトリックスにおいて項を算出すると、１に等しく設定される。ρｓは、上述のように、１に等しい。ρＢ（λ）は、実験的に、物体の実際のタイプに関して、決定される。τｆ（λ）は、カメラの特性であり、その情報は、当該カメラの製造元から得ることができる。
【００３２】
実際、カメラは、通常２つあるいは３つのチャネルを有する。従って、これら２つの条件は、以下に詳述される。
【００３３】
２つのチャネルの場合、色軌跡および昼光軌跡は、これらは２つのカラーチャネルに対応する軸を持つ座標の２次元システムにおけるものだが、原点から離れる２つのマトリックスにおけるベクトルで表されるであろう。２つのマトリックスからのベクトルは、２つの直線の各々に、おおよそ位置付けられる。この２つの直線とは、ボディ反射に対しては、「カラー線」、表面反射に対しては、「昼光線」である。カラー線は、色軌跡を表すとともに、昼光線は、昼光軌跡を表す。２つの軌跡（線）は、平均算出、あるいは、類似で周知の算出方法により、決定される。この算出方法は、各々のベクトルの誤差を最小限にするものである。
【００３４】
３つのチャネルの場合、色軌跡および昼光軌跡は、これらは３つのカラーチャネル（通常、赤、緑、青感度に対するチャネル）に対応する軸を持つ座標の３次元システムにおけるものだが、原点から離れる２つのマトリックスのベクトルで表される。２つのマトリックスからのベクトルは、２つの平面の各々に、おおよそ位置する。この２つの平面とは、ボディ反射に対しては、「カラー平面」、表面反射に対しては、「昼光平面」である。カラー平面は、色軌跡を表すとともに、昼光平面は、昼光軌跡を表す。２つの軌跡（平面）は、適切で周知の算出方法により、決定される。この算出方法は、各々のベクトルの誤差を最小限にするものである。
【００３５】
所定画像をピクセル毎にセグメント化することにより、所定のピクセルは、色ベクトルＣｆを有することになる。この色ベクトルＣｆは、色軌跡および昼光軌跡に関係するどこかに、位置付けられる。
【００３６】
本発明は、植物を表すピクセルが、色軌跡に比して昼光軌跡から離れた側に位置する色ベクトルＣｆを、持つことができないという理解／認識にある。従って、昼光軌跡、あるいは、色軌跡から遠く離れて位置する、色ベクトルＣｆを有するピクセルは、非植物、あるいは、背景とみなされる。一方、「緑色側」、あるいは、昼光軌跡の色軌跡側に位置する色ベクトルＣｆを有するピクセルは、植物とみなされる。これは、算出され、それにより、色軌跡志向の昼光軌跡へのノーマルベクトルｎｓが、決定される。そして、ノーマルベクトルｎｓと、色ベクトルＣｆ間の、スカラー積あるいはドット積が、算出される。もしドット積が、ゼロに等しい、あるいは、ゼロより小さい場合、ピクセルには、背景に対して値ゼロが割り当てられ、もしドット積が、ゼロより大きい場合は、ピクセルには、植物に対して値１が割り当てられる。
【００３７】
昼光軌跡に近い、色ベクトルＣｆを有するピクセルが、実際に、植物を表すか否か、という点に関して、不確実な点がいくつかある（畑にある石も、同様の表面反射になることもある）。従って、セグメント化された画像は、重みをかけられ、それにより、「植物」とみなされた、ピクセルの色ベクトルＣｆの、色軌跡に対する距離が、決定される。そして、ピクセルには、この距離に相当する値が割り当てられる。こうして、ピクセルには、もし色ベクトルＣｆが色軌跡に位置すれば、値１が割り当てられる。もし、色ベクトルＣｆがその中に位置しなければ、ピクセルには、色軌跡への距離に比例して、１より小さい値が割り当てられる。
【００３８】
これは、下記に詳述される。
【００３９】
カメラの昼光軌跡によるセグメンテーション
ｆ＝２
ｆ＝２では、所定の画像は、カメラのモデル化された昼光軌跡に従い、まず初めに、ΓおよびＹを、各行に対して、第二ノルムをもとに正規化することにより、セグメント化される。こうして、すべての行ベクトルが、単位ベクトルを構成することになる。このようにして、ｍＢ（θ）およびｍＳ（θ）からの寄与は、取り除かれる。そのために、これらの因数は、要素ΓおよびＹ＝１の計算となる。
【００４０】
0003833539.tif 000005
【００４１】
色ベクトルＣ（ｘ、ｙ）を有する、所定の画像における、所定のピクセルは、もし、ｎＳのドット積がゼロより大きい場合、植物として分類される。もし、そのｎＳのドット積がゼロより小さい、あるいは、ゼロに等しい場合、非植物に分類される。
【００４２】
これは、以下の様に表される。なお、ｇ（ｘ、ｙ）は、セグメント化された画像を表す。
【００４３】
【数４】
0003833539.tif 000006
ｆ＝３
ｆ＝３では、所定の画像は、カメラの昼光軌跡に従い、まず初めに、Ｙを、各行に対して、第二ノルムをもとに正規化することにより、セグメント化される。こうして、すべての行ベクトルが、単位ベクトルを構成することになる。そして、Ｙのこれら２つの行ベクトルは、３倍のスカラー積を最小限にすることが分かる。この３倍のスカラー積は、
【数５】
0003833539.tif 000007
より求められ、Ｍｓ,ｃｃｔｉおよびＭｓ,ｃｃｔjは、ｉ≠ｊのＹにおける、２つの行ベクトルである。Ｍｍｅａｎは、Ｙの、残りの行ベクトルの、平均ベクトルである。
【００４４】
Ｙの２つの行ベクトルが、式（５）を最小限にすることが分かり、それに基づき、ｎＳが、この２つの行ベクトル間のクロス乗積として算出される。
【００４５】
【数６】
0003833539.tif 000008
ｎｓの要素の符合が、選択され、そのために、植物を含むピクセルは、ドット積の正の値を得る。このドット積とは、ｎｓと所定の色ベクトルＣとの間で、空間位置（ｘ、ｙ）が、画像平面にあるものである。
【００４６】
所定の画像において、色ベクトルＣ（ｘ、ｙ）を有する所定のピクセルは、もしｎｓのドット積がゼロより大きければ、植物と分類され、もしｎｓのドット積がゼロより小さい、あるいは、ゼロに等しい場合、非植物と分類される。
【００４７】
これは、以下に表され、ｇ（ｘ、ｙ）は、セグメント化された画像である。
【００４８】
【数７】
0003833539.tif 000009
植物ピクセルに重みをかける
ｆ＝２
植物に分類されたすべてのピクセルは、モデル化された植物反射軌跡（色軌跡）への距離に関して、重みをかけられる。
【００４９】
0003833539.tif 000010
【００５０】
重みをかけられた画像は、ピクセルポイントに重みをかけることにより、算出される。このピクセルポイントは、モデル化された植物軌跡（色軌跡）への距離に対して、植物と分類されるものである。
【００５１】
これは、次に表され、ｇ（ｘ、ｙ）は、セグメント化された画像である。
【００５２】
【数８】
0003833539.tif 000011
ｆ＝３
植物と分類されたすべてのピクセルは、平面への距離に対して、重みをかけられる。これは、行ベクトルすべての絶対的なエラーを最小限にするものであり、この行ベクトルは、Γに含まれる単位ベクトルに正規化されている。
【００５３】
Γは、各行に対して、第二ノルムをもとに正規化され、こうして、すべての行ベクトルが、単位ベクトルを構成することになる。そして、Γのこれら２つの行ベクトルは、３倍のスカラー積を最小限にすることが分かる。この３倍のスカラー積は、
【数９】
0003833539.tif 000012
より求められ、ＨＢ,ｃｃｔｉおよびＨＢ,ｃｃｔjは、ｉ≠ｊのΓにおける、２つの行ベクトルである。Ｈｍｅａｎは、Γの残りの行ベクトルの、平均ベクトルである。
【００５４】
Γの２つの行ベクトルが、式（９）を最小限にすることが分かり、それに基づき、ｎＢが、この２つの行ベクトル間のクロス乗積として算出される。
【００５５】
【数１０】
0003833539.tif 000013
ｎＢが、第二ノルムに従い、正規化される。
【００５６】
重みをかけられた画像は、ピクセルポイントに重みをかけることにより、算出される。このピクセルポイントは、モデル化された平面への距離から、植物と分類されており、このモデル化された平面は、植物のボディ反射（色軌跡）から引き出される。
【００５７】
これは、次に表され、ｇ（ｘ、ｙ）は、セグメント化された画像である。
【００５８】
【数１１】
0003833539.tif 000014
こうして、記載された方法により、まず初めに、カメラの昼光軌跡により画像をセグメント化することが可能になる。そして、次に、その残りのピクセルポイントに、モデル化された軌跡（色軌跡）からの距離に基づき、「緑の」植物の反射率特性に従い、重みをかけることができる。
【００５９】
図１は、若木が、一列に並んでいる畑の画像を表す。この画像は、農具あるいはトラクターに載置されたカメラにより、取得されたものである。この図は、カラー画像の黒／白表示であり、緑の植物は、土壌の茶色の背景からは、カラーから黒／白画像への変換によって、事実上、「見えなく」なっている。
【００６０】
しかし、図２は、上述の方法によってセグメント化された、同じ画像を表す。ここで、若木は、明瞭で、大小の黒点１として、白色の背景に現れている。中央線２が、植物１の列に対して、記されており、この中央線２は、それ自体、セグメント化された画像に基づき、周知の方法により、算出される。更に、画面の中央線３は、カメラ、結果的には、農具あるいはトラクターに対する中央線２の、望ましい位置に一致して、記されている。従って、農具あるいはトラクターの２本の矢印４で示される植物の列に対する位置間には、差異がある。この差異を取り除くために、制御信号が、図示されない手段によって、それ自体、周知の方法で確立される。この制御信号は、従来の方法では、制御手段（図示せず）に送られ、トラクターあるいは農具を制御して、トラクターおよび／または農具を、植物の列に対して、望まれる位置に導く。また、例えば、画像の各植物に霧を吹く噴霧装置を、制御することもできる。これは、それ自体、従来技術、例えば、ＷＯ−Ａ−９５／２６６２２に記載されている。
【００６１】
本発明は、実施形態によって、説明されてきたが、これらの実施形態の範囲に限られるものではない。他の背景の、畑にある植物以外の物体の画像が、本発明によって、セグメント化されてもよい。
【図面の簡単な説明】
【図１】  図１は、畑表面のカラー画像のコンピュータ画面を表し、黒／白で表示される。
【図２】  図２は、同じ画像のコンピュータ画面であるが、本発明による方法により、セグメント化されている。
【符号の説明】
１  植物（黒点）
２  中央線
３  中央線
４  矢印
【図１】
0003833539.tif 000015
【図２】
0003833539.tif 000016