(57)【特許請求の範囲】
【請求項１】
焦点距離が等しく、画面が同一平面上にあり、レンズ面も焦点距離離れた他の同一平面上にあり、画面中心とレンズ中心を結ぶカメラ視線が平行である３台以上のカメラにより、対象物体を撮像し、対象物の特徴点を抽出し、同一の対象物特徴点に対応するカメラ画面上の特徴点を組にまとめ、特徴点の像の画面にできる位置から物体特徴点の三次元座標を計算し、特徴点の三次元座標の集合によって、対象物の位置を認識できるようにした、多眼視覚装置において、同一の対象物特徴点に対するカメラＣｊ  、Ｃｋ  の画面上の特徴点座標のカメラの配列方向の成分ｕｊ  、ｕｋ  の差を、カメラＣｊ  、Ｃｋ  間の距離（Ｏｋ  −Ｏｊ  ）で割った値（ｕｊ  −ｕｋ  ）／（Ｏｋ  −Ｏｊ  ）が一定値でなければならないとする幾何条件を満足するかどうかを調べ、これを満足した場合、更に特徴点の近傍での、明度変化の大きさが同一であることを要求する明度条件をこれらの特徴点が満足するかどうかを調べ、両方の条件を満足する場合のみ、これらの特徴点が同一の対象物特徴点に基づく特徴点の組であるというように判断し、これらの特徴点の画面上の位置座標の値に基づいて計算をして、その特徴点の三次元座標を求めるようにしたことを特徴とする多眼視覚装置の信号処理方法。
【請求項２】
カメラの画面に二次元座標を定義し、中心画素をＥとして、ｘ方向に座標が一つ大きい画素をＦとし、ｘ方向に座標が一つ小さい画素をＤとし、ｙ方向に座標が一つ大きい画素をＢとし、ｙ方向に座標が一つ大きい画素をＨとし、ＢとＤに隣接する画素をＡ、ＨとＤに隣接する画素をＧ、ＨとＦに隣接する画素をＩとし、ＢとＦに隣接する画素をＣとして、明度変化ベクトルをΔｘ＝（Ｃ＋２Ｆ＋Ｉ）−（Ａ＋２Ｄ＋Ｇ）、Δｙ＝（Ａ＋２Ｂ＋Ｃ）−（Ｇ＋２Ｈ＋Ｉ）によって定義し、明度変化量Ｋを、Ｋ＝｛Δｘ＋Δｙ｝によって計算し、カメラＣｊ  、Ｃｋ  の特徴点の明度変化量をＫｊ  、Ｋｋ  として、ある定数εにより定義される不等式｜Ｋｊ  −Ｋｋ  ｜＜εが成り立てば、これらふたつの特徴点が同一組に属するものと判断するようにした事を特徴とする請求項１記載の多眼視覚装置の信号処理方法。
【請求項３】
焦点距離が等しく、画面が同一平面上にあり、レンズ面も焦点距離離れた他の同一平面上にあり、画面中心とレンズ中心を結ぶカメラ視線が平行である３台以上のカメラにより、対象物体を撮像し、対象物の特徴点を抽出し、同一の対象物特徴点に対応するカメラ画面上の特徴点を組にまとめ、特徴点の像の画面にできる位置から物体特徴点の三次元座標を計算し、特徴点の三次元座標の集合によって、対象物の位置を認識できるようにした、多眼視覚装置において、同一の対象物特徴点に対するカメラＣｊ  、Ｃｋ  の画面上の特徴点座標のカラの配列方向の成分ｕｊ  、ｕｋ  の差を、カメラＣｊ  、Ｃｋ  間の距離（Ｏｋ  −Ｏ  ｊ  ）で割った値（ｕｊ  −ｕｋ  ）／（Ｏｋ  −Ｏｊ  ）が一定値でなければならないとする幾何条件を満足するかどうかを調べ、これを満足した場合、更に明度変化方向が同一であるとする方位条件をこれらの特徴点が満足するかどうかを調べ、特徴点がこれらの三つの条件を満足する場合のみ、これらの特徴点が同一の対象物特徴点に基づく特徴点の組であるというように判断し、これらの特徴点の画面上の位置座標の値に基づいて計算をして、その特徴点の三次元座標を求めるようにしたことを特徴とする多眼視覚装置の信号処理方法。
【請求項４】
カメラの画面に二次元座標を定義し、中心画素をＥとして、ｘ方向に座標が一つ大きい画素をＦとし、ｘ方向に座標が一つ小さい画素をＤとし、ｙ方向に座標が一つ大きい画素をＢとし、ｙ方向に座標が一つ大きい画素をＨとし、ＢとＤに隣接する画素をＡ、ＨとＤに隣接する画素をＧ、ＨとＦに隣接する画素をＩとし、ＢとＦに隣接する画素をＣとして、明度変化ベクトルをΔｘ＝（Ｃ＋２Ｆ＋Ｉ）−（Ａ＋２Ｄ＋Ｇ）、Δｙ＝（Ａ＋２Ｂ＋Ｃ）−（Ｇ＋２Ｈ＋Ｉ）によって定義し、明度変化の方向角ΘをｔａｎΘ＝Δｙ／Δｘによって定義し、カメラＣｊ  、Ｃｋ  の特徴点の明度変化方向角をΘｊ  、Θｋ  として、ある定数δにより定義される不等式｜Θｊ  −Θｋ  ｜＜δが成り立てば、これら二つの特徴点が同一組に属するものと判断するようにした事を特徴とする請求項３に記載の多眼視覚装置の信号処理方法。
【請求項５】
焦点距離が等しく、画面が同一平面上にあり、レンズ面も焦点距離離れた他の同一平面上にあり、画面中心とレンズ中心を結ぶカメラ視線が平行である３台以上のカメラにより、対象物体を撮像し、対象物の特徴点を抽出し、同一の対象物特徴点に対応するカメラ画面上の特徴点を組にまとめ、特徴点の像の画面にできる位置から物体特徴点の三次元座標を計算し、特徴点の三次元座標の集合によって、対象物の位置を認識できるようにした、多眼視覚装置において、同一の対象物特徴点に対するカメラＣｊ  、Ｃｋ  の画面上の特徴点座標のカメラの配列方向の成分ｕｊ  、ｕｋ  の差を、カメラＣｊ  、Ｃｋ  間の距離（Ｏｋ  −Ｏｊ  ）で割った値（ｕｊ  −ｕｋ  ）／（Ｏｋ  −Ｏｊ  ）が一定値でなければならないとする幾何条件を満足するかどうかを調べ、これを満足した場合、更に特徴点の近傍での、明度変化の大きさが同一であることを要求する明度条件をこれらの特徴点が満足するかどうかを調べ、更に明度変化方向が同一であるとする方位条件をこれらの特徴点が満足するかどうかを調べ、特徴点がこれらの三つの条件を満足する場合のみ、これらの特徴点が同一の対象物特徴点に基づく特徴点の組であるというように判断し、これらの特徴点の画面上の位置座標の値に基づいて計算をして、その特徴点の三次元座標を求めるようにしたことを特徴とする多眼視覚装置の信号処理方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、多眼視覚装置の信号処理方法に関する。多眼視覚装置というのは、３台以上のカメラによって、同一の対象物を観察し、共通の三次元座標に置ける対象物の座標を求める装置である。焦点距離が等しいカメラ群を使う。カメラの軸線（視線）は互いに平行になるようにする。カメラの画面に同じ点Ｐの像点が写る。レンズ中心と画面の距離（焦点距離に設定する）は全てのカメラについて共通である。すると、２台のカメラによる同一点の像から、点Ｐの三次元座標を計算することができる。３台以上のカメラを使い冗長性のある測定をすると精度を高めることができる。原理は三角測量であるが、従来の三角測量よりも測定データが多いので、冗長なデータを利用し、データの真偽、誤差のチェックに利用することができる。
【０００２】
実際には対象は点ではない。三次元的な広がりを持つ。カメラで見ても画面上では二次元的な広がりがある。広がりのある対象物を対象にする場合は、輪郭線上の特徴ある点を抽出し、この点を対象となる点Ｐとして全てのカメラにより、三次元計測する。このような点を特徴点という。
ここで２種類の特徴点を区別する必要がある。一つは物体上の特徴点である。これは物体特徴点、又は物体の特徴的な点と呼ぶ。もう一つは画面上の特徴点である。これは画面特徴点、あるいは単に特徴点と呼ぶ。物体上の多くの特徴点を抽出し、これの三次元座標を求めることにより、輪郭線の三次元座標を決定することができる。
【０００３】
このような計測は瞬時になされる。実時間計測である。実時間であるから、重機と送電線の接近などの監視に用いることができる。その他の用途にも利用することができよう。
このような計測において、最も重要なことは同一の物体特徴点に対応する画面特徴点を、全てのカメラにおいて正しく同定することである。異なる物体特徴点を、同じ画面特徴点というふうに認識すると、計算の誤りを生ずる。一つの物体特徴点に対して、カメラの数ｎだけの画面特徴点が存在する。この画面特徴点を「組」ということにする。結局同一の物体特徴点に対する、画面特徴点の組を正しく判別することが最も重要である。本発明は特徴点の組の同定に関する発明である。
【０００４】
【従来の技術】
例えば特開昭６４−１６９０７号は多眼視覚装置を提案している。これは３台以上のカメラを、画面が同一平面に並び、レンズも同一平面に並ぶように固定する。全てのカメラの画面中心から立てた法線は平行である。画面は電気的に走査するので、走査面と呼ぶこともある。画面が同一平面にあるということを走査面が同一平面にあると言い替えてもよい。この発明は、３台以上のカメラが、同一の点を画面上に写し出した時に、画面上に定義される二次元座標で、どのような関係を満足するべきであるのかを考察している。これは、簡単な幾何学的考察によって決められる。この関係を拘束条件とみなし、積極的に特徴点組の同定に利用している。これが前記特開昭６４−１６９０７号の骨子である。
【０００５】
図３によりこの拘束条件を説明する。カメラは、前にレンズがあり、その背後に画面がある。レンズにより倒立の実像が画面にできる。これでも考察できるが、前記の発明の発明者は、レンズ中心を背後に、画面を全面に持ってきた配置で考えている。こうすると、倒立ではなく、正立の像になって直感的に理解し易いからであろう。
結局全てのカメラのレンズ中心Ｏｊ  がＸＹ平面に並ぶ（レンズ平面Ｚ＝０）。それより焦点距離ｆだけ前に全ての画面Ｓｊ  が存在する（画面平面Ｚ＝ｆ）。カメラの視線（画面法線）はＺ方向である。
【０００６】
カメラはＸ方向にも、Ｙ方向にも並んでいて良いのである。ここでは、Ｘ軸方向にカメラが並んでいるものとする。ｊ番目のカメラをＣｊ  によって表わす。これは画面座標の原点をも表現している。カメラＣｊ  の画面Ｓｊ  上での点Ｐの像をＱｊ  とする。Ｑｊ  のｘ，ｙ座標を、（ｕｊ  ，ｖｊ  ）とする。全体の三次元座標を定義する。どのカメラでも良いが、ある一つのカメラの中心を共通三次元座標の原点に取る。この三次元座標に関して対象点Ｐの座標を（ｘ，ｙ，ｚ）とする。カメラはｙ軸方向には同じ座標点にあるので、ｙ方向に関しては簡単な比例式
【０００７】
ｖｊ  ／ｆ＝ｙ／ｚ                                      （１）
【０００８】
が成り立つ。これは全てのカメラについて、像のｙ座標が同じであるということを意味している。ここではｚが分からないので、ｙを決定できない。ｚを決めるのは三角測量と同じ手法である。カメラのレンズ中心Ｏｊ  のｘ座標をＯｊ  とすると、
【０００９】
ｕｊ  ／ｆ＝（ｘ−Ｏｊ  ）／ｚ                                                        （２）
【００１０】
この式が全てのカメラの像について成り立つ。ｕｊ  はカメラの像のｘ座標であり観測により与えられる。Ｃｊ  は既知である。ｘとｙのみが未知数である。カメラが２台以上あればこの式を解くことができる。３台以上のカメラを使うと、（２）式は単に、ｘ、ｙを決めるだけでなく、特徴点対応をチェックするのに用いることができる。（２）式は、カメラｊ，ｋの間で引算する事により、（２）式からｘを除去する事ができる。
【００１１】
（ｕｊ  −ｕｋ  ）／ｆ＝（Ｏｋ  −Ｏｊ  ）／ｚ                （３）
すると、ｆ／ｚは、
ｆ／ｚ＝（ｕｊ  −ｕｋ  ）／（Ｏｋ  −Ｏｊ  ）                （４）
【００１２】
となる。ｚはカメラによらない値である。分母の（Ｏｋ  −Ｏｊ  ）は予め決まっている定数である。ｕｊ  とｕｋ  が画面上のｘ座標の値で、これは計測する事によって分かる。つまり（ｕｊ  −ｕｋ  ）／（Ｏｋ  −Ｏｊ  ）という値は、全てのカメラに共通の値である。これは恒量であるということである。（４）式は、カメラがふたつの場合は、単にｚを決定する方程式にすぎない。しかしカメラが３台以上の場合は、特徴点の同定が正しいか否かを判断する基準になる。（４）により特徴点対応をチェックする事ができる。
【００１３】
カメラの数ｎとする。カメラ対の数はｎ（ｎ−１）／２である。この内一つはＺの決定に使われるから、チェックのために利用できる式の数Ｔはｎ（ｎ−１）／２−１である。ｎ＝３であればＴ＝２、ｎ＝４であればＴ＝５、ｎ＝５であればＴ＝９である。
（４）は、各カメラの像の座標の間の幾何学的な拘束条件を与える。これを簡単に、幾何条件を呼ぶことにする。前記の特願昭６２−１７２８２３号は、これを提案している。幾何条件を満足する場合のみこのパラメータを使って、対象物の三次元座標を計算する。幾何条件により篩がかかっているので計算量が少なく誤りも少ない。
【００１４】
さらに特願平３−９８１９４号はこのような多眼視覚装置において、式（４）が成立する場合のみ、そのデータを用いて、対象点の三次元座標を計算して特徴点からなる対象物の三次元座標を求め、これを時間微分して、動いている対象物のみを抽出するようにしている。これは動くもののみを監視して、クレーンと送電線との相対運動を監視するようになっている。
いま一つ特願平３−９８１９３号は、式（４）によりデータを確かめた後、データの範囲を限定し、計算の基礎になるデータを減らしている。これによって不要なデータを省き、処理の高速化を図っている。
【００１５】
【発明が解決しようとする課題】
特願昭６２−１７２８２３号、特願平３−９８１９４、特願平３−９８１９３号に提案されている手法は、恒量である（４）式によるチェックをするだけであった。孤立した対象物の輪郭にある、特徴点の場合は、これでも良いのであろう。しかし、特徴点が数多くある場合は、隣接する画面特徴点の間隔が狭くなる。このために一つの物体特徴点Ｐに対応する全てのカメラの特徴点の組｛Ｑｊ  ｝を正しく同定できない場合がある。ｊ番目のカメラにおいて、Ｑｊ  であるべきものが、他の物体特徴点Ｒに対応する画面特徴点Ｕｊ  と混同することがある。前述の（４）式による幾何学的チェックによっても、これを正しく弁別できないことがある。
【００１６】
そうなると、計算に誤りが発生し、対象物の三次元座標を正しく決定することができない。監視装置に利用する場合は、誤動作することになる。これは危険である。同一の物体特徴点Ｐに対応する、カメラの全画面特徴点の組｛Ｑｊ  ｝を的確に指摘できることが望まれる。異なるカメラにより求められた多くの特徴点を同一物体特徴点に対する画面特徴点にまとめることを、特徴点組の同定、または組分けということにする。
他の特徴点組と混同する事なく、正しく特徴点組｛Ｑｊ  ｝を同定するための新規な手段を与えることが本発明の目的である。より厳しい、特徴点組の同定のための基準を用いて、誤りなく、特徴点組｛Ｑｊ  ｝を組分けすることが本発明の目指すものである。
【００１７】
【課題を解決するための手段】
本発明は、特徴点の内部的な性質を用いて特徴点を正しく弁別しようとする。特徴点自体の属性の同一性によって、特徴点を組分けする。その属性として本発明者は二つ考えた。一つは相対明度（コントラスト）である。もう一つは明度変化の方向である。このような特徴点自体の属性によって組分けするのが本発明の特徴である。
【００１８】
明度というのはその点の明るさである。相対明度（コントラスト）というのは、その特徴点の周囲に対する明るさである。特徴点というのは他の点に対して、明るさの違いがあるので、抽出されているのである。特徴点は、明るさが著しく変化するとか、明るさが極大、極小であるとかという条件により選ばれる。明度がなめらかに連続的に変化する場所や明度の変化しないところは特徴点として選ばれない。特徴点は何らかの明度の変化のある部分である。
【００１９】
画像処理して画素を単位として処理するので、ここでは特徴点は一つの画素とする。周囲の画素との明度を比較し、ここで明度の大きい相違があるので、特徴点となっている。つまり相対明度のあるところが特徴点になっている。コントラストのある点であるということもできる。コントラストというのは近接する２点の、明度の差があるということである。コントラストは明度の変化を表現している。本発明では、コントラストという言葉よりも明度という言葉を使うことにする。
【００２０】
画素の明度は、画面を走査することにより電圧信号として求められる。これは画像メモリに格納することにより、画素データとなる。明度の比較もこれに基づいて容易に行なわれる。相対明度またはコントラストは特徴点の明度から、周囲画素の明度の平均値を差し引いたものとして定義することができる。
同じ物体特徴点から発生した画面特徴点は、相対明度が殆ど同一であるはずである。強烈に光る物体特徴点は、画面上でも強い輝点になるはずである。反対にぼんやりした物体特徴点は、画面上でもぼんやりした特徴点を作り出すはずである。特徴点組を形成するものは、相対明度においてもほぼ同じ価になるはずである。そこで、本発明は、全てのカメラの特徴点を、相対明度の同一性により組分けする。
【００２１】
もう一つは、明度変化の方向である。明度が同一である画素を結ぶ線を等明度線ということにする。等明度線に直交し、明度が上昇する方向の曲線を明度勾配線ということにする。例えば、ｘ方向に伸びる電線の場合、電線と背景の境界が連続した特徴点になる。等明度線はｘ方向に伸びる。明度勾配線はｙ方向を指す。同じ物体特徴点によって発生した画面特徴点の組は、同じ明度勾配線を持つはずである。そこで、本発明は特徴点の組み分けに、明度変化の方向の同一性を利用する。
つまり、本発明は、特徴点を同定するために、はじめに（４）式の幾何学的条件を用い、これに合格した特徴点組に対して、さらに、相対明度（コントラスト）の同一性の試験をする。これに合格した特徴点組に、更に明度変化の方向の同一性を調べる。これも満足していて初めて、特徴点を同一組に配属する。
【００２２】
相対明度が同一であるべきであるという条件を簡単に明度条件と呼ぶ。明度変化の方向が同一であるべきであるという条件を、方位条件と呼ぶ。
結局、本発明は、同一特徴点に対応する画面特徴点を、幾何条件、明度条件、方位条件によって試験し、全てに合格して初めてこれらをその組に属するものと認めるのである。明度条件、方位条件が本発明により新規に追加された条件である。
【００２３】
【作用】
従来の特徴点の組分け方法は、特徴点の位置にのみ着目していた。特徴点自体の内部属性については全く考慮していなかった。本発明は、特徴点の内部属性に着眼し、内部属性により特徴点を同定するようにした。同じ物体特徴点から共通に派生した画面特徴点であるから内部属性も共通であるはずである。そこで内部属性に同一性があるものを、同じ特徴点組に属するものとして組分けする。内部属性としては、相対明度（コントラスト）と、明度の変化の方位を採用する。
【００２４】
図２により、相対明度や、明度変化方位を説明する。図２において、右上にカメラの画像の例を示す。これにはクレーン車が描かれている。画面は小さい単位である画素に分割される。左には画素が描かれている。３×３の９つの画素である。これにより最も単純な相対明度、明度変化方向を説明する。画素をＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉとする。これらの記号は、画素を表わすと同時に画素の明暗の諧調をも表わすものとする。つまり明度の程度を表わす。明暗の諧調は一般に２のｎ乗によって与えられる。例えば８、１６、３２、６４…である。中心画素がＥである。この点Ｅに関して明度変化ベクトルΔｘ、Δｙを定義する。
【００２５】
Δｘ＝（Ｃ＋２Ｆ＋Ｉ）−（Ａ＋２Ｄ＋Ｇ）                                （５）
Δｙ＝（Ａ＋２Ｂ＋Ｃ）−（Ｇ＋２Ｈ＋Ｉ）                                （６）
【００２６】
ΔｘはＥの右の画素の明度の重み付き和と、左の画素の明度の重み付き和の差になっている。Δｘはｘ軸方向に明度の変化がないときに０になる。ｘ軸方向に明度が増大する場合これは正の値になる。Ｅ自体の値を含まない。これは近隣での明度の差（コントラスト）を問題にしているからである。点Ｅからみて、ｘ軸上の点Ｄ、点Ｆは重みが２になっている。左右上下斜めにある画素についての重みは１になっている。重みの２と１の違いにより、正しくｘ軸方向の隣接画素伸方向ＤＦへの明度の差を表現する事になる。
【００２７】
ΔｙはＥの上の画素の明度の重み付き和と、下の画素の明度の重み付き和の差になっている。これはｙ軸方向に明度が増大すると正の値になる。ｙ軸方向の明度の変化がないと、これが０になる。この定義は、ｘとｙについて対称である。ｘとｙに関して非対称にする事もできる。
【００２８】
（５）、（６）の明度変化ベクトルの定義は一例である。これ以外の定義を採用することもできる。（５）、（６）は周囲の１周分の８画素のみを計算に入れているが、周囲の２周目までの２４画素を明度変化ベクトルの計算に入れるようにする事もできる。１周分の８画素によるとしても、軸線上の４画素の重みを２、斜めの画素の重みを１にするとは限らない。軸線上の画素の重みを３にしてもよい。あるいは単純化して、ΔｘをＤ−Ｆに、ΔｙをＢ−Ｈにする事もできる。図４は明度変化ベクトルの第２、第３の定義を示す。図２と同じように近傍８画素のみによってベクトルを定義する。
【００２９】
［第２の定義］
Δｘ＝Ｄ−Ｆ                                      （７）
Δｙ＝Ｂ−Ｈ                                      （８）
最も単純なものである。対象画素の縦横４画素のみを考慮している。
【００３０】
［第３の定義］
Δｘ＝（２１／２  Ａ＋２Ｄ＋２１／２  Ｇ）−（２１／２  Ｃ＋２Ｆ＋２１／２  Ｉ）（９）
Δｙ＝（２１／２  Ａ＋２Ｂ＋２１／２  Ｃ）−（２１／２  Ｇ＋２Ｈ＋２１／２  Ｉ）（１０）
図２と同じく近傍８画素を考慮に入れる。隣接画素に対する斜め画素の重みが少し増えている。
【００３１】
図５は明度変化ベクトルの第４の定義を示す。これは近傍２４画素を計算に含めて明度変化ベクトルを定義している。中心画素をＥとする。第１近傍画素を左上から右回りにＡＢＣＦＩＨＧＤとする。ここまでは図４と同じである。更に第２周目の画素も考える。第２近傍は，左上から右回りにＪＫＬＭＮＯＰＱＲＳＴＵＶＷＸＹとする。第１近傍には第２近傍の約２倍の重みを付ける。一直線上に並ぶ５つの近傍画素の内、真中のものには係数を最も重くし端のものは軽くする。これらの係数の比は、２の平方程度にする。
【００３２】
Δｘ＝｛（５１／２  Ｊ＋２３／２  Ｙ＋１０１／２  Ｘ＋２３／２  Ｗ＋５１／２  Ｖ）＋（２３／２  Ｋ＋２・５１／２  Ａ＋２・１０１／２  Ｄ＋２・５１／２  Ｇ＋２３／２  Ｕ）｝−｛（５１／２  Ｎ＋２３／２  Ｏ＋１０１／２  Ｐ＋２３／２  Ｑ＋５１／２  Ｒ）＋（２３／２  Ｍ＋２・５１／２  Ｃ＋２・１０１／２  Ｆ＋２・５１／２  Ｉ＋２３／２  Ｓ）｝                （１１）
Δｙ＝｛（５１／２  Ｊ＋２３／２  Ｋ＋１０１／２  Ｌ＋２３／２  Ｍ＋５１／２  Ｎ）＋（２３／２  Ｙ＋２・５１／２  Ａ＋２・１０１／２  Ｂ＋２・５１／２  Ｃ＋２３／２  Ｏ）｝−｛（５１／２  Ｖ＋２３／２  Ｕ＋１０１／２  Ｔ＋２３／２  Ｓ＋５１／２  Ｒ）＋（２３／２  Ｗ＋２・５１／２  Ｇ＋２・１０１／２  Ｈ＋２・５１／２  Ｉ＋２３／２  Ｑ）｝                （１２）
【００３３】
係数の与え方はこれ以外にも可能である。これらは一例に過ぎない。上の定義は正規化をしていないが、係数の２乗の和が１になるようにすることもできる。定義が複雑であるほど特徴点抽出が明確になるが、反面計算速度が遅くなる。目的と要求仕様に応じて、適当な計算式を決定する。
点Ｅでの明度の変化Ｋは、全体として、これら要素によって決まる明度変化ベクトルの長さになるので、
【００３４】
明度変化（コントラスト）Ｋ＝｛Δｘ２  ＋Δｙ２  ｝１／２      （１３）
【００３５】
というふうに定義できる。これも明度変化量の定義の一例にすぎない。２乗の和の平方根が扱い難い場合は、絶対値をとって、｜Δｘ｜＋｜Δｙ｜と言うふうにする事もできる。
変化の方向は、明度変化ベクトルの方向に等しいが、ｘ軸とｙ軸の定義が反対になっているから、上向きにｙ軸を、右向きにｘ軸をとる場合、明度変化のベクトルと、ｘ軸の交角Θは、
【００３６】
変化方向  ｔａｎΘ＝（Δｙ／Δｘ）                    （１４）
【００３７】
によって定義する。明度変化Ｋと変化方向角Θを新しく定義した。本発明は、これらの二つの新規なパラメータを用いて、特徴点の組分けをより厳密に行なおうとする。
複数のカメラの画面に写った像点が、同一の対象物に由来する特徴点であれば、明度が良く似ている筈である。また相対明度も似ている筈である。更に明度変化の方向も近似している筈である。これらの内在的な特徴点の性質の類似性を用いて、特徴点の組分けをより厳密に行なうのが本発明の骨子である。
【００３８】
一つは、異なるカメラの特徴点が、その明度変化（コントラスト）Ｋを同一にすれば、これらは、同じ特徴点組として分類されるべきである。これはコントラストの同一性を調べるものである。コントラストの値が近似しているかどうかを調べて、同一組あるいは別異の組に属すると言うことを判定する。
明度変化Ｋが同一と言っても完全に同一であることは要求されない。カメラの性能の違い、対象物に対するカメラの傾き、カメラの距離などが違うので、同じ像点に対する画面の特徴点と言っても、明度、明度変化が同一であるとは限らない。そこで適当な幅εを設けて、この範囲内なら同一性があると判定する。カメラの番号をｊ、ｋとして、これらのカメラの特徴点をＱｊ  、Ｑｋ  とする。（５）によって定義されるこれらの特徴点の明度をＫｊ  、Ｋｋ  とすると、
【００３９】
｜Ｋｊ  ーＫｋ  ｜＜ε                                                        （１５）
【００４０】
であれば、これらの特徴点はこの試験に対しては合格とする。明度変化の同一性を明度条件と簡単に呼ぶ。εはカメラの性能上、対称物の性質、目的などに応じて適当に決めておく。
それに加えて、明度変化の方向についての同一性をも調べる。これは変化方向Ｗの同一性である。同じ物体特徴点に対応する、異なるカメラの画面特徴点は、明度、明度変化、明度変化の方向も同一であるはずである。そこで本発明は、特徴点の組分けに対して、明度変化方向の同一性をも用いる。これは異なるカメラＣｊ  、Ｃｋ  間において、
【００４１】
｜Θｊ  −Θｋ  ｜＜δ                                                        （１６）
【００４２】
とする。δも予め決めておく。明度変化方向の同一性条件を、簡単に方位条件と呼ぶことにする。この条件を満足するなら、同じ組の特徴点であると判定する。これを満足しないなら、異なる組の特徴点であるとするのである。
本発明は、まず幾何条件を用いて異なるカメラ間の特徴点の組分けをする。これに合格した特徴点間で、さらにコントラストの同一性（明度条件）を調べる試験をする。これにも合格した特徴点間で最後に、明度変化の方向についての同一性（方位条件）を調べる。いずれの試験にも合格した特徴点を初めて同一の組に属する特徴点と決定する。簡単に言うと、本発明は、幾何条件、明度条件、方位条件を順に調べて、特徴点が組をなすかどうかを判定するのである。条件が３つもあるので、異なる特徴点組のものを誤って同一組に配属する誤りが少ない。
本発明により、多数の特徴点が画面上に近接して存在した場合でも、各カメラの画面特徴点が、同一の組をなすか否かを容易に決定することができる。
【００４３】
【実施例】
以下に本発明を利用した重機接近監視システムの例を説明する。重機接近監視システムとは、複数のカメラから得られた画像情報より、送電線と重機との空間的な離隔距離を瞬時に計算するものである。送電線と重機が接近して危険である時は、重機のオペレータへ注意を喚起し、送電線と重機との接触事故を未然に防止する。
【００４４】
カメラは、縦横に（ｘ方向）５つ、あるいはそれ以上あっても良い。最も簡単には、横に３つある場合である。これは最もカメラが少ない場合である。ｘ方向にカメラが並ぶと、ｙ方向の測定精度は悪い。そこで、ｙ方向にもカメラを３つ並べる事も有用である。その場合は、中心のカメラがｘ方向、ｙ方向に共通であるから、合計５つのカメラを持つことになる。
ここでは最も簡単な、３つカメラの例を説明する。これらのカメラは同等のカメラである。レンズ面が、共通の平面にある。画面も共通の平面にある。カメラは回転しない。カメラの視線は平行である。図１にこれを示す。
【００４５】
１．対象物を３つのカメラで同時に撮像する。これらのカメラは、同等のカメラである。レンズ面が共通の平面にある。画面も共通の平面にある。カメラは回転せず、視線は平行である。
２．各カメラにおいて画像処理により画像の特徴点（輪郭点など）を抽出する。３．はじめに左カメラの特徴点ＰＬ  を決める。これの、左カメラでの三次元座標が計算できる。次いで左のカメラの特徴点ＰＬ  に対応可能な右カメラの特徴点ＰＲ  を選ぶ。
【００４６】
４．右のカメラでのＰの像点はＰＲ  である。中央のカメラでの像点をＰＭ  とする。ＰＭ  は、ＰＬ  とＰＲ  の中間にある。ＰＬ  とＰＲ  が決まるので、幾何条件を課して、中央カメラでの特徴点の座標を計算する。これに適合する特徴点があるかどうかを調べる。これがあれば、像点の二次元座標から、中央カメラの像点ＰＭ  の座標を計算する事ができる。３つの特徴点の組が求まる。これらは幾何条件を満足する。
５．３つの特徴点に関して、各カメラにおいて、相対明度（コントラスト）Ｋを計算する。３つの特徴点ＰＬ  、ＰＲ  、ＰＭ  が同じコントラスト（相対明度Ｋ）を持つかどうか調べる。
【００４７】
６．コントラストＫの試験を合格したものについて、明度変化方向Θが同一であるかどうかを調べる。
７．４〜６の条件を満足している場合、３つの特徴点ＰＬ  、ＰＲ  、ＰＭ  は特徴点の組をなすと判断する。そして、左右の特徴点のＰＬ  、ＰＲ  より対象点Ｐの三次元座標を計算する。
【００４８】
このように本発明は、特願昭６２−１７２８２３号による、幾何条件に加えて、明度条件、方位条件を用いている。これにより特徴点の対応をより正確厳密に行なう事ができる。誤った特徴点対応をする恐れがない。画面中に背景の雲が写っている時、特徴点が多数発生する。このような場合、従来法であれば、特徴点の対応に関して誤りを犯す事があった。本発明は、雲がある場合など背景が明度変化を持つ場合でも、誤対応が発生する事がなかった。
【００４９】
【発明の効果】
この発明は画像上に多数の特徴点が存在した場合でも、異なるカメラ間の画面特徴点が、同一の特徴点組の組に属するか否かを、明度の相対変化、変化の方向の同一性を調べる事により正しく判別する事ができる。従来の幾何学的な拘束条件では分からない、特徴点の内在的な性質を使って特徴点を類別するので、数多くの特徴点があっても対応を誤ることがない。優れた発明である。
【図面の簡単な説明】
【図１】本発明の特徴点の判別の手順を示す説明図。
【図２】本発明において、重要な変数である相対明度（コントラスト）、明度変化方向（コントラスト方向）の決定方法の例を示す説明図。
【図３】本発明において用いる多眼視覚装置の概略構成図。
【図４】本発明において重要な変数である相対明度、明度変化方向の定義の第２、第３の例を示すための図。
【図５】本発明において重要な変数である相対明度、明度変化方向の定義の第４の例を示すための図。
【図１】
0003549259.tif 000002
【図２】
0003549259.tif 000003
【図３】
0003549259.tif 000004
【図４】
0003549259.tif 000005
【図５】
0003549259.tif 000006