(57)【要約】【課題】高精度でかつ安定した３次元位置情報が得られる位置計測システムを提供する。【解決手段】発光マーカ１、この発光マーカの光りを受光する複数の動画像カメラ２、発光マーカおよび複数の動画像カメラの受発光制御および各動画像カメラのカメラ画像フレームにおける前記発光マーカのローカル位置座標と発光面積情報を計算する受発光制御計算手段３、この受発光制御計算手段からの情報に基づき発光面積利用方式の発光マーカの３次元位置算出を行うマーカ発光面積利用算出手段５７、受発光制御計算手段からの情報に基づきステレオ視方式の発光マーカの３次元位置算出を行うステレオ視算出手段５８、発光マーカが２台以上の動画像カメラで検出された時にステレオ視算出手段、１台の動画像カメラで検出された時にステレオ視算出手段を選択する位置座標計算選択手段５６を備えた。【選択図】　　　　図１
2004045321.tif 000002
【特許請求の範囲】
【請求項１】
位置計測対象となる発光マーカと、
この発光マーカからの光りを受光する複数の動画像カメラと、
前記発光マーカおよび複数の動画像カメラの受発光制御を行うと共に各動画像カメラのカメラ画像フレームにおける前記発光マーカのローカル位置座標および発光面積情報を計算する受発光制御計算手段と、
この受発光制御計算手段から得られる情報に基づき発光面積利用方式による発光マーカの３次元位置算出を行うマーカ発光面積利用算出手段と、
前記受発光制御計算手段から得られる情報に基づきステレオ視方式による発光マーカの３次元位置算出を行うステレオ視算出手段と、
前記発光マーカが２台以上の動画像カメラで検出された時に前記ステレオ視算出手段、１台の動画像カメラで検出された時には前記ステレオ視算出手段を選択する位置座標計算選択手段と、
を備えたことを特徴とする位置計測システム。
【請求項２】
前記発光マーカを複数とし、
前記受発光制御計算手段から得られる発光マーカの情報に基づき発光マーカの数と位置を算出して前回分と比較して発光マーカの消失および複数発光マーカの融合を検出し対応する情報を無効にするデータ有効性判定手段と、
少なくとも前記発光マーカの数と位置の前回分を記憶しておくメモリと、
を備え、有効な各発光マーカに関してそれぞれ位置計測を行うことを特徴とする請求項１に記載の位置計測システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば発光ダイオード（ＬＥＤ）のような発光マーカ（発光部）および発光マーカが取り付けられた物体の３次元位置を認識する位置計測システムに関する。
【０００２】
【従来の技術】
図４に例えば特開平０９−２４３３２５号公報に開示された従来の第１のこの種の位置計測システムの構成を概略的に示す。図４において、１は発光部の１例としてのＬＥＤ発光マーカ、２は動画像カメラの１例としてのＣＣＤカメラ、３は受発光制御計算装置、４ａはコンピュータ、５ａはＣＣＤカメラ２で求められた発光マーカ１の距離と座標位置から３次元位置を算出するコンピュータの機能ブロックとして示された３次元位置算出部、５１は３次元位置算出部５ａに含まれるマーカ発光面積利用算出部である。
【０００３】
図５は１つのＣＣＤカメラ２でＣＣＤカメラ２とＬＥＤ発光マーカ１の距離を推定する方法を説明するための図である。図５の（ａ）がＣＣＤカメラ２とＬＥＤ発光マーカ１の距離が近いケース、（ｂ）がＣＣＤカメラ２とＬＥＤ発光マーカ１の距離が遠いケースである。ＬＥＤ発光マーカ１の発光面積はＣＣＤカメラ２からの距離の自乗に反比例して小さくなる。よってある基準点での発光面積および距離との比をとれば、ＬＥＤ発光マーカ１の発光面積からＣＣＤカメラ２とＬＥＤ発光マーカ１の距離を算出することができる。これにより１個のＣＣＤカメラ２でＣＣＤカメラ２とＬＥＤ発光マーカ１の距離を算出できる。
【０００４】
図６には「三次元画像計測」、井口・佐藤著、昭晃堂、１９９０に開示された従来の第２の位置計測システムの構成を概略的に示す。図６において、図４と同一もしくは相当部分は同一符号で示す。４ｂはコンピュータ、５ｂはＣＣＤカメラ２で求められた発光マーカ１の距離と座標位置から３次元位置を算出するコンピュータの機能ブロックとして示された３次元位置算出部、５３は３次元位置算出部５ｂに含まれるステレオ視算出部である。そしてここではＣＣＤカメラ２を２台以上用いる。
【０００５】
図７にステレオ視の原理を示す。２台のＣＣＤカメラ２の位置とこのＣＣＤカメラ２で検出したＬＥＤ発光マーカ１の方向からＣＣＤカメラ２とＬＥＤ発光マーカ１の距離を算出することによって、ＬＥＤ発光マーカ１の３次元位置座標を算出することができる。ステレオ視を利用するとＣＣＤカメラ２とＬＥＤ発光マーカ１の距離が高精度に求めることができるので、高精度に３次元位置座標を算出することができる。
【０００６】
【発明が解決しようとする課題】
以上のような従来の第１の装置では、マーカ発光面積の検出が高精度ではないため、３次元位置計測精度が良くない。また、動画像カメラ１個の固定視野なので、そのカメラで検出できなくなると計測不可となる。よって、３次元位置計測の高精度化、広範囲化、隠れ対策（何かで視野が遮られてしまった場合の対策）が課題であった。
【０００７】
また、従来の第２の装置では、ステレオ視には２台以上の動画像カメラで検出された発光マーカの画像情報が必要なため、両方のカメラから見える範囲、条件でないと、３次元位置座標が求まらない。よって、３次元位置計測の広範囲化、隠れ対策が課題であった。
【０００８】
この発明は上記のような課題を解消するためになされたもので、高精度でかつ安定した３次元位置情報が得られる位置計測システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的に鑑み、この発明は、位置計測対象となる発光マーカと、この発光マーカからの光りを受光する複数の動画像カメラと、前記発光マーカおよび複数の動画像カメラの受発光制御を行うと共に各動画像カメラのカメラ画像フレームにおける前記発光マーカのローカル位置座標および発光面積情報を計算する受発光制御計算手段と、この受発光制御計算手段から得られる情報に基づき発光面積利用方式による発光マーカの３次元位置算出を行うマーカ発光面積利用算出手段と、前記受発光制御計算手段から得られる情報に基づきステレオ視方式による発光マーカの３次元位置算出を行うステレオ視算出手段と、前記発光マーカが２台以上の動画像カメラで検出された時に前記ステレオ視算出手段、１台の動画像カメラで検出された時には前記ステレオ視算出手段を選択する位置座標計算選択手段と、を備えたことを特徴とする位置計測システムにある。
【００１０】
また、前記発光マーカを複数とし、前記受発光制御計算手段から得られる発光マーカの情報に基づき発光マーカの数と位置を算出して前回分と比較して発光マーカの消失および複数発光マーカの融合を検出し対応する情報を無効にするデータ有効性判定手段と、少なくとも前記発光マーカの数と位置の前回分を記憶しておくメモリと、を備え、有効な各発光マーカに関してそれぞれ位置計測を行うことを特徴とする。
【００１１】
【発明の実施の形態】
実施の形態１．
図１はこの発明の一実施の形態による位置計測システムの構成を概略的に示す。図１において、１は発光部の１例としてのＬＥＤ発光マーカ、２は動画像カメラの１例としてのＣＣＤカメラ、３は受発光制御計算装置、４ｃはコンピュータ、５ｃはＣＣＤカメラ２で求められた発光マーカ１の距離と座標位置から３次元位置を算出するコンピュータの機能ブロックとして示された３次元位置算出部である。
【００１２】
３次元位置算出部５ｃにおいて、５５はデータ有効性判定部、５６は位置座標計算方式選択部、５７は上述の発光面積利用方式の３次元位置座標計算を行うマーカ発光面積利用算出部、５８は上述のステレオ方式の３次元位置座標計算を行うステレオ視算出部である。また、６は後述するフレーム画像内のマーカ数、および各マーカの画像内位置および発光面積を記憶しておくためのメモリである。受発光制御計算装置３は、ＬＥＤ発光マーカ１およびＣＣＤカメラ２の受発光制御を行うと共に各ＣＣＤカメラのカメラ画像フレームにおける発光マーカのローカル位置座標および発光面積情報を計算する。
【００１３】
この発明では図１に示すように、ＣＣＤカメラ２を２台とし、ＬＥＤ発光マーカ１の画像検出条件によってＣＣＤカメラ２からＬＥＤ発光マーカ１までの距離計算方法を切り換える機能を位置座標計算方式選択部５６としてコンピュータ４ｃ内に設けた。
【００１４】
動作について説明すると、ＬＥＤ発光マーカ１を位置計測対象に装着する。２台のＣＣＤカメラ２を計測対象が動く範囲内をうまくカバーするように配置する。例えば２台のＣＣＤカメラ２のカメラ視野の重なり部分にＬＥＤ発光マーカ１が存在すれば、２台のＣＣＤカメラ２によるステレオ視による位置座標計算が行える。
【００１５】
計測時には、受発光制御計算装置３によってＬＥＤ発光マーカ１を点灯させ、各ＣＣＤカメラ２のカメラ画像フレームを受発光制御計算装置３に取り込む。取り込んだ画像フレームからＬＥＤ発光マーカ１のローカル位置座標および発光面積情報を各ＣＣＤカメラ２毎に計算し、コンピュータ４ｃに転送する。
【００１６】
２台のＣＣＤカメラ２で共にＬＥＤ発光マーカ１を検出できる場合には、ステレオ視算出部５８においてステレオ視によってＬＥＤ発光マーカ１の３次元位置座標を算出する（以下、ステレオ視方式）。片方のＣＣＤカメラ２でしかＬＥＤ発光マーカ１を検出できない場合には、マーカ発光面積利用算出部５７においてＬＥＤ発光マーカ１の発光面積情報を利用してＣＣＤカメラ２からＬＥＤ発光マーカ１までの距離を計算することによって、ＬＥＤ発光マーカ１の３次元位置座標を算出する（以下、発光面積利用方式）。これらの切換は位置座標計算方式選択部５６で行われる。
【００１７】
以上のように３次元位置計測手法を切り換えることによって、高精度、広範囲かつ隠れに強い３次元位置計測が可能となる。
【００１８】
なお、上記説明では１個のＬＥＤ発光マーカ１の例を示したが、マーカＩＤの識別さえ行えば複数のＬＥＤ発光マーカ１でも良い。例えば、ＬＥＤ発光マーカ１をＣＣＤカメラ２の画像フレームと同期させて順次点灯すれば、容易にマーカＩＤは識別できる。また、直前画像フレームの最寄りマーカとのマッチングによって、マーカＩＤを識別する方法もある。
【００１９】
また、ＣＣＤカメラ２は２台としたが、２台以上であればいくつでも良く、ＬＥＤ発光マーカ１が検出できる任意の２台のＣＣＤカメラ２を用いてステレオ視計算をし、算出した３次元位置情報の平均を求めれば、さらなる高精度化が可能となる。
【００２０】
さらに、受発光制御計算装置３において取り込んだ画像フレームからＬＥＤ発光マーカ１のローカル位置座標および発光面積情報を計算したが、受発光制御計算装置３を受発光制御計算部３０としコンピュータ４ｃ内に設け、計算は全てコンピュータの中で行ってもよい。
【００２１】
計測範囲を広げたい場合には、各ＣＣＤカメラ２のカメラ視野が重なる範囲を狭くし、単独のカメラ視野の利用範囲を広げれば良い。また、高精度化を重視したい場合には各ＣＣＤカメラ２のカメラ視野が重なる範囲を広くすれば良い。
【００２２】
図２に３データ有効性判定部５５、図３に位置座標計算方式選択部５６、マーカ発光面積利用算出部５７およびステレオ視算出部５８の処理フローチャートを示す。図２では、ＣＣＤカメラ２毎の各ＬＥＤ発光マーカ１の画像内位置座標および面積値を算出し、データが有効か否かの判断を行う。図７では、この情報を元に３次元位置座標を算出する。
【００２３】
図２のフローチャートに従って動作を説明する。まず一つ目のＣＣＤカメラ２においてフレーム画像情報を取り込む（ステップＳ１）。次にこのフレーム画像情報において、ＬＥＤ発光マーカ１の個数を検出する（ステップＳ２）。例えば、水平走査線毎に、輝度がある設定したスレショールドを超えている部分をマーカ存在部分（線分）として切り出し、連続する水平走査線において水平方向同じ位置に少しでもそのマーカ存在部分があれば同一マーカであると判断することによって、マーカ個数が検出できる。
【００２４】
そして、検出した各ＬＥＤ発光マーカ１の画像内水平方向・垂直方向位置および発光面積を求める（ステップＳ３）。水平方向は水平同期信号からのクロックカウンター、垂直方向は水平走査線数によって、画面内マーカ位置を求める。発光面積は上記各水平走査線上のマーカ存在部分（線分）の長さ積分によって求める。
【００２５】
次に、検出したマーカデータが有効かどうかを判断する。発光マーカをカメラ画像として検出する場合、以下の３つの場合に各マーカの発光情報を正しく検出することができない。まず、（１）２つ以上のマーカ発光が重なる場合、これを融合と称する。次に（２）マーカがカメラレンズの視野角から外れる場合、そして（３）カメラレンズ視野角内にはあるが他の物体の陰に隠れたりする場合、これらを消失と称する。ここでは、これらの場合と全てのマーカが見えている場合とを識別することによって、マーカデータの有効性を判断する。
【００２６】
具体的には、まず現フレームにて検出した発光マーカ数を前フレームの時と比較する（ステップＳ４）。このため、フレーム画像内のマーカ数、および各マーカの画像内位置および発光面積を記憶しておくものとして例えばメモリ６が必要となる。そして比較の結果、同数の場合には、マーカデータは全てそのまま有効とする。個数が異なった場合、前フレームで２つ以上のマーカが接近していたかどうかを判断する（ステップＳ５）。接近していた場合は、マーカが融合を生じたと判断し、接近していた全マーカデータを無効とする（ステップＳ６）。接近していなかった場合には、マーカが消失したと判断し、消失マーカデータを無効とする（ステップＳ７）。以上の処理をＣＣＤカメラ２毎に行う。
【００２７】
続いて図３のフローチャートに従って動作を説明する。上記処理において、各ＣＣＤカメラ２の有効マーカデータが求められた。ここでは各ＬＥＤ発光マーカ１が有効検出されたカメラの個数によって、３次元位置座標計算方法を切り換える。２つ以上のカメラから有効検出された場合はステレオ視方式で（ステップＳ８、Ｓ９）、１つのカメラから有効検出された場合は発光面積利用方式で（ステップＳ１０、Ｓ１１）、どのカメラからも有効検出されなかった場合は前フレームの時のデータを保持する（ステップＳ１２）、ことによって３次元位置座標を算出する。
【００２８】
以上のように、３次元位置座標計算方法をマーカ単位でステレオ視方式と発光面積利用方式に切り換えることによって、高精度かつ安定した３次元位置情報が得られる。
【００２９】
【発明の効果】
以上のようにこの発明によれば、位置計測対象となる発光マーカと、この発光マーカからの光りを受光する複数の動画像カメラと、前記発光マーカおよび複数の動画像カメラの受発光制御を行うと共に各動画像カメラのカメラ画像フレームにおける前記発光マーカのローカル位置座標および発光面積情報を計算する受発光制御計算手段と、この受発光制御計算手段から得られる情報に基づき発光面積利用方式による３次元位置算出を行うマーカ発光面積利用算出手段と、前記受発光制御計算手段から得られる情報に基づきステレオ視方式による３次元位置算出を行うステレオ視算出手段と、前記発光マーカが２台以上の動画像カメラで検出された時に前記ステレオ視算出手段、１台の動画像カメラで検出された時には前記ステレオ視算出手段を選択する位置座標計算選択手段と、を備えたことを特徴とする位置計測システムとしたので、通常は複数の動画像カメラ情報を利用したステレオ視によって、発光マーカが１つの動画像カメラからしか検出できない場合には発光マーカの発光面積情報によって動画像カメラから発光マーカまでの距離を計算することで、高精度かつ安定した３次元位置情報が得られる。
【００３０】
また、前記発光マーカを複数とし、前記受発光制御計算手段から得られる発光マーカの情報に基づき発光マーカの数と位置を算出して前回分と比較して発光マーカの消失および複数発光マーカの融合を検出し対応する情報を無効にするデータ有効性判定手段と、少なくとも前記発光マーカの数と位置の前回分を記憶しておくメモリと、を備え、有効な各発光マーカに関してそれぞれ位置計測を行うようにしたので、信頼性が向上する。
【図面の簡単な説明】
【図１】この発明の一実施の形態による位置計測システムの構成を概略的に示す図である。
【図２】図１のシステムの動作を説明するためのフローチャートである。
【図３】図１のシステムの動作を説明するためのフローチャートである。
【図４】従来の位置計測システムの構成を概略的に示す図である。
【図５】図４のシステムの動作を説明するための図である。
【図６】従来の別の位置計測システムの構成を概略的に示す図である。
【図７】図６のシステムの動作を説明するための図である。
【符号の説明】
１　ＬＥＤ発光マーカ、２　ＣＣＤカメラ、３　受発光制御計算装置、４ｃ　コンピュータ、５ｃ　３次元位置算出部、５５　データ有効性判定部、５６　位置座標計算方式選択部、５７　マーカ発光面積利用算出部、５８　ステレオ視算出部、６　メモリ。
【図１】
2004045321.tif 000003
【図２】
2004045321.tif 000004
【図３】
2004045321.tif 000005
【図４】
2004045321.tif 000006
【図５】
2004045321.tif 000007
【図６】
2004045321.tif 000008
【図７】
2004045321.tif 000009