(57)【要約】【課題】計測点が多数の場合にも高速かつ誤認識なく識別することができる色情報を利用した画像計測装置を提供する。【解決手段】複数のカメラからの画像を登録された色及び登録されていない色に識別する色識別部と、前記色識別部で識別された各色毎の画像にラベルを貼って２次元位置を算出するラベリング部と、前記ラベリング部からのデータに基づいて計測点を管理する計測点管理部とで成る計測装置を具備し、前記計測装置からのデータをトラッキング処理及び３次元座標演算して各計測点の３次元座標を出力するデータ処理装置を具備する。【選択図】  図１
2005091020.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラからの画像を登録された色及び登録されていない色に識別する色識別部と、前記色識別部で識別された各色毎の画像にラベルを貼って２次元位置を算出するラベリング部と、前記ラベリング部からのデータに基づいて計測点を管理する計測点管理部とで成る計測装置を具備し、前記計測装置からのデータをトラッキング処理及び３次元座標演算して前記各計測点の３次元座標を出力するデータ処理装置を具備したことを特徴とする色情報を利用した画像計測装置。
【請求項２】
前記色識別部及びラベリング部をハードウェア、前記トラッキング処理及び３次元座標演算をソフトウェアで実現するようになっている請求項１に記載の画像計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は色情報を利用した画像計測装置に関し、特に多数点を同時に誤識別することなく計測することができる色情報を利用した画像計測装置に関する。
【背景技術】
【０００２】
画像を計測して計測点の３次元（３Ｄ）座標を出力する場合、一般的にはラベリング技法を利用する。従来のラベリング技法では、特徴点の空間的配置、面積、形状及びその時系列的変化を基に、各特徴点のラベリング、判別、トラッキングを行っていた。
【０００３】
従来トラッキングを実施するのに２つの方式があった。第１の方式は画面上にウィンドウを設け、画面内で設定した条件（輝度が設定値より高い、色が設定値に近いなど）を満たす部分の重心を求め、重心に従って次フレームでのウィンドウの位置を変化させ、常にウィンドウ中心が計測点画像の中心に来るように制御するウィンドウ方式である（桑島  「ＦＡ用画像処理機能内蔵カメラ」  映像情報  １９８７／１）。第２の方式は毎フレーム単位にラベリングを行い、ラベル番号と計測点番号の対応付けを毎回行う方式である（江尻  「工業用画像処理」  昭晃堂  １９８８）。ラベル番号と計測点番号の対応付けは、例えば過去の計測点位置を参照して、最も近い計測点番号に割り当てること（連続性判断）により行う。
【０００４】
第１の方式は計測点数が少なく、各計測点が接近したり、重畳したりしなければ高速化し易く、真のトラッキングと呼べる方法であるが、ウィンドウ内に他の計測点が入ると誤認識するので、可能な計測点数が第２の方式に比べて少ない問題がある。色情報を利用して、同ウィンドウ中の他の色の計測点を無視する方式を本発明者は提案している（例えば桑島、鈴木  「リアルタイム動作解析システムＱｕｉｃｋ−ＭＡＧ」  ３次元画像コンファレンス９４講演論文集）が、それを採用しても計測点数が第２の方式に比べ少ない。しかし、ラベル番号と計測点番号の対応付けの正しさは始めから保証されているので、それ以降の計算を簡略化でき、３Ｄ計算部をハードウェアに組込むこともできる。また、３Ｄ座標が求まるまでの過程を高速化できる。第２の方式は画面上でウィンドウを使わないので、扱える計測点数は増加するが、増加して計測点密度が上がった場合も正しい連続性判断をするためには、複雑な何段にもわたる判断構造を設けなければならない。従って、実時間計測には適さない。
【特許文献１】特開平３−２６９６８３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のラベリング技法では、同時に計測する特徴点の数が増加するに従って、各処理に必要な演算数が級数的に増大するため、特別な制限事項を導入することなしに多数の特徴点の計測を高速に行うことは非常に困難であった。また、配置的及び形状的に似通った特徴点が空間的に接近或いは交差する際に、各特徴点の区別を誤る危険性が高いために、爾後に計測結果の検証作業又は修正作業を行う必要があった。
【０００６】
本発明は上述のような事情よりなされたものであり、本発明の目的は、計測点が多数の場合にも誤認識なく高速に識別することができる色情報を利用した画像計測装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は色情報を利用した画像計測装置に関し、本発明の上記目的は、複数のカメラからの画像を登録された色及び登録されていない色に識別する色識別部と、前記色識別部で識別された各色毎の画像にラベルを貼って２次元位置を算出するラベリング部と、前記ラベリング部からのデータに基づいて計測点を管理する計測点管理部とで成る計測装置を具備し、前記計測装置からのデータをトラッキング処理及び３次元座標演算して各計測点の３次元座標を出力するデータ処理装置を具備することにより達成される。
【０００８】
また、本発明の上記目的は、前記計測点管理部が、カメラ毎ラベル毎に、ラベル位置と色の情報を受取って実計測点との対応関係を決めて前記各計測点の３次元座標を算出するようになっていることにより、或いは前記情報が、カメラ番号、ラベル番号、ｘ座標、ｙ座標、色番号の対データであることにより、或いは１フレーム前の座標値との連続性を評価量にして前記トラッキングを行うことにより、より効果的に達成される。
【発明の効果】
【０００９】
本発明によれば、ラベリング作業時に特徴点固有の色情報を用いて初期判別を行うために、従来の手法による判別対象の特徴点の数を減少せしめ、この作業に必要な演算数を劇的に減少することができ、画像認識を高速化できると共に、誤識別も減少させることができる。逆に同じ規模の装置であれば、ラベリング可能な点数を増大することができる。
【００１０】
ラベリング後に計測情報を使用してトラッキングを行う場合、配置的及び形状的に似通った特徴点が空間的に接近或いは交差する場合においても、特徴点の色情報による峻別により偽判別の可能性を著しく減少することができる。
【発明を実施するための最良の形態】
【００１１】
本発明は、複数のテレビカメラを利用した複数計測点の２Ｄ（２次元）／３Ｄ（３次元）座標の画像計測装置において、各計測点をグループに分け、グループ内では同色、グループ間では色の異なるマーカを付けておき、その色情報を利用してラベリングを行い、各ラベル点の２Ｄ／３Ｄ座標が得られるようになっている。このような２Ｄ／３Ｄ座標値を用い、過去の座標値との連続性などを評価量にして計測点のトラッキングを行うシステムであり、連続性の判断時に各ラベル点の色情報も加味して評価し、ラベル割付けの際にも、計測中に重なることが予想される点の対には別の色を割付けておくことにより、計測途中で２次元的な重なりが生じても失敗することなく、安定的にトラッキングを行い得るようになっている。
【００１２】
本発明の一実施の形態では、色識別及びラベリングまではハードウェアで行い、それ以降の計測点管理をソフトウェアで行うことにより、ハードウェアの規模を抑えてトラッキング点数の増加と結果出力までの時間の短縮を図っている。また、連続性の判定をする場合に、同色点間のみに成立つ条件を制約条件として利用することもできる。例えば右足の各関節に赤マーカを貼っておき、各点間の距離は変化しない、関節は１８０度以上動かないなどの制約を利用する。
【００１３】
以下に、本発明の一実施例を、図面を参照して説明する。
【００１４】
図１は本発明の概略構成を示しており、複数のカメラ１０１〜１０ｎの画像から多数計測点の位置座標を実時間計測するシステムとなっている。即ち、複数のカメラ１０１〜１０ｎを接続された計測装置２０と、計測装置２０からの計測点管理データＭＳを入力して処理するデータ処理装置としてのパソコン３０とで構成されており、パソコン３０からは各計測点の３次元座標が出力される。カメラ１０１〜１０ｎの画像信号は計測装置２０内の色識別部２１１〜２１ｎに入力され、色識別された色情報はラベリング部２２１〜２２ｎに入力され、ラベリングされたデータが計測点管理部２３に入力される。また、パソコン３０では計測点管理データＭＳを用いてトラッキング処理３１と３次元座標演算３２とを実行して、各計測点の３次元座標を出力する。
【００１５】
各カメラ１０１〜１０ｎからの画像は色識別部２１１〜２１ｎで、登録された色（複数）と登録されていない色（背景）の領域に分割されて峻別される。ラベリング部２２１〜２２ｎでは画像の点（島）領域にそれぞれラベルを貼ると同時に、その２Ｄ位置を算出する。パソコン３０側では、各画像の解析結果であるラベル位置と色の情報を受取り、それらの実計測点との対応関係を決めて計測点の３Ｄ座標を算出する。対応関係をフレーム毎に行うことが、トラッキング処理３１に相当する。
【００１６】
ラベリングは、画面上に複数点があるときにそれら点にユニークな番号を付していくことであり、ある番号がどこに割り振られたか分かるように、点の画像重心位置と共に管理される。番号は発見された順に付けられてカウントアップされるので、通常は画面の左、上ほど番号が若いものとなる。図２はNo.nのフレームのラベル番号を示しており、図３はN0.n+1のフレームのラベル番号を示しており、このようにラベル番号はその都度変わるので、毎回画像計測点との対応をとる必要がある。
【００１７】
また、トラッキングは、１又は複数の計測点が計測エリア内を移動するとき、その位置座標の変化を経時的に算出し記録することである。画像計測で３Ｄ座標を求める場合は２以上のカメラが必要であり、各カメラの時系列画像上で個別に２次元のトラッキングができている必要がある。また、各画面上で、画面上の点と計測点の対応が全てのカメラについてとれていることが必要である。
【００１８】
色識別部２１１〜２１ｎ及びラベリング部２２１〜２２ｎのハードウェアは、フレーム毎カメラ毎のカメラ番号、ラベル番号、ｘ座標、ｙ座標、色番号の対データを出力する。また、計測点管理部２３は先ずキャリブレーションを行い、次にユーザにラベルと３次元座標の対応を入力してもらい、カメラ毎のキャリブレーション係数を計算して記憶する。そして、連続計測開始直前に、ユーザ入力に基づいて開始時のラベルと計測点の対応を表わす対応表を作成する。トラッキングは計測点が動くと番号の対応関係が変わるので、ユーザの意図した対応関係が変わらないように、フレーム毎に対応表を更新することに相当する。
【００１９】
トラッキング処理３１では、図４に示すフローチャートに従って演算動作する。即ち、先ずラベリングデータを読込み（ステップＳ１）、カメラ毎ラベル毎に出力データの対であるカメラ番号、ラベル番号、ｘ座標、ｙ座標、色番号を得、過去（１フレーム前）において同色であり、現ラベルのｘ座標及びｙ座標と最も近い座標の計測点番号を求める（ステップＳ２）。この場合、周期が速いので計測点はそれほど動いていないとしている。拘束条件を満たしていない場合には（ステップＳ３）、第２候補以降について調べる。上記動作を繰返すことで対応表の更新を行い、最終的に拘束条件を満たすことになり、この対応表に基づいて計測点番号、カメラ番号、ｘ座標、ｙ座標の組合わせが確定するので、パソコン３０の３次元座標演算３２によって各計測点の３次元位置座標を計算する。
【００２０】
図５は、ラベリングで色情報（赤、青）を使用しないと分けられない計測点の例を示しており、図６は、連続性の判定（トラッキング）が色情報により容易になる例を示している。計測点に色情報があれば、破線矢印の経路の可能性の検討をしなくても良いことになるので、演算が容易である。
【００２１】
また、本発明では、計測点数を増やすために、前述の第２のトラッキング方式を使用しているが、ラベリング時に色情報を使用するので、図５のような異色マークが重畳した場合でも、異なるラベルとして認識されるので、一般のラベリング方式より更に計測点数を増やすことができる。また、ラベリング方式の欠点とされる誤トラッキングの発生や計測時間の増加についても、連続性判定に色情報を導入することで、例えば図６に示すように判定の信頼性を上げ、判定計算を簡略化できるので結果が出るまでの時間を短縮できる。色を使用することの利点として、例えば右上腕部に沿って１，２，３という同色マーカを付けておく場合、何かの都合で２，３のマーカが消え、また現れた場面で連続性判定をする場合（図７）、１−３−２という順番はあり得ないという条件は決定的な判定条件である。このように、各色について重要な拘束条件を設定できるような計測点の色配分をしておけば、誤トラッキングの確率を下げ、信頼性の高いデータを得ることができる。図７は、同色グループに拘束条件を付けることで連続性の誤判定を防ぐ例を示しており、（）内は誤判定であるが、１−３−２という並びはあり得ないという条件により防げるのである。
【００２２】
図８は本発明の応用例を示しており、人間１の各部位には異なる３色のマーカ２が貼設されており、カメラ１１〜１３で人間１全体を撮影し、計測装置２０及びパソコン３０でデータ処理する。パソコン３０からは、異色のマーカ２で識別された各計測点の３次元座標が出力される。このように、本発明の画像計測装置は、人間全身の動作解析のような多数点の位置と動きを実時間で計測する場合に特に有効である。
【産業上の利用可能性】
【００２３】
本発明によれば、ラベリング作業時に特徴点固有の色情報を用いて初期判別を行うために、判別作業に必要な演算数を劇的に減少することができ、画像計測を高速化できると共に、誤識別も減少させることができるので、画像計測装置への利用価値が増大する。また、ラベリング後にトラッキングを行う場合、配置的及び形状的に似通った特徴点が空間的に接近或いは交差する場合においても、特徴点の色情報による識別により誤判別を著しく減少することができるので、画像計測装置への適用効果が大きい。
【図面の簡単な説明】
【００２４】
【図１】本発明の概略構成を示すブロック構成図である。
【図２】ラベリングを説明するための図である。
【図３】ラベリングを説明するための図である。
【図４】計測点管理部の動作例を示すフローチャートである。
【図５】本発明の動作を説明するための図である。
【図６】本発明の動作を説明するための図である。
【図７】本発明の動作を説明するための図である。
【図８】本発明の応用例を示す図である。
【符号の説明】
【００２５】
１                人間
２                マーカ
２０              ラベリング装置
２３              計測点管理部
３０              パソコン
３１              トラッキング処理
３２              ３次元座標演算
１０１〜１０ｎ    カメラ
２１１〜２１ｎ    色識別部
２２１〜２２ｎ    ラベリング部
【図１】
2005091020.tif 000003
【図２】
2005091020.tif 000004
【図３】
2005091020.tif 000005
【図４】
2005091020.tif 000006
【図５】
2005091020.tif 000007
【図６】
2005091020.tif 000008
【図７】
2005091020.tif 000009
【図８】
2005091020.tif 000010