(57)【特許請求の範囲】
【請求項１】
移動物体を撮像し、その撮像された移動物体の画像から３次元空間情報を抽出する移動物体の計測装置において、前記移動物体を撮像する撮像手段は３以上組み合わされて少なくとも１個の移動物体を同時に撮像し、計測するに適切な位置の撮像手段が割り当てられるように、移動物体の移動にしたがって前記３以上の撮像手段の１個の撮像手段を他の適当な位置の撮像手段に切り替えていく手段を備えることを特徴とする移動物体の計測装置。
【請求項２】
他の適当な位置の撮像手段に切り替えていく手段は、切り替えの条件の境界領域においてヒステリシスを持たせる手段を含む請求項１記載の移動物体の計測装置。
【請求項３】
他の適当な位置の撮像手段に切り替えていく手段は、前回の切り替えから一定の時間が経過してから切り替えを行うようにする手段を含む請求項１記載の移動物体の計測装置。
【請求項４】
撮像手段の切り替えは、３以上の撮像手段の間の角度が広くなるように切り替える請求項１ないし３のいずれか記載の移動物体の計測装置。
【請求項５】
切り替えによって新たに参加する撮像手段は、他の撮像手段からの画像に基づいて撮像すべき対象物体を撮像できる角度および画角を求め、かつ画像内の撮像すべき対象物体が存在する領域にウィンドウを設定し、そのウィンドウ内の対象物体を抽出するための検出条件を学習する手段を含む請求項１ないし４のいずれか記載の移動物体の計測装置。
【請求項６】
前記撮像手段が切り替えられた前後の画像データに基づいて、測定データを比較し誤り測定があるか否かを判定する手段を含む請求項１ないし５のいずれか記載の移動物体の計測装置。
【請求項７】
移動物体は複数であり、撮像対象となる移動物体に優先順位を付け優先順位が高い物体に優先的に撮像手段を割り付ける手段を含む請求項１ないし６のいずれか記載の移動物体の計測装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、移動物体を撮像してその撮像画像を用いて計測を行う装置に利用する。本発明は特にスポーツ競技のような移動する競技者を撮像し、その競技者の３次元空間座標情報を抽出しその３次元空間位置情報に基づいて各種画像処理を行う装置に利用するに適する。
【０００２】
【従来の技術】
移動物体を計測する方法として、移動物体を撮像しその映像信号を処理することにより移動物体の３次元空間位置情報を求めることが行われている。
【０００３】
出願人は、このような移動物体を計測する装置として、雲台に載置された撮像装置により得られた映像信号に雲台や撮像装置から得られた情報を位置情報として重畳する技術を特願平５−０８２１７８として、移動物体を撮像した信号からその移動物体の３次元空間座標を演算する技術を特願平５−０８２２０９、移動物体の動きを予測または計測しておき、カメラ装置を制御する技術を特願平５−１３８８０５、得られた移動物体の３次元空間座標情報を映像データに重畳する技術を特願平５−１３９６２９、映像信号から移動物体を識別する技術を特願平５−１３７８５７、撮像手段の各種パラメータの計測および撮像手段の制御装置に関する技術を特願平５−２６１２２３として出願した。また、このような移動物体の３次元空間座標を計測する撮像手段で撮像した画像をその計測した３次元空間座標情報に基づいて任意の空間位置または時間軸上にあるカメラで撮像した画像に変換する技術を特願平５−２２１３６３（いずれも本願出願時に未公開）として出願した。
【０００４】
【発明が解決しようとする課題】
上述の出願人の出願した技術は、一人の選手につき少なくとも一つの雲台に載置されたカメラのような追尾機能付きカメラヘッドにより追尾する方式を基本とするものであり、そのままでは複数の競技者が同じフィールド上を走り回ったり、３次元空間内を移動するような競技の撮像には向いていない問題がある。
【０００５】
その一つは撮像に伴う誤差やエラーが発生することである。
【０００６】
例えば、サッカーのように、計測対象となる競技者が多い競技の場合、選手一人あたり２台以上のカメラヘッドを用いると、計測誤差はカメラヘッドの性能まで少なくなるが、高価なカメラヘッドを多数配置する必要がある。また、選手が固定の平面上を移動するとした拘束平面の技術を用いた場合には、撮像対象の対象物体である選手が平面から離れるとこれは誤差となる。特に拘束平面に対して浅い角度で撮像する場合には誤差が大きくなり、サッカーなどの撮像では、競技フィールドの広さに対してカメラの位置が低いため、浅い角度でしか観察できなく、抽出された３次元空間座標情報に誤差が大きくなる問題がある。さらに選手の姿勢も大きく変化するため、選手の位置の誤差が大きくなる問題がある。
【０００７】
また、選手が移動するにつれて選手とカメラヘッドとがなす角度も変化し、例えば選手同士が重なりあった場合にも、当該選手を追尾していたカメラヘッドにより撮像された画像から演算された３次元空間情報に誤りが発生することがある。
【０００８】
さらに、カメラヘッドは、高精度で、安定した画像を出すことが重要であるが、メカニカルに構成された機構であり、屋外といった比較的環境の悪い場所に設置されることが多いため、定期的な検査が必要となる。この場合、工業用の計測に使用されるものは連続計測が必要であるため、検査のために測定を一時中断する必要があった。
【０００９】
本発明の目的は、高価な雲台付きのカメラヘッドの使用数を減少して撮像手段は複数の対象物体を撮像する複数の撮像手段の組み合わせにより、複数の選手を撮像し、複数の撮像手段の画像情報に基づいて各々選手の３次元空間情報を計測できる計測装置を提供することにある。
【００１０】
本発明の他の目的は、複数の撮像手段を選手の位置により動的に切り替えながら選手を撮像することにより情報としての冗長度を上げ、移動物体の撮像による誤差やエラーを少なくできる計測装置を提供することにある。
【００１１】
本発明の他の目的は、カラーカメラのキャリブレーションを自動的にあるいは定期的に行うことで、照明のむらや気象条件等の環境条件に左右されずに長時間にわたって精度のよい計測を行うことができる計測装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明の第一の観点は、複数の移動物体を少ない撮像手段で撮像して移動物体の３次元空間位置情報を計測する技術であり、複数の移動物体を撮像し、その撮像された移動物体の画像から３次元空間情報を抽出する移動物体の計測装置において、前記移動物体を撮像する撮像手段は３以上設けられ、このそれぞれの撮像手段は、当該撮像手段の視野内に撮像対象となる複数の移動物体を共通に入れて撮像する手段を含み、各撮像手段からの画像内の対象物体の情報に基づいてそれぞれの対象物体の３次元情報を演算する手段を備えることを特徴とする。この構成によりより少ない撮像手段で多くの移動物体の３次元空間位置情報を得ることができる。
【００１３】
また、撮像された共通視野内の複数の対象物体の画像について、この対象物体ごとにその対象物体の画像の性質に基づいて対象物体を抽出し複数の対象物体のそれぞれの画像内位置を求める画像内位置計測手段と、この手段で計測した画像内位置情報に基づいて複数の対象物体の３次元空間情報を演算する３次元位置演算手段とを備えることができる。この構成により撮像手段の視野の内に複数の対象物体を入れて撮像し、これらの対象物体の３次元空間情報を得ることができる。
【００１４】
また、撮像手段は、そのカメラのパラメータが固定の固定カメラと、カメラのパラメータが可変の追尾機能付きカメラとを含むことができる。これにより高価な追尾機能付きカメラの数を低減することができる。
【００１５】
また、画像内位置演算手段は、撮像された複数の対象物体ごとに対象物体の画像を囲むウィンドウを発生し当該ウィンドウを対象物体の動きに合わせて移動させる手段と、撮像手段から見える複数の対象物体の位置関係に基づいて撮像手段ごとに複数のウィンドウの間のプライオリティが１画像単位ごとに設定されたプライオリティテーブルと、このテーブルを参照して、ウィンドウが重なった複数の対象物体については隠れる対象物体の画像情報の出力を抑止する手段とを備えることができる。この構成により、複数の対象物体が重なったような場合の画像処理ができ、計測エラーの発生を抑止できる。
【００１６】
また、３以上の撮像手段で撮像された移動物体の画像に基づいて得られた移動物体の少なくとも３以上の３次元空間情報を比較し、計測に間違いがないか否かを判定する手段を含むことができる。この構成により、計測エラーの発生を抑止でき、計測精度を高めることができる。
【００１７】
本発明の第二の観点は、撮像手段の動的な切り替えに係る技術であり、移動物体を撮像し、その撮像された移動物体の画像から３次元空間情報を抽出する移動物体の計測装置において、前記移動物体を撮像する撮像手段は３以上組み合わされて少なくとも１個の移動物体を同時に撮像し、計測するに適切な位置の撮像手段になるように、移動物体の移動にしたがって前記３以上の撮像手段の１個の撮像手段を他の適当な位置の撮像手段に切り替えていく手段を備えることを特徴とする。この構成により、データの冗長度を高め、計測エラーの発生を減らすことができる。
【００１８】
また、撮像手段を他の適当な位置の撮像手段に切り替えていく手段は、切り替えの条件の境界領域においてヒステリシスをもたせる手段を含むことが好ましい。これにより切り替えが頻発しないようにできる。
【００１９】
また前回の切り替えから一定の時間が経過してから切り替えを行うようにする手段を含むことも好ましい。これにより、対象物体の移動速度が小さい場合に切り替えが頻発しないようにでき、画像の切り替えが不自然にならないようにできる。
【００２０】
また、撮像手段の切り替えは、３以上の撮像手段の間の角度が広くなるように切り替える。この構成により、全体として計測誤差が小さくなる計測が可能となる。
【００２１】
また、切り替えによって新たに参加する撮像手段は、他の撮像手段からの画像に基づいて撮像すべき対象物体を撮像できる角度および画角を求め、かつ画像内の撮像すべき対象物体が存在する領域にウィンドウを設定し、そのウィンドウ内の対象物体を抽出するための検出条件を学習する手段を含むことができる。この構成により撮像手段を切り替える場合に新たに参加する撮像手段の設定を自動的にできる。
【００２２】
また、前記撮像手段が切り替えられた前後の画像データに基づいて、測定データを比較し誤り測定があるか否かを判定する手段を含むことができる。これにより切り替え前後のエラーを検出し、故障を発見できる。
【００２３】
また、移動物体が複数ある場合に、撮像対象となる移動物体に優先順位を付け優先順位が高い物体に優先的に撮像手段を割り付ける手段を含むことが好ましい。撮像手段の数に制限がある場合、対象物体やシーンによって複数の移動物体に優先順位を設けることで、一番見たい移動物体あるいはシーンが優先的にもっともよい条件のもとで撮像することができる。
【００２４】
本発明の第三の観点は、カメラのキャリブレーションに係る技術であり、複数の移動物体を撮像し、その撮像された移動物体の画像から３次元空間情報を抽出する移動物体の計測装置において、前記移動物体を撮像する撮像手段は３以上設けられ、前記撮像手段は、カラーカメラを含み、キャリブレーションポイントの位置の教示および記録手段を持ち、教示位置にある白色のキャリブレーションポイントを自動で撮像し白バランスをとる手段を含むことを特徴とする。これにより照明むらや気象条件等により撮像条件が変動しても、その条件の変動に対応してカメラの白バランスを再調整して精度が高い計測を行うことができる。
【００２５】
また、キャリブレーションポイントとして色見本を設け、教示位置にある色見本のキャリブレーションポイントを自動で撮像しこの見本色をサンプリングして対象物体の対象色として記録することもできる。これにより同様に撮像条件の変動に対して精度の高い計測を行うことができる。
【００２６】
さらに、キャリブレーションポイントを複数設置することが好ましい。これにより撮像カメラの位置、対象物体の位置等に対応してキャリブレーションを行うことができ、キャリブレーション時間を短縮でき、また照明光線の状況に対応したキャリブレーションを行うことができる。
【００２７】
【作用】
対象物体が固定の平面である拘束平面上を移動するとして対象物体の３次元空間位置を計測する場合には、一つの対象物体に対して一つのカメラヘッドで撮像すればよい。しかし、拘束平面の制約を設けずに、対象物体の３次元空間位置を計測するためには、一つの対象物体が複数のカメラヘッドによって撮像される必要がある。この場合、複数の対象物体を同時に計測する場合には、対象物体同士の距離が近い場合には１台のカメラヘッドの視野で複数の対象物体を撮像することが可能である。この１台のカメラヘッドで撮像された画面内の複数の対象物体の画像内位置を求め、さらに複数のカメラヘッド（少なくとも２つのカメラヘッド）により撮像された同一の対象物体の画像内位置情報に基づいて、複数の対象物体の３次元空間情報（以下３次元情報という）を演算することができる。
【００２８】
このような同一画像内での複数の対象物体の画像内位置は、対象物体ごとに画像内にウィンドウを設けて、対象物体を色などの特徴抽出によって背景から抽出してその図心を求め、対象物体ごとの画像内位置を演算することによって求める。そして、この画像内位置情報に基づき、複数のカメラからの画像によってそれぞれ求められた対象物体ごとの画像内位置情報と、カメラの位置情報（追尾カメラヘッドの場合には、その追尾によって変動するカメラのパラメータも含む）とから、対象物体ごとの３次元情報を演算できる。このカメラとしては、固定カメラも用いることができ、この場合、追尾機能付きのカメラヘッドに比べて測定精度は劣るが変動のカメラのパラメータを得られないだけであり、３次元情報の演算方式には基本的に相違はない。
【００２９】
この場合、複数の対象物体とカメラとの位置関係は、対象物体が移動することにより常に変動するものであるため、演算された対象物体の３次元情報に基づいて、当該カメラから見える複数の対象物体の位置関係を画像単位（例えばフィールドごとに）プライオリティテーブルとして設定し、当該カメラからの画像情報の出力では対象物体によって隠される対象物体の画像情報はマスクするようにして、ウィンドウの重なりによる誤差を少なくするようにする。
【００３０】
また対象物体とカメラヘッドとの関係は固定する必要がないため、どのカメラヘッドがどの対象物体を撮像するかの割り当てを動的に変更する。この場合、複数のカメラヘッドの割り当ては、例えば３台のカメラヘッドで対象物体を撮像しておき、その内の一つを意識的に余らせ、他の適切な撮像位置にあるカメラヘッドによる撮像に切り替えることで、対象物体の動きに合わせて動的に変更する。このカメラヘッドの切り替え変更は対象物体と３台のカメラヘッドのなす角度、あるいはカメラヘッドの位置と対象物体との位置などにより、より適切なカメラヘッドによる撮像に連続的に切り替える。これによりカメラヘッドでの撮像情報は冗長度が高くなるため、撮像時のエラーを検出し易くなり、誤差も少なくすることができる。
【００３１】
さらに、カメラヘッドが故障したときも情報の冗長度が高くなるため、故障したカメラヘッドを使わずに計測することができる。
【００３２】
このカメラヘッドを切り替えたとき、新たに加入するカメラヘッドは、他の現在撮像しているカメラヘッドからの情報に基づいて、対象物体をその視野内にとらえるように角度や画角を設定してその撮像範囲を設定する。そして対象物体の特徴を抽出する検出条件の学習を行って、対象物体を抽出する。
【００３３】
また、撮像に際しては白色あるいカラー色のキャリブレーションポイントを設けておき、撮像中に定期的にあるい手動で、白色あるいは色のキャリブレーションを行う。これにより照明むらや太陽光線の変動等の撮影条件の変動があってもこの変動に対応してカメラのパラメータ等を再調整できるので、長時間にわたってより精度の高い計測を行うことができる。
【００３４】
【実施例】
以下図面を参照して本発明の実施例を説明する。
【００３５】
（第１実施例）
図１は、本発明の第１実施例の撮像手段の配置例を示すもので、複数の撮像対象物体を撮影してその３次元空間位置を演算するものである。この例では、一例としてサッカー競技を配置された６台の追尾ヘッドＭＨ１〜６、６台の固定カメラＦＣ１〜ＦＣ６により撮影して選手の３次元情報を計測する例を示している。
このような構成において、本実施例は、複数の移動物体である選手を撮像し、その撮像された選手の画像から選手の３次元情報を抽出する移動物体の計測装置において、本発明の特徴として前記移動物体を撮像する撮像手段としての追尾ヘッドＭＨ１〜６、固定カメラＦＣ１〜ＦＣ６は３以上設けられ、この複数のそれぞれの撮像手段である追尾ヘッドＭＨ１〜６、固定カメラＦＣ１〜ＦＣ６は、当該カメラの視野内に撮像対象となる複数の選手を共通に入れて撮像する手段を含み、各カメラからの画像内の各選手の情報に基づいてそれぞれの対象物体の３次元情報を演算する手段を備えている。
【００３６】
以下本実施例の動作を説明する。
【００３７】
サッカーのように対象物体が非常に多く、また動きが広範囲で複雑な場合は、単純に対象物体１つで２台のヘッドとすると非常に多くのヘッドを必要とする。撮影範囲が広い割りには浅い角度でしか撮影できないことが多く、ヘッドから遠い選手が手前の選手の影になって見えなくなる場合もある。そのときは別の方向から観察することが必要となる。
【００３８】
３次元位置計測では２台のヘッドで撮影された対象物体が同一である必要があるため、対象物体が複数になると、２台のヘッドで撮影された画像で対応させるなければならない。チームが違えばユニフォームの色などで簡単に見分けられるが、同じチームの選手がごちゃごちゃいると人間でもわからなくなる。そのため２枚の画像での対応付けを間違える可能性がある。ヘッドが２台だけでは対応付けを間違ったとしても検出の方法はないが、３台以上になれば対応付けを間違ったことが検出可能となる。この場合、すべてのヘッドが同じように対応付けを間違う、つまり完全に二人の選手をいれかえることがなければ、少なくともどれかのヘッドの画像が対応付けを間違っていることの検出ができる。３台のヘッドの観察している方向が違えば見え方が異なるため、二人を入れ替える可能性はかなり低い。
【００３９】
このようなことからつねに１つの対象物体について別の方向から３台のヘッドで撮影されることが必要である。また、画像としてもデータとしても欲しいのはゴール近く場合が多い。そのため、ゴール近くの精度が得られるようなヘッドの配置が望ましい。
【００４０】
図１はヘッドの配置とキャリブレーションポイントの配置の例を示している。この例では６台の追尾ヘッドＭＨ１〜ＭＨ６と、６台の固定カメラＦＣ１〜ＦＣ６を配置している。追尾ヘッドは、カメラの向き、レンズの画角などを変えることができる。そして通常は３台で一組になって対象物体を計測する。図１の例ではＭＨ１、ＭＨ２、ＭＨ３の３台が組となっている。このとき測定できるのは３台のヘッドの視野の共有部分で図中のハッチング領域となる。追尾ヘッドのレンズの画角を広く制御すれば広い範囲の計測ができるが、対象物体をできるだけアップで捉え、背景の影響を減らすことで精度の良い安定した計測を実現するのが追尾ヘッドの特徴であるから、あまり画角を広げないで対象物体を撮影する。そのため捉えきれない対象物体ができてしまうことをさけるために固定カメラを併用する。固定カメラは、広角レンズで撮影し、測定対象範囲たとえばコート内は、どこであっても少なくとも２台、通常は３台の視野に入るように調整されている。この例では追尾ヘッドと固定カメラの数と配置が同じであるがその必要はない。
【００４１】
図１には４個のキャリブレーションポイントＣＰ１、ＣＰ２、ＣＰ３、ＣＰ４を配置している例が示されている。すべてのヘッドよりどれかのキャリブレーションポイントが撮像できるようにしてある。このキャリブレーションポイントは、ヘッドの位置やレンズのパラメータなどの校正等に使用できるが、ここでは、カラーカメラの白バランスや対象とする移動物体の色見本を設定するために使用する。それぞれのキャリブレーションポイントは、図１７のようになっている。必要な見本色の数だけ用意しておけばよいが、ここでは、片方にチームの選手のユニホームの見本色だけ用意してある。ＣＯＬ１は白色の半球、ＣＯＬ２は一方のチームの選手のシャツの見本色の半球、ＣＯＬ３は他方のチームの選手のシャツの見本色の半球というようになっている。
【００４２】
対象物体の位置計測の精度は、追尾ヘッドの場合は、観察範囲が小さく、また雲台の精度も良いため対象物体の３次元位置精度はかなり高いものが得られる。それに対して固定カメラの場合、撮像素子に高画素のものを使ってもレンズが広角で広い範囲を観察するためあまり精度はよくない。
【００４３】
各選手の位置を平面的に表現する場合、図２のようにその位置の精度も併せて表現することができる。３台以上の追尾カメラの視野の共有部分２１内の選手は、その位置が高精度で得られるため符号２２のように小さい点で表現するのに対して、それ以外の選手は符号２３のように大きな円で位置を表現する。この円の半径は、固定カメラの画素数などできまる精度を表現している。精度の評価は固定カメラの場合、カメラの配置がきまれば、場所に応じた精度が計算できて、３次元座標を求めるときにどの組み合わせを使うか決まれば、それに応じた精度を計算する事ができるため、動的に円の大きさを変更することは可能である。
【００４４】
次に１つの追尾ヘッド、あるいはカメラで複数の対象物体を計測する動作を説明する。計測系は、追尾ヘッドと固定カメラでは、カメラパラメータが変化するかどうかが違うだけで基本的な画像処理においては同一でよい。
【００４５】
図３に３次元位置計測のブロック図を示す。この例では３台の追尾ヘッド、あるいは固定カメラを一組にしているが、さらに多くを組にすることもできる。また追尾ヘッド同士３台でも、追尾ヘッドと固定カメラを混ぜて３台でもよい。固定カメラを混ぜた場合は、精度は固定カメラできまるため３次元位置の計算では注意が必要である。
【００４６】
３台のカメラ３１で撮影された画像は、それぞれのカメラに対応した画像内位置計測ユニット３２で対象物体の画像内での位置が計測される。対象物体は、１つの画像内で複数存在するため、この画像内での位置データも同時に複数得られる。３次元の座標を求めるためには、少なくとも２つのカメラで得られる画像内位置が必要になる。この例では３台のカメラを使い、３次元座標の計算はその中の２台のデータを使う。組み合わせは３種類あるため、３次元位置計算ユニット３４は３組ある。これらからはそれぞれ対象物体の数だけの３次元座標情報３５が出力される。図３では画像内位置計測ユニット３２の出力と３次元位置計算ユニット３４は、組み合わせに対応したような接続３３となっているが、実際には３次元位置計算は計算機内でソフトウェアによって行われるため、この図のような配線ではなく、通信回線を使ったものとなる。
【００４７】
複数の対象物体を３次元計測する場合に対応が間違っていなければ、３組の３次元位置計算ユニット３４の出力は同じはずであるが、対応付けを間違うなど何らかの原因で、３次元位置の計算がきちんとできない場合は、３組のデータは違った値になる。このことを利用して照合ユニット３６が、出力される３次元位置が正しいのかどうかを調べ、その情報も位置と同時に出力する。３次元座標の計算には誤差が必ず含まれるから、３組のデータが完全に一致する事はまずない、照合ユニット３６ではそのことを考慮の上エラーかどうかの判断を行う。照合ユニット３６の出力は対象物体の数だけの３次元情報３７と、エラー信号３８である。エラー信号３８が出力された場合の処理は、たとえば対象物体の対応が間違った場合はそれを修正するような、基本的にはオペレータによるマニュアル処理となるが、同時撮影カメラの数を増やしたりして、どのカメラの画像内でエラーしたのか、などエラーの情報をより多くすることである程度の自動化が可能となる。
【００４８】
次に画像内位置計測ユニット３２について図４で説明する。この画像内位置計測ユニットは、入力された画像信号から、色彩等の対象物体の特徴を抽出して二値化信号に変換する検出回路（ＤＥＴ０〜ＤＥＴ３）４１と、この変換された二値化信号に基づいて、この抽出された二値化信号の組み合わせがセットされたオブジェクトテーブル（ＯＢＪ  ＴＢＬ）４２と、対象物体ごとにウィンドウを発生するウィンドウジェネレータ（ＷＩＮＤ０〜ＷＩＮＤ４）４３と、設定されたウィンドウの優先度に対応して抽出された対象物体の情報を出力するプライオリティテーブル（ＰＲ  ＴＢＬ）４４と、出力された対象物体ごとの情報をカウントして、その画像内位置情報を出力する位置カウンタ（０〜４）４５と、コントローラ４６とを備える。
【００４９】
カメラで撮影された画像は、色の違い、輝度の違い、あるいはパターン相関などを使って二値化される（検出回路ＤＥＴ０〜ＤＥＴ３）。たとえば色の違いを使った場合は、図５のような画像が撮影されたとき、両端の選手のシャツの色を抜き出すと図６のようになる。またその選手のトランクスの色を抜き出すと図７のようになる。また真ん中の選手はシャツとトランクスと同じ色のためその色で抜き出すと図８のようになる。選手の画像内の位置としてはこの抜き出された図形の図心を使うことにすると、真ん中の選手と両端の選手で同じにならない。そのためこの抜き出された信号をそのまま使うのではなく、組み合わせて使う。図４のオブジェクトテーブル４２がこの働きをする。真ん中の選手は抜き出されたままでよいためテーブルはそのまま通過する。両端の選手については、シャツを抜き出した信号とトランクスを抜き出した信号のＯＲをとるようにオブジェクトテーブル４２がセットされる。ＯＲの信号は図９のようになる。この例では画像から３色を抜き出し（Ｄ０，Ｄ１，Ｄ２）、それらから２つの信号を得ている。図４のＯＤ２は使われていない。
【００５０】
抜き出された信号は、真ん中の選手のように画面内で対象物体として１つの場合はその図心位置を対象物体の位置とすることができるが、両端の選手のように複数の対象物体がある場合抜き出した信号だけでは区別がつかない。そのためウインドウを使う。図８、図９で点線がウインドウでその内部でそれぞれの図心位置を計算する。このウインドウの位置と大きさをつくるのが図４のウィンドウジェネレータ４３である。この例では５つ（ＷＩＮＤ０〜ＷＩＮＤ４）あるから同時に５個までの対象物体を同一画像で撮影できる。対象物体の図心計算は、ウインドウ内で行われるが、ウインドウにはプライオリティがつけられていてウインドウ同士の重なりに対してウインドウ毎に処理を変えてある。
【００５１】
プライオリティを簡単に説明すると図１０のように２つの対象物体に対して異なるプライオリティのウインドウがかかっていて重なったとき、図１１のようにほかのウインドウがある部分は対象物体が見えないウインドウと、図１２のようにほかのウインドウに関係なく対象物体がみえるウインドウというような処理ができる。図１１では本来の対象物体は、もう一つのウインドウで隠され図心が少し移動する。また図１２では別の対象物体もウインドウ内部に入ってしまい、図１３のように両方を加えた図形の図心位置を計測してしまう。対象物体の動きに応じてその図心位置にウインドウを移動させるように制御していると、２つの対象物体が離れたときに図１３のようになったウインドウは元々とは別の対象物体を追いかける可能性がある。このため２台のカメラでの対応がつかなくなり３次元演算でエラーとなる。しかし、もしすべてのカメラで同じような対象物体の取り違えが発生するとエラーの検出ができなくなる。そのため、ウインドウのプライオリティはカメラ毎に変えておく。それによって対象物体の取り違えが発生してもカメラ毎に違った状態になりエラーとして検出できるようになる。このプライオリティをつくるのが図４のプライオリティテーブル４４である。プライオリティはウインドウの数が３つ以上の場合は順番をつけることもできる。またこのプライオリティテーブル４４はフィールド周期で書き換えができるから、選手の３次元位置を元にしてそれぞれのカメラのプライオリティをフィールド周期で変更することもできる。プライオリティテーブル４４の出力は位置カウンタ４５で積算され画面内の位置として出力される。コントローラ４６はこの位置を使ってフィールド毎に次のフィールドのためにウインドウの大きさと位置を更新する。以上の処理をすることによって、１つのカメラ画像で複数の対象物体を、値が正しいかどうかの情報を付加しながら計測することができる。
【００５２】
上述の画面内での複数の対象物体の位置計測を行うためのウインドウ技術とその対象物体位置のカウント技術については、先に出願人が提案した動作計測装置（特開平３−２６２８１）に示した技術でも実現できる。すなわち、複数のウインドウを発生させ、このウインドウを対象物体の動作にしたがって移動させる技術およびこの対象物体の座標位置をカウントする技術を用いることにより、複数の対象物体の画像内の座標位置を対象物体ごとに求めることができる。
【００５３】
３次元位置計算ユニット３４は、例えば先願に係る特願平５−２６１２２３に説明した対象物体の３次元空間座標演算技術を用いればよい。この技術は拘束平面を用いる技術であるが、画像位置測定結果に基づいて対象物体をカメラの投影中心から画面内の対象物体の位置（例えば図心）までのベクトルを考え、このベクトルに基づいてあらかじめ測定されているパラメータを用いることで拘束平面上の対象物体の３次元空間座標を演算することができる。拘束平面を用いない場合であっても、画像単位に対象物体の拘束平面に当たる投影面を設定することで３次元空間座標を演算できる。また先願に係る特願平５−８２２０９に記載した対象物体が移動する３次元実空間座標系の領域を設定し、それを二次元領域に写像して対象物体の３次元空間座標を演算する技術を用いることもできる。
【００５４】
なお、対象物体の３次元情報を演算するために、あらかじめ値の知られた目標を例えばフィールド内において追尾ヘッドや固定カメラで撮影して３次元情報を演算し、実際の対象物体の撮影時の３次元情報の演算に必要な追尾ヘッドのパラメータや、固定カメラと目標との関係等の係数をあらかじめ求めておくことがよい。
【００５５】
サッカーのように広い範囲を動く対象を長時間計測する場合、場所によって照明の状態に差があったり、晴れたり曇ったりして時間的に変動があったりする。このような場合、対象物体の色情報を利用して対象物体の位置を計測していると、対象物体がうまく計測できなくなることがある。このようなときにはカメラの白バランスを調整し直すのが効果がある。また、計測の対象とする色（サッカーの場合でいえばユニホームの色）を再登録することも効果がある。さらには両方することがよい。これを行うためにあらかじめ白色と対象のユニホームの色を見本色として固定の位置においておき、その見本色をモニタリングすることで照明等の変動に適応的についていくことができる。
【００５６】
ここでは、キャリブレーションポイントを利用してカメラの白バランスの調整と対象色の登録、再登録を行う。その手順と処理は以下のとおりに行う。
【００５７】
１．カメラヘッドの設置時またはシステムの電源投入時にキャリブレーションポイントを視野に入れ、具体的には、手動で雲台を動かしキャリブレーションポイントを視野に入れ、次にカーソルで見本色の半球を指定し、見本色の位置を登録する。必要であれば白バランスの調整、見本色の登録を同時に実行する。
【００５８】
２．非計測時に登録された位置で白バランスを自動的に再調整する。この再調整は具体的には１．において手動で行ったと同じ動作を登録されている見本色の半球の位置に対して行えばよい。
【００５９】
３．非計測時に登録された色で見本色を自動的に再登録する。
【００６０】
４．新規に計測に参加するときにその寸前に２．または３．の再登録を行う。
【００６１】
５．定期的にカメラヘッドを非計測状態にして２．または３．を実行する。その間は、ほかのカメラヘッドが計測を代行するか冗長度のない計測状態になる。
【００６２】
６．キャリブレーションポイントが複数ある場合にはこれから計測する対象物体に一番近いもので実行する。
【００６３】
キャリブレーションを自動または必要に応じて簡単に行うことができるので、長時間にわたる計測を安定して行うことができる。このため照明のむらや変化に強い計測ができる。また気象条件の変化に対しても影響を受けにくいシステムとすることができる。
【００６４】
複数のキャリブレーションポイントを配置することで、移動物体の状態になるべく近い条件でモニタリングできるとよい。どのキャリブレーションポイントでキャリブレーションを行うかは対象物体までの距離だけでなく、対象物体の位置や太陽光線の方向などによって適応的に選択するとよい。さらに、キャリブレーションポイントと移動物体とが位置的に近いとキャリブレーションにかかるカメラヘッドの動作時間も短くてすむ。また、カメラヘッドの可動範囲から無理でない位置を簡単に選ぶこともできる。また、複数のキャリブレーションポイントのデータを総合して照明状況の変動分をあらかじめ推測し計測精度の把握に反映させることもできる。これらは広い範囲の計測の場合に特に有効である。
【００６５】
（第２実施例）
次に追尾ヘッドの割り当ての変更について説明する。
【００６６】
この例では３台のヘッドが１組になって計測を行う。図１の配置では６台のヘッドがあり、そのうちどの３台を使うかを決める。もっとも単純なのは図１のようにこちら側のコートが注目領域の場合はこちら側の３台、向こう側の時は向こう側の３台として切り替える方法である。しかし、これではセンターラインを越えるときに３台同時に切り替わってしまう。３次元計測では必ずいくらかの誤差があるため、切り替えた瞬間にデータが連続でなくなる。特に画像内での位置計測に色でユニフォームなどを抽出しその図心計算をしている場合など、カメラの見る方向が変化すると選手の見え方が変わるため図心の位置は変化してしまう。これが３台同時に切り替わるため３次元座標の計算をすると大きくずれがでる。また、カメラのばらつきや、見る方向で照明のあたり具合が変わったりするため、色で対象物体を抜き出している場合など、条件が変わる可能性もある。さらに自動追尾では、対象物体の３次元位置をつかってサーボをかけるため切り替えを行ったときに３次元座標の連続性を確保する必要がある。このようなことから切り替えに伴う影響を最小限度にするためこの例では一度に切り替えるのは３台のヘッドのうち１台だけとする。何らかの原因で切り替えに失敗しても少なくとも２台のヘッドは連続して計測しているから、３次元位置データはとぎれることがなくリカバリーが可能となる。
【００６７】
ヘッドで撮影された画像が重要な場合、たとえば人気選手の映像を撮影する場合などは、選手の姿勢に応じて撮影する方向を選ぶという意味でヘッドを切り替えることもできるが、そのために計測用とは別の撮影用のカメラを計測データを元にコントロールしてもよい。
【００６８】
また、ヘッドの据えつけ状態などの関係からヘッドの性能が十分にでない場合、ヘッドから遠いと精度が落ちるようなときは、近くのヘッドとなるように切り替えてもよい。
【００６９】
３台のヘッドで対象物体を計測するのは、計測データの信頼性を確認する意味が最も重要である。そのためにはできる限り別の角度から対象物体を捉えるのがよく、この例ではできる限り別の角度から捉えるようにヘッドを切り替える。
【００７０】
図１４に切り替えの例を示す。この例では、３台のカメラによって撮影されている注目領域が、左上のＡから右下のＦへ移動するときの切り替えの状態を示す。注目領域がＡの場合はヘッド１とヘッド２とヘッド６によって撮影される。注目領域が移動しＢの位置にくると今度はヘッド１とヘッド３とヘッド６によって撮影されるようになる。この間にヘッド２だったのがヘッド３に切り替わった。同様にＣの位置にくるとヘッド６がヘッド５に切り替わる。さらにＤの位置ではヘッド５がヘッド４に切り替わる。Ｅの位置ではヘッド１がヘッド６に切り替わりＦの位置ではヘッド６がヘッド５に切り替わる。このように切り替えは３つのうち必ず１つだけそれも隣に配置されるヘッドにだけ切り替わるようになっている。
【００７１】
これは、例えば、対象物体がＡからＢの位置になると、ヘッド１とヘッド２とがなす角度が小さくなるため、この場合、データの信頼性を高めるために、ヘッド１およびヘッド６とのなす角度が大きくなるヘッド３を選んで切り替えている。この場合、ヘッド３に切り替えた場合に、ヘッド３から見た対象選手の前に他の選手がおり、その選手の背後になるような場合には、ヘッド１のままにして切り替えないこともできる。これは上述の第１実施例のカメラごとに設定したプライオリティテーブルを用いれば容易に判定できるので、このように切り替え領域に入ってもその条件によりヘッドを切り替えないことが可能である。
【００７２】
これらのヘッドの切り替えは注目領域の位置によって、どの組み合わせとなるかはあらかじめ計算できるため、単純に注目領域の位置で切り替えることもできる。その場合でも切り替えにはヒステリシスをもたせ切り替わり目でばたばたしないようにする。この例では、ヘッドの配置に対称性があるため、単に注目領域の位置だけではどの３つを使うか確定しない。そのために注目領域の移動方向を考慮し、３台のヘッドのうち１台だけが隣に配置されているヘッドにのみ切り替わるようにしている。さらに、切り替え位置を越えた場合でも注目領域の移動速度が切り替える方向に対して小さい場合は、すぐには切り替えず、一定の時間待つようにしている。また切り替え方向の速度が非常に早い場合は、切り替え位置になる前から切り替え動作を行い、切り替えに一定の時間をかけるようになっている。
【００７３】
複数の対象物体を複数のヘッドの組み合わせで追尾する場合には、すべての対象物体を同時に同じ条件たとえばヘッドの数、ヘッド同士のなす角度などを満たすことはできない場合が多い。特にヘッドの数を最低限度とした場合には難しくなる。
【００７４】
このような場合、本発明では対象物体に優先順位を付け、優先順位の高い対象物体から条件を満たすようにヘッドを割り付ける。例えば優先順位が一番高い対象物体は常にもっともよい角度の３台のヘッドが割り付けられる。それ以外のヘッドを使って次の優先順位の対象物体を追尾する。このときヘッドの台数は足りる場合でも角度については条件は悪くなる。またさらに優先順位が下がると割り付けるヘッドの数を減らしたり、固定カメラを使ったりする。
【００７５】
優先順位は、対象物体について固定的に付することもできるが、シーンに応じて一番見たい対象物体の優先順位を一番高くするように必要に応じてダイナミックに変動させることができる。この場合操作者等により対象物体に対して優先順位を付することができる。優先順位を変更した場合にすぐにすべてのヘッドの割り付けを変化させるとデータの連続性がなくなる可能性がある場合は、対象物体の位置の変化などで一部のヘッドの割り付けが替わる段階で、新しい優先順位に従って割り付けを行うことにして、すぐにすべてのヘッドの割り付けを同時に変更しないようにすることがよい。
【００７６】
また、切り替わり目では一時的に４台が観察することになる。その間は異なった３組のデータが同時に得られる。もしその２組のデータにずれがある場合、切り替え時間の間に連続的になるように徐々に修正することでデータの連続性を保つ。このため、切り替えには一定の時間をかけるようになっている。
【００７７】
切り替えの場合、今までの３台のヘッドに加えて新規に１台参入してくることになるが、その新規の１台の設定は次のように行う。簡単のため対象物体が１個の場合を図１５にその様子を示す。図１５のように新規参入ヘッドＨ２は今までのヘッドＨ１とは見る角度が異なる。そのためまず角度と画角を決めなければならない。たとえば追尾している１つの対象物体の位置に注目し、その物体が撮影できるような角度と画角をきめる。１つの対象物体であれば、大きさは今まで撮影してきた画像内の面積をつかって予測できるから、それが今までの画像と同様な画面の比率になるような画角を決める。また複数対象物体でウインドウを使っている場合は、ウインドウの大きさが同じくらいになるようにする。このときウインドウの大きさは、画面内での大きさではなく、対象物体がある位置に換算する必要がある。図１６にウインドウを使った場合を示す。この図では相手側のヘッドの撮影範囲とウインドウの位置を相互に画像内に表示しているが、このようにすることで切り替わり目の制御のデバッグができる。ウインドウの位置が設定されたら、次は画像内での対象物体の検出条件を設定する。カメラ毎に検出条件を固定しておいてもよいが、色を使った検出で、時間の経過に伴って太陽光から人工光に変わったり、時間によって陰の具合が変わったりすることがあるため、この例では切り替え時に新たに設定している。新規参入ヘッドは今までのヘッドの計測データをつかえば対象物体が画像のどこにどのくらいの大きさで見えるか計算できる。この値をつかってウインドウの設定をするが、そのときに対象物体の代表点をいくつか求める。たとえば３次元位置とした点とその周辺エリアをえらぶ。新規参入ヘッドがこのエリアの位置の色を学習しそれを対象物体の色として抽出条件とする。また、輝度の２値化の場合などはあらたに設定したウインドウ内の輝度ヒストグラムをつかって２値化レベルを新たに設定する。それらの場合にもそれまでのデータから一定の範囲内でしか変動させないようにするなどしてもよい。あるいは、新たにもとめた検出条件と今までの検出条件を比較して、その差が大きいようだったらエラーとすることもできる。これによってヘッドの切り替わりで、同時に検出条件も更新することができる。
【００７８】
また、画像を記録する手段と併用すればこの切り替わりの状態だけを記録しておくことで、あとで切り替わりが正しかったかどうかわかる。
【００７９】
上述の新規参入ヘッドの検出条件の学習は、例えば出願人が先に出願にしたカラー画像から一定の色を識別して抽出する色識別装置の技術（特願平５−１４５０８４）および上述した映像信号から対象物体を分離する技術（特願平５−１３７８５７）を用いて行えばよい。
【００８０】
以上のようにして、新規参入ヘッドの条件がそろうと、新規参入ヘッドをいれた新しい３台の組での計測を行える。このデータと今までの３台のデータを比較してその差が大きいようであれば、設定をしなおしたり、エラーとして切り替え失敗としてオペレータに注意を促すことができる。連続してエラーした場合は、新規参入ヘッドの故障が考えられる。そのためエラーしても計測を中止せず、切り替え自体をやめたり、あるいはもう一つ隣のヘッドに切り替えることを行うと、ヘッドの故障の影響を最小限度にくい止められ連続したデータが得られる。このような処理をするためにも、注目領域の速度を考慮して切り替えには一定時間をかけるようにした方がよい。
【００８１】
【発明の効果】
本発明は、以上説明した構成により次の効果がある。
【００８２】
（１）高価な追尾機能をもつカメラヘッドを多数用いることなく多数の競技者が移動するような競技等を少ない撮像用カメラにより撮像し、複数の移動物体の３次元情報を計測することができる。
【００８３】
（２）広角度の視野をもつ固定カメラと高い計測精度をもつ追尾カメラヘッドとを組み合わせて対象物体を撮像できるため、必要な撮像用カメラ数を低減できる。
【００８４】
（３）移動物体の移動に合わせて撮像用カメラの割り当てを動的に変更できるため、少ない誤差で３次元情報を得ることができる。
【００８５】
（４）少なくとも３つの撮像用カメラで同時に対象物体を撮像しているため、たとえ一つの撮像用カメラにエラーが生じてもエラーの生じたことを検出できる。
【００８６】
（５）３台以上の撮像用カメラにより撮像を行うため、対象物体について冗長度の高い情報を得ることができるため、エラーが発生しても対応することができる。
【００８７】
（６）新規に参入する撮像用カメラは他のカメラの情報を用いてその撮像対象を視野内に入れるように自動的に制御され、またそのカメラも学習によって対象物体を抽出するので、自動的に切り替えることができる。
【００８８】
（７）新規に参入した前後でデータのチェックを行うことで、カメラを切り替えたことによるエラーの検出ができる。
【００８９】
（８）撮像用カメラの切り替えをヒステリシスをもって行い、あるいは前回の切り替えから一定時間を経過してから切り替えを行って、画像が急激に切り替わることがないため、切り替え境界部分で画像がばたばたと切り替わる状態が生ぜず、画像の切り替えが自然に滑らかにでき、不自然な感じを与えない。
【００９０】
（９）対象物体に優先順位を付けてカメラの割り当てを行うため、最も優先順位が高く、精度の高い情報が要求される対象物体について、必要でかつ精度の高い撮像ができ十分な情報を得ることができる。
【００９１】
（１０）キャリブレーションポイントを設けて定期的にあるいは自動的にカメラの白バランスの再調整や色見本による再調整を行うので、照明むらや太陽光線の変化等の撮像環境条件の変動があっても、長時間にわたって対象物体を計測する場合でも精度のよい計測ができる。
【００９２】
（１１）複数のキャリブレーションポイントを配置してあるため、カメラのキャリブレーションのための動作時間を短縮でき、また対象物体の状態にもっとも近いキャリブレーションポイントを用いてキャリブレーションができるため撮像環境条件にもっとも適合したキャリブレーションを行うことができる。
【図面の簡単な説明】
【図１】本発明第１実施例のカメラヘッドおよびキャリブレーションポイントの配置例を説明する図。
【図２】撮影した選手の位置ととにもその精度を表現した例を示す図。
【図３】移動物体の３次元位置計測を行う装置構成を示すブロック図。
【図４】画像内位置計測ユニットの構成を説明するブロック図。
【図５】対象物体を撮影した画像の例。
【図６】画像から色の違いによって抜き出したシャツの画像を示す例。
【図７】画像から色の違いによって抜き出したトランクスの画像を示す例。
【図８】ウィンドウの例を示す図。
【図９】ウィンドウの例を示す図。
【図１０】二つのウィンドウが重なった例を示す図。
【図１１】ウィンドウにプライオリティ処理を行った例。
【図１２】ウィンドウにプライオリティ処理を行った例。
【図１３】エラーになるウィンドウの例。
【図１４】カメラヘッドを対象物体の移動にしたがって切り替えていく組み合わせを説明する図。
【図１５】新規参入のカメラヘッドとそれまでのカメラヘッドの視野の関係を示す図。
【図１６】それまでのカメラヘッドの画像と新規参入のカメラヘッドの画像を示す図。
【図１７】キャリブレーションポイントの例を示す図。
【符号の説明】
２１  視野の共有部分
２２、２３  選手の位置
３１  カメラ
３２  画像内位置計測ユニット
３３  接続
３４  ３次元位置計算ユニット
３５  ３次元座標情報
３６  照合ユニット
３７  ３次元位置情報
３８  エラー信号
４１  検出回路
４２  オブジェクトテーブル
４３  ウィンドウジェネレータ
４４  プライオリティテーブル
４５  位置カウンタ
【図１】
0003631266.tif 000002
【図２】
0003631266.tif 000003
【図３】
0003631266.tif 000004
【図４】
0003631266.tif 000005
【図５】
0003631266.tif 000006
【図６】
0003631266.tif 000007
【図７】
0003631266.tif 000008
【図８】
0003631266.tif 000009
【図９】
0003631266.tif 000010
【図１０】
0003631266.tif 000011
【図１１】
0003631266.tif 000012
【図１２】
0003631266.tif 000013
【図１３】
0003631266.tif 000014
【図１４】
0003631266.tif 000015
【図１５】
0003631266.tif 000016
【図１６】
0003631266.tif 000017
【図１７】
0003631266.tif 000018