(57)【特許請求の範囲】
【請求項１】
計器座標系を有するビデオカメラの照準点までの軸の方向を制御することにより、可動なターゲットオブジェクトの表面上のＰＯＩを追跡し、移動しているターゲットオブジェクトを含む局所座標系におけるＰＯＩの位置を計算する方法であって、ビデオカメラが、照準点までの軸がＰＯＩと整列するとき、ＰＯＩを含むターゲットオブジェクトの少なくとも一部を含むピクセルベース画像を捕獲するもので、
ａ）計器座標系において決定された位置を局所座標系内において決定された位置に変換するキャリブレーションマトリックスを計算するステップ、
ｂ）ビデオカメラの照準点までの軸を、計器座標系内においてＰＯＩの第１の位置に合わせて整列させるステップであって、このＰＯＩがピクセルベース画像内で基準ピクセル上にセンタリングされるステップ、
ｃ）照準点までの軸がＰＯＩの第１の位置と整列するとき、計器座標系における照準点までの軸の回転角及び傾斜角を測定するステップ、
ｄ）照準点までの軸に実質的に沿ったビデオカメラからＰＯＩまでの距離であって、ＰＯＩの第１の位置に対応する距離を測定するステップ、
ｅ）少なくとも、キャリブレーションマトリックスと、測定された回転角及び傾斜角と、ＰＯＩの第１の位置に対応する距離とを使用して、局所座標系におけるＰＯＩの第１の位置を計算するステップ、
ｆ）計算されたＰＯＩの第１の位置を記憶するステップ、
ｇ）ピクセルベース画像内のＰＯＩを決定し、ＰＯＩが局所座標系内で第２の位置へ移動することにより生じる、ピクセルベース画像内での基準ピクセルからのＰＯＩのピクセル位置の変化を決定するステップ、
ｈ）計器座標系における回転角及び傾斜角を計算して、ビデオカメラの照準点までの軸を計器座標系におけるＰＯＩの第２の位置と整列させることにより、少なくとも、決定されたピクセルベース画像内での基準ピクセルからのＰＯＩのピクセル位置の変化を使用して、ピクセルベース画像内の基準ピクセル上に照準点までの軸をセンタリングし直すステップ、
ｉ）計算された回転角及び計算された傾斜角までビデオカメラの照準点までの軸を回転させるステップ、
ｊ）照準点までの軸に実質的に沿ってビデオカメラからＰＯＩの第２の位置までの距離を測定するステップ、
ｋ）少なくとも、キャリブレーションマトリックスと、測定又は計算された回転角及び傾斜角と、ＰＯＩの第２の位置に対応する測定された距離とを使用して、局所座標系におけるＰＯＩの第２の位置を計算するステップ、並びに
ｌ）計算されたＰＯＩの第２の位置を記憶するステップ
を含み、
前記ステップａ）が、
局所座標系における三つの較正点の位置が既知である場合に、ビデオカメラの照準点までの軸が、ターゲットオブジェクトの表面上の三つの較正点の各々と順次整列するとき、計器座標系における照準点までの軸の回転角及び傾斜角を測定すること、
照準点までの軸に実質的に沿ってビデオカメラから三つの較正点の各々までの距離を測定すること、
ビデオカメラの順運動学を使用して、対応する回転角、傾斜角、及び距離の測定値を、計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置に変換すること、並びに
計器座標系において決定された位置を、少なくとも、三つの較正点に対応して計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置を用いて、局所座標系において決定された位置に変換するキャリブレーションマトリックスを計算すること
を含む、方法。
【請求項２】
更に、局所座標系におけるＰＯＩを中心としたターゲットオブジェクトの方向を計算する方法であって、
ｍ）ＰＯＩの第１の位置に対応する、計器座標系におけるターゲットオブジェクトの表面上の追加点の第１の位置を、少なくとも、ターゲットオブジェクトの座標系内でのＰＯＩに対する追加点の既知の位置と、ＰＯＩの第１の位置に対応するピクセルベース画像内での追加点のピクセルベースの位置とを使用して、計算するステップ、
ｎ）ＰＯＩの第１の位置に対応する、計器座標系におけるＰＯＩを中心としたターゲットオブジェクトの第１の方向を、少なくとも、計算された追加点の第１の位置と、計器座標系におけるＰＯＩとを使用して、計算するステップ、
ｏ）局所座標系におけるＰＯＩを中心としたターゲットオブジェクトの第１の方向を、少なくとも、キャリブレーションマトリックスと、計器座標系において計算されたＰＯＩを中心とするターゲットオブジェクトの第１の方向とを使用して、計算するステップ、
ｐ）計算された第１の方向を記憶するステップ、
ｑ）ＰＯＩの第２の位置に対応する、計器座標系内でのターゲットオブジェクトの表面上の追加点の第２の位置を、少なくとも、ターゲットオブジェクトの座標内でのＰＯＩに対する追加点の既知の位置と、ＰＯＩの第２の位置に対応する、ピクセルベース画像内での追加点のピクセルベースの位置とを使用して、計算するステップ、
ｒ）ＰＯＩの第２の位置に対応する、計器座標系におけるＰＯＩを中心としたターゲットオブジェクトの第２の方向を、少なくとも、計器座標系において計算された追加点とＰＯＩとの第２の位置を使用して計算するステップ、
ｓ）局所座標系におけるＰＯＩを中心としたターゲットオブジェクトの第２の方向を、少なくとも、キャリブレーションマトリックスと、計器座標系において計算されたＰＯＩを中心とするターゲットオブジェクトの第２の方向とを使用して、計算するステップ、並びに
ｔ）計算された第２の方向を記憶するステップ
を更に含む、請求項１に記載の方法。
【請求項３】
ターゲットオブジェクトが制御可能に可動なターゲットオブジェクトであって、
計算されたターゲットオブジェクトの第１の位置の、局所座標系における所望の位置からの位置偏差を計算すること、
少なくとも計算された位置偏差を使用して、ターゲットオブジェクトに適用する位置フィードバック制御信号を計算すること、並びに
計算された位置フィードバック制御信号をターゲットオブジェクトに適用すること
を更に含む、請求項１に記載の方法。
【請求項４】
ターゲットオブジェクトが制御可能に可動なターゲットオブジェクトであって、
第１の位置に対応して、計算されたターゲットオブジェクトの第１の方向の、局所座標系における所望の方向からの方向偏差を計算すること、
少なくとも計算された方向偏差を使用して、ターゲットオブジェクトに適用する方向フィードバック制御信号を計算すること、並びに
計算された方向フィードバック制御信号をターゲットオブジェクトに適用すること
を更に含む、請求項２に記載の方法。
【請求項５】
ターゲットオブジェクトが、検査センサを含み、且つ航空機の表面上を移動するように構成されており、局所座標系が航空機の座標系である、請求項１に記載の方法。
【請求項６】
局所座標系におけるターゲットオブジェクトの速度及び加速度を計算することを更に含む、請求項１に記載の方法。
【請求項７】
ａ）ビデオカメラ及び距離計を含む計器であって、ビデオカメラが方向の調節が可能な照準点までの軸を含み、且つ計器座標系を含んでいる計器と、
ｂ）ビデオカメラ及び距離計に動作可能に接続された少なくとも一つのコンピュータと
を備えたシステムであって、少なくとも一つのコンピュータが、
ビデオカメラの照準点までの軸を、少なくとも、ビデオカメラによって捕獲された画像であってＰＯＩを含むピクセルベース画像を使用して、可動なターゲットオブジェクトの表面上のＰＯＩに連続的に整列させ、
計器座標系内の位置を、移動しているターゲットオブジェクトを含む局所座標系内の位置へと変換するキャリブレーションマトリックスを計算し、
照準点までの軸がＰＯＩと整列するとき、計器座標系における照準点までの軸の回転角及び傾斜角の実時間測定値に対応する信号を計器から受信し、
照準点までの軸に実質的に沿って計器からＰＯＩまでの距離の実時間測定値に対応する信号を距離計から受信し、
少なくとも、キャリブレーションマトリックスと、ＰＯＩに対応する回転角及び傾斜角及び距離の実時間測定値とを使用して、局所座標系におけるＰＯＩの複数の位置を計算し、
ＰＯＩの計算された複数の位置を記憶し、さらに
局所座標系における三つの較正点の位置が既知である場合に、ビデオカメラの照準点までの軸が、ターゲットオブジェクトの表面上の三つの較正点の各々と順次整列するとき、計器座標系における照準点までの軸の回転角及び傾斜角を測定すること、
照準点までの軸に実質的に沿ってビデオカメラから三つの較正点の各々までの距離を測定すること、
ビデオカメラの順運動学を使用して、対応する回転角、傾斜角、及び距離の測定値を、計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置に変換すること、並びに
計器座標系において決定された位置を、少なくとも、三つの較正点に対応して計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置を用いて、局所座標系において決定された位置に変換するキャリブレーションマトリックスを計算すること
を含む、
システム。
【請求項８】
少なくとも一つのコンピュータが、
局所座標系における三つの較正点の位置が既知である場合において、ビデオカメラの照準点までの軸が、ターゲットオブジェクトの表面上の三つの較正点の各々と順次整列するとき、計器座標系における照準点までの軸の方向の測定値に対応する信号を計器から受信すること、
照準点までの軸に実質的に沿ってビデオカメラから三つの較正点の各々までの距離の測定値に対応する信号を距離計から受信すること、
ビデオカメラの順運動学を使用して、対応する方向及び距離の測定値を、計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置に変換すること、並びに
少なくとも、三つの較正点に対応して計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置を使用して、計器座標系において決定された位置を、局所座標系において決定された位置へ変換するキャリブレーションマトリックスを計算すること
により、キャリブレーションマトリックスを計算する、請求項７に記載のシステム。
【請求項９】
ターゲットオブジェクトが、制御可能に可動なターゲットオブジェクトであって、少なくとも一つのコンピュータがターゲットオブジェクトに動作可能に接続されており、少なくとも一つのコンピュータが、
ターゲットオブジェクトの計算された位置の、局所座標系における所望の位置からの位置偏差を計算し、
少なくとも計算された位置偏差を使用して、ターゲットオブジェクトに適用される位置フィードバック制御信号を計算し、且つ
計算された位置フィードバック制御信号をターゲットオブジェクトに適用する、
請求項８に記載のシステム。
【請求項１０】
ターゲットオブジェクトが検査センサを含み、局所座標系が航空機の座標系である、請求項９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概ねビデオカメラに関するものであり、より詳細にはビデオカメラを制御することにより、可動なターゲットオブジェクトを追跡する方法とシステムに関するものである。
【背景技術】
【０００２】
測定装置から独立した基準枠内でのターゲットオブジェクトの実時間追跡は、エンジニアリングからスポーツまで広い分野に用途を有しうる。設定及び使用が容易で且つ手頃なシステムは、既存のシステムを使用して位置調節することが困難であった多くの種類の動的追跡アプリケーションを可能にする。ビデオカメラに基づくシステム又はレーザに基づくシステムを使用して、可動オブジェクトの計器による追跡を可能にする市販の高価な計器追跡システムが存在する。ビデオカメラに基づくシステムの例として、マルチカメラ式モーションキャプチャーシステム、シングルカメラ式ピクセルベース画像システム、並びに、シングルカメラ式位置及び方向オブジェクト追跡ソフトウエアを挙げることができる。レーザに基づくシステムの例としては、干渉計に基づく追跡機、電子距離測定システム、並びに、測量及び建設設備レーザシステムが挙げられる。既存のシステムの幾つかは、計器を制御することにより、移動しているターゲットオブジェクトを含む局所座標系内において、可動なターゲットオブジェクトを追跡することができるが、それらはコストが高く、可搬性が低いか又は設定及び使用が容易でない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ビデオカメラを制御することにより、可動なターゲットオブジェクトを追跡して、移動しているターゲットオブジェクトを含む局所座標系内でのターゲットオブジェクトの位置を計算する方法及びシステムの改良が必要とされている。
【課題を解決するための手段】
【０００４】
第１の方法は、計器座標系を有するビデオカメラの照準点までの軸の方向を制御することにより、可動なターゲットオブジェクトの表面上のポイントオブインタレスト（ＰＯＩ）を追跡すること、及び移動しているターゲットオブジェクトを含む局所座標系におけるＰＯＩの位置を計算することを行うもので、この方法において、ビデオカメラは、照準点までの軸がＰＯＩと整列するとき、ＰＯＩを含むターゲットオブジェクトの少なくとも一部を含むピクセルベース画像を捕獲する。第１の方法は、ステップａ）からｌ）までを含んでいる。ステップａ）は、計器座標系において決定された位置を局所座標系内において決定された位置に変換するキャリブレーションマトリックスを計算することを含む。ステップｂ）は、ビデオカメラの照準点までの軸を、計器座標系内においてＰＯＩの第１の位置と整列させることであって、ＰＯＩがピクセルベース画像内で基準ピクセル上にセンタリングされることを含む。ステップｃ）は、照準点までの軸がＰＯＩの第１の位置と整列したとき、計器座標系における照準点までの軸の回転角及び傾斜角を測定することを含む。ステップｄ）は、照準点までの軸に実質的に沿ったビデオカメラからＰＯＩまでの距離であって、ＰＯＩの第１の位置に対応する距離を測定することを含む。ステップｅ）は、少なくとも、キャリブレーションマトリックスと、測定された回転角及び傾斜角と、ＰＯＩの第１の位置に対応する距離とを使用して、局所座標系におけるＰＯＩの第１の位置を計算することを含む。ステップｆ）は、計算されたＰＯＩの第１の位置を記憶することを含む。ステップｇ）は、ピクセルベース画像内のＰＯＩを決定すること、及びＰＯＩが局所座標系内で第２の位置へ移動することにより生じた、ピクセルベース画像内での基準ピクセルからのＰＯＩのピクセル位置の変化を決定することを含む。ステップｈ）は、計器座標系における回転角及び傾斜角を計算して、ビデオカメラの照準点までの軸を計器座標系におけるＰＯＩの第２の位置と整列させることにより、少なくとも、上述のように決定されたピクセルベース画像内での基準ピクセルからのＰＯＩのピクセル位置の変化を使用して、ピクセルベース画像内において照準点までの軸を基準ピクセル上にセンタリングし直すことを含む。ステップｉ）は、計算された回転（アジマス）角及び計算された傾斜（仰）角までビデオカメラの照準点までの軸を回転させることを含む。ステップｊ）は、照準点までの軸に実質的に沿ってビデオカメラからＰＯＩの第２の位置までの距離を測定することを含む。ステップｋ）は、少なくとも、キャリブレーションマトリックスと、測定又は計算された回転角及び傾斜角と、ＰＯＩの第２の位置に対応して測定された距離とを使用して、局所座標系におけるＰＯＩの第２の位置を計算することを含む。ステップｌ）は、計算されたＰＯＩの第２の位置を記憶することを含む。
【０００５】
第２の方法は、計器座標系を有するビデオカメラの照準点までの軸の方向を制御することにより、可動なターゲットオブジェクトの表面上のＰＯＩを追跡すること、及び移動しているターゲットオブジェクトを含む局所座標系におけるＰＯＩの位置を計算することを行うもので、この方法において、ビデオカメラは、照準点までの軸がＰＯＩと整列するとき、ＰＯＩを含むターゲットオブジェクトの少なくとも一部を含むピクセルベース画像を捕獲する。第２の方法は、ステップａ）からｌ）までを含んでいる。ステップａ）は、計器座標系において決定された位置を局所座標系内において決定された位置に変換するキャリブレーションマトリックスを計算することを含む。ステップｂ）は、ビデオカメラの照準点までの軸を、計器座標系内においてＰＯＩの第１の位置と整列させることであって、ＰＯＩがピクセルベース画像内で基準ピクセル上にセンタリングされることを含む。ステップｃ）は、照準点までの軸がＰＯＩの第１の位置と整列したとき、計器座標系における照準点までの軸の第１の回転角及び傾斜角を測定することを含む。ステップｄ）は、照準点までの軸に実質的に沿ったビデオカメラからＰＯＩまでの距離であって、ＰＯＩの第１の位置に対応する第１の距離を測定することを含む。ステップｅ）は、少なくとも、キャリブレーションマトリックスと、測定された第１の回転角及び傾斜角と、ＰＯＩの第１の位置に対応する距離とを使用して、局所座標系におけるＰＯＩの第１の位置を計算することを含む。ステップｆ）は、計算されたＰＯＩの第１の位置を記憶することを含む。ステップｇ）は、局所座標系内でＰＯＩが移動することによって生じた、ピクセルベース画像内での基準ピクセルからのＰＯＩのピクセル位置の変化を検出することを含む。ステップｈ）は、少なくともＰＯＩのピクセル位置に検出された変化を使用して、計器座標系においてビデオカメラの照準点までの軸の回転角及び傾斜角を継続的に調節することにより、ビデオカメラの照準点までの軸を、ターゲットオブジェクト上のＰＯＩに向かって移動させることを含む。ステップｉ）は、計器座標系において、照準点までの軸の複数の実時間回転角及び傾斜角を測定することを含む。ステップｊ）は、照準点までの軸がＰＯＩと整列したとき、照準点までの軸に実質的に沿ったビデオカメラからＰＯＩまでの複数の実時間距離を測定することを含む。ステップｋ）は、少なくとも、キャリブレーションマトリックスと、複数の回転角、傾斜角、及び距離の実時間測定値とを使用して、局所座標系内におけるＰＯＩの第２の位置を含む、局所座標系における複数のＰＯＩの位置を計算することを含む。ステップｌ）は、計算されたＰＯＩの複数の位置を記憶することを含む。
【０００６】
第１の実施形態の一表現例は、一つの計器と少なくとも一つのコンピュータとを含むシステムを目的としている。この計器は、ビデオカメラと距離計とを含んでいる。ビデオカメラは、方向が調節可能な照準点までの軸を含み、計器座標系を含んでいる。少なくとも一つのコンピュータは、ビデオカメラ及び距測機に動作可能に接続されている。少なくとも一つのコンピュータは、（１）ビデオカメラの照準点までの軸を、少なくとも、ビデオカメラによって捕獲された、ＰＯＩを含むピクセルベース画像を使用して、可動なターゲットオブジェクトの表面上のＰＯＩと継続的に整列させ、（２）計器座標系における位置を、移動しているターゲットオブジェクトを含む局所座標系内の位置に変換するキャリブレーションマトリックスを計算し、（３）照準点までの軸がＰＯＩと整列したとき、計器座標系における照準点までの軸の方向の実時間測定値に対応する信号を計器から受信し、（４）照準点の位置に実質的に沿った計器からＰＯＩまでの距離の実時間測定値に対応する信号を距離計から受信し、（５）少なくとも、キャリブレーションマトリックスと、ＰＯＩに対応する方向及び距離の実時間測定値とを使用して、局所座標系におけるＰＯＩの複数の位置を計算し、（６）計算されたＰＯＩの複数の位置を記憶する。
【０００７】
第１の実施形態の方法及び表現例のうちの一又は複数から、複数の利益及び利点が得られる。一実施例では、ピクセルベース画像を使用して、ビデオカメラの照準点までの軸の回転角及び傾斜角を制御することにより、ターゲットオブジェクトを追跡すること、及び回転角及び傾斜角と、ビデオカメラの照準点までの軸に実質的に沿った距離とをキャリブレーションマトリックスと共に使用して、局所座標系における位置を決定することにより、ターゲットオブジェクトを動的に追跡し、局所座標系においてターゲットオブジェクト上のＰＯＩの位置を決定するために、これまでより迅速な方法、及び可搬性が高く、設定と使用が容易で安価なシステムが可能になる。
【図面の簡単な説明】
【０００８】
【図１】図１は、一つの計器及び少なくとも一つのコンピュータを含むシステムと、可動なターゲットオブジェクトとの例示的な一実施形態の概略斜視図であって、計器にはビデオカメラと距離計とが含まれている。
【図２】図２は、計器座標系｛Ａ｝と局所座標系｛Ｂ｝との例示的な一実施形態の線図であって、計器座標系の原点から計器の照準点までの軸に沿ってポイントオブインタレストＰまで延びる位置ベクトルＡＰと、局所座標系の原点からポイントオブインタレストＰまで延びる位置ベクトルＢＰとを示している。
【図３】図３は、図２のような線図であり、第１の位置にあるターゲットオブジェクトに相当する実線で示されるターゲットオブジェクトと、第２の位置に移動したターゲットオブジェクトに相当する点線で示されるターゲットオブジェクトとを示しており、このターゲットオブジェクトは検査センサを含み、航空機の表面上を移動している（一部のみ図示する）。
【図４】座標系変換のキャリブレーションマトリックスリブレーションを計算するための例示的な一方法を理解するうえで有用な説明図である。
【図５】座標系変換のキャリブレーションマトリックスリブレーションを計算するための例示的な一方法を理解するうえで有用な説明図である。
【図６】座標系変換のキャリブレーションマトリックスリブレーションを計算するための例示的な一方法を理解するうえで有用な説明図である。
【図７Ａ】Ｂと共に、移動しているターゲットオブジェクトを含む局所座標系においてターゲットオブジェクトを実時間追跡することを伴う特定の方法の一実施例を説明するフロー図を示している。
【図７Ｂ】Ａと共に、移動しているターゲットオブジェクトを含む局所座標系においてターゲットオブジェクトを実時間追跡することを伴う特定の方法の一実施例を説明するフロー図を示している。
【図８】ビデオカメラの照準点までの軸が、移動しているターゲットオブジェクト上のＰＯＩと整列した状態に維持するための回転角及び傾斜角の変化を計算する例示的方法を理解するうえで有用な、ピクセルベース画像の一実施例を説明する図である。
【図９】ターゲットオブジェクト上のＰＯＩを中心とした移動しているターゲットオブジェクトの方向の変化を計算する例示的方法を理解するうえで有用な、ピクセルベース画像の一実施例を説明する図である。
【発明を実施するための形態】
【０００９】
図１の例示的実施形態と図２及び３の線図に示すように、第１の方法は、計器座標系１４を有するビデオカメラ１２の照準点までの軸１０の方向を制御することにより、可動なターゲットオブジェクト２０の表面１８上のＰＯＩ１６を追跡することと、移動しているターゲットオブジェクト２０が含まれる局所座標系２２におけるＰＯＩ１６の位置を計算することとを目的とし、この方法において、ビデオカメラ１２は、照準点までの軸１０がＰＯＩ１６と整列したとき、ＰＯＩ１６を含むターゲットオブジェクト２０の少なくとも一部を含むピクセルベース画像２４を捕獲する。一例として、図１では、ピクセルベース画像２４はモニタ２６に表示されている。異なる例として、ピクセルベース画像２４は表示されず、例えばビデオカメラ１２に内蔵されたプロセッサのメモリ内にピクセルベース画像として存在する。第１の方法は、ステップａ）からｌ）までを含んでいる。
【００１０】
ステップａ）は、計器座標系１４において決定された位置を局所座標系２２内において決定された位置に変換するキャリブレーションマトリックスを計算することを含む。ステップｂ）は、ビデオカメラ１２の照準点までの軸１０を、計器座標系１４内においてＰＯＩ１６の第１の位置Ｐ１に整列させることであって、ＰＯＩ１６がピクセルベース画像２４内で基準ピクセル２８上にセンタリングされることを含む。一実施例では、基準ピクセル２８はピクセルベース画像２４の中心ピクセルであり、ビデオカメラの照準点までの軸１０を表わしている。ステップｃ）は、照準点までの軸１０がＰＯＩ１６の第１の位置Ｐ１と整列したときに計器座標系１４における照準点までの軸１０の回転角３０及び傾斜角３２を測定することを含む。
【００１１】
ステップｄ）は、照準点までの軸１０に実質的沿ったビデオカメラ１２からＰＯＩ１６までの距離であって、ＰＯＩ１６の第１の位置Ｐ１に対応する距離を測定することを含む。ステップｅ）は、少なくとも、キャリブレーションマトリックスと、測定された回転角３０及び傾斜角３２と、ＰＯＩ１６の第１の位置Ｐ１に対応する距離とを使用して、局所座標系２２におけるＰＯＩ１６の第１の位置Ｐ１を計算することを含む。ステップｆ）は、計算されたＰＯＩの第１の位置Ｐ１を記憶することを含む。
【００１２】
ステップｇ）は、ピクセルベース画像２４内のＰＯＩ１６を決定すること、及びＰＯＩ１６が局所座標系２２内で第２の位置Ｐ２へ移動することにより生じる、ピクセルベース画像２４内での基準ピクセル２８からのＰＯＩ１６のピクセル位置の変化を決定することを含む。ステップｈ）は、計器座標系１４における回転角３０及び傾斜角３２を計算して、ビデオカメラ１２の照準点までの軸１０を計器座標系１４におけるＰＯＩ１６の第２の位置Ｐ２と整列させることにより、少なくとも、前述のピクセルベース画像２４内での基準ピクセル２８からのＰＯＩ１６のピクセル位置の変化を使用して、照準点までの軸１０をピクセルベース画像２４内において基準ピクセル２８上にセンタリングし直すことを含む。ステップｉ）は、計算された回転角３０及び計算された傾斜角３２までビデオカメラ１２の照準点までの軸１０を回転させることを含む。
【００１３】
ステップｊ）は、照準点までの軸１０に沿ってビデオカメラ１２からＰＯＩ１６の第２の位置Ｐ２までの距離を測定することを含む。ステップｋ）は、少なくとも、キャリブレーションマトリックスと、測定又は計算された回転角３０及び傾斜角３２と、ＰＯＩ１６の第２の位置Ｐ２に対応して測定された距離とを使用して、局所座標系２２におけるＰＯＩ１６の第２の位置Ｐ２を計算することを含む。ステップｌ）は、このように計算されたＰＯＩ１６の第２の位置Ｐ２を記憶することを含む。
【００１４】
第１の方法の一つの応用例では、ステップａ）は四つのサブステップを含んでいる。一のサブステップは、ビデオカメラ１２の照準点までの軸１０がターゲットオブジェクト２０の表面１８上の三つの較正点３４、３６、及び３８の各々と順番に整列するとき、計器座標系１４内での照準点までの軸１０の回転角３０及び傾斜角３２を測定することを含み、この場合、局所座標系２２における三つの較正点３４、３６、及び３８の位置は既知である。別のサブステップは、照準点までの軸１０に実質的に沿ってビデオカメラ１２から三つの較正点３４、３６、及び３８の各々までの距離を測定することを含む。別のサブステップは、ビデオカメラ１２の順運動学を使用して、それぞれの回転、傾斜、及び距離の測定値を、計器座標系１４内に決定された直交座標（Ｘ，Ｙ，Ｚ）位置に変換することを含む。別のサブステップは、計器座標系１４内において決定された位置を、少なくとも、計器座標系１４において決定された三つの較正点３４、３６、及び３８に対応する直交座標（Ｘ，Ｙ，Ｚ）位置を使用して、局所座標系２２において決定された位置に変換するキャリブレーションマトリックスを計算することを含む。一変形例では、キャリブレーションマトリックスは、局所座標系における位置が既知である別の較正点に向かう照準点までの軸の方向の他の測定値を使用せず、且つ照準点までの軸に実質的に沿って、計器から、局所座標系における位置が既知である別の較正点までの距離の他の測定値を使用せず、計算される。
【００１５】
図２に示すように、計器座標系１４において決定された点Ｐの座標が、回転（即ち、図２中、点Ｐに対するベクトルＡＰの回転角３０）と、傾斜（図２中、点Ｐに対するベクトルＡＰの傾斜角３２）と、距離（図２中、ベクトルＡＰに沿った点Ｐまでの距離）の極座標であるとき、計器座標系１４において極座標として表わされる点Ｐの位置は、計器座標系１４におけるＸ，Ｙ，Ｚ直交座標における点Ｐの位置に関連しており、それはビデオカメラ１２の順運動学に関する以下の等式から導かれる。
Ｘ＝距離＊ｃｏｓ（回転）＊ｃｏｓ（傾斜）
Ｙ＝距離＊ｓｉｎ（回転）＊ｓｉｎ（傾斜）
Ｚ＝距離＊ｓｉｎ（傾斜）
ここで、回転（アジマス角）は計器座標系１４におけるＺ軸を中心とする回転であり、傾斜（仰角）は計器座標系１４におけるＹ軸を中心とする回転である。
【００１６】
計器座標系１４において直交座標（Ｘ，Ｙ，Ｚ）で表わされる点Ｐの位置は、計器座標系１４内の極座標（回転、傾斜、距離）として表わされる点Ｐの位置に関連しており、それはビデオカメラ１２の逆運動学に関する以下の等式から導かれる。
0005486007.tif 000002
【００１７】
第１の方法の一実装形態では、局所座標系２２における位置ＢＰ（［Ｘ，Ｙ，Ｚ，１］Ｔの形態の列ベクトルとして表わされる）は、計器座標系１４における位置ＡＰ（やはり［Ｘ，Ｙ，Ｚ，１］Ｔの形態の列ベクトルとして表わされる）に基づいて、以下の等式から導かれる。
0005486007.tif 000003
ここで、Ｔはキャリブレーションマトリックスである。一実施例において、キャリブレーションマトリックスは以下の形態を有する４×４の同次変換マトリックスである。
0005486007.tif 000004
【００１８】
計器座標系１４における位置ＡＰは、局所座標系２２内の位置ＢＰに基づき、以下の等式から導かれるキャリブレーションマトリックスの逆数を用いて計算することができる。
0005486007.tif 000005
【００１９】
一例では、三つの較正点３４、３６、及び３８は同一線形順序に並んでおらず、キャリブレーションマトリックスは以下のようにして計算される。
0005486007.tif 000006
ここで、図４〜６に示すように、
0005486007.tif 000007
は、点
0005486007.tif 000008
から生成される座標系Ａにおけるベクトルであり（即ち、
0005486007.tif 000009
）、
ベクトル
0005486007.tif 000010
は同じ書式に従っており、
0005486007.tif 000011
はベクトルのクロス乗積から生成される法線であり、
0005486007.tif 000012
は回転の軸であり、
θ１及びθ２は
0005486007.tif 000013
をそれぞれ中心とする回転角度であり、
Ｒ１、Ｒ２、及びＲ１２は、３×３の対称回転マトリックスであり、
0005486007.tif 000014
は、以下に記載の角度−軸定義から３×３の回転マトリックスを生成する関数である（当業者には既知であり、例えば、John J. Craigによる「Introduction to Robotics: Mechanics and Control第3版」（Prentice Hall Professional Technical Referenceにより2004年7月に出版）に記載されている）。
0005486007.tif 000015
ここで、ｃθ＝ｃｏｓ（θ）、ｓθ＝ｓｉｎ（θ）、ｖθ＝１−ｃｏｓ（θ）、及び
0005486007.tif 000016
である。
【００２０】
４×４の同次キャリブレーションマトリックス
0005486007.tif 000017
は、ターゲットオブジェクト２０に対するビデオカメラ１２のいずれの位置についても一度計算するだけでよく、次いで
0005486007.tif 000018
を使用して、座標系｛Ａ｝（計器座標系１４）から座標系｛Ｂ｝（局所座標系２２）へ、任意の数のベクトルを変換することができることに注目されたい。また、逆キャリブレーションマトリックス
0005486007.tif 000019
は、キャリブレーションマトリックス
0005486007.tif 000020
の逆数を計算することにより計算することができるか、又は前パラグラフの第１の等式中のベクトルの順番を入れ換えることにより直接計算することができる。図３では、ＡＰ１は、座標系｛Ａ｝におけるＰ（ＰＯＩ１６）の第１の位置を表わすベクトルであり、ＡＰ２は、座標系｛Ａ｝におけるＰ（ＰＯＩ１６）の第２の位置を表わすベクトルであり、ＢＰ１は、座標系｛Ｂ｝におけるＰ（ＰＯＩ１６）の第１の位置を表わすベクトルであり、ＢＰ２は、座標系｛Ｂ｝におけるＰ（ＰＯＩ１６）の第２の位置を表わすベクトルである。
【００２１】
第１の方法の他の応用例では、ステップａ）は、画像に基づくアルゴリズムを利用してキャリブレーションマトリックスを計算することを含み、このキャリブレーションマトリックスは、ほぼ同一平面内にある五つの較正点を使用するか又は同一平面内には位置しない七つの較正点を使用するもので、距離を測定する必要なく計器座標系内の必要な位置を計算することができる。
【００２２】
図８に示すように、計器座標系１４における回転角３０及び傾斜角３２を計算することにより、ビデオカメラ１２の照準点までの軸１０を、計器座標系１４内のＰＯＩ１６の第２の位置Ｐ２と整列させて、ピクセルベース画像２４内で基準ピクセル２８上にＰＯＩ１６をセンタリングし直す一の手順は、ピクセルベース画像２４内での基準ピクセル２８からのＰＯＩ１６のピクセル位置の変化の計算値ΔＸ及びΔＹのみを使用する。図８では、ＰＯＩ１６を基準ピクセル２８上にセンタリングし直し、したがってビデオカメラ１２の照準点までの軸１０をＰＯＩ１６の第２の位置Ｐ２と整列し直すことにより、移動しているターゲットオブジェクト２０を追跡するために必要な、ΔＸは回転角３０の所望の変化に関連し、ΔＹは傾斜角３２に所望の変化に関連している。一の技術では、閉ループフィードバック制御法を実施することにより継続的な整列を行うことができる。この技術の一の応用例では、ピクセル値に生じたあらゆる変化に比例的なフィードバック利得を継続的に乗じ、次いでこの積を以前の角度値に加算することにより、この種の制御を実行することできる。これを以下に示す。
新回転角＝旧回転角＋Ｋ１（ΔＸ）、及び
新傾斜角＝旧傾斜角＋Ｋ２（ΔＹ）
ここで、Ｋ１及びＫ２はフィードバック利得である。このプロセスは、図７Ａのフロー図の左の分岐に記載されている。
【００２３】
フィードバック利得を適切に選択することにより、システムは、基準ピクセル２８からのＰＯＩ１６のずれがゼロとなるような、回転（アジマス角）及び傾斜（仰角）の正確な値に収束する。一変形例では、ターゲットオブジェクト２０の相対運動が拡大することに対応して広いズーム設定でフィードバックレートが上昇するように、ビデオカメラ１２の現在の視野がフィードバック利得の選択に使用される。一修正例では、ピクセルベース画像２４内のＰＯＩ１６は、ＰＯＩ１６をマーキングすることにより、又はＰＯＩ１６上にマーカーを置くことにより、特定の色（例えば蛍光グリーン又はオレンジ）又はパターンを用いて識別される。
【００２４】
このような再整列を達成するための別の手順は、ピクセルのずれ、レンズの現在の視野、及びターゲットまでの距離に基づいて新規の回転角及び傾斜角を計算することにより、ビデオカメラ１２を現在の視点に向けることである。理想的な条件では、これは単一のステップによる開ループ制御法であるが、視野の測定値が不正確であることと、画像の歪みに関連するその他の問題により、収束に達するために数回の反復を実行する手順を要する場合がある。このプロセスは、図７Ａのフロー図の右側の分岐に記載されている。
【００２５】
第１の方法の一実現例では、計算されて記憶された第１及び第２の位置が、少なくとも一つのコンピュータ４２の一時的又は恒久的コンピュータメモリ４０に記憶される。図７Ａ及び７Ｂは、移動するターゲットを含んでいる局所座標系においてターゲットオブジェクトの実時間追跡を行う特定の方法の一実施例を説明するプロセスフロー図を示している。
【００２６】
一使用例では、第１の方法は、局所座標系２２におけるＰＯＩ１６を中心とするターゲットオブジェクト２０の方向も計算し、この場合、第１の方法はステップｍ）〜ｔ）も含んでいる。
【００２７】
ステップｍ）は、ＰＯＩ１６の第１の位置Ｐ１に対応する、計器座標系１４におけるターゲットオブジェクト２０の表面１８上の追加点（図３には二つの追加点４４及び４６のみを示す）の第１の位置を、少なくとも、ターゲットオブジェクトの座標系４８におけるＰＯＩ１６に対する追加点４４及び４６の既知の位置と、ＰＯＩ１６の第１の位置Ｐ１に対応するピクセルベース画像２４内における追加点４４及び４６のピクセルベースの位置を使用して計算することを含む。ステップｎ）は、ＰＯＩ１６の第１の位置Ｐ１に対応する、計器座標系１４におけるＰＯＩ１６を中心としたターゲットオブジェクト２０の第１の方向を、少なくとも、計算された追加点４４及び４６の第１の位置と、計器座標系１４におけるＰＯＩ１６とを使用して計算することを含む。ステップｏ）は、局所座標系２２におけるＰＯＩ１６を中心としたターゲットオブジェクト２０の第１の方向を、少なくとも、キャリブレーションマトリックスと、計器座標系１４において計算されたＰＯＩ１６を中心とするターゲットオブジェクト２０の第１の方向とを使用して計算することを含む。ステップｐ）は計算された第１の方向を記憶することを含む。
【００２８】
ステップｑ）は、ＰＯＩ１６の第２の位置Ｐ２に対応する、計器座標系１４におけるターゲットオブジェクト２０の表面１８上の追加点４４及び４６の第２の位置を、少なくとも、ターゲットオブジェクトの座標４８内におけるＰＯＩ１６に対する追加点４４及び４６の既知の位置と、ＰＯＩ１６の第２の位置Ｐ２に対応する、ピクセルベース画像２４内での追加点４４及び４６のピクセルベースの位置とを使用して計算することを含む。ステップｒ）は、ＰＯＩ１６の第２の位置Ｐ２に対応する、計器座標系１４におけるＰＯＩ１６を中心としたターゲットオブジェクト２０の第２の方向を、少なくとも、計器座標系において計算された追加点４４及び４６と、ＰＯＩ１６との第２の位置を使用して計算することを含む。ステップｓ）は、局所座標系２２におけるＰＯＩ１６を中心としたターゲットオブジェクト２０の第２の方向を、少なくとも、キャリブレーションマトリックスと、計器座標系１４において計算されたＰＯＩ１６を中心とするターゲットオブジェクト２０の第２の方向とを使用して計算することを含む。ステップｔ）は、計算された第２の方向を記憶することを含む。
【００２９】
図９に示すように、一の使用例では、ピクセルベース画像２４内におけるＰＯＩ１６と追加点４４及び４６とは、ＰＯＩ１６と追加点４４及び４６とをマーキングするか、又はＰＯＩ１６と追加点４４及び４６の上にマーカーを置くことにより、それぞれ特定の色で識別することができ、この場合、ＰＯＩ１６と追加点４４及び４６との相対的な位置はターゲットオブジェクトの座標系４８において既知である。図９では、Δθは、ＰＯＩ１６の第２の位置Ｐ２における、ＰＯＩ１６を中心としたターゲットオブジェクト２０の方向の角度変化を示す。図９には一の角度しか示されていないが、計器座標系１４において互いに直角な三つの方向を計算することができる。異なる使用例では、ＰＯＩ１６と追加点４４及び４６とをターゲットオブジェクト２０の２Ｄの画像アイコンで置換する市販のソフトウエア又はオープンソースソフトウエアを使用して、計器座標系１４におけるターゲットオブジェクト２０の位置及び方向が計算される。
【００３０】
一構成例では、ターゲットオブジェクト２０は、制御可能に可動なターゲットオブジェクトであり、第１の方法は、更に、計算されたターゲットオブジェクト２０の第１の位置Ｐ１の、局所座標系２２における所望の位置からの位置偏差を計算することと、少なくとも計算された位置偏差を使用して、ターゲットオブジェクト２０に適用される位置フィードバック制御信号を計算することと、計算された位置フィードバック制御信号を（例えば一実施例では遠隔制御により）ターゲットオブジェクト２０に適用することとを含む。一変形例では、第１の方法は、更に、計算されたターゲットオブジェクト２０の第１の方向の、局所座標系における所望の方向からの方向偏差であって、第１の位置Ｐ１に対応する方向偏差を計算することと、少なくとも計算された方向偏差を使用して、ターゲットオブジェクト２０に適用される方向フィードバック制御信号を計算することと、計算された方向フィードバック制御信号をターゲットオブジェクト２０に適用することとを含む。
【００３１】
第１の方法の一展開例では、ターゲットオブジェクト２０が第１の位置Ｐ１と第２の位置Ｐ２との間で移動する間に、ビデオカメラ１２が計器座標系１４内において既知の並行移動をしており、ステップｋ）が、当業者が通常のレベル内で行うように、既知の並行移動を使用することを含む。同じ又は異なる使用例では、ターゲットオブジェクト２０が第１の方向と第２の方向との間で回転する間に、ビデオカメラ１２が計器座標系１４内において既知の回転をしており、ステップｓ）が、当業者が通常のレベル内で行うように、既知の回転を使用することも含む。
【００３２】
第１の方法の一実現例では、ターゲットオブジェクト２０が固定の位置と方向とを維持する間に、ビデオカメラ１２は計器座標系１４内で新規ビデオカメラ位置へ未知の並行移動を行っており、ステップｋ）が、この新規ビデオカメラ位置に対応する新規キャリブレーションマトリックスを計算及び使用することも含む。同じ又は異なる実現例では、ターゲットオブジェクト２０が固定の位置と方向とを維持する間に、ビデオカメラ１２は計器座標系１４内で新規のビデオカメラ方向へ未知の回転を行っており、ステップｓ）が、この第２の方向に対応する新規キャリブレーションマトリックスを計算することも含む。
【００３３】
第１の方法の一実装形態では、ターゲットオブジェクト２０は、検査センサ５０（図３）を含み、航空機５４の表面５２上を移動するように構成されており、局所座標系２２は航空機５４の座標系である。
【００３４】
ここまでの説明は、移動しているターゲットオブジェクトを含む局所座標系内におけるターゲットオブジェクト上のＰＯＩの実時間位置の計算に焦点を当ててきたが、時間も計測されるとき、位置計算を使用して、局所座標系におけるターゲットオブジェクトの速度及び加速度の（推定）値を決定することもできる。速度及び加速度の実時間推定は、ＰＯＩの連続的な実際位置測定により求めることができる。例えば、速度の値は等式：
0005486007.tif 000021
により計算することができ、加速度の値は、等式：
0005486007.tif 000022
により計算することができる。計算に若干の遅延が許されるのであれば、追加データ点を使用して、速度及び加速度の計算値の精度を向上させることができる。このような機能に可能な使用例として、経路に対する、当該経路上を移動するターゲットオブジェクトの速度（即ち、速さと進行方向）を決定することが考えられる。このデータは、ビデオカメラの位置とは無関係に取得することができる。このように、一拡張例では、第１の方法は、局所座標系２２におけるターゲットオブジェクト２０の速度及び加速度の値を計算することも含む。
【００３５】
再び図１の例示的実施形態と図２及び３の線図を参照する。第２の方法は、計器座標系１４を有するビデオカメラ１２の照準点までの軸１０の方向を制御することにより、可動なターゲットオブジェクト２０の表面１８上のＰＯＩ１６を追跡すること、及び局所座標系２２におけるＰＯＩ１６の位置を計算することを行うもので、この方法において、ビデオカメラ１２は、照準点までの軸１０がＰＯＩ１６と整列するとき、ＰＯＩ１６を含むターゲットオブジェクト２０の少なくとも一部を含むピクセルベース画像２４を捕獲する。一例では、図１に示すように、ピクセルベース画像２４はモニタ２６上に表示される。異なる例では、ピクセルベース画像２４は表示されず、例えばビデオカメラ１２に内蔵された、プロセッサのメモリ内にピクセルベース画像データとして存在する。第２の方法は、ステップａ）からｌ）までを含んでいる。
【００３６】
第２の方法のステップａ）、ｂ）、ｆ）及びｌ）は、第１の方法のステップａ）、ｂ）、ｆ）及びｌ）と同一である。第２の方法のステップｃ）からｅ）は、第１の方法における回転角及び傾斜角と距離とを、第２の方法における第１の回転角及び第１の傾斜角と第１の距離とに置き換える以外は、第１の方法のステップｃ）からｅ）と同一である。第２の方法のステップｇ）からｋ）について以下に説明する。
【００３７】
ステップｇ）は、局所座標系２２内でＰＯＩ１６が移動することによって生じた、ピクセルベース画像２４内での基準ピクセル２８からのＰＯＩ１６のピクセル位置の変化を検出することを含む。ステップｈ）は、少なくとも検出されたＰＯＩ１６のピクセル位置の変化を使用して、計器座標系１４においてビデオカメラ１２の照準点までの軸１０の回転角３０及び傾斜角３２を継続的に調節することにより、ビデオカメラ１２の照準点までの軸１０を、ターゲットオブジェクト２０のＰＯＩ１６に向かって移動させることを含む。
【００３８】
ステップｉ）は、計器座標系１４において、照準点までの軸１０の複数の実時間回転角３０及び傾斜角３２を測定することを含む。ステップｊ）は、照準点までの軸１０がＰＯＩ１６と整列したとき、照準点までの軸１０に実質的に沿ってビデオカメラ１２からＰＯＩ１６までの複数の実時間距離を測定することを含む。ステップｋ）は、少なくとも、キャリブレーションマトリックスと、複数の回転角３０、傾斜角３２、及び距離の実時間測定値とを使用して、局所座標系２２内でのＰＯＩ１６の第２の位Ｐ２を含む、局所座標系２２におけるＰＯＩ１６の複数の位置を計算することを含む。
【００３９】
第１の方法の実装形態、応用例、構成例などは、第２の方法に等しく適用可能である。
【００４０】
再び図１の例示的実施形態と図２及び３の線図とを参照する。一実施形態の第１の表現例が、一つの計器５８と少なくとも一つのコンピュータ４２を含むシステム５６として示されている。この計器５８はビデオカメラ１２と距離計６０とを含んでいる。ビデオカメラ１２は、方向が調節可能な照準点までの軸１０を含み、計器座標系１４を有している。少なくとも一つのコンピュータ４２は、ビデオカメラ１２及び距離計６０に動作可能に接続されている。一例では、少なくとも一つのコンピュータ４２は、図１に示すようにピクセルベース画像２４を表示するモニタ２６を有するラップトップコンピュータである。異なる例では、少なくとも一つのコンピュータは、計器５８に内蔵されたプロセッサであり、ピクセルベース画像２４は表示されずプロセッサのメモリ内にピクセルベース画像データとして存在する。「ビデオカメラ」という用語があらゆる画像センサを含むことに注意されたい。
【００４１】
少なくとも一つのコンピュータ４２は、（１）ビデオカメラ１２の照準点までの軸１０を、少なくとも、ビデオカメラ１２によって捕獲されて、ＰＯＩ１６を含むピクセルベース画像２４を使用して、可動なターゲットオブジェクト２０の表面１８上のＰＯＩ１６に連続的に整列させ、（２）計器座標系１４内の位置を、移動しているターゲットオブジェクト２０が含まれる局所座標系２２内の位置に転換するキャリブレーションマトリックスを計算し、（３）照準点までの軸１０がＰＯＩ１６と整列したとき、計器座標系１４における照準点までの軸１０の方向の実時間測定値に対応する信号を計器５８から受信し、（４）計器５８から照準点までの軸１０に実質的に沿ってＰＯＩ１６までの距離の実時間測定値に対応する信号を距離計６０から受信し、（５）少なくとも、キャリブレーションマトリックスと、ＰＯＩ１６に対応する方向及び距離の実時間測定値とを使用して、局所座標系２２におけるＰＯＩ１６の複数の位置を計算し、（６）計算されたＰＯＩ１６の複数の位置を記憶する。
【００４２】
図１の実施形態の第１の表現例の一実装形態では、少なくとも一つのコンピュータ４２は、（１）三つの較正点３４、３６、及び３８の局所座標系２２における位置が既知である場合に、ビデオカメラ１２の照準点までの軸１０がターゲットオブジェクト２０の表面１８上の三つの較正点３４、３６、及び３８の各々と順に整列するとき、計器座標系１４における照準点までの軸１０の方向の測定値に対応する信号を計器５８から受信し、（２）照準点までの軸１０に実質的に沿ってビデオカメラ１２から三つの較正点３４、３６、及び３８の各々までの距離の測定値に対応する信号を距離計６０から受信し、（３）ビデオカメラ１２の順運動学を使用して、対応する方向及び距離の測定値を、計器座標系１４において決定された直交座標（Ｘ，Ｙ，Ｚ）位置へと変換し、且つ（４）計器座標系１４において決定された位置を、三つの較正点３４、３６、及び３８に対応する計器座標系１４において決定された直交座標（Ｘ，Ｙ，Ｚ）位置を少なくとも使用して、局所座標系２２において決定された位置へと変換するキャリブレーションマトリックスを計算することにより、キャリブレーションマトリックスを計算する。
【００４３】
図１の実施形態の第１の表現例の一実現例では、ターゲットオブジェクト２０は、制御可能に可動なターゲットオブジェクトであり、少なくとも一つのコンピュータ４２は、ターゲットオブジェクト２０に動作可能に接続されており（例えば、一実施例では無線通信により）、少なくとも一つのコンピュータ４２は、（１）ターゲットオブジェクトの計算された位置の、局所座標系２２における所望の位置からの位置偏差を計算し、（２）少なくとも計算された位置偏差を使用して、ターゲットオブジェクト２０に適用される位置フィードバック制御信号を計算し、且つ（３）計算された位置フィードバック制御信号を（例えば、一実施例では無線通信により）ターゲットオブジェクト２０に適用する。
【００４４】
図１の実施形態の第１の表現例の一構成例では、ターゲットオブジェクト２０は検査センサ５０（図３）を含んでいる。一変形例では、局所座標系２２は航空機の座標系である。一修正例では、距離計６０はレーザ距離計である。
【００４５】
図１の実施形態の第１の表現例を利用する一構築例では、計器５８は三脚６４によって支持され、計器５８に動作可能に装着されて、ビデオカメラ１２が回転角及び傾斜角を変えながら回転することを可能にする回転及び傾斜機構６２を含んでいる。一変形例では、少なくとも一つのコンピュータ４２は、ジョイスティック入力装置６６とモニタ２６とを含む。一修正例では、少なくとも一つのコンピュータ４２は、較正のためのジョイスティック入力装置６６及び他の方法ステップを実行するコンピュータプログラムを介して回転及び傾斜機構６２を制御することにより、ビデオカメラ１２の視野のピクセルベース画像２４をモニタ２６上に表示し、照準点までの軸１０の表示６８（例えば十字の中心）をディスプレイ上に重ねるように、プログラムされている。別の構築例では、三脚に換えて、建造物の壁、天井などに計器５８が剛性に取り付けられる。
【００４６】
一利用例では、システム５６は、別のコンピュータからのネットワークソケット接続を介して遠隔地から制御されるように設定することができるか、又はいずれかのウェブブラウザからの制御が可能になるようにウェブサーバを介して接続することができる。リモートユーザは、リモートアクセスを使用して、較正を行うためにカメラから画像を送り返すことができる。多くの手持ち式無線デバイスがウェブブラウザを有しているので、この種の制御が多種多様な場所において利用可能であろう。
【００４７】
上述の方法及びシステムのいずれかの一利用例では、ターゲットオブジェクト２０の検査センサ５０により感知される航空機５４の表面５２上の点は、ターゲットオブジェクト２０上のＰＯＩ１６の位置とほぼ同一である。検査センサ５０（図３）は、少なくとも一つのコンピュータ４２に対し、検査センサ５０が航空機５４の表面５２上に修理を要する点を感知したときを示す。航空機５４上の修理を要する点に対応して航空機５４の局所（航空機の）座標系２２において記憶されたＰＯＩ１６の位置を後で使用して、計器座標系におけるビデオカメラ１２の照準点までの軸１０の回転角３０及び傾斜角３２を制御することにより、照準点までの軸１０と航空機５４上の修理を要する点とを整列させて、修理手順を計画することができる。一変形例では、記憶されたターゲットオブジェクト２０上のＰＯＩ１６の位置を、ＰＯＩに基づく感知された点の既知の相対的位置及び方向を使用して調節することにより、検査センサ５０により感知された航空機５４上の修理を要する点からのずれがすべて相殺される。
【００４８】
次に、ビデオカメラ１２の照準点までの軸１０が局所（航空機の）座標系２２を有する航空機５４の表面１８上のＰＯＩ１６と整列するように、計器座標系１４を有するビデオカメラ１２の照準点までの軸１０の方向を決定する一の方法について説明する。この場合、局所座標系２２におけるＰＯＩ１６の位置は既知である。この方法は、計器座標系１４において決定された位置を、局所座標系２２において決定された位置へ変換するキャリブレーションマトリックスを計算することを含む。この方法は、キャリブレーションマトリックスの逆数を計算することを含む。この方法は、少なくとも、キャリブレーションマトリックスの逆数と、局所座標系２２におけるＰＯＩ１６の位置と、ビデオカメラ１２の逆運動学とを使用して、計器座標系１４におけるビデオカメラ１２の照準点までの軸１０の方向（例えば回転角３０及び傾斜角３２）を計算することを含む。この方法は、ビデオカメラ１２の照準点までの軸１０を、計算された方向まで回転させることを含む。
【００４９】
一変形例では、計器座標系１４におけるビデオカメラ１２の照準点までの軸１０の方向は、キャリブレーションマトリックスの逆数と、局所座標系２２における照準点までの軸１０の位置と、ビデオカメラ１２の逆運動学とを使用するだけで計算される。本方法の一実現例では、少なくとも一つのコンピュータ４２は、回転及び傾斜機構６２を制御することにより、計算された方向へとビデオカメラ１２の照準点までの軸１０を回転させるようにプログラムされている。
【００５０】
第１の実施形態の方法及び表現例のうちの一又は複数から、複数の恩恵及び利点が得られる。一実施例では、ビデオカメラの照準点までの軸の回転角及び傾斜角を制御するためにピクセルベース画像を使用してターゲットオブジェクトを追跡すること、並びに、回転角及び傾斜角と、ビデオカメラの照準点までの軸に実質的に沿った距離とを、位置決定のためのキャリブレーションマトリックスと併せて使用することにより、ターゲットオブジェクトを動的に追跡して、局所座標系においてターゲットオブジェクト上のＰＯＩの位置を決定するために、これまでより迅速な方法と、可搬性が高く、設定及び使用が容易で、且つ安価なシステムとが可能となる。
【００５１】
本発明の複数の方法と、本発明の一実施形態の一表現例に関する上述の説明は、例示を目的として提示されている。上述の説明は、本発明を完全に説明するものではなく、本発明を開示された詳細な形態及びステップに制限するものでもない。言うまでもなく、上述の教示を考慮して、多数の修正例及び変形例が想起可能である。本発明の範囲は請求の範囲によって画定されるものである。
また、本願は以下に記載する態様を含む。
（態様１）
計器座標系を有するビデオカメラの照準点までの軸の方向を制御することにより、可動なターゲットオブジェクトの表面上のＰＯＩを追跡し、移動しているターゲットオブジェクトを含む局所座標系におけるＰＯＩの位置を計算する方法であって、ビデオカメラが、照準点までの軸がＰＯＩと整列するとき、ＰＯＩを含むターゲットオブジェクトの少なくとも一部を含むピクセルベース画像を捕獲するもので、
ａ）計器座標系において決定された位置を局所座標系内において決定された位置に変換するキャリブレーションマトリックスを計算するステップ、
ｂ）ビデオカメラの照準点までの軸を、計器座標系内においてＰＯＩの第１の位置に合わせて整列させるステップであって、このＰＯＩがピクセルベース画像内で基準ピクセル上にセンタリングされるステップ、
ｃ）照準点までの軸がＰＯＩの第１の位置と整列するとき、計器座標系における照準点までの軸の回転角及び傾斜角を測定するステップ、
ｄ）照準点までの軸に実質的に沿ったビデオカメラからＰＯＩまでの距離であって、ＰＯＩの第１の位置に対応する距離を測定するステップ、
ｅ）少なくとも、キャリブレーションマトリックスと、測定された回転角及び傾斜角と、ＰＯＩの第１の位置に対応する距離とを使用して、局所座標系におけるＰＯＩの第１の位置を計算するステップ、
ｆ）計算されたＰＯＩの第１の位置を記憶するステップ、
ｇ）ピクセルベース画像内のＰＯＩを決定し、ＰＯＩが局所座標系内で第２の位置へ移動することにより生じる、ピクセルベース画像内での基準ピクセルからのＰＯＩのピクセル位置の変化を決定するステップ、
ｈ）計器座標系における回転角及び傾斜角を計算して、ビデオカメラの照準点までの軸を計器座標系におけるＰＯＩの第２の位置と整列させることにより、少なくとも、決定されたピクセルベース画像内での基準ピクセルからのＰＯＩのピクセル位置の変化を使用して、ピクセルベース画像内の基準ピクセル上に照準点までの軸をセンタリングし直すステップ、
ｉ）計算された回転角及び計算された傾斜角までビデオカメラの照準点までの軸を回転させるステップ、
ｊ）照準点までの軸に実質的に沿ってビデオカメラからＰＯＩの第２の位置までの距離を測定するステップ、
ｋ）少なくとも、キャリブレーションマトリックスと、測定又は計算された回転角及び傾斜角と、ＰＯＩの第２の位置に対応する測定された距離とを使用して、局所座標系におけるＰＯＩの第２の位置を計算するステップ、並びに
ｌ）計算されたＰＯＩの第２の位置を記憶するステップ
を含む方法。
（態様２）
ステップａ）が、
局所座標系における三つの較正点の位置が既知である場合に、ビデオカメラの照準点までの軸が、ターゲットオブジェクトの表面上の三つの較正点の各々と順次整列するとき、計器座標系における照準点までの軸の回転角及び傾斜角を測定すること、
照準点までの軸に実質的に沿ってビデオカメラから三つの較正点の各々までの距離を測定すること、
ビデオカメラの順運動学を使用して、対応する回転角、傾斜角、及び距離の測定値を、計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置に変換すること、並びに
計器座標系において決定された位置を、少なくとも、三つの較正点に対応して計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置を用いて、局所座標系において決定された位置に変換するキャリブレーションマトリックスを計算すること
を含む、態様１に記載の方法。
（態様３）
更に、局所座標系におけるＰＯＩを中心としたターゲットオブジェクトの方向を計算する方法であって、
ｍ）ＰＯＩの第１の位置に対応する、計器座標系におけるターゲットオブジェクトの表面上の追加点の第１の位置を、少なくとも、ターゲットオブジェクトの座標系内でのＰＯＩに対する追加点の既知の位置と、ＰＯＩの第１の位置に対応するピクセルベース画像内での追加点のピクセルベースの位置とを使用して、計算するステップ、
ｎ）ＰＯＩの第１の位置に対応する、計器座標系におけるＰＯＩを中心としたターゲットオブジェクトの第１の方向を、少なくとも、計算された追加点の第１の位置と、計器座標系におけるＰＯＩとを使用して、計算するステップ、
ｏ）局所座標系におけるＰＯＩを中心としたターゲットオブジェクトの第１の方向を、少なくとも、キャリブレーションマトリックスと、計器座標系において計算されたＰＯＩを中心とするターゲットオブジェクトの第１の方向とを使用して、計算するステップ、
ｐ）計算された第１の方向を記憶するステップ、
ｑ）ＰＯＩの第２の位置に対応する、計器座標系内でのターゲットオブジェクトの表面上の追加点の第２の位置を、少なくとも、ターゲットオブジェクトの座標内でのＰＯＩに対する追加点の既知の位置と、ＰＯＩの第２の位置に対応する、ピクセルベース画像内での追加点のピクセルベースの位置とを使用して、計算するステップ、
ｒ）ＰＯＩの第２の位置に対応する、計器座標系におけるＰＯＩを中心としたターゲットオブジェクトの第２の方向を、少なくとも、計器座標系において計算された追加点とＰＯＩとの第２の位置を使用して計算するステップ、
ｓ）局所座標系におけるＰＯＩを中心としたターゲットオブジェクトの第２の方向を、少なくとも、キャリブレーションマトリックスと、計器座標系において計算されたＰＯＩを中心とするターゲットオブジェクトの第２の方向とを使用して、計算するステップ、並びに
ｔ）計算された第２の方向を記憶するステップ
を更に含む、態様１に記載の方法。
（態様４）
ターゲットオブジェクトが制御可能に可動なターゲットオブジェクトであって、
計算されたターゲットオブジェクトの第１の位置の、局所座標系における所望の位置からの位置偏差を計算すること、
少なくとも計算された位置偏差を使用して、ターゲットオブジェクトに適用する位置フィードバック制御信号を計算すること、並びに
計算された位置フィードバック制御信号をターゲットオブジェクトに適用すること
を更に含む、態様１に記載の方法。
（態様５）
ターゲットオブジェクトが制御可能に可動なターゲットオブジェクトであって、
第１の位置に対応して、計算されたターゲットオブジェクトの第１の方向の、局所座標系における所望の方向からの方向偏差を計算すること、
少なくとも計算された方向偏差を使用して、ターゲットオブジェクトに適用する方向フィードバック制御信号を計算すること、並びに
計算された方向フィードバック制御信号をターゲットオブジェクトに適用すること
を更に含む、態様３に記載の方法。
（態様６）
ターゲットオブジェクトが第１の位置と第２の位置との間で移動する間に、ビデオカメラが計器座標系内で既知の並行移動を行い、ステップｋ）が、既知の並行移動を使用することを含む、態様１に記載の方法。
（態様７）
ターゲットオブジェクトが第１の方向と第２の方向との間で回転する間に、ビデオカメラが計器座標系内で既知の回転を行い、ステップｓ）が、既知の回転を使用することを含む、態様３に記載の方法。
（態様８）
ターゲットオブジェクトが固定の位置及び方向を維持する間に、ビデオカメラが計器座標系内で新規ビデオカメラ位置へと未知の並行移動を行い、ステップｋ）が、新規ビデオカメラ位置に対応する新規較正マトリックスを計算及び使用することを更に含む、態様１に記載の方法。
（態様９）
ターゲットオブジェクトが固定の位置及び方向を維持する間に、ビデオカメラが計器座標系内で新規ビデオカメラ方向へと未知の回転を行い、ステップｓ）が、第２の方向に対応する新規較正マトリックスを計算使用することを更に含む、態様３に記載の方法。
（態様１０）
ターゲットオブジェクトが、検査センサを含み、且つ航空機の表面上を移動するように構成されており、局所座標系が航空機の座標系である、態様１に記載の方法。
（態様１１）
局所座標系におけるターゲットオブジェクトの速度及び加速度を計算することを更に含む、態様１に記載の方法。
（態様１２）
ａ）ビデオカメラ及び距離計を含む計器であって、ビデオカメラが方向の調節が可能な照準点までの軸を含み、且つ計器座標系を含んでいる計器と、
ｂ）ビデオカメラ及び距離計に動作可能に接続された少なくとも一つのコンピュータと
を備えたシステムであって、少なくとも一つのコンピュータが、
ビデオカメラの照準点までの軸を、少なくとも、ビデオカメラによって捕獲された画像であってＰＯＩを含むピクセルベース画像を使用して、可動なターゲットオブジェクトの表面上のＰＯＩに連続的に整列させ、
計器座標系内の位置を、移動しているターゲットオブジェクトを含む局所座標系内の位置へと変換するキャリブレーションマトリックスを計算し、
照準点までの軸がＰＯＩと整列するとき、計器座標系における照準点までの軸の方向の実時間測定値に対応する信号を計器から受信し、
照準点までの軸に実質的に沿って計器からＰＯＩまでの距離の実時間測定値に対応する信号を距離計から受信し、
少なくとも、キャリブレーションマトリックスと、ＰＯＩに対応する方向及び距離の実時間測定値とを使用して、局所座標系におけるＰＯＩの複数の位置を計算し、
ＰＯＩの計算された複数の位置を記憶する
システム。
（態様１３）
少なくとも一つのコンピュータが、
局所座標系における三つの較正点の位置が既知である場合において、ビデオカメラの照準点までの軸が、ターゲットオブジェクトの表面上の三つの較正点の各々と順次整列するとき、計器座標系における照準点までの軸の方向の測定値に対応する信号を計器から受信すること、
照準点までの軸に実質的に沿ってビデオカメラから三つの較正点の各々までの距離の測定値に対応する信号を距離計から受信すること、
ビデオカメラの順運動学を使用して、対応する方向及び距離の測定値を、計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置に変換すること、並びに
少なくとも、三つの較正点に対応して計器座標系において決定された直交座標（Ｘ，Ｙ，Ｚ）位置を使用して、計器座標系において決定された位置を、局所座標系において決定された位置へ変換するキャリブレーションマトリックスを計算すること
により、キャリブレーションマトリックスを計算する、態様１２に記載のシステム。
（態様１４）
ターゲットオブジェクトが、制御可能に可動なターゲットオブジェクトであって、少なくとも一つのコンピュータがターゲットオブジェクトに動作可能に接続されており、少なくとも一つのコンピュータが、
ターゲットオブジェクトの計算された位置の、局所座標系における所望の位置からの位置偏差を計算し、
少なくとも計算された位置偏差を使用して、ターゲットオブジェクトに適用される位置フィードバック制御信号を計算し、且つ
計算された位置フィードバック制御信号をターゲットオブジェクトに適用する、
態様１３に記載のシステム。
（態様１５）
ターゲットオブジェクトが検査センサを含み、局所座標系が航空機の座標系である、態様１４に記載のシステム。
【図１】
0005486007.tif 000023
【図２】
0005486007.tif 000024
【図３】
0005486007.tif 000025
【図４】
0005486007.tif 000026
【図５】
0005486007.tif 000027
【図６】
0005486007.tif 000028
【図７Ａ】
0005486007.tif 000029
【図７Ｂ】
0005486007.tif 000030
【図８】
0005486007.tif 000031
【図９】
0005486007.tif 000032