(57)【要約】  ビデオカメラ、ビデオカメラと通信するコンピュータ、及びビデオカメラが捉える目標物であって目標物座標系を有する目標物を含む局所的位置決定システムが提供される。コンピュータは、目標物に対するビデオカメラの位置及び向きを画定し、目標物座標系におけるビデオカメラの位置及び向きを決定し、且つ目標物座標系における対象点の位置を決定するよう適合されている。本システムは、目標物上の、過去に記録された対象点にカメラの照準を合わせためにも使用できる。目標物との接触、又は目標物への接近は不要である。局所的位置決定方法も開示される。
2010540933.tif 000002
【特許請求の範囲】
【請求項１】
支持体、
前記支持体によって保持されるパンチルト機構、及び
前記パンチルト機構によって保持されるビデオカメラ、
を備えた局所的位置決定システムであって、
前記パンチルト機構が前記ビデオカメラをパン及びチルトさせるよう適合されており、
本システムが更に、
前記ビデオカメラ及び前記パンチルト機構と通信するコンピュータ、及び
測定の対象点と目標物座標系とを有する、前記ビデオカメラが捕らえる目標物
を備え、
前記コンピュータが、前記目標物に対する前記ビデオカメラの位置及び向きを画定し、前記目標物座標系における前記ビデオカメラの位置及び向きを決定し、且つ前記目標物座標系における前記対象点の位置を決定するよう適合されているシステム。
【請求項２】
前記コンピュータのソフトウェアの代わりに、位置決定アプリケーションがＡＳＩＣ（アプリケーション専用集積回路）又はＦＰＧＡ（現場でのプログラミングが可能なゲートアレイ）上のファームウェアにプログラミングされている、請求項１に記載のシステム。
【請求項３】
前記ビデオカメラに設けられた少なくとも一つのレーザポインタを更に備えた請求項１に記載のシステム。
【請求項４】
前記コンピュータが、前記目標物の三次元モデルを取り出し、前記目標物座標系と前記目標物の前記三次元モデル上の前記対象点とを表示するよう適合されている、請求項１に記載のシステム。
【請求項５】
前記コンピュータが、前記目標物の前記三次元モデル上の、前記目標物の過去の修理箇所を含む過去に記録された対象点の位置を示すよう適合されている、請求項４に記載のシステム。
【請求項６】
前記コンピュータが、前記目標物の前記三次元モデルと共に前記目標物の前記過去の修理のデジタル写真を保存するよう適合されている、請求項５に記載のシステム。
【請求項７】
前記システムの画像捕捉構成要素又は画像表示構成要素のうちの一つがクロスヘアジェネレータを含んでいる、請求項１に記載のシステム。
【請求項８】
支持体、
前記支持体によって保持されるパンチルト機構、及び
前記パンチルト機構によって保持され、カメラ座標系を有するビデオカメラ
を備える局所的位置決定システムであって、
前記パンチルト機構が、アジマス軸について選択された角度と、高低軸に沿って選択された回転角度とに合わせて前記ビデオカメラを動かすよう適合されており、
本システムが更に、
前記ビデオカメラ及び前記パンチルト機構と通信するコンピュータ、及び
対象点と目標物座標系とを有する、前記ビデオカメラが捕らえる目標物
を備え、
前記ビデオカメラが、前記目標物上の位置が既知である複数の較正点を画像化するよう適合されており、且つ
前記コンピュータが、前記複数の較正点に基づいて、前記目標物に対する前記ビデオカメラの位置及び向きを画定し、前記相対的な位置及び向きに基づいて、カメラ姿勢変換マトリクスを生成し、前記カメラ座標系において画定された位置ベクトルを前記目標物座標系に転換し、前記目標物座標系における前記ビデオカメラの正確な位置及び向きを決定し、且つ前記カメラ姿勢変換マトリクスを使用して座標系変換を実行することにより前記目標物座標系における前記対象点の位置を決定するよう適合されているシステム。
【請求項９】
前記コンピュータのソフトウェアの代わりに、位置決定アプリケーションがＡＳＩＣ（アプリケーション専用集積回路）又はＦＰＧＡ（現場でのプログラミングが可能なゲートアレイ）上のファームウェアにプログラミングされている、請求項８に記載のシステム。
【請求項１０】
前記ビデオカメラに設けられた少なくとも一つのレーザポインタを更に備えた請求項８に記載のシステム。
【請求項１１】
前記コンピュータが、前記目標物の三次元モデルを取り出し、前記目標物座標系と前記目標物の前記三次元モデル上の前記対象点とを表示するよう適合されている、請求項８に記載のシステム。
【請求項１２】
前記コンピュータが、前記目標物の前記三次元モデル上の、前記目標物の過去の修理箇所を示すよう適合されている、請求項１１に記載のシステム。
【請求項１３】
前記コンピュータが、前記目標物の前記三次元モデルと共に前記目標物の前記過去の修理のデジタル写真を保存するよう適合されている、請求項１２に記載のシステム。
【請求項１４】
前記システムの画像捕捉構成要素又は画像表示構成要素のうちの一つがクロスヘアジェネレータを含んでいる、請求項８に記載のシステム。
【請求項１５】
カメラ座標系を有するビデオカメラを設置し、
この場合、前記ビデオカメラは、アジマス軸について選択された角度にパンし、且つ高低軸に沿って選択された回転角度にチルトするよう適合されており、
目標物座標系と、位置が既知である複数の較正点及び一の対象点とを有する目標物を供給し、
前記目標物上の前記複数の較正点に前記ビデオカメラの照準を合わせ、
前記複数の較正点に基づいて前記目標物に対する前記ビデオカメラの位置及び向きを画定し、
前記相対的な位置及び向きに基づいてカメラ姿勢変換マトリクスを生成し、
前記カメラ座標系において画定された位置ベクトルを前記目標物座標系に転換し、
前記目標物座標系における前記ビデオカメラの正確な位置及び向きを決定し、
前記目標物上の前記対象点に前記ビデオカメラの照準を合わせ、
前記カメラ姿勢変換マトリクスを使用して座標系変換を実行することにより、前記目標物座標系における前記対象点の位置を画定する
ことを含む、局所的位置決定方法。
【請求項１６】
前記目標物に対する前記ビデオカメラの位置及び向きを画定する前記ステップが、前記目標物上の少なくとも三つの前記較正点を使用して、前記目標物に対する前記ビデオカメラの前記位置及び向きを画定することを含む、請求項１５に記載の方法。
【請求項１７】
前記目標物に対する前記ビデオカメラの位置及び向きを画定する前記ステップが、前記目標物上の共通面に含まれる五つの前記較正点を使用して、前記目標物に対する前記ビデオカメラの前記位置及び向きを画定することを含む、請求項１５に記載の方法。
【請求項１８】
前記目標物に対する前記ビデオカメラの位置及び向きを画定する前記ステップが、前記目標物上の七つの前記較正点を使用して、前記目標物に対する前記ビデオカメラの前記位置及び向きを画定することを含む、請求項１５に記載の方法。
【請求項１９】
前記目標物に対する前記ビデオカメラの位置及び向きを画定する前記ステップが、レーザを供給し、前記レーザから前記目標物までの距離測定値を使用して、前記ビデオカメラから前記目標物上の前記較正点までの距離を予測することを含む、請求項１５に記載の方法。
【請求項２０】
前記目標物の三次元モデルを供給し、前記目標物座標系と前記目標物の前記三次元モデル上の前記対象点とを表示するステップを更に含む、請求項１５に記載の方法。
【請求項２１】
前記目標物の前記三次元モデル上に前記目標物の過去の修理の位置を示すステップを更に含む、請求項２０に記載の方法。
【請求項２２】
前記目標物の前記三次元モデルと共に前記目標物の前記過去の修理のデジタル写真を保存するステップを更に含む、請求項２１に記載の方法。
【請求項２３】
ビデオカメラの代わりに望遠鏡を含む光学照準機器が使用されている請求項１に記載のシステム。
【請求項２４】
ビデオカメラの代わりに望遠鏡を含む光学照準機器が使用されている請求項８に記載のシステム。
【請求項２５】
ビデオカメラの代わりに望遠鏡を含む光学照準機器を使用する請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、航空機のような輸送具の修理及びメンテナンス管理のための位置測定に関する。具体的には、本発明は、輸送具との物理的な接触を必要としない方法を用いて、航空機のような輸送具の修理及びメンテナンス管理を行うための局所的位置決定システムと方法に関する。
【背景技術】
【０００２】
例えば、航空機の外板といった輸送具の修理作業が必要なとき、輸送具の最適な修理を行うためには、過去の損傷及び／又は修理の大きさ、形状及び位置を考慮する必要がありうる。過去の損傷及び／又は修理の写真を使用することができるが、輸送具上の正確な位置又は大きさが不明である場合や、又は更なる修理計画に有用でない場合がある。損傷／修理部位（即ち対象位置）の分析を行う間に、目標物に接触することなく測定情報を取得することが望ましい場合がある。到達可能性及び／又は接触制限により、場合によっては対象の位置に到達して位置測定値を取得することが困難であり、そのため、局所的位置決定システムが、目標物に接触せずに、ある程度以上離れた位置から測定値を取得できると有利である。例えば、航空機の外板の損傷及び／又は修理のような、輸送具上の損傷及び／又は修理の位置、形状及び大きさを決定するために使用されている局所的位置決定システムは、音響、レーザ、磁気、ＲＦＩＤ、ＧＰＳ、及びモーションキャプチャ技術を用いたシステムを利用することができる。例えば、Ｈｅｘａｍｉｔｅ  ＨＸ１１のような局所的位置決定システムは、過去の損傷及び／又は修理の３Ｄ位置決定能を提供するために、四つ以上の無線式音響センサを利用しうる（且つ見通し内通信を必要としうる）。これらのセンサを使用する場合、点データを生成するために使用される４番目のセンサを航空機に搭載しなければならない。また、航空機の表面のあらゆる種類の湾曲によって音響経路が歪んで精度が低下することにより、この方法は機能しない場合が多い。
レーザベースの位置決定システムは、航空機の構造から離れた位置から航空機の位置データを取得することができるが、記録するのに十分に強い反射を得るためには、航空機の外板の表面に対してレーザビームをある程度垂直に向けなければならないという欠点を有する。３Ａレーザは、塗装の大部分の色について、数フィート以上離れた位置から使用するには強さが十分でなく、それよりも強力な３Ｂレーザは目を守るために光学的な遮蔽物を必要とする場合がある。
【０００３】
ＡｒｃＳｅｃｏｎｄ（登録商標）又はＬｅｉｃａ  Ｇｅｏｓｙｓｔｅｍｓ（登録商標）トラッカといった他のレーザベースのシステムは、対象位置に配置された受信器又は反射器を必要とする。ＡｒｃＳｅｃｏｎｄシステムの場合、三次元的作業域の周囲に複数のレーザエミッタを配置しなければならず、そのためプロセスの複雑性と、データ収集に必要なユーザの労力とが増大する。
同様に、Ｖｉｃｏｎ（登録商標）又はＭｏｔｉｏｎ  Ａｎａｌｙｓｉｓ（登録商標）Ｉｎｃ．から販売されているようなモーションキャプチャ（ＭｏＣａｐ）システムも、三次元的作業域の周囲に構成要素（この場合、複数のカメラユニット）を配置する必要があり、また目標物にマーカを付ける必要がある。
【０００４】
Ａｓｃｅｎｓｉｏｎ（登録商標）から販売されているような磁気システムは、磁気センサの配置を必要とし、金属による干渉のために精度に問題を有しがちである。
ＧＰＳ及びアクティブＲＦＩＤベースのシステムは、解像度が不十分であり、目標物にデバイスを配置する必要もある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、航空機の外板などの輸送具上の特性（構造の損傷の大きさ、形状及び位置、或いは構造の損傷又は過去の構造損傷の修理に関する非破壊評価（ＮＤＥ））を座標系に素早く結びつけることができると便利な場合がある。状況によっては、輸送具の特定の部分の過去の正確な修理歴に基づく適切な修理計画及び手順を確立するための位置的及び幾何学的データを取得し、このようなデータをエンジニアリングデータセット及びメンテナンスデータベースに関連付ける必要がある。
【課題を解決するための手段】
【０００６】
本発明は、概して、局所的位置決定システム及び方法を目的とする。局所的位置決定システムの例示的な一実施形態は、ビデオカメラ、ビデオカメラと通信するコンピュータ、及びビデオカメラが捕らえる目標物を含み、この目標物は、当該目標物の座標系における位置が既知である視認できる特性を有する。コンピュータソフトウェアは、目標物の座標系におけるビデオカメラの位置及び向きを決定し、且つ目標物の座標系における対象点の位置を決定する。これは、目標物に接触することなく達成することが可能な遠隔測定プロセスである。
【図面の簡単な説明】
【０００７】
【図１】図１は局所的位置決定システムの例示的な一実施形態の部分斜視図である。
【図２】図２はカメラ姿勢変換マトリクスを生成するために実行されるステップを示すフローチャートである。
【図３】図３は、図２に示すフローチャートの続きであり、目標物上の所望の位置を決定するために実行されるステップを示す。
【図４】図４はカメラ姿勢変換マトリクスを生成するために実行される別のステップを示すフローチャートである。
【図５】図５は、図４に示すフローチャートの続きであり、目標物上の所望の位置を決定するために実行されるステップを示す。
【図６】図６は航空機の製造及び使用方法のフローチャートである。
【図７】図７は航空機のブロック図である。
【発明を実施するための形態】
【０００８】
図１は、局所的位置決定システムの例示的一実施形態を示す。以降、本システムは基本的に参照番号１で示す。システム１は、自動（遠隔制御式）ズーム機能を有しうるビデオカメラ２を含むことができる。特定の一実施形態では、カメラ２は、Sony Electronics（登録商標）Inc.によるFCB-EX1010カメラである。ビデオカメラ２は他に、ビデオカメラ２の光学画像フィールドディスプレイ１７内の一点の正確な位置決定を助ける一体的なクロスヘアジェネレータを含むことができる。クロスヘアジェネレータがビデオカメラ２と一体の構成要素でない使用例においては、クロスヘアジェネレータ６（細実線で示す）を、同じ目的のための別個の要素としてビデオカメラ２に接続することができるか、或いはＰＣ又は表示装置上のビデオストリームにオーバーレイすることができる。
ビデオカメラ２はパンチルト機構３に設けることができ、パンチルト機構は三脚式支持体４又は別の支持体に搭載することができる。特定の一実施形態では、パンチルト機構３はDirected Perception（登録商標）によるPTU-D46-70である。パンチルト機構３は、垂直なアジマス（パン）軸２０、及び水平な高低（チルト）軸２１の周りで選択された角度にビデオカメラ２の位置を調節すると共に、ロールカメラ軸２２の周りで選択された角度にビデオカメラ２の回転を調節することができる。本明細書に開示する実施例では、ロール軸の測定及び制御は必要でない。
【０００９】
三脚４（又はパンチルト装置が取り付けられる他のプラットフォーム）の固定座標系２４に対するカメラの向きを表わす方向ベクトルは、カメラの照準を対象点１６に合わせたときの、アジマス角と高低角、並びに光学フィールド内におけるクロスヘアマーカの中心の位置に基づいて決定される。つまり、画像の中心を使用してクロスヘア表示の位置決定を行っているが、偏差を補償するために角度を修正する場合、他の位置を使用できる。このような方向ベクトルは、カメラのレンズから延びて目標物１４上の対象位置１５と交差する線１２と考えることができる。
ビデオカメラ２及びパンチルト機構３は、例えばノートブックコンピュータでよいコンピュータ８によって操作することができる。コンピュータ８は、ビデオカメラ２及びパンチルト機構３と、ビデオ／制御ケーブル１０を介して通信することができる。別の構成では、コンピュータ８は、無線通信路（図示しない）を介してビデオカメラ２及びパンチルト機構３と通信することができる。別の構成では、コンピュータはカメラに統合することができる。パンチルト機構３の制御、つまりビデオカメラ２の向きの制御は、コンピュータ８のキーボード、マウス（図示しない）トラックボール（図示しない）、又はその他の入力デバイスを用いて行うことができる。ビデオカメラ２が捕らえる光学画像フィールド１７は、クロスヘアオーバーレイ１８と共に、コンピュータ８のモニタ上に表示することができる。
【００１０】
三次元位置確認ソフトウェアをコンピュータ８にロードすることができる。この３Ｄ位置確認ソフトウェアは、離れて位置する例えば航空機などの目標物１４上の複数の較正点１５を使用して、目標物１４に対するビデオカメラ２の配置（位置及び向き）を決定することができる。幾つかの使用例では、３Ｄ位置確認ソフトウェアは、目標物１４上に少なくとも三つの較正点１５を使用して、これら較正点をパンチルト機構３からのパンチルトデータと組み合わせることにより、目標物１４に対するビデオカメラ２の位置及び向きを決定することができる。較正点１５は、３Ｄ  ＣＡＤモデル又は他の測定技術により測定されて目標物１４の局所的座標系内の位置が既知である、可視特性とすることができる。パンチルト機構３によるアジマス角及び高低角の調節に較正点１５を使用することにより、目標物に対するカメラの位置及び向きを決定することができる。
目標物１４に対するビデオカメラ２の位置及び向きが決定されたら、コンピュータ８を操作してビデオカメラ２の光学画像フィールドを回転させ、目標物１４上の位置が不明である所望の位置１６、例えば、航空機の損傷／修理の位置にズームすることができる。方向ベクトルのこのような位置において、ビデオカメラ２の向き（アジマス軸２０及び高低軸２１に沿ったビデオカメラ２の角度を含みうる）を記録することができる。パンチルト装置によるアジマス角及び高低角と、較正プロセスにおいて決定されるカメラの相対的な位置及び向きとを用いることにより、目標物１４の座標系２７に関する対象点１６の位置を決定することができる。目標物１４上の損傷／修理箇所１６の大きさは、損傷／修理箇所の境界に沿ってビデオカメラ２の光学画像フィールド内のクロスヘア１８を位置合わせすることにより決定することができる。
【００１１】
逆のプロセスも実行可能であり、この場合、（過去のデータ取得セッション、ＣＡＤモデル、又はその他測定により）目標物の座標系における対象点１６の位置が既知でありうる。このような状況では、カメラは、較正点が可視である作業域内の任意の位置に配置することができ（元のデータが記録された位置と異なる位置でもよい）、カメラ姿勢較正ステップを実行することができる。対象点からカメラまでの方向ベクトル１２を、目標物の座標系２７において計算することができる。カメラ姿勢の変換マトリクスの逆を使用して、方向ベクトルをカメラの座標系に転換することができる。次いで、アジマス角及び高低角を計算し、パンチルト装置がこれらの値を使用することにより、カメラを目標物上の対象点に向けることができる。
幾つかの使用例では、少なくとも一つ（例えば三つ）のレーザポインタ２６をカメラに搭載し、これらを方向ベクトル１２と位置合わせすることができる。少なくとも一つのレーザポインタ２６は、ビデオカメラ２の照準又は方向に関し、目標物１４上に可視指標を提供することができる。レーザポインタ２６が発するレーザビーム（図示しない）と目標物１４との交差点は裸眼で見ることができるので、レーザポインタ２６によって提供されるこのような視覚的特性は、目標物１４上における位置較正点１５及び対象点１６の迅速な選択を助けるために有用でありうる。目標物上の位置を示すことにより目標物の座標系内の点（過去の修理の位置又はその他対象点など）を呼び出すときにもレーザポインタの使用が有用でありうる。
【００１２】
この構想の他の実施形態では、望遠鏡のような光学装置でカメラを置き換えることができる。また、自動（モータ駆動式）パンチルト機構を、手動で位置決定できるものに置換することができる。唯一の機能的要件は、アジマス角及び高低角を読み取って位置確認アプリケーションに入力できることである。
この構想のまた別の変形例では、有線又は無線の、インターネットベースのアプリケーションなどの、インターネットに接続されたアプリケーションにシステムを統合することができる。この種のアプリケーションでは、遠隔ユーザ、又はその他の自動化ソフトウェアエージェントは、カメラ及びパンチルト装置を操作し、次いでシステムの可視領域内で対象に関する処理済の位置確認データを受信することができる。
【００１３】
システム１の一般的な実施例では、ビデオカメラ２は、目標物１４から約４０〜５０フィート以内に据え付けることができる。目標物１４は、例えば航空機の外板とすることができるがこれに限定されない。目標物１４上の較正点１５を選択し、コンピュータ８にロードされた３Ｄ位置確認ソフトウェアが、パンチルト機構３から得られるパン及びチルトデータ（即ち、アジマス角及び高低角）と組み合わせてこれらの点を使用することにより、目標物１４に対するビデオカメラ２の位置及び向きを決定することができる。較正点１５は、３Ｄ  ＣＡＤモデル又はその他の測定技術に基づいて決定されて目標物１４の局所的座標系内の位置が既知である、特定の点とすることができる。他の実施例では、パンチルト装置３は、三脚又はその他の可動デバイスといった、持ち運び可能な支持体に取り付けることができる。他の実施例では、パンチルト装置は、航空機の格納庫の壁といった固定支持体に取り付けることができる。
コンピュータ８にロードされた３Ｄ位置確認ソフトウェアは、目標物１４に対するビデオカメラ２の位置及び向きを決定し、三つの方法、即ち、（１）ベクトルに基づく方式、（２）五つの点を用いる技術又は七つの点を用いる技術に基づいた位置及び向き、並びに（３）レーザハイブリッドシステムのうちの一つを用いて、カメラ姿勢変換マトリクスを生成することができる。ベクトルに基づく方式は、目標物１４上に三つの較正点１５を用いて連立方程式を解くことにより、目標物１４に対するビデオカメラ２の位置を決定することができる。これは、カメラの相対的向きが既知であることを前提としている。５点技術又は７点技術に基づいた位置及び向きの較正は、目標物１４に対するビデオカメラ２の位置（ｘ、ｙ、ｚ）及び向き（ロール、ピッチ、ヨー）の両方を決定することができる。５点方法は五つの既知の較正点１５を使用することができ、この場合全ての較正点は目標物１４と同じ平面内に位置する。７点法は、七つの既知の較正点１５を利用することができ、この場合、全ての較正点が目標物１４と同じ平面内に位置するわけではない。このプロセスの特定の一実施形態は、５点法及び７点法を修正した変形例を使用するもので、これはTsai, R.による「A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses」（IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4, 323-344頁, 1987）に記載されている。この実施形態は、較正プロセスを達成するために、ピクセル位置データではなくパンチルトデータを使用するように修正されている。
【００１４】
別の実施形態では、市販のレーザベースの距離測定装置（図示しない）をシステムに統合してレーザハイブリッドシステムを作成することができ、このハイブリッドシステムが、パンチルト機構３に組み込み可能で且つレーザによる測定データを使用可能であることにより、ビデオカメラ２から目標物１４上の較正点１５までの距離を推定することができる。このような構成において、任意選択のレーザベースの距離測定装置から得られた距離データを、ベクトル及び５点／７点技術と組み合わせて使用することにより、目標物に対するカメラの位置及び向きの計算精度を向上させることができ、且つ目標物上の対象点の位置を決定することができる。随意で用いられるこのレーザベースの距離測定装置がレーザポインタ２６とは異なることに注意されたい。
別の実施形態では、位置確認ソフトウェアをチップ上のファームウェアに書き込んで、ＰＣを用いる必要なく埋め込み式アプリケーション中で使用することができる。
【００１５】
目標物１４に対するビデオカメラ２の位置及び向きが決定し、カメラ姿勢変換マトリクスが生成されたら、カメラパンデータ（アジマス軸２０の周りのビデオカメラ２の回転角）及びチルトデータ（高低軸２１に関するビデオカメラ２の回転角）を、ビデオカメラ２の計算された位置及び向きと併せて使用することにより、目標物１４の座標系における目標物１４上の任意の対象点（例えば、航空機の外板上の損傷／修理箇所）のＸ、Ｙ、及びＺ位置を決定することができる。次いで、画定された損傷／修理箇所の中心及び／又は輪郭を用いて、ビデオカメラ２を目標物１４上の損傷／修理箇所に向けることができる。全ての状況で必要というわけではないが、較正に使用される特定の位置と、損傷／修理箇所の縁又は周囲の上、或いはその周りに反射テープ（図示しない）を配することにより、損傷／修理箇所からの反射を見え易くし、任意選択のレーザベース距離測定装置を補助することができる。
目標物１４上の損傷／修理箇所の位置は、最初は不明でありうるので、パンチルト機構３のパン角とチルト角とを使用してビデオカメラ２の局所的カメラ座標系における方向ベクトルを決定することができる。損傷／修理箇所の表面の位置は、次の方法、即ち、１．較正点、又は目標物上の位置が既知である、ユーザが選択したその他の特性に基づいて形成される折れ面に基づく光線の交わりを用いた近似、２．例えばＣＡＤモデルに基づく３Ｄデータ、３．任意選択のレーザベース測定装置からの距離のうちのいずれか一つにより決定することができる。この段階において、カメラ姿勢変換マトリクスを使用することにより、局所的カメラ座標において最初に画定された損傷／修理箇所を、目標物１４の座標系に変換又は転換することができる。
【００１６】
次いで、目標物１４の３Ｄ座標系及びメンテナンスデータベースに、コンピュータ８によりアクセスし、目標物１４上の過去の損傷、修理及び／又はその他問題の位置を決定することができる。次いで、目標物１４上の損傷／修理箇所の現在の修理を、過去の損傷、修理及び／又は問題と当該損傷／修理箇所との位置的及び幾何学的関係に基づいて、計画し完了させることができる。ビデオカメラ２の光学画像フィールドが損傷／修理位置に向けられているときのビデオカメラ２の位置的及び幾何学的情報を保存して３Ｄモデルに重ね合わせることができ、この３Ｄモデルをデータベースに維持することができる。更に、ビデオカメラ２又はその他のカメラを使用して、損傷／修理箇所のデジタル写真を撮影し、データベースに保存することができる。従って、次に目標物１４の修理が必要になったときには、更新したデータベースを使用することができる。
【００１７】
次に、図２には、カメラ姿勢変換マトリクスを生成するために実行されるステップを示すフローチャート２００が示されている。方法２００は、図２のブロック２０２において開始する。ブロック２０４では、座標系の相対的な位置及び向きが既知であるかどうかを決定する。ブロック２０４において提示された質問の答えがブロック２０６において「はい」である（目標物に対するカメラの座標系の位置及び向きが既知である）場合、ブロック２２２において、較正プロセスに基づく位置及び向きデータを、当該カメラ姿勢について、４×４の同次変換マトリクスとして保存することができる。
ブロック２０４において提示された質問の答えがブロック２０６において「いいえ」である（座標系の相対的な位置及び向きの少なくとも一方が不明である）場合、ブロック２０８において、座標系の相対的な向きが既知であるかどうかを決定する。ブロック２０８において提示された質問の答えがブロック２１０において「はい」である（座標系の相対的な向きが既知である）場合、ブロック２１２において、ベクトル法を用いて座標系位置のずれを計算することができる。ブロック２０８において提示された質問の答えがブロック２１０において「いいえ」である（座標系の相対的な向きが不明である）場合、ブロック２１４において、較正点及び対象点が平面上又は概ね平面上に位置するかどうかを決定する。
【００１８】
ブロック２１４において提示された質問の答えがブロック２１６において「はい」である（対象点及び較正点が平面上又は概ね平面上に位置する）場合、５点較正法を使用することにより、ブロック２１８において目標物に対するカメラの位置及び向きの両方を決定することができる。ブロック２１４において提示された質問の答えがブロック２１６において「いいえ」である（対象点及び較正点が平面上又は概ね平面上に位置しない）場合、７点較正法を使用することにより、ブロック２２０において、目標物に対するカメラの位置及び向きを決定することができる。次いで本方法はブロック２２２に進み、較正プロセスに基づく位置及び向きデータを、当該カメラ姿勢について、４×４の同次変換マトリクスとして保存することができる。
【００１９】
図３は、図２のフローチャートの続きのフローチャート３００を示し、ここには、目標物上の所望の対象点を位置決定するために実行されるステップが示されている。図２のブロック２２２において、較正プロセスに基づく位置及び向きデータが４×４同次変換マトリクスとしてカメラ姿勢について保存された後、ブロック２２３において提示された質問の答えが「新規の点」である場合、次いでブロック２２４において、パンチルト装置によりカメラを目標物上の対象点と位置合わせし、（図１の方向ベクトル１２を画定する）カメラのアジマス角及び高低角を決定することができる。ブロック２２６において、ブロック２２２で決定されたアジマス角及び高低角を、図２のブロック２２２で保存した較正マトリクスを用いて目標物の座標に変換する。ブロック２２８では、目標物の正確な三次元モデルが使用可能かどうかを決定する。ブロック２３０において目標物の正確な３Ｄモデルが使用可能である場合、変換したアジマス角及び高低角により画定される方向ベクトル１２を、較正マトリクスにより目標物の座標系に変換し、次いでブロック２３２において、目標物の３Ｄモデルと交差させることにより、対象物の座標内の目標点に戻す。ブロック２３８では、ブロック２３２で行った計算の結果を表示し、点データを保存してファイルする。ブロック２４０では、目標物上に更に対象点が必要かどうかを質問する。目標物上に追加の対象点が必要である場合（ブロック２４２）、方法はブロック２４４を介してブロック２２４に戻る。目標物上に追加の対象点が必要でない場合（ブロック２４２）、方法はブロック２４６において終了する。
ブロック２２８において提示された質問の答えがブロック２３０において「いいえ」である（目標物の正確な３Ｄモデルは使用できない）場合、ブロック２３４において目標物上の既知の三点（例えば較正点）を用いて近似表面を形成する。次に、ブロック２３６において、アジマス角及び高低角によって画定される方向ベクトル１２を、ブロック２２２において保存された較正マトリクスによって変換し、次いでブロック２４３で形成した近似表面と交差させることにより、目標物の座標内の目標点に戻す。ブロック２３８では、ブロック２３６で行った計算の結果を表示し、点データを保存してファイルする。ブロック２４０では、目標物上に追加の対象点が必要かどうかを質問する。ブロック２４０において提示された質問の答えがブロック２４２において「はい」である（目標物上に追加の対象点が必要である）場合、方法はブロック２４４を介してブロック２２３（Ａ）に戻る。ブロック２４０において提示された質問の答えがブロック２４２において「いいえ」である（目標物上に追加の対象点が必要でない）場合、方法はブロック２４６において終了する。
ブロック２２３において提示された質問の答えが「過去に記録された点を呼び出す」である場合、ブロック２５０において、所望の対象点を入力し（例えば、ＣＡＤモデルから選択する、キーボードから入力する、又は別の方法で記憶装置から呼び出す）、この点を使用して目標物上の位置からカメラまでの方向ベクトル１２を計算する。次いでブロック２５２において、カメラ較正変換マトリクスの逆を用いてカメラの座標内のアジマス角及び高低角にこの方向ベクトルを変換する。次いでブロック２５４においてパンチルト装置をこれらの角度に動かす。ブロック２５６では、目標物上に追加の対象点が必要であるかどうかを質問する。ブロック２５６において提示された質問の答えがブロック２５８において「はい」である（目標物上に追加の対象点が必要である）場合、本方法はブロック２６０を介してブロック２２３に戻る。ブロック２５６において提示された質問の答えが「いいえ」である（目標物上に追加の対象点は必要でない）場合、方法はブロック２６２において終了する。
【００２０】
図４は、修理及びメンテナンス方法の別の実施形態による、カメラ姿勢変換マトリクスを生成するために実行されるステップを示すフローチャート４００である。方法４００は、図４のブロック４０２において開始する。ブロック４０４では、座標系の相対的な位置及び向きが既知であるかどうかを決定する。ブロック４０４における質問の答えがブロック４０６において「はい」である場合、ブロック４２６において、較正プロセスに基づく位置及び向きデータを４×４の同次変換マトリクスとして保存する。
ブロック４０４において提示された質問の答えがブロック４０６において「いいえ」である（座標系の相対的な位置及び向きの少なくとも一方が不明である）場合、ブロック４０８において、座標系の相対的な向きが既知であるかどうかを決定する。ブロック４０８において提示された質問の答えがブロック４１０において「はい」である（座標系の相対的な向きが既知である）場合、ブロック４１２において、ベクトル法を用いて座標系位置のオフセットを計算する。ブロック４０８において提示された質問の答えがブロック４１０において「いいえ」である（座標系の相対的向きが不明である）場合、ブロック４１４において、目標物上の目標点からのレーザ反射を受信可能かどうかを決定する。
【００２１】
ブロック４１４において提示された質問の答えがブロック４１６において「はい」である（目標物上の目標点からのレーザ反射を受信可能である）場合、ブロック４１８において、レーザの距離と、距離ベースの方法とを用いて、目標物に対するカメラの相対的な位置及び向きの両方を決定することができる。ブロック４１４において提示された質問の答えがブロック４１６において「いいえ」である（目標物上の目標点からのレーザ反射を受信可能でない）場合、ブロック４２０において、較正点及び対象点が平面上又は概ね平面上に位置するかどうかを質問する。ブロック４２０において提示された質問の答えがブロック４２２で「はい」である（較正点及び対象点は平面上又は概ね平面上に位置する）場合、ブロック４２４において、５点較正法を使用することにより目標物に対するカメラの位置及び向きを決定することができる。方法は次いでブロック４２６に進み、較正プロセスに基づく位置及び向きデータを４×４の同次変換マトリクスとして保存する。ブロック４２０において提示された質問の答えがブロック４２２において「いいえ」である場合、ブロック４２５において、７点較正法使用することにより目標物に対するカメラの位置及び向きを決定することができる。次いで方法はブロック４２６に進み、較正プロセスに基づく位置及び向きデータを４×４の同次変換マトリクスとして保存する。
【００２２】
次に、図５は、図４のフローチャートの続きのフローチャート５００を示し、ここには、目標物上の所望の対象位置を決定するために実行されるステップを示す。図４のブロック４２６において、較正プロセスに基づく位置及び向きデータが４×４の同次変換マトリクスとして保存された後、ブロック４２７において提示された質問の答えが「新規の点」である場合、次いでブロック４２８において、パンチルト装置によりカメラを目標物上の対象点と位置合わせし、（方向ベクトル１２を画定する）カメラのアジマス角及び高低角を決定することができる。ブロック４３０では、ブロック４２８において決定されたアジマス角及び高低角を、図４のブロック４２６で保存された較正マトリクスを用いて目標物の座標に変換する。ブロック４３２では、目標物の正確な三次元モデルが使用可能かどうかを決定する。ブロック４３２において提示された質問の答えがブロック２３０において「はい」である（目標物の正確な３Ｄモデルが使用可能である）場合、ブロック４３６において、アジマス角及び高低角により画定される方向ベクトル１２を、較正マトリクスにより目標物の座標系に変換し、次いで目標物の３Ｄモデルと交差させることにより目標物の座標に戻す。ブロック４４２では、ブロック４３６で行った計算の結果を表示し、点データを保存してファイルする。ブロック４４４では、目標物上に追加の対象点が必要かどうかを質問する。目標物上に追加の対象点が必要である場合（ブロック４４６）、方法はブロック４４８を介してブロック４２７（Ａ）に戻る。目標物上に追加の対象点が必要でない場合（ブロック４４６）、方法はブロック４５０において終了する。
ブロック４２７において提示された質問の答えが「過去に記録された点を呼び出す」である場合、ブロック４５１において、所望の対象点を入力し（例えば、ＣＡＤモデルから選択する、キーボードから入力する、又は別の方法で記憶装置から呼び出す）、この点を使用して目標物上の位置からカメラまでの方向ベクトル１２を計算する。次いでブロック４５２において、カメラ較正変換マトリクスの逆を使用して、カメラの座標内のアジマス角及び高低角にこの方向ベクトルを変換する。次いでブロック４５４においてパンチルト装置をこれらの角度に動かす。ブロック４５６では、目標物上に追加の対象点が必要かどうかを質問する。ブロック４５６において提示された質問の答えがブロック４５８において「はい」である（目標物上に追加の対象点が必要である）場合、方法はブロック４６０を介してブロック４２７に戻る。ブロック４５６において提示された質問の答えがブロック４５８において「いいえ」である（目標物上に追加の対象点が必要でない）場合、方法はブロック４６２において終了する。
ブロック４３２において提示された質問の答えがブロック４３４において「いいえ」である（目標物の正確な３Ｄモデルは使用可能でない）場合、ブロック４３８において、目標物上の既知の三点（例えば較正点）を用いて近似表面を形成する。次に、ブロック４４０において、変換されたアジマス角及び高低角によって画定される方向ベクトル１２を、ブロック４２６において保存された較正マトリクスによって変換し、次いでブロック４３８で形成した近似表面と交差させることにより、目標物の座標内の目標点に戻す。ブロック４４２では、ブロック４４０で行われた計算の結果を表示し、点データを保存してファイルする。ブロック４４４では、目標物上に追加の対象点が必要かどうかを質問する。ブロック４４４において提示された質問の答えがブロック４４６において「はい」である（目標物上に追加の対象点が必要である）場合、方法はブロック４４８を介してブロック４２８（Ａ）に戻る。ブロック４４４において提示された質問の答えがブロック４４６において「いいえ」である（目標物上に追加の対象点が必要でない）場合、方法はブロック４５０において終了する。
【００２３】
次に、図６及び７では、本発明の実施形態が、図６に示す航空機の製造及び使用方法７８と、図７に示す航空機９４とに使用されている。製造前の段階において、例示的方法７８は、航空機９４の仕様及び設計８０と、材料調達８２とを含むことができる。製造の段階では、航空機９４の、構成要素及びサブアセンブリの製造８４と、システムインテグレーション８６とが行われる。その後、航空機９４は、認可及び納品８８を経て就航９０される。顧客により就航される間、航空機９４は定期的なメンテナンス及び点検９２を受ける（改修、再構成、改装なども含まれる）。
製造及び使用方法７８の各プロセスは、システムインテグレータ、第三者、及び／又はオペレータ（例えば顧客）によって実施又は実行されうる。本明細書の目的のために、システムインテグレータには、限定しないが、任意の数の航空機製造者と主要システムの下請業者とが含まれ、第三者には、限定しないが、任意の数のベンダー、下請業者、及び供給業者が含まれ、オペレータには、航空会社、リース会社、軍事団体、行政法人などが含まれる。
【００２４】
図７に示すように、例示的方法７８によって製造された航空機９４は、複数のシステム９６及び内装１００と共に機体９８を含むことができる。ハイレベルシステム９６の例は、推進システム１０２、電気システム１０４、油圧システム１０６、及び環境システム１０８のうちの一又は複数を含む。任意の数の他のシステムも含まれうる。航空業界の一実施例を示したが、本発明の原理は、自動車、建築、及び造船などの他の産業に適用することができる。
本明細書に具現化される装置は、製造及び使用方法７８の一又は複数の段階において用いることができる。例えば、製造工程８４に対応する構成要素又はサブアセンブリは、航空機９４の就航中に製造される構成要素又はサブアセンブリと類似の方法で製作又は製造することができる。更に、例えば、実質的に航空機９４のアセンブリを効率的に行うか又は航空機９４のコストを低減することにより、一又は複数の装置の実施形態を、製造段階８４及び８６の間に利用することができる。同様に、一又は複数の装置の実施形態を、航空機９４の就航中に利用して、例えば、限定しないが、メンテナンス及び点検９２を行うことができる。一又は複数の装置の実施形態を、リアルタイムの航空機整備管理システム（ＡＨＭ）の一部として使用することができる。
【００２５】
本明細書では特定の例示的実施形態について記載したが、これら特定の実施形態は説明を目的としたものであって限定を意図したものではなく、当業者であれば他の変形例を想起可能である。
【図１】
2010540933.tif 000003
【図２】
2010540933.tif 000004
【図３】
2010540933.tif 000005
【図４】
2010540933.tif 000006
【図５】
2010540933.tif 000007
【図６】
2010540933.tif 000008
【図７】
2010540933.tif 000009
【国際調査報告】
2010540933.tif 000010
2010540933.tif 000011
2010540933.tif 000012
2010540933.tif 000013
2010540933.tif 000014