(57)【要約】      （修正有）【課題】写真測量技術を利用して航空機フェアリング用の各取付け受け部（例えば、取付け点や取付け孔など）の箇所および向きを識別すること。【解決手段】作業（例えば、穴あけ）を行うべき箇所を識別するためのシステムおよび方法が提供される。複数の照明角度から第１の物体の孔の画像を取得するステップと、画像を処理して照明角度のそれぞれで孔の壁によって作られた影を識別するステップと、影を分析して第１の物体の座標系で孔の中心軸線の向きを決定するステップと、を含む。この方法はまた、第２の物体において、第１の物体の孔の中心軸線と一致する穴をあけるべき箇所を選定するステップと、その箇所で第２の物体に穴をあけるステップと、を含む。【選択図】図１２
2018048997.tif 000002
【特許請求の範囲】
【請求項１】
複数の照明角度から第1の物体の孔の画像を取得するステップ（1202）と、
前記画像を処理して前記照明角度のそれぞれで前記孔の壁によって作られた影を識別するステップ（1204）と、
前記影を分析して前記第1の物体の座標系で前記孔の中心軸線の向きを決定するステップ（1206）と、
第2の物体において、前記第1の物体の前記孔の前記中心軸線と一致する穴あけすべき箇所を選定するステップ（1208）と、
前記箇所で前記第2の物体に穴をあけるステップ（1210）と
を含む方法。
【請求項２】
画像内の写真測量ターゲット（610）を識別すること、
前記写真測量ターゲットに基づいて探索領域を画定すること、および
少なくとも30パーセントのコントラスト差を有する前記探索領域内の隣り合う画素を捜すこと
によって前記影を識別するステップ
をさらに含む、請求項1に記載の方法。
【請求項３】
前記影を分析するステップが、前記影（730）に基づいて前記壁（264）の箇所を識別すること、および、前記壁の前記箇所に基づいて前記中心軸線（500）の前記向きを決定することを含む、請求項1に記載の方法。
【請求項４】
前記箇所が、前記孔の前記中心軸線を前記第2の物体の座標系に変えることによって選定される、請求項1に記載の方法。
【請求項５】
プログラムされた命令を具現する非一時的コンピュータ可読媒体であって、前記プログラムされた命令が、プロセッサによって実行されるときに、
航空機のフェアリング用の設置領域にある取付けブラケットの写真を取得するステップ（1102）と、
前記写真に描かれた写真測量ターゲットに基づいて、前記航空機の座標空間内で前記写真を方向付けるステップ（1104）と、
前記写真を分析して前記取付けブラケットでの取付け受け部の中心線を決定するステップ（1106）と、
対応する取付け受け部の中心線に基づいて前記フェアリング上の箇所を選定するステップ（1108）と、
前記フェアリング上の前記箇所のそれぞれで作業を行うようロボットに指示する数値制御（NC）プログラムを生成するステップ（1110）と
を含む方法を実行するために動作可能である、非一時的コンピュータ可読媒体。
【請求項６】
前記写真を取得するステップが、前記取付け受け部（220）を複数の照明角度で撮影することを含み、
前記写真を分析するステップが、前記照明角度のそれぞれで前記取付け受け部のそれぞれにできる影（730）を分析することを含む、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項７】
前記方法が、
取付け受け部（220）にできる影を分析するステップをさらに含み、前記ステップが、
写真内の前記取付け受け部の期待箇所を識別すること、
前記期待箇所から外方を探索して前記写真内の高コントラスト領域を識別すること、および
前記高コントラスト領域に基づいて前記取付け受け部の中心点を決定すること
を含む、請求項6に記載の非一時的コンピュータ可読媒体。
【請求項８】
前記設置領域（1090）が前記航空機の胴体と前記航空機の本体との間の交差部を含む、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項９】
前記取付け受け部が前記取付けブラケット（210）の孔を含む、請求項8に記載の非一時的コンピュータ可読媒体。
【請求項１０】
前記NCプログラム（1025）が、前記ロボットのエンドエフェクタ（1030）を位置付けかつ操作するための命令を含む、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項１１】
前記写真を位置決めすることが、各写真を取得したカメラ（1092）の向きを、前記写真に描かれた写真測量ターゲット（610）の箇所、サイズ、および形状に基づいて決定することを含む、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項１２】
前記方法が、
前記ロボット（1000）を操作して前記NCプログラム（1025）に従って前記フェアリング（150）に対する作業を行うステップをさらに含む、請求項5に記載の非一時的コンピュータ可読媒体。
【請求項１３】
航空機（100）のフェアリング（150）用の設置領域（1090）にある取付けブラケット（210）の写真を取得するカメラ（1092）と、
前記写真に描かれた写真測量ターゲットに基づいて前記航空機の座標空間内で前記写真を方向付け、前記写真を分析して前記取付けブラケットでの取付け受け部（220）の中心線（500）を決定し、対応する取付け受け部の中心線に基づいて前記フェアリング上の箇所を選定し、そして前記フェアリング上の前記箇所のそれぞれで作業を行うようロボット（1000）に指示する数値制御（NC）プログラム（1025）を生成する設計コントローラー（1080）と
を備えるシステム。
【請求項１４】
前記カメラが、前記取付け受け部を複数の照明角度で撮影することによって前記写真を取得し、前記設計コントローラーが、前記照明角度のそれぞれで前記取付け受け部にできる影（730）を分析することによって前記写真を分析する、請求項13に記載のシステム。
【請求項１５】
前記設計コントローラーが、期待箇所から外方の取付け受け部にできる影を分析して前記写真内の高コントラスト領域を識別し、前記高コントラスト領域に基づいて前記取付け受け部の中心点を決定する、請求項13に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、写真測量の分野に関し、詳細には、写真測量を用いて一部に対して作業を行うべき箇所を識別することに関する。
【背景技術】
【０００２】
航空機のフェアリングパネルは、航空機の空気力学的プロファイル（aerodynamic profile）を高めるとともに、航空機の下にある構成要素（例えば、ブラケット、縦通材、フープワイズフレーム（hoopwise frames）など）を要素への直接的な暴露から保護する。例えば、フェアリングパネルは、航空機の翼を航空機の本体に合体させる本体側面交差部（side−of−body intersection）を覆うことができる。
【０００３】
構造的航空機構成要素（例えば、翼、胴体、尾部）の間の交差部はそれぞれ航空機ごとに異なるので、交差部にある取付け点がフェアリングパネル用に配置される箇所を精密かつ正確に（例えば、10分の1センチメートル単位に至るまで）予測するのは実行不可能なままである。したがって、技術者らは、交差部にある各取付け点にホールロケータ（hole locators）を挿入し、ホールロケータを適所にテープで留めてホールロケータが落ちないようにし、フェアリングを所望の設置領域内に配置し、そして各ホールロケータをフェアリングに打ち込んでフェアリングに穴をあけるための特定の箇所に印を付けることを余儀なくされる。このプロセスの間にフェアリングが動いたりずれたりすると、フェアリングにあけられたいくつかの孔は、誤まった箇所に配置され、下にある取付け点と適切には合致しない。したがって、フェアリングを取り付けるプロセスは、手作業が多く、時間がかかる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
少なくともこれらの理由で、航空機製造会社は、フェアリングの設置に要する時間および手間を低減するための高度な技術を望み続ける。
【課題を解決するための手段】
【０００５】
本明細書に記載されている諸実施形態は、写真測量技術を利用して航空機フェアリング用の各取付け受け部（例えば、取付け点や取付け孔など）の箇所および向きを識別する。この情報を利用すると、フェアリングに対して（例えば、取付け点と一致する孔をあけることにより）作業を行う箇所を労働集約的な手作業のプロセスなしに自動的に決定することができる。
【０００６】
一実施形態は、複数の照明角度から第1の物体の孔の画像を取得するステップと、画像を処理して照明角度のそれぞれで孔の壁によって作られた影を識別するステップと、影を分析して第1の物体の座標系で孔の中心軸線の向きを決定するステップと、を含む方法である。この方法はまた、第2の物体において、第1の物体の孔の中心軸線と一致する穴をあけすべき箇所を選定するステップと、その箇所で第2の物体に穴をあけるステップと、を含む。
【０００７】
別の例示的な実施形態は、航空機のフェアリング用の設置領域にある取付けブラケットの写真を取得するステップと、写真に描かれた写真測量ターゲットに基づいて、航空機の座標空間内で写真を方向付けるステップと、写真を分析して取付けブラケットでの取付け受け部の中心線を決定するステップと、を含む方法である。この方法はさらに、対応する取付け受け部の中心線に基づいてフェアリング上の箇所を選定するステップと、フェアリング上の箇所のそれぞれで作業を行うようロボットに指示する数値制御（NC）プログラムを生成するステップと、を含む。
【０００８】
別の例示的な実施形態は、プログラムされた命令を具現する非一時的コンピュータ可読媒体であり、プログラムされた命令は、プロセッサによって実行されるときに、一方法を実行するために動作可能である。この方法は、航空機のフェアリング用の設置領域にある取付けブラケットの写真を取得するステップと、写真に描かれた写真測量ターゲットに基づいて、航空機の座標空間内で写真を方向付けるステップと、写真を分析して取付けブラケットでの取付け受け部の中心線を決定するステップと、対応する取付け受け部の中心線に基づいてフェアリング上の箇所を選定するステップと、フェアリング上の箇所のそれぞれで作業を行うようロボットに指示する数値制御（NC）プログラムを生成するステップと、を含む。
【０００９】
別の例示的な実施形態は、航空機のフェアリング用の設置領域にある取付け受け部の写真を取得するカメラを含むシステムである。このシステムは、写真に描かれた写真測量ターゲットに基づいて航空機の座標空間内で写真を方向付け、写真を分析して取付けブラケットでの取付け受け部の中心線を決定し、対応する取付け受け部の中心線に基づいてフェアリング上の箇所を選定し、そしてフェアリング上の箇所のそれぞれで作業を行うようロボットに指示する数値制御（NC）プログラムを生成する設計コントローラーをさらに含む。
【００１０】
他の例示的な実施形態（例えば、前述の実施形態に関連する方法およびコンピュータ可読媒体）については以下で説明する。論じられている形態、機能、および利点は、様々な実施形態で独立に実現することができる、あるいは他の実施形態では組み合わされてもよく、かかる形態、機能、および利点のさらなる詳細は、下記の説明および図面を参照して理解することができる。
【００１１】
次に、本開示のいくつかの実施形態について、単に例として、添付図面を参照して説明する。同じ参照番号は、すべての図面において同じ要素または同じ種類の要素を表す。
【図面の簡単な説明】
【００１２】
【図１】例示的な一実施形態における航空機の斜視図である。
【図２】例示的な一実施形態における航空機のフェアリング用の設置領域の図である。
【図３】例示的な一実施形態におけるフェアリング用の取付け受け部の正面図である。
【図４】例示的な一実施形態における図3の取付け受け部の部分断面図である。
【図５】例示的な一実施形態における取付け受け部を介して取付けブラケットに取り付けられるフェアリングの部分断面図である。
【図６】例示的な一実施形態におけるフェアリングの設置領域の側面図である。
【図７】光方向の変化に対応して取付け受け部によって作られた影を示す図である。
【図８】光方向の変化に対応して取付け受け部によって作られた影を示す別の図である。
【図９】例示的な一実施形態におけるフェアリング用の設置領域を分析するための写真測量計測装置（photogrammetric measuring device）を示す図である。
【図１０】例示的な一実施形態におけるフェアリングを設置するためのシステムのブロック図である。
【図１１】例示的な一実施形態におけるフェアリングに対して作業を行うべき箇所を自動的に検出する方法を示すフローチャートである。
【図１２】例示的な一実施形態におけるフェアリングに対して作業を行うべき箇所を自動的に検出する方法を示す別のフローチャートである。
【図１３】例示的な一実施形態における航空機の生産および保守点検方法体系の流れ図である。
【図１４】例示的な一実施形態における航空機のブロック図である。
【発明を実施するための形態】
【００１３】
上記図および以下の記述では、本開示の特定の例示的な諸実施形態について説明する。したがって、当業者なら、本明細書に明確には記載または図示されていないが、本開示の原理を具体化するとともに、本開示の範囲内に含まれる様々な配置構成を考案することができることが理解されよう。さらに、本明細書に記載されている例は、本開示の原理を理解するのに役立つためのものであり、そのような具体的に記載された例および条件に限定されないものと解釈されるべきである。したがって、本開示は、以下に記述される特定の実施形態または例に限定されるものではなく、特許請求の範囲およびその同等物によって限定される。
【００１４】
図1および図2は例示的な航空機の構造を示し、この構造は、構造構成要素相互間の交差部を覆うためにフェアリング150を利用している。具体的には、図1は、機首110、翼120、胴体130、および尾部140を含む航空機100を示す。フェアリング150は、翼120および胴体130が合体する設置領域200に設置される。設置領域200は、本体側面交差部と称されることもある。本明細書では、フェアリングが設置され得る領域は「設置領域」と称され、設置領域は、航空機100に沿った非常に多くの箇所に（例えば、尾部140と胴体130との間の交差部に）見られる。図1は、航空機100の下向き方向（Z）も示す。
【００１５】
図2は、図1の矢視2で示されている、例示的な一実施形態におけるフェアリング150用の設置領域200の拡大斜視図である。図2では、フェアリング150は、フェアリング150で覆われる下にある構造構成要素を示すために取り除かれている。図2に示すように、設置領域200はフェアリング支持構造230を含む。設置領域200は取付けブラケット210をさらに含み、取付けブラケット210は、胴体130および／または翼120においてフェアリング150を支持／保持する目的を果たす。ブラケット210はそれぞれ、フェース214およびバッキング212も含む。各フェース214は取付け受け部220を含む。取外し可能なカバー240が翼120の一部の上に配置され、翼120への損傷を防ぐ一方で、作業すべきスリップしない表面も提供する。
【００１６】
図3は、例示的な一実施形態におけるフェアリング150用の取付け受け部220（例えば、孔）の正面図である。具体的には、図3は図2の矢視3に対応する。この実施形態では、取付け受け部220はフェース214の一部である。取付け受け部220の後ろにはナットプレート260があり、ナットプレート260はフェース214とブラケット210との間に配置される（図2に示されている）。ナットプレート260が存在しない他の実施形態では、取付け受け部220は、締め具を受容するためのねじ切りを含むことができる。また、この実施形態では、ナットプレート260は、締め具を保持するための、壁264によって画定されたねじ孔262を含むが、別の実施形態では、取付け受け部220は、フェアリング150を取付けブラケット210に取り付けるボルトまたは他の締め具を保持するように寸法決定されたねじ孔を含むことができる。
【００１７】
図4は、例示的な一実施形態における図3の取付け受け部の部分断面図である。具体的には、図4は図3の矢視4で示される。この実施形態では、ナットプレート260は、ベース265を含む浮動ナットプレートであり、ベース265は、取付けブラケット210に（例えば、締め具410によって）しっかりと固締（例えば、リベット留め、溶接、ねじ留め、接着など）される。ベース265はフランジ267を含み、フランジ267は、X軸線に沿ったページの内外への可動域を可能にしながら、浮動要素269を適所に保持する。さらに、カラー268により浮動要素269はフェース214の受け部220内で垂直方向に（例えば、軸線Zに沿って）浮動することが可能になる。他の実施形態では、ナットプレート260は、固定されたナットプレートとすることができ、または全くなしで済ますこともできる。
【００１８】
図4に示すように、フェアリング150は孔152を含み、孔152は取付け受け部220と一致する（例えば、同じ中心軸線／長軸266を有する）。フェアリング150は、取付け受け部220およびナットプレート260を介してフェアリング150を取付けブラケット210に取り付ける締め具（例えば、ボルトやリベットなど）を受容するための孔152（例えば、穴をあけられた、皿孔）を含むように穴をあけられている。ナットプレート260が使用されない別の実施形態では、受け部220は、締め具と連結するためのねじ切りまたは他の形態を含むことができる。図4はさらに、取付け受け部220がフェース214の壁218によって画定されることを示している。
【００１９】
図5は、例示的な一実施形態における取付け受け部220を介して取付けブラケット210に取り付けられるフェアリング150の部分断面図である。具体的には、図5は図2の矢視5に対応している。図5に示すように、受け部220（および／または孔262）の長軸／中心軸線500は、フェアリング150を通って様々な異なる角度で進む。各中心軸線500がフェアリング150を通って進む角度、および各中心軸線500がフェアリング150を通って進む正確な箇所は、フェアリング150がフェース214を覆う前に知られていない。
【００２０】
（例えば、フェアリング150に穴をあけて、中心軸線500と一致する／中心軸線500と同一軸線上に中心軸線を有する孔152を作ることにより）フェアリング150で作業を行うべき箇所を予測的に決定するために、図6は写真測量計測装置630を示す。図6は、図1の矢視6で示される側面図である。図6は、写真データが航空機100の座標空間の中に配置されるのを可能にするために、写真測量ターゲット610が領域200内に配置され得ることを示す。装置630は、（例えば、各写真が1つまたは複数の写真測量ターゲットを含むように）設置領域200の写真を取得する。装置630はシャフト634を含み、シャフト634にはカメラ632および光源636が取り付けられる。したがって、作業者620が装置630を利用するとき、作業者620は、カメラ632に対する光源636の向き／角度を調整する。複数の写真を取得し、それらの写真をデジタル的に「スティッチして（stitching）」航空機100の座標空間内の点群データにすることにより、設置領域200（取付けブラケット210とその中の受け部220を含む）の幾何形状を完全に理解することができる。さらに、写真が複数の照明角度から取得されるとき、各孔262の向きも決定することができる。したがって、本明細書に記載されている写真測量技術は、設置領域200および／または取付けブラケット210の本来の姿を定量化しようとするときに多用性を高める。特に、これらの技術は、種々の複雑な外形を有するパネル／フェアリング用の孔の中心点を正確に識別する能力を高める。
【００２１】
図7および図8は、光方向の変化に対応した取付け受け部220の影を示す。すなわち、図7は、光源636が孔262の右側から光710を送るときに、ナットプレート260上に壁264によって作られた影720、ならびに壁218によって作られた影730を示す。一方、図8は、光源636が孔262の左側から光810を送るときに、ナットプレート260上に壁264によって作られた影820、ならびに壁218によって作られた影830を示す。光源636が様々な角度に向けられている間に影730および830を撮像することにより、各受け部220の正確な中心点の位置および向きの理解が達成され得る。
【００２２】
図9は、例示的な一実施形態における写真測量計測装置630のさらなる詳細を示す。図9に示すように、装置630はレーザ920および930を含み、レーザ920および930はそれぞれビーム922および932を送る。ビーム922および932は点940で交差する。この配置構成により、写真／画像を取得するために装置630を点940から適度な距離（D）を置いて配置することが可能になる。
【００２３】
フェアリング150の設置に必要な様々な構成要素のさらなる詳細を図10に関して説明する。図10は、例示的な一実施形態におけるフェアリング150を設置するためのシステムのブロック図である。図10に示すように、設置領域1090は翼1042および胴体1040に近接しており、カバー1076によって保護される。バッキング1052およびフェース1060を含む1つまたは複数のブラケット1050が設置領域1090内に見られる。同様に、ナットプレート1054（壁1055および孔1057を含む）が示されている。図10はさらに、フェース1060（壁1064によって画定された受け部1062を有する）およびフェアリング1072（ロボット1000によって穴あけされている孔1074を有する）を図示している。フェアリング1072に孔1074を配置すべき箇所は写真測量計測装置1090からの入力に基づいて決定され、写真測量計測装置1090は、バー1094、レーザ1095、カメラ1092、および光源1096を含む。カメラ1092からの写真1085は、インタフェース（I／F）1086を通じて設計コントローラー1080のメモリ1084に保存される。I／F 1086は、イーサネットケーブル、ユニバーサルシリアルバス（USB）ケーブル、IEEE 802．11無線プロトコルインタフェースなどを備えることができる。設計コントローラー1080のプロセッサ1082は写真1085の分析に基づいてNCプログラム1025を設計し、NCプログラム1025はロボット1000の動作を指示する。設計コントローラー1080は、例えば、カスタム回路網として、プログラムされた命令を実行するプロセッサとして、またはこれらの何らかの組み合わせとして実装することができる。例えば、一実施形態では、設計コントローラー1080は、NCプログラムを作るためのプログラムを走らせるコンピュータとして実装される。
【００２４】
図10のロボット1000は、フェアリング1072で作業を行う（例えば、フェアリング1072に1つまたは複数の孔1074をあける）ために、NCプログラム1025に従って穴あけ動作を行う。この実施形態では、ロボット1000はロボットコントローラー1020を含み、ロボットコントローラー1020は、ロボット1000が作業を行うときにロボット1000の動作を指示する。ロボットコントローラー1020は、メモリ1024（NCプログラム1025を格納する）、プロセッサ1022、およびI／F 1026を含む。ロボットコントローラー1020は、例えば、カスタム回路網として、プログラムされた命令を実行するプロセッサとして、またはこれらの何らかの組み合わせとして実装することができる。ロボット1000は運動学的連鎖1010をさらに含み、運動学的連鎖1010は、エンドエフェクタ1030の向き（例えば、フェーシングの方向）および／または位置を調整するために、アクチュエータ1014によって再配置される1つまたは複数の剛体1012を含む。エンドエフェクタ1030は、フェアリング1072を変更する、フェアリング1072に対する動作／作業（例えば、穴あけや締め具取付けなどの構成的作業）を行うことができるツール、またはNCプログラム1025からの命令に応答してフェアリング1072を詳細に検査することができるツールである。
【００２５】
図10の様々な構成要素の動作の例示的な詳細を図11に関して論じる。この実施形態では、フェアリング150が領域200にまだ設置されておらず、フェアリング150に対して作業（例えば、穴あけ）がまだ行われていないものとする。したがって、フェアリング150に対する作業を行うべき正確な箇所はまだ分かっていない。さらに、写真測量ターゲット610がフェアリング150用の設置領域200に配置されていないものとする。これは、各ブラケット210および／または受け部220から所定のオフセット距離および／または方向に写真測量ターゲット610を配置することを含むことができ、胴体130および／または翼120に沿った所定の箇所に写真測量ターゲット610を配置することをさらに含むことができる。このようにターゲット610を基準点として配置することにより、ターゲット610を描いた写真を航空機100の既知の座標空間内に確実に配置／位置することができる。ターゲット610は、逆反射体（例えば、逆反射テープ）、高反射ターゲット、独自に着色されたターゲットなどを含むことができ、既知の形状およびサイズ（例えば、直径1センチメートルの円）を有することができる。
【００２６】
図11は、例示的な一実施形態におけるフェアリングに対して作業を行うべき箇所を自動的に検出する方法を示すフローチャートである。方法1100の各ステップについて、図1〜図10に示されているシステムを参照して説明するが、当業者なら、方法1100が他のシステムにおいて実行され得ることを理解するであろう。本明細書に記載されているフローチャートのステップは包括的なものではなく、図示されていない他のステップを含んでいてもよい。本明細書に記載されているステップは別の順序で実行されてもよい。
【００２７】
ターゲット610が配置された後、写真測量計測装置630は、設置領域200にある取付けブラケット210の写真をカメラ632によって取得する（ステップ1102）。各写真は、1つまたは複数のターゲット610（例えば、写真の写真測量分析を行うのに十分なターゲット610）を描く。さらに、写真は、（例えば、複数組の写真を、各組異なる照明角度から撮ることにより）様々な照明角度から撮られる。それぞれ異なる照明角度に対応する複数組の写真を取得することにより、受け部220の壁218によって作られた影を、各受け部220の正確な位置および向きを決定するために分析することができる。
【００２８】
写真1085がインタフェース（I／F 1086）を通じてメモリ1084内に取得された後、設計コントローラー1080が、写真に描かれた写真測量ターゲットに基づいて、航空機100の座標空間内で写真を方向付ける（ステップ1104）。これは、写真からの画像データを航空機100の座標空間の中に配置する／方向付ける／位置決めするために、例えば、写真の中の各ターゲット610の形状、向き、および／またはサイズを分析することによって行うことができる。写真測量ターゲットは、航空機100の座標系で既知の位置に配置される。したがって、設計コントローラー1080は、写真が撮られた箇所を解釈することができる。別の実施形態では、ターゲット610は、航空機100の座標空間内での写真画像データの位置決めを容易にするために（例えば、複数の軸線のそれぞれに沿って）スケールバーを含むことができる。各写真の中の画像データ（例えば、画素）は、写真測量技術によって3次元点群にさらに変換することができる。
【００２９】
設計コントローラー1080のプロセッサ1082は、写真を分析して各受け部220の中心線（例えば、中心点および向きに対応する中心軸線500）を決定する（ステップ1106）。これは、ターゲット610からのオフセットに基づいて各受け部220を識別すること、および、受け部220の中心線を識別するために様々な照明角度（例えば、2つ以上の照明角度）で受け部220から作られる影を分析することを含むことができる。一実施形態では、この技術は、複数の照明角度でそれぞれの取付け受け部にできる影を分析する必要がある。例えば、受け部220の影を分析するステップは、写真（例えば、ターゲット610で示され／ターゲット610からオフセットされる）内の取付け受け部220の期待箇所（例えば、公称箇所）を識別すること、グレースケール画素配列およびセグメンテーションを用いて期待箇所から外方を探索して、取付け受け部220を描いた写真内の高コントラスト領域を識別すること、および、高コントラスト領域に基づいて受け部220の中心点を決定すること、を含むことができる。例えば、受け部220は既知のサイズを有しているので、コントローラー1080は、取付け受け部220の既知の直径と同じくらいの直径の高コントラスト領域を捜すことができる。これにより、取付け受け部220の孔262を間違える可能性が低くなる、というのは、これらの要素のサイズが異なるからである。別の例では、コントローラー1080は、取付け受け部220の期待箇所を中心としかつ取付け受け部220より大きい探索領域を画定することができる。次いで、コントローラー1080は、探索領域の外側を探索して、高コントラスト領域（例えば、隣り合う画素の明るさが互いに少なくとも30パーセントだけ異なる実質的に隣接している領域）が見つかるまで探索を狭め続けることができる。これによっても、取付け受け部220の孔262を間違える可能性が低くなる。というのは、探索領域の外側境界から始まる探索で、孔262を見つける前に取付け受け部220が見つかるからである。受け部220が許容範囲外の箇所または向きにあると検出された場合、設計コントローラー1080は、その状態を（例えば、ディスプレイを更新するために）I／F 1086または他の適切なインタフェースを通じてユーザに報告することができる。
【００３０】
各受け部220の中心線が知られている場合、コントローラー1080は、続いて、フェアリング150に対して作業を行うためのフェアリング150上の箇所を選定する（ステップ1108）。各箇所は、対応する受け部220の中心線に基づいて選択される（および／または方向付けられる）。さらに、このプロセスでは、フェアリング1072がどのようにして航空機100の領域200内に設置されるかを明らかにするとともに、航空機100の座標空間からフェアリング1072および／またはロボット1000の座標空間に変換することが必要となり得る。このようにして、フェアリング150に対して作業を行うために選定された各箇所は受け部220と合致する。
【００３１】
設計コントローラー1080は、フェアリング1072上の選定済み箇所のそれぞれで作業を行うようロボット1000に指示する数値制御（NC）プログラムを生成する（ステップ1110）。例えば、コントローラー1080は、受け部220の上のフェアリング150の所望の箇所を決定することができ、受け部220と合致するようにフェアリング150に穴あけされる孔152の向きおよび位置を決定することができる。コントローラー1080は、エンドエフェクタ1030を再配置して各受け部220に対応する作業（例えば、穴あけ）を行うために、ロボット1000の運動学的連鎖1010内のアクチュエータ1014を操作するための命令をさらに生成することができる。ロボットコントローラー1020はさらに、続いて、取付け受け部220の中心点および向きに基づいて、NCプログラム1025に従って（例えば、アクチュエータ1014および／またはエンドエフェクタ1030に指示することにより）ロボット1000を操作する（ステップ1112）。
【００３２】
方法1100を利用すると、航空機のフェアリングに対して作業を行う場所および／または行われる作業を方向付ける方法を自動的に識別するための技術を提供することにより実質的な利益をもたらす。これらの技術は、ロボットに所望通り作業を行うようプログラム設定するために、写真測量法を有利に利用する。フェアリングの設置領域は航空機ごとに変わる可能性が高いので、そのような自動化プロセスは、作業箇所を識別するのに関連し、所定の箇所で作業を行うのにも関連するタスクの速度および効率を高める。
【００３３】
図12は、物体に対して作業を行う別の方法1200を示す。図12によれば、第1の物体（例えば、取付けブラケット210）の孔（例えば、受け部220）の画像／写真が、孔の、複数の照明角度からカメラ632経由でコントローラー1080によって取得される（ステップ1202）。コントローラー1080は、画像を処理して孔（例えば、受け部220）の壁218によって作られた影（例えば、830、730）をさらに識別する（ステップ1204）。影は、画像内の写真測量ターゲット610を識別すること、写真測量ターゲット610に基づいて探索領域を画定すること、および、少なくとも30パーセントのコントラスト差を有する探索領域内の隣り合う画素を捜すこと、によって識別することができる。コントローラー1080はさらに、影を分析して第1の物体の座標系で孔の中心軸線（例えば、長軸500）の向きを決定する（ステップ1206）。壁218の向きおよび中心点は、様々な照明角度での影の箇所に基づいて識別することができ、これにより、中心軸線の向きの決定が可能となり得る。すなわち、コントローラー1080は、各画像内の1つまたは複数の写真測量ターゲットの配置に基づいて、各写真に対するカメラ632の箇所、ならびに各写真内の光源636の箇所を識別することができる。壁218の高さは既知であるので、様々な角度から壁218によって作られる影の長さは壁218の向きを示す。さらに、壁218の箇所は、影（例えば、影の縁）に基づいて決定することができる。壁218は孔（例えば、受け部220）に対して垂直であるので、中心軸線の向きは、壁218の箇所に基づいて決定することができる。さらに、影は壁218上の複数の箇所から作られるので、孔の中心点は、影で示されるときに壁218の箇所に基づいて決定することができる。
【００３４】
コントローラー1080はさらに、第2の物体において、第1の物体の孔の中心軸線と一致する穴あけすべき箇所を選定する（ステップ1208）。第2の物体（例えば、フェアリング150）は孔によって第1の物体に対合されることになる。この箇所は、孔の中心軸線を第2の物体の座標系に変えることによって選定することができる。この箇所はNCプログラムで示すことができ、NCプログラムは、この場合、ロボット1000が第2の物体に穴をあけるときにロボットコントローラー1020に指示する（ステップ1210）。
【００３５】
（実施例）
以下の実施例では、追加のプロセス、システム、および方法について、航空機にフェアリングを設置する状況で説明する。図面をより具体的に参照すると、本開示の諸実施形態は、図13に示されている航空機の製造および保守点検方法1300ならびに図14に示されている航空機1302の状況で説明され得る。プレ生産中、例示的な方法1300は、航空機1302の仕様および設計1304ならびに材料調達1306を含むことができる。生産中、航空機1302の構成要素および部分組立品の製造1308ならびにシステム統合1310が行われる。その後、航空機1302は、就航中1314に置かれるために認証および搬送1312を経ることがある。顧客による就航中、航空機1302は、日常整備および保守点検1316（変更、再構成、改修なども含み得る）が予定される。本明細書で具現される装置および方法は、生産および保守点検方法1300の任意適当な1つまたは複数の段階（例えば、仕様および設計1304、材料調達1306、構成要素および部分組立品の製造1308、システム統合1310、認証および搬送1312、就航1314、整備および保守点検1316）で用いることができ、かつ／または、航空機1302の任意の適当な構成要素（例えば、機体1318、各システム1320、内部1322、推進システム1324、電気システム1326、油圧システム1328、環境システム1330）とすることができる。
【００３６】
方法1300のプロセスはそれぞれ、システム統合者、第三者、および／またはオペレータ（例えば顧客）によって実行または実施されてもよい。この説明のために、システム統合者は、制限なく、任意の数の航空機製造業者および主要システム下請業者を含むことができ、第三者は、制限なく、任意の数の売主、下請業者、および供給業者を含むことができ、オペレータは、航空会社、リース会社、軍事団体、保守点検組織などとすることができる。
【００３７】
図14に示すように、例示的な方法1300で生産される航空機1302は、複数のシステム1320および内部1322と共に機体1318を含むことができる。高レベルシステム1320の実施例は、推進システム1324、電気システム1326、油圧システム1328、および環境システム1330のうちの1つまたは複数を含む。任意の数の他のシステムが含まれていてもよい。航空宇宙の実施例が示されているが、本発明の原理は、自動車産業などの他の産業に適用されてもよい。
【００３８】
既に上述したように、本明細書で具現される装置および方法は、生産および保守点検方法1300の段階のうちのいずれか1つまたは複数の段階で用いられてもよい。例えば、生産段階1308に対応する構成要素または部分組立品は、航空機1302が就航中に生産される構成要素または部分組立品と同様の方法で製作または製造されてもよい。さらに、1つまたは複数の装置実施形態、方法実施形態、またはそれらを組み合わせたものが、例えば、実質的に航空機1302の組立を促進させるまたは航空機1302のコストを節減することにより、生産段階1308および1310で利用されてもよい。同様に、1つまたは複数の装置実施形態、方法実施形態、またはそれらを組み合わせたものが、航空機1302が就航中に、例えば制限なく、整備および保守点検1316に利用されてもよい。例えば、本明細書に記載されている技術およびシステムは、ステップ1306、1308、1310、1314、および／または1316に使用されてもよく、かつ／または機体1318および／または内部1322に使用されてもよい。これらの技術およびシステムは、例えば、推進1324、電気1326、油圧1328、および／または環境1330を含むシステム1320にも利用されてもよい。
【００３９】
一実施形態では、フェアリング150は機体118の一部を備え、構成要素および部分組立品の製造1308中に製造される。フェアリング150はシステム統合1310内に設置され、次いで、摩耗によりフェアリング150が使用不能になるまで就航中（1314）に利用される。次いで、整備および保守点検1316において、フェアリング150は廃棄され、新たに製造された部品に置き換えられる。フェアリング150用の設置領域を分析し、フェアリング150に対して作業を行うための本明細書に記載されている技術は、フェアリング150が設置されるたびに実行することができる。さらに、本明細書に記載されている技術は、例えば、機体1318、内部1322、および／または推進1324を含めて、環境に合わせた任意の適当な構造的孔に合わせることに利用することができる。
【００４０】
図に示されまたは本明細書に記載されている様々な制御要素（例えば、電気もしくは電子構成要素）のいずれも、ハードウェア、ソフトウェア実装プロセッサ、ファームウェア実装プロセッサ、またはこれらのいくつかの組み合わせとして実装することができる。例えば、ある要素は専用ハードウェアとして実装することができる。専用ハードウェア要素は、「プロセッサ」、「コントローラー」、または何らかの類似用語と称されることがある。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または複数の個々のプロセッサ（いくつかのプロセッサが共有されてもよい）によって提供され得る。さらに、「プロセッサ」または「コントローラー」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを専ら意味すると解釈されるべきでなく、制限なく、デジタルシグナルプロセッサ（DSP）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ASIC）または他の回路網、フィールドプログラマブルゲートアレイ（FPGA）、ソフトウェアを格納するための読出し専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、不揮発性記憶装置、論理回路、あるいは他の物理的ハードウェアコンポーネントまたはハードウェアモジュールを暗黙的に含んでいてもよい。
【００４１】
さらに、制御要素は、この要素の機能を果たすためにプロセッサまたはコンピュータによって実行可能な命令として実装することができる。命令のいくつかの例が、ソフトウェア、プログラムコード、およびファームウェアである。命令は、プロセッサに要素の機能を果たすよう指示するためにプロセッサによって実行されるときに使える状態になる。命令は、プロセッサによって読取り可能な記憶装置に格納することができる。記憶装置のいくつかの例が、デジタルメモリもしくはソリッドステートメモリ、磁気ディスクや磁気テープなどの磁気記憶媒体、ハードドライブ、または光学的に読取り可能なデータ記憶媒体である。
【００４２】
本発明は、特許請求の範囲と混同されるべきでない以下の条項でも言及される。
【００４３】
A1．
複数の照明角度から第1の物体の孔の画像を取得するステップ（1202）と、
画像を処理して照明角度のそれぞれで孔の壁によって作られた影を識別するステップ（1204）と、
影を分析して第1の物体の座標系で孔の中心軸線の向きを決定するステップ（1206）と、
第2の物体において、第1の物体の孔の中心軸線と一致する穴あけすべき箇所を選定するステップ（1208）と、
その箇所で第2の物体に穴をあけるステップ（1210）と
を含む方法。
【００４４】
A2．
画像内の写真測量ターゲット（610）を識別すること、
写真測量ターゲットに基づいて探索領域を画定すること、および
少なくとも30パーセントのコントラスト差を有する探索領域内の隣り合う画素を捜すこと
によって影を識別するステップ
をさらに含む、項A1に記載の方法も提供される。
【００４５】
A3．
影を分析するステップが、影（730）に基づいて壁（264）の箇所を識別すること、および、壁の箇所に基づいて中心軸線（500）の向きを決定することを含む、項A1に記載の方法も提供される。
【００４６】
A4．
箇所が、孔の中心軸線を第2の物体の座標系に変えることによって選定される、項A1に記載の方法も提供される。
【００４７】
B1．
航空機のフェアリング用の設置領域にある取付けブラケットの写真を取得するステップ（1102）と、
写真に描かれた写真測量ターゲットに基づいて、航空機の座標空間内で写真を方向付けるステップ（1104）と、
写真を分析して取付けブラケットでの取付け受け部の中心線を決定するステップ（1106）と、
対応する取付け受け部の中心線に基づいてフェアリング上の箇所を選定するステップ（1108）と、
フェアリング上の箇所のそれぞれで作業を行うようロボットに指示する数値制御（NC）プログラムを生成するステップ（1110）と
を含む方法。
【００４８】
B2．
写真を取得するステップが、取付け受け部（220）を複数の照明角度で撮影することを含み、
写真を分析するステップが、照明角度のそれぞれで取付け受け部のそれぞれにできる影（730）を分析することを含む、項B1に記載の方法も提供される。
【００４９】
B3．
取付け受け部（220）にできる影を分析することが、
写真内の取付け受け部の期待箇所を識別すること、
期待箇所から外方を探索して写真内の高コントラスト領域を識別すること、および
高コントラスト領域に基づいて取付け受け部の中心点を決定すること
を含む、項B2に記載の方法も提供される。
【００５０】
B4．
設置領域（1090）が航空機の胴体（130）と航空機の本体との間の交差部を含む、項B1に記載の方法も提供される。
【００５１】
B5．
取付け受け部が取付けブラケット（210）の孔を含む、項B4に記載の方法も提供される。
【００５２】
B6．
NCプログラム（1025）が、ロボット（1000）のエンドエフェクタ（1030）を位置付けかつ操作するための命令を含む、項B1に記載の方法も提供される。
【００５３】
B7．
写真を位置決めすることが、各写真を取得したカメラ（1092）の向きを、写真に描かれた写真測量ターゲット（610）の箇所、サイズ、および形状に基づいて決定することを含む、項B1に記載の方法も提供される。
【００５４】
B8．
ロボット（1000）を操作してNCプログラム（1025）に従ってフェアリング（150）に対する作業を行うステップをさらに含む、項B1に記載の方法も提供される。
【００５５】
C1．
プログラムされた命令を具現する非一時的コンピュータ可読媒体であって、プログラムされた命令が、プロセッサによって実行されるときに、
航空機のフェアリング用の設置領域にある取付けブラケットの写真を取得するステップ（1102）と、
写真に描かれた写真測量ターゲットに基づいて、航空機の座標空間内で写真を方向付けるステップ（1104）と、
写真を分析して取付けブラケットでの取付け受け部の中心線を決定するステップ（1106）と、
対応する取付け受け部の中心線に基づいてフェアリング上の箇所を選定するステップ（1108）と、
フェアリング上の箇所のそれぞれで作業を行うようロボットに指示する数値制御（NC）プログラムを生成するステップ（1110）と
を含む方法を実行するために動作可能である、非一時的コンピュータ可読媒体。
【００５６】
C2．
写真を取得するステップが、取付け受け部（220）を複数の照明角度で撮影することを含み、
写真を分析するステップが、照明角度のそれぞれで取付け受け部のそれぞれにできる影（730）を分析することを含む、項C1に記載の非一時的コンピュータ可読媒体も提供される。
【００５７】
C3．
上記方法が、
取付け受け部（220）にできる影を分析するステップをさらに含み、このステップが、
写真内の取付け受け部の期待箇所を識別すること、
期待箇所から外方を探索して写真内の高コントラスト領域を識別すること、および
高コントラスト領域に基づいて取付け受け部の中心点を決定すること
を含む、項C2に記載の非一時的コンピュータ可読媒体も提供される。
【００５８】
C4．
設置領域（1090）が航空機の胴体と航空機の本体との間の交差部を含む、項C1に記載の非一時的コンピュータ可読媒体も提供される。
【００５９】
C5．
取付け受け部が取付けブラケット（210）の孔を含む、項C4に記載の非一時的コンピュータ可読媒体も提供される。
【００６０】
C6．
NCプログラム（1025）が、ロボットのエンドエフェクタ（1030）を位置付けかつ操作するための命令を含む、項C1に記載の非一時的コンピュータ可読媒体も提供される。
【００６１】
C7．
写真を位置決めすることが、各写真を取得したカメラ（1092）の向きを、写真に描かれた写真測量ターゲット（610）の箇所、サイズ、および形状に基づいて決定することを含む、項C1に記載の非一時的コンピュータ可読媒体も提供される。
【００６２】
C8．
上記方法が、
ロボット（1000）を操作してNCプログラム（1025）に従ってフェアリング（150）に対する作業を行うステップをさらに含む、項C1に記載の非一時的コンピュータ可読媒体も提供される。
【００６３】
D1．
航空機（100）のフェアリング（150）用の設置領域（1090）にある取付けブラケット（210）の写真を取得するカメラ（1092）と、
写真に描かれた写真測量ターゲットに基づいて航空機の座標空間内で写真を方向付け、写真を分析して取付けブラケットでの取付け受け部（220）の中心線（500）を決定し、対応する取付け受け部の中心線に基づいてフェアリング上の箇所を選定し、そしてフェアリング上の箇所のそれぞれで作業を行うようロボット（1000）に指示する数値制御（NC）プログラム（1025）を生成する設計コントローラー（1080）と
を備えるシステム。
【００６４】
D2．
カメラが、取付け受け部を複数の照明角度で撮影することによって写真を取得し、設計コントローラーが、照明角度のそれぞれで取付け受け部にできる影（730）を分析することによって写真を分析する、項D1に記載のシステムも提供される。
【００６５】
D3．
設計コントローラーが、取付け受け部にできる影を、写真内の取付け受け部の期待箇所を識別すること、期待箇所から外方を探索して写真内の高コントラスト領域を識別すること、および、高コントラスト領域に基づいて取付け受け部の中心点を決定すること、によって分析する、項D1に記載のシステムも提供される。
【００６６】
D4．
設置領域が航空機の胴体（130）と航空機の本体との間の交差部を含む、項D1に記載のシステムも提供される。
【００６７】
D5．
取付け受け部が取付けブラケットの孔を含む、項D4に記載のシステムも提供される。
【００６８】
D6．
NCプログラム（1025）が、ロボットのエンドエフェクタ（1030）を位置付けかつ操作するための命令を含む、項D1に記載のシステムも提供される。
【００６９】
D7．
設計コントローラーが、各写真を取得したカメラ（1092）の向きを、写真に描かれた写真測量ターゲットの箇所、サイズ、および形状に基づいて決定することによって写真を位置決めする、項D1に記載のシステムも提供される。
【００７０】
D8．
ロボットを操作してNCプログラム（1025）に従ってフェアリングに対する作業を行うロボットコントローラー（1020）をさらに備える、項D1に記載のシステムも提供される。
【００７１】
特定の実施形態が本明細書に記載されているが、本開示の範囲はそれらの特定の実施形態に限定されるものではない。本開示の範囲は、特許請求の範囲およびその同等物によって規定される。
【符号の説明】
【００７２】
100  航空機
110  機首
120  翼
130  胴体
140  尾部
150  フェアリング
152  孔
200  設置領域
210  取付けブラケット
212  フェース
214  フェース
218  壁
220  取付け受け部
230  フェアリング支持構造
240  取外し可能なカバー
260  ナットプレート
262  ねじ孔
264  壁
265  ベース
266  中心軸線／長軸
267  フランジ
268  カラー
269  浮動要素
410  締め具
500  長軸／中心軸
610  写真測量ターゲット
620  作業者
630  写真測量計測装置
632  カメラ
634  シャフト
636  光源
710  光
720、730  影
810  光
820、830  影
1000  ロボット
1010  運動学的連鎖
1012  剛体
1014  アクチュエータ
1020  ロボットコントローラー
1022  プロセッサ
1024  メモリ
1025  NCプログラム
1026  インタフェース
1030  エンドエフェクタ
1040  胴体
1042  翼
1050  ブラケット
1052  バッキング
1054  ナットプレート
1055  壁
1057  孔
1060  フェース
1062  受け部
1064  壁
1072  フェアリング
1074  孔
1076  カバー
1080  設計コントローラー
1082  プロセッサ
1084  メモリ
1085  写真
1086  インタフェース
1090  設置領域
1090  写真測量計測装置
1092  カメラ
1094  バー
1095  レーザ
1096  光源
1100  方法
1102、1104、1106、1108、1110、1112  ステップ
1200  方法
1202、1204、1206、1208、1210  ステップ
1300  航空機の製造および保守点検方法
1302  航空機
1304  仕様および設計
1306  材料調達
1308  構成要素および部分組立品の製造
1310  システム統合
1312  認証および搬送
1314  就航中
1316  整備および保守点検
1318  機体
1320  複数のシステム
1322  内部
1324  推進システム
1326  電気システム
1328  油圧システム
1330  環境システム
【図１】
2018048997.tif 000003
【図２】
2018048997.tif 000004
【図３】
2018048997.tif 000005
【図４】
2018048997.tif 000006
【図５】
2018048997.tif 000007
【図６】
2018048997.tif 000008
【図７】
2018048997.tif 000009
【図８】
2018048997.tif 000010
【図９】
2018048997.tif 000011
【図１０】
2018048997.tif 000012
【図１１】
2018048997.tif 000013
【図１２】
2018048997.tif 000014
【図１３】
2018048997.tif 000015
【図１４】
2018048997.tif 000016
【外国語明細書】
2018048997000001.pdf