(57)【特許請求の範囲】
【請求項１】
三次元構造データを含むディジタルデザインモデルにより得られた情報の投影方法であって、前記投影方法は、
-  対象表面に由来する特徴データを取得し、前記特徴データを前記ディジタルデザインモデルにより得られたバーチャルデータと比較し、そして、１台のビデオプロジェクター及び少なくとも２台の独立した撮像装置を備える投影装置の空間位置を決定することを含む、キャリブレーションステップであって、
-  キャリブレーションパターンを前記対象表面上に投影するサブステップと、
-  前記キャリブレーションパターンを分析するサブステップと、
-  前記撮像装置及び前記１台のビデオプロジェクターの間の対応関係のデータ一式を生成するサブステップと、
-  前記撮像装置及び前記ビデオプロジェクターの空間位置を、前記撮像装置及び前記１台のビデオプロジェクターの間の前記対応関係のデータ一式における最大一致度に基づいて決定するサブステップと、
をさらに含むキャリブレーションステップと、
-  前記対象表面上にて複数の特徴点を特定するステップと、
-  前記対象表面上にて特定された前記複数の特徴点を、前記ディジタルデザインモデルに対してマッチングするステップと、
-  前記ディジタルデザインモデルにより得られた情報を、前記１台のビデオプロジェクターにより、前記空間位置に応じて前記対象表面上に投影する投影ステップと、
を含む、投影方法。
【請求項２】
前記キャリブレーションステップは、
前記ディジタルデザインモデルにより得られた情報に加えて、前記キャリブレーションパターンを前記対象表面に対して継続的に投影し、キャリブレーションを前記対象表面に対して調整し；さらに、
前記撮像装置により前記キャリブレーションパターンを分析して、前記撮像装置及び前記１台のビデオプロジェクターの前記空間位置を継続的に測定することにより、
継続的に実行される、請求項１に記載の投影方法。 
【請求項３】
前記ディジタルデザインモデルにより得られた情報と実際の状態との差異を検出し、ハイライトするステップをさらに含む、請求項１又は２に記載の投影方法。
【請求項４】
前記撮像装置の視野内の既知の可動対象物の空間位置を測定するステップをさらに含む、請求項１〜３の何れか一項に記載の投影方法。
【請求項５】
振動を補償するステップと、かかる補償を実施できない場合にアラームを鳴らすステップとをさらに含む、請求項１〜４の何れか一項に記載の投影方法。
【請求項６】
前記対象表面上で影が発生しないようにするステップをさらに含む、請求項１〜５の何れか一項に記載の投影方法。
【請求項７】
情報を三次元投影するステップをさらに含む、請求項１〜６の何れか一項に記載の投影方法。
【請求項８】
三次元構造データを含むディジタルデザインモデルにより得られた情報を投影する投影装置であって、該投影装置は、
１台のビデオプロジェクター、
少なくとも２台の撮像装置、及び
プロセッサ及びメモリを含むコンピュータであって、
-  対象表面に由来する特徴データを取得し、
-  前記特徴データと、前記ディジタルデザインモデルにより得られたバーチャルデータとを比較し、
-  前記撮像装置、及び、前記１台のビデオプロジェクターの空間位置を測定し、
-  前記対象表面上にて複数の特徴点を特定し、
-  前記対象表面上にて特定された前記複数の特徴点を、前記ディジタルデザインモデルに対してマッチングするように構成された、コンピュータと、を備え、
-  前記１台のビデオプロジェクターが、前記ディジタルデザインモデルにより得られた情報を、前記空間位置に応じて、前記対象表面上に投影するように構成されてなる、
投影装置。
【請求項９】
前記撮像装置はグローバルシャッタービデオカメラである、請求項８に記載の投影装置。
【請求項１０】
少なくとも２台の赤外光源をさらに備える、請求項８又は９に記載の投影装置。
【請求項１１】
前記撮像装置の設定を、振動に応じて調節して、該振動が閾値を上回る場合にアラーム信号を発するように設定可能な調節装置をさらに備える、請求項８〜１０の何れか一項に記載の投影装置。 
【請求項１２】
前記撮像装置の前記設定を振動に応じて調節して、該振動が大きすぎる場合にアラーム信号を発するように設定可能な調節装置は、前記１台のビデオプロジェクターに対して剛結合されている慣性センサを有する、請求項１１に記載の投影装置。 
【請求項１３】
前記１台のビデオプロジェクターは、位置センサを有する機器装備機械システム上に搭載されている、請求項８〜１２の何れか一項に記載の投影装置。 
【請求項１４】
前記機器装備機械システムが、電動である、請求項１３に記載の投影装置。
【請求項１５】
自立電源システムを備える、請求項８〜１４の何れか一項に記載の投影装置。 
【請求項１６】
前記投影装置の全要素は、前記１台のビデオプロジェクター及び前記撮像装置を含む第１ハウジングと、前記コンピュータ及び前記電源を含む第２ハウジングとの何れかにグループ化することができる、請求項８〜１５の何れか一項に記載の投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンジニアリング部門及びデザイン部門により提供されたディジタルデザインモデルによるバーチャルデータを、対象表面上に投影する方法に関するものである。
【０００２】
本発明は、あらゆる分野に応用することができるが、特に、航空分野、建設分野、造船分野、あるいは航空宇宙分野にさえ応用することができる。
【０００３】
更に具体的には、本発明は飛行機、ヘリコプター、又は衛星のような大きな対象物について、これらの建設、組み立て、更にはメンテナンスの段階で応用することができる。 
【背景技術】
【０００４】
多くの場合、製造時、又は操作時でさえ、実際の対象物の状態は部分的に把握されているに過ぎない。製造者は、フォルダー、ファイル（例えば、測定結果の集計表、写真又はファイル）、及びデータベースに、測定値を整理し収集することに取り掛かることが一般的である。このことは、特に、大きな対象物については、特定のゾーンについて行った実際の測定によるデータを位置合わせして、実際に測定を行った場所を確定するだけでなく、とりわけ、それらのデータが相互にどのように関連し対応するかということや、三次元ディジタルデザインモデルに関連し対応するかということの推定を難しくしている。従って、製造中又は操作中の状態を確定することは簡単なことではない。 
【０００５】
取り付け、組み立て、及びメンテナンス操作の際には、オペレータは手順の実行、測定の実施、診断の実行、実行した作業の報告等、多くのタスクを実行する必要がある。
【０００６】
一般的に、オペレータは、実行すべき様々なタスクを確認し、位置づけるために机上プラン又は設計図を使用している。また、オペレータは、巻尺のような従来の測定手段も使用する。このような作業方法には時間がかかり、間違い（位置間違い、損傷、不正確な参照など）が起きる虞がある。 
【０００７】
このようなタスクをより迅速且つ効率的に実行する一つの方途は、対象表面上に直接情報を投影することである。対象表面は、オペレータが相互作用しなければならない表面に相当する。
【０００８】
例えば、米国特許出願第2009/0195753号に記載のレーザーマーキングシステムを使用することができる。この出願は、乗り物の外装上にレーザーマーキングを投影するための、複数のレーザープロジェクターを備える装置を開示している。かかる装置によれば、レーザープロジェクター、レーザープロジェクターに接続されたコンピュータ、及び当該コンピュータを経由して接続されているワークステーションによって、同期形式で乗り物の外装のイメージが投影され、レーザープロジェクターによって投影された画像をそれに連動させることができるようになる。しかし、かかる情報投影装置は、実装が複雑であり、レーザープロジェクションに固有の限界のために、表示可能な情報量が少ない（ヒッカー、輝度ロス）。
【０００９】
さらに、同様の装置は欧州特許出願第1 719 580号に開示されている。かかる特許出願は、レーザープロジェクターにより対象表面上に情報を投影するための装置を開示している。かかる装置は、計測エミッタ（metrological emitter）を用いて、対象表面上及びレーザープロジェクター上に配置した計測レシーバ（metrological receiver）により、レーザーの位置及び方向を確認することを可能にするものである。しかし、かかる装置には上述したシステムと同様の限界があり、表示可能な情報の種類が制限されている。さらに、キャリブレーションシステムは、様々な計測エミッタ及びレシーバを配置する必要があるため、時間がかかる。
【００１０】
他の既知の種類の投影手段は、ビデオプロジェクター及び１台のビデオカメラを採用したものである。かかるシステムは、事前にマーカーを対象表面内の正確な位置に配置することを必要とするので、用いることが難しく、さらに、時間がかかる。
【００１１】
残念なことに、近年知られているあらゆる情報投影手法は、複雑であるか、柔軟性に欠き移動が困難であるか、あるいは、キャリブレーションに時間がかかるものである。従って、これらの方法は多くの組み立て操作においては非効率的であり使用不可能であることが判明している。さらに、これらは一般的に、位置の指定又は対象の追跡のみといった、一つの非常に特殊なタスクを実行するように設計されてている。 
【００１２】
従って、現在、よりシンプル且つ効率的に、移動可能且つ柔軟性のある情報投影を高精度で実行することに関して明らかなニーズが存在する。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願第2009/0195753号明細書
【特許文献２】欧州特許出願公開第1 719 580号明細書
【発明の概要】
【００１４】
本発明は、実施されるべき環境に正確に適合可能な情報投影方法を実現ンする装置を提供することにより、従来技術における欠点の全て又は一部を解消することを目的とする。
【００１５】
かかる目的のために、第一の観点にかかる本願発明は、ディジタルデザインモデルにより得られた情報の投影方法であって、該投影方法は、
-  対象表面に由来する特徴データを取得し、前記特徴データを前記ディジタルデザインモデルにより得られたバーチャルデータと比較し、そして、ビデオプロジェクター及び少なくとも２台の独立した撮像装置を備える投影装置の空間位置を決定することを含む、キャリブレーションステップと、
-  前記ディジタルデザインモデルにより得られた情報を、前記ビデオプロジェクターにより、前記空間位置に応じて前記対象表面上に投影する投影ステップ
を含むことを特徴とする。
【００１６】
特徴データは、各撮像装置により取得されたデータを相互に関連づけることにより得られた対象表面の三次元構造を仮想再構築するものである。 
【００１７】
これらの方途により、本発明は対象表面の構造を三次元構造の分析を可能にし、更に、取り付け操作を実行することか、又はかかる対象表面の品質管理をタスクとするオペレータを誘導できるようにする。例えば、取り付け操作の場合、本発明によれば、ある部分に取り付けられるべき一つの装置の外形を投影することができる。例えば、品質管理操作の場合、本発明によれば、ディジタルデザインモデルの三次元構造を対象表面の三次元構造上に投影して、これによりオペレータがこれら２つの構造の間の差異を観察することができるようになる。さらに、上述したディジタルデザインモデル内にて対象表面の特徴点の空間位置を容易に測定することができる。これは、本発明では、ディジタルデザインモデルにおいて位置決めマーカーの空間位置を用いて対象表面に関連する空間位置情報を正確に示す目的で、位置決めマーカーを対象表面上の正確な位置に事前に配置する必要がないためである。このような位置決めマーカーは、位置決めの精度に関しては、多くの場合において誤差の原因となる。 
【００１８】
いくつかの実施形態では、キャリブレーションステップは、キャリブレーションパターンを前記対象表面上に投影するサブステップと、前記キャリブレーションパターンを分析するサブステップと、前記撮像装置及び前記プロジェクターの間の対応関係のデータ一式を生成するサブステップと、前記撮像装置及び前記ビデオプロジェクターの空間位置を、最大対応（correspondence maximum）に応じて決定するサブステップと、を含むことが望ましい。これらの実施形態では、撮像装置に対するビデオプロジェクターの相対的な空間位置を正確に決定することができ、対象表面に対する投影装置の相対的な空間位置を決定することができる。 
【００１９】
幾つかの実施形態では、キャリブレーションステップは、前記ディジタルデザインモデルにより得られた情報に加えて、前記キャリブレーションパターンを継続的に投影し、キャリブレーションを前記対象表面に対して調整し；前記撮像装置により前記キャリブレーションパターンを分析し、前記撮像装置及びビデオプロジェクターの前記空間位置を継続的に測定することにより継続的に実行されることが好ましい。具体的には、これらの実施形態によれば、撮像装置に対するビデオプロジェクターの相対的な空間位置及び対象表面に対する投影装置の相対的な空間位置が継続的に測定され、さらに厳密には、各回、新たな像を抽出することができる。これにより、例えば、投影装置が可動である場合や、撮像装置及びビデオプロジェクターの間に寄生的な動きが生じた場合に生じる、キャリブレーションの精度の問題を解消することができる。 
【００２０】
幾つかの実施形態によれば、かかる方法は、上述したディジタルデザインモデルにより得られた情報と実際の状態との差異を検出しハイライトするステップを含むことが好ましい。
【００２１】
幾つかの実施形態によれば、かかる方法は、撮像装置の視野内の既知の可動対象物の空間位置を測定するステップを含むことが好ましい。これにより、オペレータが対象表面と容易に相互作用できるようになる。 
【００２２】
幾つかの実施形態によれば、かかる方法は、振動を補償するステップと、かかる補償を実施できない場合にアラームを鳴らすステップとを含むことが好ましい。これにより、プロジェクター及び撮像装置における寄生性の動き、特に撮像装置の設定変更を介して生じる寄生性の動きに起因した誤差を回避することができる。 
【００２３】
幾つかの実施形態によれば、かかる方法は対象表面上で影が発生しないようにするステップを含むことが好ましい。
【００２４】
幾つかの実施形態によれば、かかる方法は、三次元投影を可能にするステップを含むことが好ましい。これにより、アクティブグラスを装着したオペレータが情報を視認し易くなる。
【００２５】
本発明の他の観点によれば、ビデオプロジェクター、コンピュータ、及び少なくとも２台の撮像装置を備える、ディジタルデザインモデルにより得られた情報を投影する投影装置であって、該投影装置は、
-  対象表面に由来する特徴データを取得する取得手段と、
-  前記特徴データと、前記ディジタルデザインモデルにより得られたバーチャルデータとを比較する比較手段と、
-  前記撮像装置、前記ビデオプロジェクター、及び前記投影装置の空間位置を測定する測定手段と、
-  前記空間位置に応じて、前記ビデオプロジェクターにより前記ディジタルデザインモデルにより得られた情報を前記対象表面上に投影する投影手段と、を備える、投影装置が提供される。
【００２６】
上述のコンピュータは、撮像装置、ディジタルデザインモデル、及びビデオプロジェクターの間でデータを管理することができるようにする。 
【００２７】
幾つかの実施形態では、撮像装置はグローバルシャッタービデオカメラであることが好ましい。これにより、装置の動きに起因する像の変形を回避することができる。 
【００２８】
幾つかの実施形態では、バーチャルデータを投影する装置は少なくとも２台の赤外光源を備えることが好ましい。これにより、撮像装置は、撮像装置の視野内を移動する赤外対象物を含むあらゆる共同対象物（collaborative object）を追跡することができるようになる。これにより、オペレータが対象表面と容易に相互作用できるようになる。 
【００２９】
幾つかの実施形態では、バーチャルデータを投影するための装置は、前記撮像装置の設定を、振動に応じて調節して、該振動が大きすぎる場合にアラーム信号を発するように設定可能な調節手段を備えることが好ましい。これにより、振動関係の制約の投影設定を適合させることで、投影画像の品質を向上させることができる。
【００３０】
幾つかの実施形態では、上述したような、撮像装置の前記設定を振動に応じて調節して、該振動が大きすぎる場合にアラーム信号を発するように設定可能な調節手段は、前記ビデオプロジェクターに対して剛結合されている慣性センサを有することが好ましい。かかる慣性センサは振動を検出することを可能にする。
【００３１】
幾つかの実施形態では、ビデオプロジェクターは、位置センサを有すると共に任意で電動である機器装備機械システム上に搭載されていることが好ましい。これにより、ビデオプロジェクターを位置変更して、投影により変換されるゾーンを拡大又は縮小することができる。さらに、位置センサから得られる位置情報によれば、ディジタルデザインモデル内における投影装置の空間位置の更新を実現することができる。
【００３２】
幾つかの実施形態では、バーチャルデータを投影するための装置は、自立電源システムを備えることが好ましい。これらの方途は、装置の可動性を向上させることができる点で有利である。 
【００３３】
幾つかの実施形態では、ディジタルデザインモデルにより得られた情報を投影するための装置の全要素は、前記ビデオプロジェクター及び前記撮像装置を含む第１ハウジングと、前記コンピュータ及び前記電源を含む第２ハウジングとの何れかにグループ化することができることが好ましい。これにより、装置の運搬性や可動性を高めて、オペレータが装置を容易に操作することができるようにすることができる。 
【００３４】
幾つかの実施形態では、投影装置の前要素がグループ分けされる２つのハウジングは、相互に積み重ねられていることが好ましい。
【００３５】
本発明は、以下の図面を参照した詳細な説明や、例示的な実施形態を参照することで、より良好に理解することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の一実施形態にかかる方法を示すフローチャートである。
【図２】本発明の幾つかの実施形態に従うバーチャルデータの投影例を示す図である。
【発明を実施するための形態】
【００３７】
図１は、本発明の一実施形態にかかる方法１０を示すフローチャートである。第１のステップ１１では、キャリブレーションを実行する。ステップ１１は、サブステップ１１ａを含み、サブステップ１１ａでは、ビデオプロジェクター１９を用いて、図２に例示したような対象表面２０上にキャリブレーションパターンを投影する。後続するサブステップ１１ｂでは、少なくとも２台の撮像装置により対象表面２０上に投影されたキャリブレーションパターンを分析することにより、特徴データを取得する。特に、撮像装置１８は対象表面２０上におけるパターンのレンダリングを取得し、かかるレンダリングは、三次元構造を形成する特徴データ一式として表現されるためにコンピュータ２１によって分析される。後続するサブステップ１１ｃでは、特徴データをディジタルデザインモデルから得られたデータと比較して、ビジョンアルゴリズムにより、撮像装置１８及びビデオプロジェクター１９の間の相互関係データ一式を生成することができる。最後に、サブステップ１１ｄでは、ビデオプロジェクター１９の撮像装置１８に対する相対的な空間位置を、上述のアルゴリズムによりこれらの最大対応（maximum correspondence）に基づいて決定する。そして、ビデオプロジェクター１９及び撮像装置１８を備える投影装置２２の対象表面に対する空間位置が測定される。最後のステップ１２では、測定された投影装置２２の空間位置に応じて、ディジタルデザインモデルにより得られたバーチャルデータに関連する情報を、対象表面２０上に投影する。このようなバーチャルデータの投影は、ディジタルデザインモデルに由来するものであるため、正確である。投影されたバーチャルデータが正確なので、オペレータによる組み立て操作や診断操作が容易に実施できるようになる。そして、かかる投影によれば、ディジタルデザインモデルと実際の状況との差異がハイライトして表示されるため、オペレータはかかる差異を正確に検出できるようになる。
【００３８】
ビデオプロジェクター１９を用いて、ディジタルデザインモデル（に由来するバーチャルデータ）に加えて、キャリブレーションパターンを対象表面２０上に継続的に投影することで、継続的にキャリブレーションを最適化することができる。そして、これらのパターンは撮像装置１８により撮像され、かかる撮像装置１８とビデオプロジェクター１９との間での変換を（例えば、毎回新しい画像を抽出するなどして）継続的に最適化する。
【００３９】
図２に示す装置２２は、本発明の一実施形態に従う方法１０における各ステップを実施することを可能にする。かかる装置２２は、ビデオプロジェクター１９及び少なくとも２台の撮像装置１８を備える。コンピュータ２１に接続された２台の撮像装置１８の存在により、撮像装置１８により検出された対象表面２０の三次元再構築を実現することができる。コンピュータ２１は、プロセッサ及びメモリを含み、対象表面２０上で識別された特徴点とディジタルデザインモデルとのマッチングを実現することができる。ビデオプロジェクター１９は、対象表面２０上におけるオペレーションの実施が必要な正確な位置に直接バーチャルデータを投影するように機能する。
【００４０】
単一光源により画像を投影する場合、対象表面２０の凹凸に起因して、投影した画像に影のゾーンができてしまうという問題が生じる。このような、対象表面２０上における影の問題は、２〜ｎ台の装置２２を用いることで解消することができる。 
【図１】
0006591200.tif 000002
【図２】
0006591200.tif 000003