(57)【要約】【解決手段】３次元（３Ｄ）測定のためのシステム及び方法が与えられる。本システムは、非接触測定装置と、注釈装置と、プロセッサと、を含む。非接触測定装置は、非接触測定装置から表面までの距離を測定するように動作可能である。注釈装置は、非接触測定装置に接続される。プロセッサは、非接触測定装置及び注釈装置に動作可能に接続され、プロセッサにより実行されたときに、以下の命令、すなわち、少なくとも部分的には距離に基づいて、視野内の少なくとも１つの点の３Ｄ座標を決定し、ユーザからの入力に応答して注釈を記録し、注釈を少なくとも１つの点と関連付けるための命令を実行するように動作可能である。【選択図】図１
2018194549.tif 000002
【特許請求の範囲】
【請求項１】
非接触測定装置と、前記非接触測定装置に接続された注釈装置と、プロセッサと、を備え、
前記非接触測定装置は、前記非接触測定装置から表面までの距離を測定するように動作可能であり、
前記プロセッサは、前記非接触測定装置及び前記注釈装置に動作可能に接続され、
前記プロセッサは、前記プロセッサにより実行されたときに、以下の命令、すなわち、
少なくとも部分的には前記距離に基づいて、視野内の少なくとも１つの点の３Ｄ座標を決定し、
ユーザからの入力に応答して注釈を記録し、
前記注釈を前記少なくとも１つの点と関連付けるための命令を実行するように動作可能である、３次元（３Ｄ）測定用のシステム。
【請求項２】
前記注釈装置は、前記ユーザからの音を受信するように構成されたマイクロホンである、請求項１に記載のシステム。
【請求項３】
前記マイクロホンは複数のマイクロホンを含み、
前記複数のマイクロホンの各々は、前記非接触測定装置に接続され、異なる方向からの音を受信するように構成される、請求項２に記載のシステム。
【請求項４】
前記プロセッサは、前記複数のマイクロホンからの信号に基づいて、前記音が生成された場所の方向を決定するように更に動作可能である、請求項３に記載のシステム。
【請求項５】
前記プロセッサは、前記マイクロホンが受信した前記ユーザからの音に応答して、前記非接触測定装置でプロセスを実行するように更に動作可能である、請求項２に記載のシステム。
【請求項６】
前記注釈装置は、可視光ビームを前記非接触測定装置から放射するように構成されたレーザー光源である、請求項１に記載のシステム。
【請求項７】
前記プロセッサは、以下の方法、すなわち、
第１のステップとして、前記ユーザからの第１の入力に応答して、前記可視光ビームを第１の位置に放射するステップと、
第２のステップとして、前記ユーザからの第２の入力に応答して、前記可視光ビームを第２の位置に放射するステップと、
少なくとも部分的には前記第１の位置及び前記第２の位置の３Ｄ座標に基づいて、前記第１の位置及び前記第２の位置の周辺での測定データ同士を比較するステップと、
を備える方法を実行するように更に動作可能である、請求項６に記載のシステム。
【請求項８】
前記非接触測定装置は、視野を備えるカメラを含み、
前記プロセッサは、以下の方法、すなわち、
前記ユーザからの入力に応答して、前記可視光ビームを表面上に放射するステップと、
前記可視光ビームからの光のスポットとともに、前記表面の映像を取得するステップと、
少なくとも部分的には前記カメラと前記レーザー光源との基準線距離に基づいて、前記表面上の前記光のスポットの３Ｄ座標を決定するステップと、
を備える方法を実行するように更に動作可能である、請求項６に記載のシステム。
【請求項９】
前記注釈装置は、マイクロホンを更に含み、
前記プロセッサは、以下の方法、すなわち、
前記ユーザからの入力に応答して、前記可視光ビームを表面上に放射するステップと、
前記可視光ビームからの光のスポットとともに、前記表面の映像を取得するステップと、
前記ユーザからの音を記録するステップと、
前記音の記録を前記映像に関連付けるステップと、
を備える方法を実行するように更に動作可能である、請求項６に記載のシステム。
【請求項１０】
前記プロセッサは、以下の方法、すなわち、
前記ユーザからの入力に応答して、前記可視光ビームを表面のある位置に放射するステップと、
前記可視光ビームを前記表面の前記位置に放射している間に、前記非接触測定装置を、第１の位置から第２の位置に動かすステップと、
を備える方法を実行するように更に動作可能である、請求項６に記載のシステム。
【請求項１１】
前記非接触測定装置は、視野を備えるカメラを含み、
前記プロセッサは、以下の方法、すなわち、
前記ユーザからの入力に応答して、前記可視光ビームを表面上に放射するステップと、
前記可視光ビームからの光のスポットとともに、前記表面の映像を取得するステップと、
スキャンされる対象のＣＡＤモデル（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  ｄｅｓｉｇｎモデル）を受信するステップと、
少なくとも部分的は前記映像に基づいて、前記ＣＡＤモデルの参照点を決定するステップと、
を備える方法を実行するように更に動作可能である、請求項６に記載のシステム。
【請求項１２】
前記非接触測定装置は、視野を備えるカメラを含み、
前記プロセッサは、以下の方法、すなわち、
ＣＡＤモデルの参照点を決定するステップと、
前記ユーザからの入力に応答して、前記可視光ビームを対象の部位に放射するステップと、を備える方法を実行するように更に動作可能であり、
前記部位は、少なくとも部分的には前記参照点に基づく、請求項６に記載のシステム。
【請求項１３】
非接触測定装置を用いて、表面上の複数の点に関する点データを取得するステップと、
少なくとも部分的には前記点データに基づいて、前記複数の点の３Ｄ座標を決定するステップと、
第１のステップとして、ユーザからの入力に応答して、注釈装置を用いて、注釈データを記録するステップと、
前記注釈データを、点の前記３Ｄ座標の少なくとも一部分に関連付けるステップと、を備え、
前記注釈装置は、前記非接触測定装置に接続されており、
点の前記３Ｄ座標の前記一部分は、前記注釈データと同時に取得された点データから決定されたものである、方法。
【請求項１４】
前記注釈装置はマイクロホンを含み、
前記注釈データを記録するステップは、音データを記録するステップを含む、請求項１３に記載の方法。
【請求項１５】
前記音データはオペレータの声を含む、請求項１４に記載の方法。
【請求項１６】
前記注釈装置は複数のマイクロホンを含み、
前記複数のマイクロホンの各々は、異なる方向からの音を受信するように構成される、請求項１４に記載の方法。
【請求項１７】
少なくとも部分的には前記複数のマイクロホンの各々からの信号に基づいて、前記音の方向を決定するステップを更に備える、請求項１６に記載の方法。
【請求項１８】
少なくとも部分的には前記音データに基づいて、前記非接触測定装置でプロセスを実行するステップを更に備える、請求項１４に記載の方法。
【請求項１９】
前記注釈装置は、可視光ビームを放射するレーザー光源を備え、
前記注釈データを記録するステップは、
前記可視光ビームを環境の表面上に照射するステップと、
前記可視光ビームによって前記表面上に生成された光のスポットの映像を取得するステップと、
を更に備える、請求項１３に記載の方法。
【請求項２０】
前記注釈データを記録するステップは、
第１のステップとして、前記ユーザからの第１の入力に応答して、前記可視光ビームを第１の位置に放射するステップと、
第２のステップとして、前記ユーザからの第２の入力に応答して、前記可視光ビームを第２の位置に放射するステップと、
少なくとも部分的には前記第１の位置及び前記第２の位置の３Ｄ座標に基づいて、前記第１の位置及び前記第２の位置の周辺での測定データ同士を比較するステップと、
を更に備える、請求項１９に記載の方法。
【請求項２１】
前記注釈データを記録するステップは、少なくとも部分的にはカメラと前記レーザー光源との基準線距離に基づいて、前記表面上の前記光のスポットの３Ｄ座標を決定するステップを更に備える、請求項１９に記載の方法。
【請求項２２】
前記注釈データを記録するステップは、
前記ユーザからの音を記録するステップと、
前記音の記録を前記映像に関連付けるステップと、
を更に備える、請求項１９に記載の方法。
【請求項２３】
前記注釈データを記録するステップは、
前記ユーザからの入力に応答して、前記可視光ビームを表面のある位置に放射するステップと、
前記可視光ビームを前記表面の前記位置に放射している間に、前記非接触測定装置を、第１の位置から第２の位置に動かすステップと、
を更に備える、請求項１９に記載の方法。
【請求項２４】
前記注釈データを記録するステップは、
前記非接触測定装置を用いて、スキャンされる対象のＣＡＤモデル（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ  ｄｅｓｉｇｎモデル）を受信するステップと、
ＣＡＤモデルの参照点を決定するステップと、
前記ユーザからの入力に応答して、前記可視光ビームを対象の部位に放射するステップと、
を更に備え、
前記部位は、少なくとも部分的には前記参照点に基づく、請求項１９に記載の方法。
【請求項２５】
前記可視光ビームを放射するステップは、
前記可視光ビームを前記表面上の部位に放射するステップと、
前記可視光ビームからの光のスポットとともに、前記部位の部位映像を取得するステップと、
を含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願への相互参照］
本出願は、米国仮出願６２／５０８、４３９（出願日２０１７年５月１９日）の利益を主張する。また上記仮出願の開示全体が、参照として本出願に組み込まれる。
【０００２】
本明細書で開示される主題は、３次元（３Ｄ）測定用装置、特に３Ｄ測定に注釈を付けるためのデータを受信及び蓄積可能な、３Ｄ測定用装置に関する。
【背景技術】
【０００３】
３Ｄ映像装置は、スキャンされる対象の表面上に光パターンを投影する投影機を備えた携帯可能装置である。典型的に投影機は、コード化又はデコード化されたパターンを放射する。投影機に関して所定の位置決めとアラインメントがされた１つ以上のカメラが、対象表面上の光パターンの画像を記録する。光パターン内の要素の３次元座標は、エピポーラ機可などを用いて三角法により決定することができる。３Ｄ座標の測定には、その他のタイプの非接触装置、例えば、装置と対象表面との間を光が往復するのに掛かる時間を測定するためにタイム・オブ・フライト技術を使用するもの（例えばレーザートラッカー、レーザースキャナー又はタイム・オブ・フライト・カメラ）を用いることもできる。
【０００４】
オペレータはしばしば、観測値その他のデータに関する追加的な記録を行いたい場合がある。観測値（例えばそのとき聞こえた雑音など）が、オペレータによる手書きで記録されることもある。これらの手書き記録は、その後レポートに組み込まれるだろう。しかしながら、こうした記録がされたときオペレータがいた場所と３Ｄデータとの関連性は失われてしまうだろう。あるいは、オペレータが、記録を取ったとき自分がどこにいたかを正確にメモしていたとしても、そのメモと３Ｄデータとの関連性は薄いだろう。
【０００５】
別のタイプの注釈は、スキャンが行われたときの環境下でユーザが定めた点の間の測定を含んでよい。同様にオペレータは、手動測定（例えば巻き尺による測定）を行い、その結果を手書きで記録してもよい。しかしながら観測ノートがそうであるように、これらの測定値は、たとえ３Ｄ座標データの補助になったとしても、３Ｄ座標データとは別個のものである。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、現行の３Ｄ映像装置は意図した目的には適合するが、一方で特に注釈データを測定された３Ｄ座標に関連付けるシステムを改良したいという要求が依然として存在する。
【課題を解決するための手段】
【０００７】
本開示のある態様では、３次元（３Ｄ）測定用のシステムが与えられる。このシステムは、非接触測定装置と、注釈装置と、プロセッサと、を含む。非接触測定装置は、非接触測定装置から表面までの距離を測定するように動作可能である。注釈装置は、非接触装置に接続される。プロセッサは、非接触測定装置及び注釈装置に動作可能に接続され、プロセッサにより実行されたときに、以下の命令、すなわち、少なくとも部分的には距離に基づいて、視野内の少なくとも１つの点の３Ｄ座標を決定し、ユーザからの入力に応答して注釈を記録し、注釈を少なくとも１つの点と関連付けるための命令を実行するように動作可能である。
【０００８】
本開示の別の態様では、追加的データとともに、３Ｄ座標を取得する方法が与えられる。本方法は、非接触測定装置を用いて、表面上の複数の点に関する点データを取得するステップを含む。複数の点の３Ｄ座標が、少なくとも部分的には点データに基づいて決定される。第１のステップとして、ユーザからの入力に応答して、注釈装置を用いて注釈データが記録される。注釈装置は、非接触測定装置に接続されている。注釈データは、点の３Ｄ座標の少なくとも一部分に関連付けられる。点の３Ｄ座標のこの一部分は、注釈データと同時に取得された点データから決定されたものである。
【０００９】
これらの及びその他の利点は、図面を参照しながら以下の説明を読むことにより、より明確となるだろう。
【図面の簡単な説明】
【００１０】
本開示であるとみなされる主題は、特に本明細書の結論である特許請求の範囲で指摘され、明確に特許請求される。本開示の前述の及びその他の特徴及び利点は、以下の添付図面を参照して読まれる説明により明確となる。  
【図１】本発明の一実施形態に係る３Ｄ映像装置システムを示す図である。
【図２】図１の３Ｄ映像装置の動作の原理を模式的に示す図である。
【図３】図１の３Ｄ映像装置の動作の原理を模式的に示す図である。
【図４】本発明の一実施形態に係る３Ｄ映像装置システムの側面図である。
【図５】本発明の別の実施形態に係る３Ｄ映像装置システムの側面図である。
【図６】本発明の別の実施形態に係る３Ｄ映像装置システムの側面図である。
【図７】一実施形態に係る、環境においてユーザが定義した点同士の距離を測定する３Ｄ映像装置を示す図である。
【図８】一実施形態に係る、３Ｄ映像装置を操作する方法のフロー図である。    以下の詳細な説明で、図面を参照しながら例示のみを用いて、本開示の実施形態を利点や特徴とともに説明する。
【発明を実施するための形態】
【００１１】
本発明のいくつかの実施形態は、座標データと共に記録される注釈データを取得する３次元（３Ｄ）測定用装置を与える。本発明のいくつかの実施形態は、オペレータの声や背景雑音などの音を記録する装置を与える。本発明の更なるいくつかの実施形態は、スキャンがされる環境の位置をマーキングするために利用可能な可視光ビームを放射する装置、又はマーキングされた２つの点同士の距離を測定する装置を提供する。
【００１２】
以下、図１を参照して、ある環境の表面の３Ｄ座標を決定するための測定装置（例えば、３Ｄ映像システム２０）を示す。システム２０は、投影機２４と、第１のカメラ２６と、第２のカメラ２８と、を有する映像スキャナー２２を含む。典型的な実施形態では、投影機２４及びカメラ２６、２８の各々は、筐体３６の独立アーム３０、３２、３４にそれぞれ配置される。カラーカメラ４０が、アーム３０、３２、３４の間で筐体３６の中心に配置されてもよい。典型的な実施形態では、カラーカメラ４０は、スキャンされる環境の映像（カラー情報を含む）を取得する視野を有する。ある実施形態では、カラーカメラ４０は、３Ｄ映像内に組み込まれるカラー（テクスチャ）情報を与えるために使用されてもよい。いくつかの実施形態では、ビデオ映像を取得するカメラ４０が、ｖｉｄｅｏｇｒａｍｍｅｔｒｙの使用を通じて複数の３Ｄ映像を記録するために使用されてよい。カラーカメラ４０は、ＲＧＢカメラと呼ばれることもある。後述のある実施形態では、映像スキャナー２２は更に、マイクロホンや、可視光ビームを放射するレーザー光源などの注釈装置４７を備えてもよい。ある実施形態では、レーザー光源は、可視光ビームを映像スキャナー２２に対して動かすためのデジタルマイクロミラー（ＤＭＤ）やガルバノミラーなどの部品を含んでもよい。
【００１３】
後により詳しく述べるように、ある実施形態では、投影機２４は光パターンを環境の表面上に投影する。本明細書で使用される「投影機」は、一般にパターンを生成する装置を指すものとして定義される。パターンの生成は、回折光学要素やマイクロレンズ（又は単一のレーザー）などの屈折手段、若しくはシャッター、透明フィルム（トランスペアレンシープロジェクタで使われるもの）その他のマスクなどの遮蔽手段を用いて行うことができる。屈折手段には、光の損失がより少なく、従ってより高い強度が得られるという利点がある。
【００１４】
カメラ２６、２８は、パターンの画像を取得し、いくつか例では、三角法の原理（例えばエピポーラ幾何）を用いて表面上の点の３Ｄ座標を決定することができる。
【００１５】
図示された実施形態は３Ｄ座標を決定するための装置（映像スキャナー）を示し説明するが、これは典型例を示すことが目的であり、請求項に記載の説明がそのように限定されるべきでない点を理解されたい。他の実施形態では、表面までの距離を決定するためにタイム・オブ・フライトを利用するレーザースキャナー装置など、３Ｄ座標を決定するための他の非接触手段を用いた装置が使用されてもよい。
【００１６】
通信を目的に、制御器４８が、投影機２４、カメラ２６、２８、４０と（更にある実施形態では注釈装置４７とも）結合される。接続は、有線接続／データ伝送メディア５０又は無線接続であってよい。制御器４８は、データ及び命令を受信し、データ処理及び命令を実行し、結果を出すことができる好適な電気的装置である。制御器４８は、ユーザインタフェース５２を介して、あるいは、電子データカード、音声起動手段、手動操作可能な選択及び制御手段、放射波長、電気変圧器（これらに限定されない）といった手段を介して命令を受信してもよい。
【００１７】
制御器４８は、システム２０の制御のための種々のプロセスへの入力として機能する信号を使用する。デジタル信号は、カメラ２６、２８、４０によって取得された画像、温度、周辺光レベル、ユーザインタフェース５２を介したオペレータ入力等を含む（しかしこれらに限定されない）、システム２０の１つ以上のデータを表す。
【００１８】
制御器４８は、データ伝送メディア５０を介して、システム２０の１つ以上の部品と操作可能に結合される。データ伝送メディア５０は、撚り対線ケーブル、同軸ケーブル及び光ファイバケーブルを含む（しかしこれらに限定されない）。データ伝送メディア５０はまた、無線、ラジオ及び赤外線伝送システムを含む（しかしこれらに限定されない）。制御器４８は、動作信号をこれらの部品に与え、データをこれらの部品からデータ伝送メディア５０を介して受信するように構成される。
【００１９】
一般に制御器４８は、データをカメラ２６、２８、４０、投影機２４及び光源４７から受信し、スキャンされる表面上の点の３Ｄ座標を決定するための命令が与えられる。制御器４８は、動作パラメータを所定の差異と比較してよく、動作パラメータが所定の差異を超えた場合、オペレータ又は遠隔のコンピュータにネットワーク経由でアラームを通知するための信号を生成してよい。更に信号は、システム２０の動作に適合する他の制御、例えば、動作パラメータが所定の差異から外れたとき、カメラ２６、２８、４０、投影機２４又は光源４２の動作状態を変更するような制御を起動してもよい。
【００２０】
カメラ２６、２８、４０で受信されたデータは、ユーザインタフェース５２上に表示されてもよい。ユーザインタフェース５２は、ＬＥＤ（発光ダイオード）ディスプレイ、ＬＣＤ（液晶ダイオード）ディスプレイ、ＣＲＴ（ブラウン管）ディスプレイ、タッチスクリーンディスプレイ等であってよい。制御器４８にデータ入力手段を与えるために、ユーザインタフェースにキーボードが接続されてもよい。ある実施形態では、制御器４８は、取得された３Ｄ座標を視覚的に表示するためのポイントクラウドをユーザインタフェース５２に表示する。
【００２１】
制御器４８は、システム２０内の１つ以上の部品に接続されるとともに、ローカルエリアネットワーク（ＬＡＮ）やインターネット等の外部のコンピュータネットワークに接続されてもよい。ＬＡＮは、１つ以上の遠隔のコンピュータ同士を相互接続する。これらのコンピュータは、ＴＣＰ／ＩＰ（トランスミッションコントロールプロトコル／インターネットプロトコル）、ＲＳ２３２、ＭｏｄＢｕｓ（登録商標）等の既知のコンピュータ通信プロトコルを用いて、制御器４８と通信するように構成される。追加的なシステム２０が、制御器４８とともにＬＡＮに接続されてもよい。これらの追加的なシステム２０の各々は、遠隔のコンピュータや他のシステム２０（から／へ）データを送受信するように構成される。ＬＡＮはインターネットに接続される。この接続により制御器４８は、インターネットに接続された１つ以上の遠隔のコンピュータと通信することができる。
【００２２】
制御器４８はプロセッサ５４を含む。プロセッサ５４は、データ通信バスを介して、ランダムアクセスメモリ５６（ＲＡＭ）、不揮発性メモリ５８（ＮＶＭ）、リードオンリーメモリ６０（ＲＯＭ）、１つ以上の入力／出力（Ｉ／Ｏ）及びＬＡＮインタフェース６２に接続される。
【００２３】
ＬＡＮインタフェース６２は、制御器４８とネットワークとの間に、ネットワークによりサポートされたデータ通信プロトコルにおける通信を与える。ＲＯＭ６０は、プロセッサ５４のための初期化パラメータ、ブートコードを含む主機能ファームウェアなどのアプリケーションコードを記憶する。アプリケーションコードはまた、図８に示されるようなプログラム命令を含む。このプログラム命令によりプロセッサ５４は、システム２０の任意の動作制御、例えば、動作の開始／終了、投影機２４及び注釈装置４７の動作状態の変更、所定の動作パラメータの監視及びアラームの生成などを実行することができる。ある実施形態では、アプリケーションコードはオンボード遠隔測定システムを生成する。これは、システム２０と、１つ以上の遠隔コンピュータや受信位置との間で、動作情報を伝達するために使用されてよい。遠隔コンピュータと制御機との間で交換されるデータは、３Ｄ座標データや映像を含むが、これらに限定されない。
【００２４】
ＮＶＭ５８は、ＥＰＲＯＭ（消去可能プログラマブルリードオンリーメモリ）チップ、ディスクデバイス等の不揮発性メモリの任意の形態である。アプリケーションコードのための種々の動作パラメータが、ＮＶＭ５８内に記憶される。種々の動作パラメータのＮＶＭ５８への入力は、ユーザインタフェース５２やローカルコンピュータを用いてローカルにされてもよいし、インターネットを介した遠隔コンピュータを用いてリモートにされてもよい。アプリケーションコードは、ＲＯＭ６０ではなくＮＶＭ５８に記憶されてよいことが理解できるだろう。
【００２５】
図８に示されるように、制御器４８は、アプリケーションコードに具現化された動作制御方法を含む。これらの方法は、プロセッサ５４によって実行されるように記述された（典型的にはソフトウェアの形で）コンピュータ命令に具現化される。ソフトウェアは、任意の言語にエンコードされてよい。これらのソフトウェアは、アセンブリ言語、ＶＨＤＬ（Ｖｅｒｉｌｏｇ  Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、ＶＨＳＩＣ  ＨＤＬ（Ｖｅｒｙ Ｈｉｇｈ Ｓｐｅｅｄ  ＩＣ  Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）、Ｆｏｒｔｒａｎ（ｆｏｒｍｕｌａ  ｔｒａｎｓｌａｔｉｏｎ)、Ｃ、Ｃ＋＋、Ｃ＃（登録商標）、Ｏｂｊｅｃｔｉｖｅ−Ｃ（登録商標）、Ｖｉｓｕａｌ  Ｃ＋＋（登録商標）、Ｏｂｊｅｃｔｉｖｅ−Ｃ（登録商標）、Ｊａｖａ（登録商標）、Ｊａｖａｓｃｒｉｐｔ（登録商標）、ＡＬＧＯＬ（ａｌｇｏｒｉｔｈｍｉｃ  ｌａｎｇｕａｇｅ）、ＢＡＳＩＣ（ｂｅｇｉｎｎｅｒｓ  ａｌｌ−ｐｕｒｐｏｓｅ  ｓｙｍｂｏｌｉｃ  ｉｎｓｔｒｕｃｔｉｏｎ  ｃｏｄｅ）、ｖｉｓｕａｌ  ＢＡＳＩＣ（登録商標）、ＡｃｔｉｖｅＸ（登録商標）、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）、Ｐｙｔｈｏｎ（登録商標）、Ｒｕｂｙ及びこれらの少なくとも１つの任意の組み合わせ又は派生物を含むが、これらに限られない。更にオペレータは、表計算やデータベースといった現行のソフトウェアアプリケーションを使うことができ、種々のセルと、アルゴリズム内に列挙された変数とを関連付けることができる。更にソフトウェアは、例えば統合ソフトウェアの形態のように、他のソフトウェアと独立又は従属であってよい。
【００２６】
後に詳述するように、制御器４８は、音声注釈データや、３次元座標データと関連する／一体的な注釈データを受信するように構成されてもよい。ある実施形態では、音声注釈データは話された音声である。ある実施形態では、制御器４８は、音声注釈データを第１の音声言語から第２の音声言語に変換するために記述され、プロセッサ５４によって実行されるコンピュータ命令を含む。
【００２７】
ある実施形態では、制御器４８は、バッテリー６４のようなエネルギー源を更に備える。バッテリー６４は、制御器４８に電力を与える電気機械装置であってよい。ある実施形態では、バッテリー６４はまた、カメラ２６、２８、４８、投影機２４及び注釈装置４７に電力を与えてもよい。いくつかの実施形態では、バッテリー６４は、制御器と独立であってもよい（例えばバッテリーパック）。ある実施形態では、カメラ２６、２８、４８及び投影機２４に電力を与えるために、第２のバッテリー（図示せず）が筐体３６に配置されてもよい。更なる実施形態では、光源４２が独立したエネルギー源（例えばバッテリーパック）を有していてもよい。
【００２８】
ある実施形態では、制御器４８はマイクロホン６５を含んでよい。後述するように、マイクロホン６５は、スキャンプロセス中に得られたポイントクラウドデータに注釈を付けるために使われてもよい。ある実施形態では、マイクロホン６５は単体で使われてもよく、注釈装置４７と組み合わされて使われてもよい。
【００２９】
制御器４８は筐体３６から分離されているとして説明されるが、これは単に例示を目的としたものであって、請求項がそのように限定されるべきでないことを理解されたい。他の実施形態では、制御器４８は筐体３６と一体化されている。更に本明細書では、制御器４８は単一の映像スキャナー２２と結合されているとして説明されるが、これは単に例示を目的としたものであって、請求項がそのように限定されるべきでない。他の実施形態では、制御器４８は、３次元座標データ及び複数の映像スキャナー２２からの注釈データに結合されてもよく、これらのデータを結び付けてもよい。
【００３０】
図示された実施形態では、投影機２４及びカメラ２６、２８は、空間的に分離されて三角形状に配置される。このとき、これらの部品間の相対的距離及び位置は既知である。この三角形状配置は、投影機と２つのカメラの直線状配置から得られる情報、あるいは投影機と１つのカメラだけを備えるシステムから得られる情報に比べて、より有益な情報を与える。更なる情報は、図２及び図３を参照して理解することができる。図２は、エピポーラ拘束の考え方を示す。図３は、エピポーラ拘束が、システム２０の三角形状配置にいかに有利に適用されるかを示す。図２では、３Ｄ三角分割機器８４は、図２の視点から見たときのそれぞれ左側と右側に、装置１及び装置２を含む。装置１及び装置２は、２つのカメラであってよい。あるいは装置１及び装置２は、１つのカメラと１つの投影機であってもよい。２つの装置の各々は、カメラであろうと投影機であろうと、それぞれ、投影中心Ｏ１、Ｏ２と、代表平面８６、８８と、を有する。これらの代表平面は、線９０の長さである基準線距離Ｂの間隔で離される。投影中心Ｏ１、Ｏ２は、スキャンされる環境の領域の面上の１点から（又は１点へ）光線が通ると考えられる点である。これらの光線は、照射された投影パターンで発生するか、又は感光性アレイに衝突する。参照平面８６及び８８の配置が図２で与えられる。図２は、物点と投影中心Ｏ１、Ｏ２との間にある参照平面８６、８８を示す。
【００３１】
図２において、投影中心Ｏ２に対して角度を持った参照平面８６と、投影中心Ｏ１に対して角度を持った参照平面８８と、に関し、投影中心Ｏ１とＯ２との間に引かれた線９０が、それぞれエピポール点Ｅ１、Ｅ２で平面８６、８８と交わる。平面８６上の点ＵＤについて考察する。装置１がカメラの場合、映像上に点ＵＤを生成する物点は、線９２上にあることが分かっている。物点は、例えば点ＶＡ、ＶＢ、ＶＣまたはＶＤの１つであってよい。これら４つの点はそれぞれ、装置２の参照平面８８の上の点ＷＡ、ＷＢ、ＷＣ、ＷＤに対応する。装置２がカメラであろうと投影機であろうと、これは事実である。同様に、４つの点が平面８８内の直線９４上にあることも事実である。この線は、参照平面８８と、点Ｏ１−Ｏ２−ＵＤを含む平面との交線であり、エピポーラ線９４と呼ばれる。その結果、参照平面８８の上の任意のエピポーラ線は、エピポールＥ２を通る。装置１の参照平面上の任意の点に関し装置２の参照平面上にエピポーラ線が存在するのと同じように、装置２の参照平面上の任意の点に関し装置１の参照平面上にエピポーラ線９６が存在する。
【００３２】
図３は、図２の三角分割機器８４に相当する３Ｄ投影機１００に関するエピポーラ関係を示す。この３Ｄ投影機では、２つのカメラと１つの投影機とが、三角形のパターンで配置されている。一般に、装置１、装置２及び装置３は、少なくとも１つがカメラである限り、カメラ及び投影機の任意の組み合わせであってよい。３つの装置１０２、１０４、１０６の各々はそれぞれ、投影中心Ｏ１、Ｏ２及びＯ３、並びに参照平面１０８、１１０及び１１２を有する。装置のペアの各々は、エピポールのペアを有する。装置１及び装置２はそれぞれ、平面１０８、１１０上にエピポールＥ１２、Ｅ２１を有する。装置１及び装置３はそれぞれ、平面１０８、１１２上にエピポールＥ１３、Ｅ３１を有する。装置２及び装置３はそれぞれ、平面１１０、１１２上にエピポールＥ２３、Ｅ３２を有する。装置１の参照平面は、エピポールＥ１２、Ｅ１３を含む。装置２の参照平面は、エピポールＥ２１、Ｅ２３を含む。装置３の参照平面は、エピポールＥ３１、Ｅ３２を含む。
【００３３】
図３の実施形態について考察する。図３では、装置１は第１のカメラで、装置２は第２のカメラである。投影点Ｐ３、第１の映像点Ｐ１及び第２の映像点Ｐ２は、測定によって得られるものと仮定する。これらの測定結果の妥当性は、以下の方法で確認することができる。
【００３４】
映像点Ｐ１の妥当性を確認する目的で、エピポーラ線１１４を取得するためには、平面Ｐ３−Ｅ３１−Ｅ１３を参照平面１０８と交差させる。エピポーラ線１１６を取得するためには、平面Ｐ２−Ｅ２１−Ｅ１２を参照平面１０８と交差させる。Ｐ１が妥当に決定されていた場合、取得された映像点Ｐ１は、決定されたエピポーラ線１１４及び線１１６の上にあるだろう。
【００３５】
映像点Ｐ２の妥当性を確認する目的で、エピポーラ線１０５を取得するためには、平面Ｐ３−Ｅ３２−Ｅ２３を参照平面１１０と交差させる。エピポーラ線１０７を取得するためには、平面Ｐ１−Ｅ１２−Ｅ２１を参照平面１１０と交差させる。Ｐ２が妥当に決定されていた場合、取得された映像点Ｐ２は、決定されたエピポーラ線１０７及び線１０５の上にあるだろう。
【００３６】
映像点Ｐ３の妥当性を確認する目的で、エピポーラ線１１８を取得するためには、平面Ｐ２−Ｅ２３−Ｅ２３を参照平面１１０と交差させる。エピポーラ線１２０を取得するためには、平面Ｐ１−Ｅ１３−Ｅ３１を参照平面１１０と交差させる。Ｐ３が妥当に決定されていた場合、取得された映像点Ｐ３は、決定されたエピポーラ線１１８及び線１２０の上にあるだろう。
【００３７】
投影機とカメラの三角形状配置を有する３Ｄ映像装置１００を用いて与えられる情報の冗長性は、測定時間の短縮、誤差の特定、及びパラメータの自動更新補償／較正に利用することができる。映像スキャナー２２からスキャンされる表面の点までの距離は、本明細書に記載されたエピポーラ幾何関係に基づいて決定できることを理解されたい。映像スキャナー２２を動かすことにより、映像スキャナーの姿勢／方向、及び位置（点データ）の３次元座標の位置決めプロセスを決定することができる。
【００３８】
以下、図４を参照して、筐体３６に結合されたマイクロホン１３０などの注釈装置４７を有する映像スキャナー２２の一実施形態を示す。マイクロホン１３０は、外部の音に応答して信号を伝達する目的で、制御器４８に結合される。ある実施形態では、マイクロホン１３０は、例えばアクチュエータを押すなどのユーザ入力に応答して信号を制御器４８に伝達する。図４の実施形態では、マイクロホン１３０は、ユーザの声などの音を記録する目的で、映像スキャナー２２の後側１３３のハンドル１３２（又はその近傍）に配置される。本明細書で使われる後側１３３は、前側１３５に対して反対側にある。前側１３５は、投影機２４が光パターンを放射する側である。後により詳しく述べるように、ユーザは、マイクロホン１３０により、スキャンされたデータに、スキャン中にユーザが観察したものに関する記録などの追加的な情報で注釈を付けることができる。
【００３９】
図５の実施形態では、注釈装置４７は、複数のマイクロホン１３０Ａ、１３０Ｂ、１３０Ｃを含む。マイクロホン１３０Ａ、１３０Ｂ、１３０Ｃはそれぞれ、異なる場所からの音を記録するために配置される。これにより、スキャン中に背景雑音が記録されるという利点が与えられる。更に複数のマイクロホン１３０Ａ、１３０Ｂ、１３０Ｃが音を記録しているために、音源の方向を決定することができる。これが映像スキャナー２２の場所（スキャン中に取得された３Ｄ座標から決定される）や映像スキャナー２２の姿勢／方向と組み合わされると、音源の方向（及び潜在的位置）は注釈付られるか、又は３Ｄ座標データと併合されてよい。
【００４０】
ユーザの話した音声記録のような音を記録する能力が与えられることで、ユーザは注釈を３Ｄ座標データと統合することができるという利点がもたらされる点を理解されたい。これに対し、従来はこれらの記録は別々のままだっただろう。更に、こうした別々の（通常は手書きの）記録は、本明細書に記載の実施形態によって与えられる３Ｄ座標データ内で位置的関連性を持たなかっただろう。
【００４１】
更なる実施形態では、マイクロホン１３０は、映像スキャナー２２を音声命令で制御するために使われてもよい。本実施例では、マイクロホン１３０は、オペレータ入力に応答して、オペレータが話した／発した言葉を受信する。制御器４８は、受信した言葉を所定のコマンドリストと比較し、その結果に応じて制御シーケンス又はプロシージャを起動する。
【００４２】
以下、図６を参照して、レーザー光源１３４を有する注釈装置４７を備える映像スキャナー２２の一実施形態を示す。ある実施形態では、レーザー光源１３４は、映像スキャナー２２の前側１３５（例えば、カラーカメラ４０に隣接する領域）から可視光ビーム１３８を放射するように構成される。ある実施形態では、レーザー光源１３４は、可視スペクトル領域内の所定の波長を有する光ビームを放射する。ある実施形態では、所定の波長は４００−７００ナノメータの範囲にある。別の実施形態では、所定の波長は約６５０ナノメータである。
【００４３】
可視光ビーム１３８が表面（図７に示される表面１４０など）と交差（又は衝突）すると、可視的な光のマーク又はスポット１４２が表面上に現れるだろうことを理解されたい。光のスポット１４２は、カラーカメラ４０の視野内にある。従って光のスポット１４２は、カラーカメラ４０によって取得された映像上に現れるだろう。その結果、光のスポット１４２は、映像スキャナー２２によって生成された３Ｄポイントクラウド内に含めることができる。これにより、オペレータは、環境上の点又は位置を印付けることができ、その後この位置を３Ｄデータ内に含めることができる。更なる実施形態では、注釈装置４７は、レーザー光源１３４とマイクロホン１３０の両方を含む。これによりオペレータは、環境上の光のスポット１４２を印付けることができるとともに、同時に音声記録又はコメントを記録することもできる。
【００４４】
ある実施形態では、オペレータは、基準点を示すために光のスポット１４２を利用してもよい。この基準点は、スキャンプロセス中に映像スキャナー２２で取得された映像を位置決めする目的で、制御器によって利用されるだろう。更に別の実施形態では、制御器４８は、スキャンされる対象のＣＡＤモデル（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ−ｄｅｓｉｇｎモデル）を受信する。オペレータによって印付けられた光のスポット１４２は、ＣＡＤモデルための参照点を規定する。
【００４５】
ある実施形態では、レーザー光源１３４は、操縦メカニズム１４４を備える。操縦メカニズム１４４は、例えばガルバノミラーその他のデジタルマイクロミラー装置であってよい。操縦メカニズム１４４により、光ビーム１３８は、前側１３５に対して向きを変えることができる。ある実施形態では、光ビーム１３８の向きは、映像スキャナー２２が動く又は姿勢を変えることにより、動的に変化してもよい。別の実施形態では、光ビーム１３８の向きは、例えば制御器４８を用いてオペレータによって変えられてもよい。
【００４６】
ある実施形態では、オペレータは、光のスポット１４２を所望の位置に生成するために、光ビームを方向付けてもよい。オペレータは、例えば制御器４８を用いて、光ビーム１３８をスポット上に固定してもよい。その後、映像スキャナー２２の位置又は姿勢が変わると、操縦メカニズム１４４は、光のスポット１４２を固定位置に保つために、自動的に光ビーム１３８の向きを変える。その後光のスポット１４２は、カラーカメラ１４０が取得した複数の映像内に現れるだろうことを理解されたい。
【００４７】
以下、図７を参照して、レーザー光源１３４を備える映像スキャナー２２の他の実施形態を示す。本実施形態では、オペレータは、光のスポット１４６を第１の位置（例えば壁１４８及び床１５０の隅など）に印付けるために、光ビーム１３８を方向付けてよい。その後オペレータは、光のスポット１４２を第２の位置（例えば対象１５２の上）に生成するために、光ビーム１３８の向きを変えてよい。本明細書に記載される映像スキャナー２２は、光のスポット１４６、１４２の各々の位置の３次元座標を決定することができる。従ってシステム２０は、ユーザが定義したこれらの２つの点の間の距離を直接測定することができる。
【００４８】
ある実施形態では、オペレータは、光のスポット１４６による第１の位置での印と、光のスポット１４２による第２の位置での印との間で、映像スキャナー２２の姿勢を動かす又は変えることができる。別の実施形態では、レーザー光源１３４は、操縦メカニズム１４４を備える。オペレータは、この操縦メカニズム１４４を、光ビーム１３８の向きを変えるために使用してよい。光のスポット１４６、１４２の間の距離の測定のためには、光のスポット１４６、１４２の位置が、カメラ２６、２８、４０の同一の視野内にある必要はないことを理解されたい。
【００４９】
更に別の実施形態では、映像スキャナー２２は、レーザー光源１３４及びカラーカメラ４０を用いて、光のスポット１４６、１４２の位置の３次元座標を直接決定してもよい。以下の点を理解されたい。すなわち、レーザー光源１３４及びカラーカメラ４０はそれぞれ、図２における装置１及び装置２であってよい。従って、説明した通り、映像スキャナー２２から光のスポット１４６、１４２の位置までの距離は、投影機２４及びカメラ２６、２８を用いてスキャンすることなく決定することができる。
【００５０】
以下、図８を参照して、３Ｄ座標データを注釈データで注釈を付けるためにシステム２０を操作する典型的な方法２００を示す。方法２００は、ブロック２０２から開始する。ブロック２０２では、３Ｄ座標を取得するために、投影機２４を用いて光パターンが、スキャンされる対象の表面上に投影される。方法２００は、次にノード２０４に進む。ある実施形態では、システム２０は、複数のプロセス（例えば、対象のスキャンと注釈データの記録）を同時に実行するように構成される。ある実施形態では、ノード２０４で、方法２００は、スキャンされる対象の３次元座標を測定する第１のプロセスと、注釈データを取得する第２のプロセスとに分岐する。
【００５１】
第１のプロセス２０６は、カメラ２６、２８を備える投影機２４により投影された光パターンの映像（又は複数の映像）をブロック２１０で取得するステップを含む。システム２０は、次にブロック２１２に進む。ブロック２１２では、スキャンされた領域の３次元座標が決定される。いくつかの実施形態では、対象の３次元座標の取得は、複数の位置から対象をスキャンするステップを含む。この場合、映像スキャナー２２が対象に対して動かされるか、対象が映像スキャナー２２に対して動かされる。これらの実施形態では、第１のプロセスはブロック２１３に進む。ブロック２１３では、複数のスキャン位置からの３次元座標データが記録される。３次元座標データの記録は、スキャンプロセス中に（３次元座標の決定と同時又は同時刻に）行われてもよいし、対象がスキャンされた後で行われてもよいことを理解されたい。
【００５２】
第２のプロセス２０８は、質問ブロック２１４で起動する。質問ブロック２１４では、オペレータが何らかの注釈を記録することを望むかが決定される。ある実施形態では、映像スキャナー２２は、ハンドル１３２上にアクチュエータ又はスイッチ（図示せず）を有してよい。オペレータは、注釈を加えるために、このアクチュエータ又はスイッチを起動する。質問ブロック２１４での回答が肯定的だった場合、第２のプロセス２０８はブロック２１６に進む。ブロック２１６では、位置、方向／姿勢、又は時間の少なくとも１つが記録される。この記録は、３次元座標データに対する注釈データを登録するために利用されてよいことを理解されたい。
【００５３】
第２のプロセス２０８は、次にブロック２１８に進む。ブロック２１８では、注釈データが記録される。注釈データは、音声記録２２２、背景音２２４、及びユーザが定義した場所２２６の間における測定値などを含んでよいが、これらに限定されない。第２のプロセス２０８は、次にノード２２８に進み、第１のプロセス２０６に併合される。方法２００は、次にブロック２３０に進む。ブロック２３０では、注釈データ２２０が３次元座標データとともに記録される。
【００５４】
第１のプロセス２０６及び第２のプロセス２０８は、スキャンプロセス中に複数回実行されてもよいこと、図８で示される単一回の実行例は例示を目的としたものに過ぎず、請求項がそのように限定されるべきでないことを理解されたい。更に、注釈データと３次元座標データの記録は、３次元座標の決定と同時又は同時刻に実行されてもよい。更に本明細書では、注釈データとして、音の記録又は光による場所の印付けを説明しているが、これは例示を目的としたものに過ぎず、請求項がそのように限定されるべきでないことを理解されたい。他の実施形態では、ポイントクラウドに注釈を付けるために、別のタイプのデータ又はデータ源が３次元座標データに統合されてもよい。他の注釈データは、ＬＡＮ／インターネットインターフェイス６２を介して受信されたデータ、例えば測定データ、文書データ、ハイパーリンク、ｗｅｂアドレス等を含んでよいが、これらに限定されない。
【００５５】
本明細書における「約」という用語は、アプリケーションをファイルするときに入手可能な装置に応じた、特定の量の測定に関連する誤差の度合いを含むことが意図される。例えば、「約」は、与えられた値の±８％、５％あるいは２％を含んでよい。
【００５６】
本明細書における用語は、特定の実施形態を説明するためだけに用いられるものであり、本開示を限定することを意図しない。本明細書で使われる冠詞「ａ」「ａｎ」「ｔｈｅ」は、明らかに文脈が異なる場合を除き、複数形も含むことが意図される。更に、本明細書で使われる「備える」及び／又は「備えている」という用語は、そこに記載された特徴、整数、ステップ、操作、要素及び／又は部品が存在することを示すが、少なとも１つの追加的な他の特徴、整数、ステップ、操作、要素、部品及び／又はそれらの群が存在することを排除するものではない。
【００５７】
限られた数の実施形態に関連付けられて詳しい開示が与えられるが、本発明がそのように開示された実施形態に限定されないことは容易に理解できるだろう。むしろ本開示は、前述では説明されていないが本開示の思想と範囲が同等な任意の数の変形、変更、置換、又は均等な構成を包んだ改良が可能である。更に、本開示の種々の実施形態を説明したが、典型的な実施形態は、いくつかの説明された典型的な態様のみを含んでよいことを理解されたい。従って、本開示は、前述の説明には限定されず、添付の請求項の範囲によってのみ限定される。
【図１】
2018194549.tif 000003
【図２】
2018194549.tif 000004
【図３】
2018194549.tif 000005
【図４】
2018194549.tif 000006
【図５】
2018194549.tif 000007
【図６】
2018194549.tif 000008
【図７】
2018194549.tif 000009
【図８】
2018194549.tif 000010