(57)【要約】【課題】  テレビカメラとレーザ投光器に三次元位置と方向を検出できる三次元磁気センサを取り付け、テレビカメラとレーザ投光器をそれぞれ独立して動作させながら被測定対象物全体を計測することにより、死角を減少させると共に、流体の流動現象を計測することが可能な三次元計測装置を提供する。【解決手段】  この三次元計測装置１００は、ＣＣＤカメラ７からの画像信号からレーザ輝線の座標をリアルタイムに演算するレーザ位置検出回路１１と、対象物１にレーザスリット光を照射するレーザ投光器２０と、このレーザ投光器２０により対象物１の表面に照射された光を撮像する撮像装置３０と、所定のエリアに磁界ベクトルを形成するトランスミッタ４０と、ＣＣＤカメラ７により撮像された画像データをＰＣ１２が処理し易いように変換するイメージプロセッサ１７と、磁気センサ４、磁気センサ８の信号から三次元位置情報及び姿勢情報を検出するまたレーザ位置検出回路１１と、データに基づいて、対象物１の三次元画像を再生するパーソナルコンピュータ（ＰＣ）１２を備えて構成される。【選択図】            図２
2005098978.tif 000002
【特許請求の範囲】
【請求項１】
物体の三次元情報を入力して前記物体の三次元形状を計測する三次元計測装置において、
前記物体に光を照射する投光手段と、該投光手段により前記物体表面に照射された光を撮像する撮像手段と、前記投光手段に備えられ該投光手段の三次元位置情報及び姿勢情報を生成する第１のセンサと、前記撮像手段に備えられ該撮像手段の三次元位置情報及び姿勢情報を生成する第２のセンサと、前記物体に照射された光の平面方程式を算出する方程式算出手段と、を備え、
前記投光手段と撮像手段がそれぞれ独立に動作することにより前記第１のセンサ及び第２のセンサより得られる三次元位置情報及び姿勢情報に基づいて、前記方程式算出手段が前記物体に照射された光の平面方程式を算出し、該算出結果から前記物体の三次元形状を計測することを特徴とする三次元計測装置。
【請求項２】
前記方程式算出手段は、前記第１及び第２のセンサから得られた位置のデータを（ｘｏｗ，ｙｏｗ，ｚｏｗ）、姿勢のデータを（φ，θ，ψ）とした場合、前記各センサのセンサ座標に原点を置いたセンサ座標上の点（ｘｒ，ｙｒ，ｚｒ）は、出力された前記各センサのデータを基に、
2005098978.tif 000030
ここで
2005098978.tif 000031
Ｃ：Ｃｏｓ、Ｓ：Ｓｉｎ
とし、
前記センサ座標上で光平面上の任意の３点の座標（ｘｒ，ｙｒ，ｚｒ）を前記式（１）及び（２）により前記トランスミッタを原点としたワールド座標に変換し、前記ワールド座標（ｘｒｗ，ｙｒｗ，ｚｒｗ）に変換することにより、
2005098978.tif 000032
2005098978.tif 000033
前記式（３）及び式（４）として光の平面方程式を取得し、前記撮像手段の焦点から受像面までの距離をｆと置くと、前記受像面上の座標（ｕ，ｖ）は前記撮像手段の焦点を原点とした座標系において、
2005098978.tif 000034
となり、Ｚ＝λとおき線形化すると、
2005098978.tif 000035
と表わされ、該式（６）を前記センサ座標で表すために、回転・平行移動を考慮して、
2005098978.tif 000036
式（７）として表し、（ここでｋ１１〜ｋ３３のパラメータには前記撮像手段の位置や姿勢などをはじめとする計測対象と、前記撮像手段の位置を表すデータが全て含まれているものとする）該式（７）が前記センサ座標（ｘ，ｙ，ｚ）と前記受像面上の座標（ｕ，ｖ）の関係式となり、前記式（７）を展開し、整理すると式（８）を得て、
2005098978.tif 000037
前記式（８）の２平面の交線で表される直線は前記撮像手段の焦点から計測点に向かう直線として
2005098978.tif 000038
式（９）のレシーバ座標を求め、前記式（１）と同様にワールド座標に変換して前記撮像手段の焦点から計測点に向かう直線である式（１０）を求め、
2005098978.tif 000039
（ここで、（ｗｘ，ｗｙ，ｗｚ）はトランスミッタを原点としたレシーバのワールド座標である）
前記式（１０）とレーザ平面上の方程式である前記式（４）を連立させて前記計測点のワールド座標（Ｘ，Ｙ，Ｚ）を求めることを特徴とする請求項１に記載の三次元計測装置。
【請求項３】
前記方程式算出手段は、前記平面方程式をリアルタイムに算出することにより前記投光手段の独立走査を可能としたことを特徴とする請求項１又は２に記載の三次元計測装置。
【請求項４】
前記投光手段は、光源からの光束を所定の幅を有するスリット光に変換し、該スリット光を前記物体に照射することにより前記物体を光切断するように走査することを特徴とする請求項１又は３に記載の三次元計測装置。
【請求項５】
前記投光手段の光源はレーザ光若しくはＬＥＤであることを特徴とする請求項４に記載の三次元計測装置。
【請求項６】
所定のエリアに磁界ベクトルを形成するトランスミッタを更に備え、前記第１のセンサ及び第２のセンサは前記磁界ベクトルを受信することにより、当該センサの三次元位置情報及びロール角、ピッチ角、及びヨー角の姿勢情報を取得することを特徴とする請求項１又は２に記載の三次元計測装置。
【請求項７】
前記物体の形状が滑らかな場合には、前記投光手段により前記物体に照射されたスリット光の光軸と前記撮像手段の光軸との角度を大きくして撮像し、前記物体の形状が複雑な場合には、前記投光手段により前記物体に照射されたスリット光の光軸と前記撮像手段の光軸との角度を小さくして撮像することを特徴とする請求項１乃至６の何れか一項に記載の三次元計測装置。
【請求項８】
前記物体が流体である場合には、当該流体の動きを可視化する可視化手段を更に備え、前記投光手段と撮像手段がそれぞれ独立に動作することにより、前記第１のセンサ及び第２のセンサより得られる三次元位置情報及び姿勢情報に基づいて、前記方程式算出手段が前記可視化手段により可視化された流体に照射された光の平面方程式を算出し、該算出結果から前記流体の流動現象を計測することを特徴とする請求項１に記載の三次元計測装置。
【請求項９】
前記可視化手段は、所定の反射率を有する粒子状の物体であることを特徴とする請求項８に記載の三次元計測装置。
【請求項１０】
物体の三次元情報を入力して前記物体の三次元形状を計測する三次元計測方法において、
前記物体にスリット光を照射する動作と該照射されたスリット光を撮像する動作を独立に行い、夫々の動作により得られた三次元位置情報及び姿勢情報に基づいて前記物体に照射された光の平面方程式を算出し、該算出結果から前記物体の三次元形状を計測することを特徴とする三次元計測方法。
【請求項１１】
前記物体の形状が滑らかな場合には、前記物体に照射されたスリット光の光軸と該スリット光を撮像する光軸との角度を大きくして撮像し、前記物体の形状が複雑な場合には、前記物体に照射されたスリット光の光軸と該スリット光を撮像する光軸との角度を小さくして撮像することを特徴とする請求項１０に記載の三次元計測方法。
【請求項１２】
前記物体が流体である場合には、流体の動きを可視化し、前記流体にスリット光を照射する動作と該照射されたスリット光を撮像する動作を独立に行い、夫々の動作により得られた三次元位置情報及び姿勢情報に基づいて可視化された流体に照射された光の平面方程式を算出し、該算出結果から前記流体の流動現象を計測することを特徴とする請求項１０に記載の三次元計測方法。
【請求項１３】
請求項１０乃至１２の何れか一項に記載の三次元計測方法をコンピュータが制御可能にプログラミングしたことを特徴とする三次元計測プログラム。
【請求項１４】
請求項１３に記載の三次元計測プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元計測装置に関し、さらに詳しくは、被測定対象物の測定死角を減少すると共に、流体の流動現象を計測する三次元計測装置と三次元計測方法に関するものである。
【背景技術】
【０００２】
近年、コンピュータビジョンに関する研究が活発化し、撮像装置を用いた物体の三次元情報入力システムが身近なものになりつつある。この種の技術の中で、撮像装置としてテレビカメラを用い物体の三次元形状を入力する手法として、光切断法が広く知られている。これはスリット光を被測定対象物に照射し、その反射光をテレビカメラで撮像して、三角測量の原理から被測定対象物の三次元位置を求めるものである。
また近年、魚介類の養殖業における養魚介類生産技術を確立させるために高機能飼育水槽システムが開発され、水槽内の飼育環境の最適化を図る事業が実施されている。このような事業で重要なことは、目に見えない水の動きをどのように計測して管理するかである。即ち、水槽内での水の流れを計測する手法の確立が望まれている。
空気や水の流れなど目で見ることのできない現象を観察できるようにする技術は可視化と呼ばれる。可視化技術は、デジタル画像処理の技術を用いて解析を行うことで、流れの定性的な観察のみならず、速度分布などの定量計測にも使うことが可能となっている。また可視化する方法はそれぞれの目的に応じ多くの手法があるが、その中に、ＰＩＶ（粒子画像流速測定法）と呼ばれるものがある。それは、可視化された画像を解析し、粒子群像の時間的変位から、二次元面内の速度を多点同時計測する技術である。ＰＩＶでは高精度な計測ができ、複雑な流れにも対応できる。
【０００３】
また、従来の三次元画像情報入力装置として特開平９−２１０６４６号公報には、被写体に対してスリット光を走査する走査手段と、前記スリット光の位置を測定する位置測定手段と、被写体を光検出手段を用いて撮像する撮像手段と、カラー画像を撮影するカラー画像撮影手段とを備えた三次元画像情報入力装置について開示されている。
また米国ポヒマス社（Polhemus Inc.）は、非接触三次元形状入力装置として、ハンドヘルド・レーザスキャナFastSCAN（商品名）を製品化している。この製品は図２４（ａ）に示すように、レーザダイオード５０と、カメラ５３と、図示しない磁気センサが一体化された本体５２と、被測定対象物５６の近傍に置かれ所定のエリアに磁界ベクトルを形成するトランスミッタ５４とを備えて構成されている。そして、トランスミッタ５４と本体５２はケーブル５５により接続され、図示しないＰＣ等にケーブル５３を介して接続されている。また、図２４（ｂ）に示す他の製品は、レーザダイオード６１と、カメラ６０ａ、６０ｂと、図示しない磁気センサが一体化された本体６２と、被測定対象物６６の近傍に置かれ所定のエリアに磁界ベクトルを形成するトランスミッタ６４と、被測定対象物６６の所定の部分に取り付けられた磁気センサ６３とを備えて構成されている。以上の製品は、三次元磁気センサを組合わせることにより、スキャナのカメラと被測定対象物との相対位置を特定できるため、大きな固定台やターンテーブルを必要とせず、三次元形状を素早く簡単に入力することができる、とされている。そして、この製品の原理について、［Hand-held Laser Scanning In Practice］としてBruce McCallum、Mark Nixon、Brent Price and Rick Fright等により詳細が報告されている。
【特許文献１】特開平９−２１０６４６号公報
【非特許文献１】［Hand-held Laser Scanning In Practice］Bruce McCallum，Mark Nixon，Brent Price and Rick Fright
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＰＩＶ計測では、一般的にスリットレーザを用いて、流れに混入したトレーサ粒子を可視化し、トレーサ粒子の動きを計測することで間接的に流体の速度分布を求め、計測したい位置にレーザ平面を照射させ、レーザ平面上の速度ベクトルを算出する。しかし、計測が三角測量に基づくため、レーザ平面の位置や傾き、もしくはＣＣＤカメラの位置や姿勢が変わるとキャリブレーションのやり直しが必要になり、計測としては操作性が悪いといった問題がある。
また特許文献１に開示されている従来技術は、一般的に三角測量の原理上、レーザ投光器やテレビカメラの配置を被測定対象物の大きさに合わせて予め決定し、固定しなければならない。そのため、被測定対象物背面や被測定対象物の形状、凹凸等が複雑な場合においては、死角が生じるといった問題がある。
また、非特許文献１により報告されている製品は、レーザダイオードとカメラが一体化されているため、レーザが照射されている個所がカメラに映らない場合があり、被測定対象物のくぼみ等が死角となる問題がある。これを改善するためにカメラを２台備えて異なる角度から撮像する製品（図２４（ｂ））もあるが、カメラが２台必要となるためコストが高くなるという問題がある。
本発明は、かかる課題に鑑み、テレビカメラとレーザ投光器に三次元位置と方向を検出できる三次元磁気センサ（例えば、3SPACE FASTRACK，Polhemus Inc.）を取り付け、テレビカメラとレーザ投光器をそれぞれ独立して動作させながら被測定対象物全体を計測することにより、死角を減少させると共に、流体の流動現象を計測することが可能な三次元計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明はかかる課題を解決するために、請求項１は、物体の三次元情報を入力して前記物体の三次元形状を計測する三次元計測装置において、前記物体に光を照射する投光手段と、該投光手段により前記物体表面に照射された光を撮像する撮像手段と、前記投光手段に備えられ該投光手段の三次元位置情報及び姿勢情報を生成する第１のセンサと、前記撮像手段に備えられ該撮像手段の三次元位置情報及び姿勢情報を生成する第２のセンサと、前記物体に照射された光の平面方程式を算出する方程式算出手段と、を備え、前記投光手段と撮像手段がそれぞれ独立に動作することにより前記第１のセンサ及び第２のセンサより得られる三次元位置情報及び姿勢情報に基づいて、前記方程式算出手段が前記物体に照射された光の平面方程式を算出し、該算出結果から前記物体の三次元形状を計測することを特徴とする。
従来の三次元計測装置は、投光手段と撮像手段が所定の角度で一体的に構成されていた。従って、投光手段により物体に光を照射した場合、その狭い範囲を撮像手段が撮像するため、くぼみ等が死角となる場合が多かった。そこで本発明では、投光手段と撮像手段を独立に動作するようにして、それぞれに三次元位置情報及び姿勢情報を生成するセンサを備え、それぞれが独立に動作することにより得られた三次元位置情報及び姿勢情報を基に平面方程式を算出するものである。これにより、くぼみ等の死角部分に対して撮像手段を自由に移動できるので、測定個所の死角を減少することができ、複雑な物体の三次元計測を迅速に且つ正確に行うことができる。
【０００６】
請求項２は、前記方程式算出手段は、前記第１及び第２のセンサから得られた位置を（ｘｏｗ，ｙｏｗ，ｚｏｗ）、姿勢を（φ，θ，ψ）とした場合、前記各センサのセンサ座標に原点を置いたセンサ座標上の点（ｘｒ，ｙｒ，ｚｒ）は、出力された前記各センサのデータを基に、
2005098978.tif 000003
ここで
2005098978.tif 000004
Ｃ：Ｃｏｓ、Ｓ：Ｓｉｎ
とし、前記センサ座標上で光平面上の任意の３点の座標（ｘｒ，ｙｒ，ｚｒ）を前記式（１）及び（２）により前記トランスミッタを原点としたワールド座標に変換し、前記ワールド座標（ｘｒｗ，ｙｒｗ，ｚｒｗ）に変換することにより、
2005098978.tif 000005
2005098978.tif 000006
前記式（３）及び式（４）として光の平面方程式を取得し、前記撮像手段の焦点から受像面までの距離をｆと置くと、前記受像面上の座標（ｕ，ｖ）は前記撮像手段の焦点を原点とした座標系において、
2005098978.tif 000007
となり、Ｚ＝λとおき線形化すると、
2005098978.tif 000008
と表わされ、該式（６）を前記センサ座標で表すために、回転・平行移動を考慮して、
2005098978.tif 000009
式（７）として表し、（ここでｋ１１〜ｋ３３のパラメータには前記撮像手段の位置や姿勢などをはじめとする計測対象と、前記撮像手段の位置を表すデータが全て含まれているものとする）該式（７）が前記センサ座標（ｘ，ｙ，ｚ）と前記受像面上の座標（ｕ，ｖ）の関係式となり、前記式（７）を展開し、整理すると式（８）を得て、
2005098978.tif 000010
前記式（８）の２平面の交線で表される直線は前記撮像手段の焦点から計測点に向かう直線として
2005098978.tif 000011
式（９）のレシーバ座標を求め、前記式（１）と同様にワールド座標に変換して前記撮像手段の焦点から計測点に向かう直線である式（１０）を求め、
2005098978.tif 000012
（ここで、（ｗｘ，ｗｙ，ｗｚ）はトランスミッタを原点としたレシーバのワールド座標である）
前記式（１０）とレーザ平面上の方程式である前記式（４）を連立させて前記計測点のワールド座標（Ｘ，Ｙ，Ｚ）を求めることを特徴とする。
【０００７】
請求項３は、前記方程式算出手段は、前記平面方程式をリアルタイムに算出することにより前記投光手段の独立走査を可能としたことを特徴とする。
物体に照射された光の平面方程式は方程式算出手段により計算される。このとき計算の処理速度が遅い場合、一旦投光手段により照射された平面情報を記憶してその後バッチ処理により方程式の計算処理を行う。このように計算処理がリアルタイムに行われないと、投光手段を物体の任意の場所に操作することが不可能となり、撮像手段と独立にした意味がなくなってしまう。そこで本発明では、平面方程式をリアルタイムに計算できるようにするために、第１及び第２のセンサから得られた位置情報と姿勢情報を独立に取得することを可能とした。
請求項４は、前記投光手段は、光源からの光束を所定の幅を有するスリット光に変換し、該スリット光を前記物体に照射することにより前記物体を光切断するように走査することを特徴とする。
物体の表面の三次元情報を得るには、スポット光を物体表面に照射して、そのスポット光をカメラで読み取ることも可能であるが、スポット光の場合、二次元的に走査する必要があるためデータ収集に時間を要してしまう。そこで本発明では、光束をスリット状の光に変換し、そのスリット光を物体表面に照射して物体を光により切断するように上下或いは左右に移動することにより、物体の表面の三次元情報を即座に取得することができる。
請求項５は、前記投光手段の光源はレーザ光若しくはＬＥＤであることを特徴とする。
スリット状の光は光源から照射されてから物体に到達するまでできるだけ拡散しないことが好ましい。その点でレーザ光は優れている。しかし、光源と物体との距離が至近の場合は、光の拡散は少ないのでＬＥＤの光でも可能である。
請求項６は、所定のエリアに磁界ベクトルを形成するトランスミッタを更に備え、前記第１のセンサ及び第２のセンサは前記磁界ベクトルを受信することにより、当該センサの三次元位置情報及びロール角、ピッチ角、及びヨー角の姿勢情報を取得することを特徴とする。
投光手段と撮像手段の位置情報と姿勢情報を得るには、各種の方法が考えられるが、光の光路を邪魔せず、且つ視界を妨げない方法が必要条件である。その点では磁界による方法が最適である。本発明では半球状の磁界を発生するトランスミッタを備え、その磁界の磁力線に対するベクトルを計算することにより三次元位置情報及び姿勢情報を取得するものである。従って、物体と投光手段及び撮像手段の距離はこの磁界のエリア内に限定される。
【０００８】
請求項７は、前記物体の形状が滑らかな場合には、前記投光手段により前記物体に照射されたスリット光の光軸と前記撮像手段の光軸との角度を大きくして撮像し、前記物体の形状が複雑な場合には、前記投光手段により前記物体に照射されたスリット光の光軸と前記撮像手段の光軸との角度を小さくして撮像することを特徴とする。
被測定物体の形状はさまざまである。例えば、物体の表面が比較的滑らかで変化がない物体もあれば、物体の形状が複雑で凹凸が多い物体もある。本発明ではこれらの物体の形状に応じてスリット光の光軸と撮像手段の光軸との成す角度を変化させることにより、より迅速に且つ確実に死角を減少させるものである。即ち、物体の表面が滑らかな場合は、角度を大きくして一度に広い範囲の情報を取得して処理時間を短縮し、物体の形状が複雑な場合は、角度を狭くして狭い範囲を確実に走査して死角を減少させるようにする。
請求項８は、前記物体が流体である場合には、当該流体の動きを可視化する可視化手段を更に備え、前記投光手段と撮像手段がそれぞれ独立に動作することにより前記第１のセンサ及び第２のセンサより得られる三次元位置情報及び姿勢情報に基づいて、前記方程式算出手段が前記可視化手段により可視化された流体に照射された光の平面方程式を算出し、該算出結果から前記流体の流動現象を計測することを特徴とする。
物体が固形物で固定されているとは限らない。例えば、水や空気のような流体もある。しかし、これらの流体は目に見えないので何らかの方法で可視化する必要がある。そこで本発明では、流体を可視化する手段をさらに備え、その可視化手段にレーザ光を照射することにより、平面方程式を算出して流体の流動現象を計測するものである。
請求項９は、前記可視化手段は、所定の反射率を有する粒子状の物体であることを特徴とする。
可視化手段としては、例えば流体が水の場合は、その水の中に光を反射するトレーサ粒子等を混入するのが最も簡単で確実である。
【０００９】
請求項１０は、物体の三次元情報を入力して前記物体の三次元形状を計測する三次元計測方法において、前記物体にスリット光を照射する動作と該照射されたスリット光を撮像する動作を独立に行い、夫々の動作により得られた三次元位置情報及び姿勢情報に基づいて前記物体に照射された光の平面方程式を算出し、該算出結果から前記物体の三次元形状を計測することを特徴とする。
本発明は請求項１と同様の作用を奏する。
請求項１１は、前記物体の形状が滑らかな場合には、前記物体に照射されたスリット光の光軸と該スリット光を撮像する光軸との角度を大きくして撮像し、前記物体の形状が複雑な場合には、前記物体に照射されたスリット光の光軸と該スリット光を撮像する光軸との角度を小さくして撮像することを特徴とする。
本発明は請求項７と同様の作用を奏する。
請求項１２は、前記物体が流体である場合には、当該流体の動きを可視化し、前記流体にスリット光を照射する動作と該照射されたスリット光を撮像する動作を独立に行い、夫々の動作により得られた三次元位置情報及び姿勢情報に基づいて可視化された流体に照射された光の平面方程式を算出し、該算出結果から前記流体の流動現象を計測することを特徴とする。
本発明は請求項８と同様の作用を奏する。
請求項１３は、請求項１０乃至１２の何れか一項に記載の三次元計測方法をコンピュータが制御可能にプログラミングしたことを特徴とする。
請求項１４は、請求項１３に記載の三次元計測プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。
【発明の効果】
【００１０】
請求項１、１０の発明によれば、投光手段と撮像手段を独立に動作するようにして夫々に三次元位置情報及び姿勢情報を生成するセンサを備えたので、物体の測定個所の死角を減少することができ、複雑な物体の三次元計測を迅速に且つ正確に行うことができる。
また請求項２では、撮像手段の焦点から計測点に向かう直線である式（１０）とレーザ平面上の方程式である式（４）を連立させて式（１１）の行列式を求め、この行列式（１１）より計測点のワールド座標（Ｘ，Ｙ，Ｚ）を求めるので、座標変換の考え方を取り入れて平面方程式をリアルタイムに計算できるようにし、処理速度の高速化を図り投光手段の独立走査を行うことができる。
また請求項３では、第１及び第２のセンサから得られた位置情報と姿勢情報を基に、光の平面方程式をリアルタイムに算出することが可能となり、投光手段の独立走査を行うことができる。
また請求項４では、光束をスリット状の光に変換して物体表面に照射するので、物体の表面の三次元情報を精査に且つ正確に取得することができる。
また請求項５では、投光手段の光源はレーザ光若しくはＬＥＤを使用するので、光源と物体との距離及び装置のコストとのバランスにより何れかの光源を任意に選択することができる。
また請求項６では、所定のエリアに磁界ベクトルを形成するトランスミッタを備えたので、各センサが磁界ベクトルを計算することにより、位置情報及び姿勢情報を正確に取得することができる。
【００１１】
また請求項７、１１では、物体の形状に応じてスリット光の光軸と撮像手段の光軸との成す角度を変化させるので、物体の形状に応じて処理時間の短縮と死角の減少を両立させることができる。
また請求項８、１２では、流体の動きを可視化する可視化手段を更に備えたので、目に見えない流体でも流体の流動現象を測定することができる。
また請求項９では、可視化手段が所定の反射率を有する粒子状の物体であるので、流体に簡単に混入することができる。
また請求項１３では、本発明の三次元計測方法をコンピュータが制御可能なＯＳに従ってプログラミングすることにより、そのＯＳを備えたコンピュータであれば同じ処理方法により制御することができる。
また請求項１４では、三次元計測プログラムをコンピュータが読み取り可能な形式で記録媒体に記録することにより、この記録媒体を持ち運ぶことにより何処でもプログラムを稼動することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の第１の実施形態に係る三次元計測装置を使用して対象物を計測している斜視図である。この三次元計測装置１００は、対象物１にレーザスリット光を照射するレーザ投光器２０と、このレーザ投光器２０により対象物１の表面に照射された光を撮像する撮像装置３０と、所定のエリアに磁界ベクトルを形成するトランスミッタ４０と、図示しないパーソナルコンピュータ（ＰＣ）を備えて構成される。そして、レーザ投光器２０はＴ字型の架台２と、スリット状のレーザ光を出射するレーザ光源３と、レーザ投光器２０の位置情報と姿勢情報を生成する磁気センサ４とを備えて構成され、レーザ光源３への電源とレシーバＡ４の情報はケーブル５によりＰＣに伝えられる。また、撮像装置３０はＴ字型の架台６と、対象物１に照射されたレーザスリット光を撮像するＣＣＤカメラ７と、撮像装置３０の位置情報と姿勢情報を生成する磁気センサ８とを備えて構成され、ＣＣＤカメラ７の信号とレシーバＢ８の情報はケーブル９によりＰＣに伝えられる。尚、架台２、６は磁界の影響をレシーバに与えないために、木製、プラスチック、ゴム等の材質により形成される（詳細は後述する）。また、光源としてレーザ光を使用したが、ＬＥＤ或いは他の可視光を使用しても構わない。また、本実施形態ではレーザ投光器２０と撮像装置３０の位置情報と姿勢情報を生成する手段として、トランスミッタ４０からの磁界ベクトルを受信するために磁気センサを使用したが、他の手段により生成しても構わない。ここで、投光手段は主としてレーザ投光器２０により構成され、撮像手段は主として撮像装置３０により構成され、第１のセンサは主として磁気センサ４により構成され、第２のセンサは主として磁気センサ８により構成され、方程式算出手段は主としてＰＣにより構成される。
【００１３】
次に本実施形態の三次元計測装置１００の概略動作について説明する。まず、トランスミッタ４０を対象物１の近傍に配置し、電源を投入してトランスミッタ４０の磁界をレーザ投光器２０及び撮像装置３０が検出できるように対象物１との位置関係を設定する。これは図示しないＰＣの画面を見ながら調整を行う。例えば、市販のトランスミッタの場合は半径９０ｃｍの半円球の範囲に磁界が形成される。そしてレーザ投光器２０と撮像装置３０を手に持ち、ＰＣの画面を見ながらＣＣＤカメラ７が対象物１の全体画像を捉えられるように配置する。そしてレーザ光源３の電源を投入して、スリット光が対象物１の走査開始位置に来るようにしてＰＣに格納されたプログラムを開始する。そして、レーザ投光器２０を対象物１の走査開始位置から順次上から下（或いは下から上）に移動し、対象物１の全体（背面を含む）の走査が完了するまで行う。これらの走査の過程でＣＣＤカメラ７から読み込まれたスリット光の平面方程式がリアルタイムに計算される。また、走査の過程でレーザ投光器２０及び撮像装置３０を移動しても、磁気センサ４、磁気センサ８から位置情報とロール角、ピッチ角、ヨー角の姿勢情報がＰＣに取り込まれリアルタイムに処理されて対象物１の平面方程式に反映される。即ち、例えば対象物１に照射したスリット光がくぼみ等で死角となった場合、投光器２０を移動して死角とならないようにスリット光を照射するか、或いは撮像装置３０を移動して死角を防ぐようにすることが可能となる。
そして対象物１の走査が完了するとＰＣに取り込まれたデータに基づいて、対象物１の三次元画像を再生する。この三次元画像はあらゆる角度からのデータにより構成されているので、対象物を回転して任意の角度から観察することも可能となる。
【００１４】
図２は図１の斜視図に基づいて本実施形態の三次元計測装置１００の全体構成を表す模式図である。同じ構成要素には同じ参照番号が付されているので、重複する説明は省略する。ここで、ＣＣＤカメラ７の信号はケーブル９によりイメージプロセッサ１７に接続され、磁気センサ８の信号はケーブル９によりレーザ位置検出回路１１に接続され、磁気センサ４はケーブル５によりレーザ位置検出回路１１に接続され、トランスミッタ４０はケーブル４１によりレーザ位置検出回路１１に接続されている。またレーザ位置検出回路１１の出力及びイメージプロセッサ１７の出力信号はＰＣ１２に入力され、ＰＣ１２を制御するプログラムはＲＯＭ（Read Only Memory）１３に格納されている。またＰＣ１２からは処理された三次元画像を表示するモニタ１８が接続されている。尚、イメージプロセッサ１７はＣＣＤカメラ７により撮像された画像データをＰＣ１２が処理し易いように変換する機能があり、ＣＣＤカメラ７からの画像信号からレーザ輝線の座標をリアルタイムに演算するために回路をＦＰＧＡ（Field Programmable Gate Array）により構成している。またレーザ位置検出回路１１は磁気センサ４、磁気センサ８の信号から三次元位置情報及び姿勢情報を検出回路である。
また説明の都合上ＣＣＤカメラ７の光軸１５とレーザ光源３の光軸１６のなす角度をαとする。また対象物１の表面形状はさまざまなものが存在する。例えば、ヤカンのように表面が比較的滑らかで変化がない物もあれば、人物のブロンズ像のように表面の形状が複雑で凹凸が多い物もある。本実施形態ではこれらの対象物１の形状に応じてスリット光１０の光軸１６とＣＣＤカメラ７の光軸１５との成す角度αを変化させることにより、より迅速に且つ確実に死角を減少させることができる。即ち、対象物１の表面が滑らかな場合は、角度αを大きくして一度に広い範囲の情報を取得して処理し、対象物１の形状が複雑な場合は、角度αを狭くして狭い範囲を確実に走査して死角を減少させるようにするものである。これにより、対象物１の形状に応じて処理時間の短縮を図ると共に、対象物１の死角を減少させることもできる。
【００１５】
図３は投光器２０と撮像装置３０の一例を示す図である（単位はｍｍとする）。同じ構成要素には同じ参照番号を付して説明する。図３（ａ）は撮像装置３０の斜視図であり、この撮像装置３０は、ＣＣＤカメラ７と、ＣＣＤカメラを支持する架台６と、架台６から起立した部位６ａに取り付けた磁気センサ８により構成されている。図３（ｂ）は投光器２０の斜視図であり、投光器２０は、レーザ光源３と、レーザ光源３を支持する架台２と、架台２から起立した部位２ａに取り付けた磁気センサ４により構成されている。また架台６、２は金属による磁気センサへの影響を無くすために木製とするのが好ましい。なお、磁気センサ８は検知部の中心がＣＣＤカメラ７の光軸上になるように取り付けてあり、磁気センサ４は検知部の中心をレーザの光軸上に設置する。
図４はトランスミッタ４０の一例を示す外形図である（単位はｍｍとする）。図４（ａ）は上面図であり、図４（ｂ）は側面図である。そしてＰ点は電気的な中心を表している。
図５は磁気センサ８、４の一例を示す外形図である（単位はｍｍとする）。図５（ａ）は上面図であり、図５（ｂ）は側面図である。そしてＱ点は電気的な中心を表している。
図６は本発明のレシーバＡ４、Ｂ８が位置情報と姿勢情報を生成する原理を説明する図である。図６（ａ）は磁界ベクトルと各レシーバの位置関係を表す図であり、トランスミッタ４０から放射された磁界ベクトル４２が半球状に形成され、その磁界ベクトル４２上に例えばレシーバＡ４、Ｂ８が存在し、対象物１が磁界ベクトル４２の内側に含まれるものとする。図６（ｂ）は磁界ベクトルを説明する模式図である。例えばレシーバＡ４ではトランスミッタ４０の位置における磁界の強さおよび方向をＡとし、磁界の強さおよび方向ＡのＸ軸方向磁界の強さ、Ｙ軸方向磁界の強さ、Ｚ軸方向磁界の強さをそれぞれＡｘ、Ａｙ、Ａｚとし、ｃｏｓα、ｃｏｓβ、ｃｏｓγを磁界の強さおよび方向Ａの方向余波とすれば、Ａｘ＝Ａｃｏｓα、Ａｙ＝Ａｃｏｓβ、Ａｚ＝Ａｃｏｓγであり、レシーバＡ４のＸ軸方向の磁界検出コイルからはＡｘの出力が、Ｙ軸方向の磁界検出コイルからはＡｙの出力が、Ｚ軸方向の磁界検出コイルからはＡｚの出力が送出される。そして磁界の強さおよび方向Ａは、Ａ＝（Ａｘ２＋Ａｙ２＋Ａｚ２）1/2で与えられる。同じくレシーバＢ８の磁界の強さおよび方向Ｂは、Ｂ＝（Ｂｘ２＋Ｂｙ２＋Ｂｚ２）1/2で与えられる。
【００１６】
次にレーザ平面方程式の算出方法について説明する。
図７は各座標系の位置関係を表す図である。カメラ座標（画像モニタ上の座標ｕ，ｖ）５０、ＣＣＤカメラ７に取り付けられた磁気センサ８のレシーバ座標５１、レーザ光源３に取り付けられた磁気センサ４のレシーバ座標５４、トランスミッタ４０の中心を基準とした実座標であるワールド座標５３をそれぞれ設定する。レーザ平面５２の位置や傾きを自由に設定することを可能にするために、レーザ光源３に取り付けられた磁気センサ４が検知した情報（投光器２０の位置と姿勢）を用いて、随時、レーザ平面５２の方程式を算出することを行う。また、図７のように受像面５５上にある計測点の位置Ｐとカメラの焦点Ｆを結ぶ直線ｌが磁気センサ８が検知した情報、（撮像装置３０の位置と姿勢）を基に決定される。また、直線ｌとレーザ平面５２の方程式の交点を求めることで、計測点のワールド座標５３（Ｘ，Ｙ，Ｚ）を算出する。
【００１７】
図８はレシーバ座標５４とレーザ平面５２の関係を表す図である。
即ち、レーザ投光器２０と撮像装置３０取り付けられた磁気センサ４、８を用いてレーザ平面方程式をリアルタイムに算出することでレーザスリット平面の独立走査が可能となる。三次元磁気センサからはセンサ自体の位置（ｘｏｗ，ｙｏｗ，ｚｏｗ）と姿勢（φ，θ，ψ）のデータが得られる。三次元磁気センサのレシーバ座標に原点を置いたレシーバ座標上の点（ｘｒ，ｙｒ，ｚｒ）は、出力された三次元磁気センサのデータを基に（１）式によって、トランスミッタ４０を原点としたワールド座標に変換される。
2005098978.tif 000013
ここで
2005098978.tif 000014
Ｃ：Ｃｏｓ、Ｓ：Ｓｉｎとする。
レシーバ座標上でレーザ平面上の任意の３点の座標（ｘｒｗ，ｙｒｗ，ｚｒｗ）を式（１）に代入し、ワールド座標に変換することでレーザ平面の方程式を得ることができる。つまり、
2005098978.tif 000015
2005098978.tif 000016
が得られるレーザ平面の方程式である。
【００１８】
図９はカメラ座標とレシーバ座標の関係を示す図である。また、図１０に二次元化したカメラ焦点と受像面及び計測点の関係を示す。カメラの焦点２０から受像面までの距離をｆと置くと、受像面上の座標（カメラ座標５０）はカメラの焦点２０を原点とした座標系において、
2005098978.tif 000017
となる。
ｚ＝λとおき、線形化すると、
2005098978.tif 000018
と表される。
ここで、式（６）を三次元磁気センサのレシーバを原点とした座標系（レシーバ座標５４）で表すために、回転・平行移動を考慮して、以下のような行列で表すことができる。
2005098978.tif 000019
ここでｋ１１〜ｋ３３のパラメータにはＣＣＤカメラ７の位置や姿勢などをはじめとする計測対象と、ＣＣＤカメラ７の位置を表すデータが全て含まれている。従って、式（７）がレシーバ座標（ｘ，ｙ，ｚ）５４とカメラ位置（ｕ，ｖ）の関係式になる。
式（７）を展開し、整理すると次式のように表せる。
2005098978.tif 000020
尚、１１個の未知数ｋ１１〜ｋ３３は、既知のワールド座標の基凖点（ｘ，ｙ，ｚ）と、それに対応するカメラ座標２１の点（ｕ，ｖ）の組み合わせを式（８）に代入し、連立方程式を解くことで求めることができる。
また式（８）の２平面の交線で表される直線はカメラの焦点から計測点に向かう直線で以下のような媒介変数で表せる。
2005098978.tif 000021
式（９）はレシーバ座標５４であるので、式（１）と同様にワールド座標５３に変換する。
2005098978.tif 000022
ここで、（ｗｘ，ｗｙ，ｗｚ）はトランスミッタ４０を原点とした磁気センサ８のワールド座標である。
カメラの焦点から計測点に向かう直線である式（１０）とレーザ平面上の方程式である式（４）を連立させ計測点２１のワールド座標（Ｘ，Ｙ，Ｚ）を求めることができる。
【００１９】
図１１はキャリブレーションの構成を示す図である。５０ｍｍおきに目盛りが書かれたキャリブレーションボード７０、７１をレシーバ７２のＸＹ平面と平行になるように設置し撮影する。そして、画面上での座標（ｕ，ｖ）をクリックし読み取る。また、対応するキャリブレーションボード上の座標（ｘ，ｙ，ｚ）も読み取る。同じｚ軸方向距離で４点の座標を読み取り、それをｚ軸方向に５０ｍｍ移動しながら複数回（６回以上）繰り返す。
式（８）に画面上での座標（ｕ，ｖ）と対応するキャリブレーションボード上の座標（ｘ，ｙ，ｚ）の組み合わせを代入し、以下の連立方程式を組み立てる．
2005098978.tif 000023
ここで
2005098978.tif 000024
2005098978.tif 000025
2005098978.tif 000026
2005098978.tif 000027
2005098978.tif 000028
この行列式を解き係数
2005098978.tif 000029
が求まると、カメラ座標とレシーバ座標の関係式（７）が決定される。
【００２０】
（実施例）
また、本発明の三次元計測装置の計測性能を検証するために、形状が既知である物体を計測した。計測は数回行い、任意の１０回分の結果を選択し誤差を算出した。その結果、本発明の三次元計測装置におけるＲＭＳ誤差は約１ｍｍであった。
また、本実施例による手法では三角測量の原理を用いているため、レシーバＡ４とレシーバＢ８の角度差と奥行き方向についての精度を算出した。図１２は計測対象１をＣＣＤカメラ７から奥行き方向２７６ｍｍのところに設置して距離を計測したときのＲＭＳ誤差を示した図である。横軸にＣＣＤカメラ７の光軸１５とレーザ光源３の光軸１６のなす角度を表し、縦軸に誤差の値を表している。この図から明らかなように、角度が３０度以上あれば誤差が１ｍｍ以下となり、角度が３０度より小さくなると急激に誤差が大きくなることが解る。この結果から、ＣＣＤカメラ７の光軸１５とレーザ光源３の光軸１６のなす角度αは少なくとも３０度以上確保することが必要である。
以上の通り、ＣＣＤカメラ７とスリット光の分離走査を行うことで、計測対象１に凸凹が部分的にあるなど、計測対象が複雑な部分と滑らかな部分が含まれる対象全域についても効率良く計測することが可能となった。本発明の三次元計測装置における誤差は約１ｍｍであり、計測対象１の全域を一度で計測できる精度としては十分であるといえる。また、本発明の三次元計測装置は人体、骨、歯型などの医療分野や骨董品、化石、出土品などの美術・考古学分野などの計測として様々な分野への応用が考えられる。
図１３は本発明の第２の実施形態に係る三次元計測装置を使用して対象物を計測している斜視図である。同じ構成要素には同じ参照番号を付して説明する。この三次元計測装置２００は、トレーサ粒子８６を混入した水８１を貯水する水槽８０と、水８１に気泡を注入するエアストーン８５と、水槽８０を保持する水槽台８２と、エアストーン８５にホース８３を介して空気を送り込むポンプ８４とを備えて構成される。
そしてアングルで作成した水槽台８２に対し鉛直方向に水槽８０を立て、ポンプ８４により空気を送り込み、水槽８０の下部のエアストーン８５から気泡を作り出す。そこにトレーサ粒子８６を入れ周囲を暗くした状態で水槽８０の側面からスリットレーザ光８７を当てるとトレーサ粒子８６は光り、水槽８０内の流れを可視化することができる。それを水槽８０の正面からＣＣＤカメラ７により撮影し、イメージプロセッサ１７とＰＣ１２により画像処理を行い、レーザ平面上での流動現象を計測する。レーザ光源３に取り付けた三次元磁気センサ４からのデータを監視することで、レーザの位置と傾きを任意に変更しながら計測を行うことができる。また、ＣＣＤカメラ７にも同様に磁気センサ８を取り付けることで、ＣＣＤカメラ７の移動を監視する。
【００２１】
以上の手続きにより、異なる時刻に撮影された画像間で、流体と共に運動するトレーサ粒子８６の位置を算出することで、速度ベクトルを算出することができる。即ち、ＣＣＤの画素に対し比較的粒子の径が大きい場合は、それぞれの粒子が簡単に認識され、受像面上に撮影された粒子の座標（ｕ，ｖ）、レーザ平面の方程式などにより前述した方法により、トレーサ粒子のワールド座標が算出され、それぞれの粒子を追跡することで流体の状態を定量的に把握することができる。
しかしながら粒子がＣＣＤの画素に対し過小であるために、一つ一つの粒子が認識されない場合がある。その場合は、一個一個の粒子の位置に着目するのではなく、複数の粒子で構成されるパターンを追跡することにより、流れの状態を把握することを行うこの手法は、画像相関を用いることで実現できる。
相互相関法とは、２枚の画像を比べて、粒子群（輝度値）が最も近似している場所を探し、その位置関係から速度ベクトルを求める方法である。粒子一個一個に着目するのでは無く、画像を碁盤の目のように細かく分割し、それぞれの微小領域を計測点とする。即ち、ある時刻に撮影された画像のある微小領域Ａの位置を計測点（ｕ１，ｖ１）とし、異なる時刻に撮影された画像内から、微小領域Ａに最も近いパターンをもつ位置（ｕ２，ｖ２）を探し出す処理を行う。（ｕ１，ｖ１）および（ｕ２，ｖ２）が決定されたら前述した処理により、これらの座標をワールド座標に変換し、速度ベクトルを三次元的に求めることができる。そして分割した全ての領域に対して行えば、多点同時計測を行うことができる。図１４、図１５に異なる時刻に撮影された二枚の画像例を示す。
【００２２】
次にこれらの画像に相互相関を適用する例を説明する。フレーム画像全体を小さな領域に分割し、その領域の中心を計測点とする。例えば、図１６のようなフレーム画像全体９０を図示しない小さな領域に分割し、例えば拡大図９１の中心９２を計測点とする。
さらに詳細に説明するために、図１７を参照して説明する。一枚目の画像のある微小領域をＡ１とする（図１７（ａ））。画像にそれぞれの画素において輝度データが存在する（数字が大きい方が輝度が明るい）。この輝度データをもとに相関処理を行う。例えば、Ａ１領域が微小時間後にどこに移動したかを知るために、図１７（ｂ）の画像において、計測点近傍の領域Ａ２から同じ輝度データを探す。しかし、完全に一致することはないので、最も近似している領域を探す。つまり図１８（ａ）のようなＡ１領域に最も近似している領域を探すと、図１８（ｂ）のようにＡ２領域が図のようにあると仮定すると、検索した結果、右下方向（符号９３）で類似度が最大になることがわかる。その結果、図１８（ｃ）のように計測点９４に対するベクトル方向は矢印９５の方向であることが解る。
図１９は水槽内流れを定量計測する実験装置の構成図である。この実験装置は、図１３と同様の装置を使用して、レーザ位置８７を撮像装置３０に近い壁面から水槽中心まで２０ｍｍ間隔で奥行き方向にレーザ投光器２０をシフトしていき、各奥行き距離での水槽内流れを定量計測する実験を行った。
図２０は実際に２枚の画像から相互相関法によりベクトル表示した画像である。そしてＣＣＤカメラ７の焦点と図２０のベクトルの始点座標、終点座標のそれぞれを通る二本の直線とレーザ平面の方程式を算出することで、速度ベクトルを三次元的に求めることができる。
次に計測性能評価について説明する。図２１は水槽の奥行き方向のＲＭＳ誤差と距離の関係を表し、図２２は水槽の水平方向のＲＭＳ誤差と距離の関係を表し、図２３は水槽の高さ方向のＲＭＳ誤差と距離の関係を表している。これらの図から明らかなように、トランスミッタ４０からの距離が離れるにつれて各方向ともＲＭＳ誤差が大きくなっているのが解る。従って、トランスミッタ４０は可能な限り水槽に近づけて使用する方が誤差が少ないことがわかる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る三次元計測装置を使用して対象物を計測している斜視図。
【図２】本発明の図１の斜視図に基づいて本実施形態の三次元計測装置１００の全体構成を表す模式図。
【図３】投光器２０と撮像装置３０の一例を示す図。
【図４】トランスミッタ４０の一例を示す外形図。
【図５】磁気センサ８、４の一例を示す外形図。
【図６】本発明のレシーバＡ４、Ｂ８が位置情報と姿勢情報を生成する原理を説明する図。
【図７】各座標系の位置関係を表す図。
【図８】レシーバ座標５４とレーザ平面５２の関係を表す図。
【図９】カメラ座標とレシーバ座標の関係を示す図。
【図１０】二次元化したカメラ焦点と受像面及び計測点の関係を示す図。
【図１１】キャリブレーションの構成を示す図。
【図１２】計測対象１をＣＣＤカメラ７から奥行き方向２７６ｍｍのところに設置して距離を計測したときのＲＭＳ誤差を示した図。
【図１３】本発明の第２の実施形態に係る三次元計測装置を使用して対象物を計測している斜視図。
【図１４】異なる時刻に撮影された二枚の画像例を示す図（フレーム１画像）。
【図１５】異なる時刻に撮影された二枚の画像例を示す図（フレーム２画像）。
【図１６】計測点を説明する図。
【図１７】輝度データの検索を説明する図。
【図１８】ベクトル表示を説明する図。
【図１９】水槽内流れを定量計測する実験装置の構成図。
【図２０】実際に２枚の画像から相互相関法によりベクトル表示した画像を示す図。
【図２１】水槽の奥行き方向のＲＭＳ誤差と距離の関係を表す図。
【図２２】水槽の水平方向のＲＭＳ誤差と距離の関係を表す図。
【図２３】水槽の高さ方向のＲＭＳ誤差と距離の関係を表す図。
【図２４】従来の三次元形状装置により物体を計測している図。
【符号の説明】
【００２４】
１  対象物、２、６  架台、３  レーザ光源、４、８  磁気センサ、７  ＣＣＤカメラ、１１  レーザ位置検出回路、１２  ＰＣ、１３  ＲＯＭ、１７  イメージプロセッサ、１８  モニタ、２０  レーザ投光器、３０  撮像装置、４０  トランスミッタ
【図１】
2005098978.tif 000040
【図２】
2005098978.tif 000041
【図３】
2005098978.tif 000042
【図４】
2005098978.tif 000043
【図５】
2005098978.tif 000044
【図６】
2005098978.tif 000045
【図７】
2005098978.tif 000046
【図８】
2005098978.tif 000047
【図９】
2005098978.tif 000048
【図１０】
2005098978.tif 000049
【図１１】
2005098978.tif 000050
【図１２】
2005098978.tif 000051
【図１３】
2005098978.tif 000052
【図１４】
2005098978.tif 000053
【図１５】
2005098978.tif 000054
【図１６】
2005098978.tif 000055
【図１７】
2005098978.tif 000056
【図１８】
2005098978.tif 000057
【図１９】
2005098978.tif 000058
【図２０】
2005098978.tif 000059
【図２１】
2005098978.tif 000060
【図２２】
2005098978.tif 000061
【図２３】
2005098978.tif 000062
【図２４】
2005098978.tif 000063