(57)【要約】【課題】  撮影枚数を低下させつつ、多重反射の影響を低減し計測精度を向上させることを目的とする。【解決手段】  対象物体にパターン光を投影する少なくとも一つの投影手段と、  前記パターン光が投影される前記対象物体を撮像する少なくとも一つの撮像手段と、前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段から、前記対象物体までの距離を取得する取得手段と、前記対象物体の面をグループ化するグループ化手段と、前記グループ化手段によってグループ化される面に基づいて、前記投影手段によって投影されるパターン光を決定する決定手段とを備える。【選択図】  図１２
2014115109.tif 000002
【特許請求の範囲】
【請求項１】
対象物体にパターン光を投影する少なくとも一つの投影手段と、
前記パターン光が投影される前記対象物体を撮像する少なくとも一つの撮像手段と、
前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段から、前記対象物体までの距離を取得する取得手段と、
前記対象物体の面をグループ化するグループ化手段と、
前記グループ化手段によってグループ化される面に基づいて、前記投影手段によって投影されるパターン光を決定する決定手段とを備えることを特徴とする距離計測装置。
【請求項２】
前記グループ化手段は、
前記対象物体の面のうち、法線ベクトルが略等しい面を抽出する抽出手段と、
前記抽出された面に基づいて、グループ化することを特徴とする請求項１に記載の距離計測装置。
【請求項３】
前記抽出手段は、前記対象物体を構成する面の傾きに基づいて、法線ベクトルが略等しい面を抽出することを特徴とする請求項２に記載の距離計測装置。
【請求項４】
前記抽出手段は、前記対象物体のエッジ情報に基づいて、法線ベクトルが略等しい面を抽出することを特徴とする請求項２に記載の距離計測装置。
【請求項５】
前記決定手段は、前記グループ化される面に基づいて、前記パターン光を分割することを特徴とする請求項１乃至３のいずれか１項に記載の距離計測装置。
【請求項６】
前記投影手段は、前記分割されるパターン光を順次投影することを特徴とする請求項５に記載の距離計測装置。
【請求項７】
前記対象物体の領域ごとに、前記計測された前記対象物体までの距離が有効であるかを判断する判断手段と、
前記判断手段によって有効であると判断された領域に投影される前記パターン光の輝度を、消光または減光させる制御手段とを更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の距離計測装置。
【請求項８】
更に、請求項７に記載の各手段を１回実行した後に、予め定められた終了判定条件を満たすかどうかを判定する終了判定手段を備え、前記終了判定手段によって終了判定条件を満たさないと判定された場合に、請求項５に記載の各手段による一連の処理を少なくとも１回繰り返して実行することを特徴とする請求項５に記載の距離計測装置。
【請求項９】
前記終了判定手段は、請求項５に記載の各手段により行われる一連の処理の繰り返し回数に基づいて、判定を行うことを特徴とする請求項７に記載の距離計測装置。
【請求項１０】
前記終了判定手段は、請求項５に記載の各手段により行われる一連の処理に要する時間に基づいて、判定を行うことを特徴とする請求項７に記載の距離計測装置。
【請求項１１】
前記終了判定手段は、請求項５に記載の各手段により行われる処理の結果に基づいて、判定を行うことを特徴とする請求項７に記載の距離計測装置。
【請求項１２】
前記終了判定手段は、請求項５に記載の各手段により行われた過去の計測結果と、今回の計測結果とに基づいて、判定を行うことを特徴とする請求項７に記載の距離計測装置。
【請求項１３】
グループ化手段が、対象物体の面をグループ化するグループ化工程と、
決定手段が、前記グループ化工程においてグループ化される面に基づいて、前記対象物体に投影されるパターン光を決定する決定方法と、
投影手段が、前記対象物体に、前記決定工程で決定されるパターン光を投影する投影工程と、
撮像手段が、前記パターン光が投影される前記対象物体を撮像する撮像工程と、
取得手段が、前記撮像手段で撮像された画像に基づいて、前記投影手段または前記撮像手段から、前記対象物体までの距離を取得する取得工程とを有することを特徴とする距離計測方法。
【請求項１４】
請求項１３に記載の距離計測方法をコンピュータに実行させるプログラム。
【請求項１５】
請求項１４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物体の三次元計測を行う技術に関する。
【背景技術】
【０００２】
工業製品の部品等の物体の三次元計測を行う技術は、従来から様々な手法が提案されており、その中の一つとして，計測対象物に所定の投影パターン（縞模様や格子模様）を投影して計測対象物を撮影し、その撮影画像から各画像位置（画素）と、投影パターンにおける縞の位置との対応を求め、三角測量に基づいて計測対象物の高さを算出し、計測対象物の三次元形状を計測する手法が存在する。この手法は、高精度でかつ安定した計測法である。
【０００３】
このような三次元計測手法において、計測対象物が金属部品などの光沢を有する場合、計測対象物の形状によっては、他の面に投影された投影パターンが計測対象物間で複数回の反射、すなわち、多重反射が起こる。計測対象物の表面で一度反射した光を１次反射、計測対象物の表面で一度反射した光が再度対象物で反射されるのを２次反射、さらにもう一度対象物で反射されるのを３次反射などと言い、２次以上の反射のことを多重反射と言う。多重反射は計測対象物間で相互に発生するため、相互反射とも呼ばれる。多重反射が起こると計測対象物中に本来は存在しないはずの映り込みが生じる。このような撮影画像に基づいて、三次元計測処理を適用すると、映り込みがノイズとして作用するため、計測精度が低下するおそれがある。
【０００４】
映り込み対策としては特許文献１にあるように、被検物の表面で多重反射して撮像される投影パターンの一部を減光もしくは消光させる手法が提案されている。具体的には、２種類の異なる投影パターンを投影し、それぞれから三次元形状を求める。そして、２つの三次元計測結果に乖離がある領域を、多重反射が発生した領域であると見なす。そして、光線追跡によって多重反射を引き起こす原因となっている面を見つけ出し、その面に対応する投影パターンを消光し、新たに消光した投影パターンを計測対象物に投影して得られた撮影画像に基づいて、三次元計測結果を補正している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３０９５５１号公報
【非特許文献】
【０００６】
【非特許文献１】電子情報通信学会誌  Ｖｏｌ．９２，  Ｎｏ．４，  ２００９
【非特許文献２】情報処理学会研究報告ＩＰＳＪ  ＳＩＧ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ３  次元復元のためのバンドル調整の実装と評価  岩  元  祐  輝、菅  谷  保  之、金  谷  健  一
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１による方法では、投影パターンの一部を減光もしくは消灯させる点は良いが、多重反射の原因となっている投影パターンの部分を見つけ出すために複数回、投影パターンを投影する必要がある。すなわち、投影パターン生成時に、計測対象物の事前情報がない為に、初期段階では、投影パターンの投影回数が何回になるか、最適な投影パターンを投影したかどうかを確認することが出来ず、投影と撮影を繰り返しながら、行う必要があるという課題がある。
【０００８】
本発明は、以上の課題に鑑みてなされたものであり、光学撮影枚数を低下させつつ、多重反射の影響を低減し計測精度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の距離計測装置は、例えば、対象物体にパターン光を投影する少なくとも一つの投影手段と、前記パターン光が投影される前記対象物体を撮像する少なくとも一つの撮像手段と、前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段から、前記対象物体までの距離を取得する取得手段と、前記対象物体の面をグループ化するグループ化手段と、前記グループ化手段によってグループ化される面に基づいて、前記投影手段によって投影されるパターン光を決定する決定手段とを備える。
【発明の効果】
【００１０】
本発明により、撮影回数を低下させ、かつ、多重反射の影響を低減し、精度の高い距離計測が可能になる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の距離計測装置の構成例を示す図である。
【図２】三角測量の原理を示す図である。
【図３】多重反射を説明する図である。
【図４】多重反射の詳細を説明する図である。
【図５】投影パターンの更新を説明する図である。
【図６】第１の実施形態の処理のフローチャートを示す図である。
【図７】投影パターンの分割を説明する図である。
【図８】微小面（類似反射面）の概念を説明する図である。
【図９】多重反射による不正な距離値の算出を説明する図である。
【図１０】多重反射の影響を排除することの説明の図である。
【図１１】多重反射の影響を排除することの説明の図である。
【図１２】投影パターンのグループ化を説明する図である。
【図１３】第２の実施形態の距離計測装置の構成例を示す図である。
【図１４】第２の実施形態の処理のフローチャートを示す図である。
【図１５】モデルフィッティングを説明する図である。
【発明を実施するための形態】
【００１２】
［第１の実施形態］
第１の実施形態では、最初に、計測対象物を複数の撮像部（カメラ）によるパッシブ法を用いて、計測対象物の形状の概要形状を取得し、その後、計測対象物に計測用のパターン光を投影するパターン投影部（プロジェクタ）と計測用のパターン光が投影された計測対象物を撮影する撮像部（カメラ）を用いて、計測対象物の三次元計測を行う。
【００１３】
このような手法を用いる理由は、カメラ複数台によるパッシブ法は、パターン投影を行わないため、多重反射の影響を受けない為である。また、距離計測結果も得ることが出来るため、計測対象物の形状を求めることが出来る。
【００１４】
しかし、カメラ・プロジェクタを用いるアクティブ法による距離画像処理は
パッシブ法に比べ、計測物体対象物上での特徴点の対応が取り易く、精度も高い為、最終的な計測値の算出はアクティブ法による距離計測情報を元にする。
【００１５】
尚、概要形状取得には、ステレオ・パッシブ法による実施形態を示したが、Ｄｅｐｔｈ  Ｆｒｏｍ  ＦｏｃｕＳ（ＤＦＦ法）やＤｅｐｔｈ  Ｆｒｏｍ  ＤｅｆｏｃｕＳ（ＤＦＤ法）などの他のパッシブ距離計測手法を用いても構わない。また、詳細形状取得には、ステレオ・アクティブ法による実施形態を示したが、プロジェクタ以外の投影装置であるレーザー装置など他の装置を用いても構わない。
【００１６】
また、本実施形態では、前段にて、パッシブ法を用いた距離計測を実施し、計測対象物の形状の概要や面の法線情報を用いて、投影パターン（プロジェクタにより投影されるパターン光のパターン）の分割を行い、この分割された投影パターンによって、アクティブ法を用いた距離計測による距離情報の取得を行う。
【００１７】
第１の実施形態では、最初に２つの撮像部を用いてステレオカメラを構成し、これを用いたパッシブ法による距離撮像を行い、計測物体の距離データを取得する。
【００１８】
次に、撮影された計測対象物の距離データから、計測対象物の面の法線方向を推定する。通常、計測対象物の距離データは、点群データとして取得出来る。そこで、点群データから、計測対象物の面を構成する点群グループの状態を推定してから、計測対象物の面を構成する点群データを用いて、これらの各点との距離が最小になる空間上の平面を算出することで、計測対象物の面を算出す  る。
【００１９】
計測対象物の面が算出された後に、面に対して鉛直方向のベクトルを求めて、面の法線とする。
【００２０】
次に、面の法線方向から計測対象物面でのプロジェクタの計測用のパターン光の反射方向を算出する。更に法線の方向とカメラの配置情報から光線の反射方向が一致すると見なすことが可能な細かい面に分割を行う。
【００２１】
次に、この面の分割情報を用いて、プロジェクタにより投影される投影パターンの分割を行い、複数の投影パターンを生成する。そして、この分割された投影パターンを用いたアクティブ法による計測対象物の距離計測を行う。
【００２２】
このように、アクティブ法を用いた距離計測を行う前に、パッシブ法を用いた距離計測の面の法線情報とカメラ配置情報を元にして、多重反射が発生する状況を改善するように、投影パターンを分割し、投影をすることで、アクティブ法を用いた距離計測における多重反射の影響を低減化させた三次元計測の繰り返し撮影する回数を減らすことが出来る。
【００２３】
図１は、本実施形態における距離計測装置の構成を示している。同図に示すように、本実施形態における構成では、投影部１、撮像部２Ａおよび２Ｂ、制御・計算処理部３からなる。
【００２４】
投影部１はパターン光、例えばラインパターン光を計測対象物４に投影する。撮像部２はパターン光が投影された計測対象物４を撮像する。制御・計算処理部３は、投影部１と撮像部２とを制御し、撮像された画像データを計算処理して計測対象物４までの距離を計測する。
【００２５】
投影部１は、光源１１と、照明光学系１２と、表示素子１３と、投影光学系１４とを備える。光源１１は、例えばハロゲンランプ、ＬＥＤなど各種の発光素子である。照明光学系１２は、光源１１から出射された光を表示素子１３へと導く機能を有する。光源から出射された光が表示素子１３に入射する際に、入射輝度が均一である方がよい。そのため、照明光学系１２には、例えば、ケーラー照明や拡散板など輝度の均一化に適した光学系が用いられる。表示素子１３は、例えば透過型ＬＣＤや反射型のＬＣＯステップＳ・ＤＭＤなどである。表示素子１３は、照明光学系１２からの光を投影光学系１４に導く際に、透過率、または、反射率を空間的に制御する機能を有する。投影光学系１４は、表示素子１３を計測対象物４の特定位置に結像させるように構成された光学系である。このような構成を満たす例として、ＤＬＰプロジェクタや回折タイプのプロジェクタを利用してもよい。本実施形態では表示素子と投影光学系とを備える投影装置の構成を示したが、スポット光と２次元走査光学系とを備える投影装置を用いることも可能である。
【００２６】
撮像部２Ａおよび２Ｂはそれぞれ、撮像レンズ２１と、撮像素子２２とを備える。撮像レンズ２１は、計測対象物４の特定位置を撮像素子２２上に結像させるよう構成された光学系である。撮像素子２２は、例えばＣＭＯＳセンサ、ＣＣＤセンサなど各種光電変換素子である。
【００２７】
制御・計算処理部３は、投影パターン制御部３１と、画像取得部３２と、距離算出部３３と、有効性判断部３４と、繰り返し制御部３５と、パラメータ記憶部３６とを備える。制御・計算処理部３のハードウェアは、ＣＰＵ、メモリ、ハードディスクなどの記憶装置、入出力用の各種インタフェース等を具備する汎用のコンピュータ（ハードウェア）から構成される。また、制御・計算処理部３のソフトウェアは、本発明に係る距離計測方法をコンピュータに実行させる距離計測プログラムを備える。
【００２８】
ＣＰＵが距離計測プログラムを実行することにより、投影パターン制御部３１、画像取得部３２、距離算出部３３、有効性判断部３４、繰り返し制御部３５およびパラメータ記憶部３６の各部を実現している。
【００２９】
投影パターン制御部３１は、後述する投影パターンを生成して、記憶装置に予め記憶する。また、必要に応じて記憶した投影パターンのデータおよび後述する有効性判断結果を読み出し、例えば、ＤＶＩのような汎用的なディスプレイ用インタフェースを介して投影パターンデータを投影部１に伝送する。さらにＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インタフェースを介して投影部１の動作を制御する機能を有する。なお、投影部１では、伝送された投影パターンデータに基づいて表示素子１３に投影パターンを表示する。投影する計測用のパターンの例としては、空間符号化法によるグレイコードや、位相シフト法による正弦波パターンなどが挙げられる。
【００３０】
画像取得部３２は、撮像部２で標本化ならびに量子化されたデジタルの画像信号を取り込む。さらに、取り込んだ画像信号から各画素の輝度（濃度値）で表される画像データを取得してメモリに記憶する機能を有する。なお、画像取得部３２は、ＲステップＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インタフェースを介して撮像部２の動作（撮像のタイミングなど）を制御する機能を有する。
【００３１】
画像取得部３２と投影パターン制御部３１とは互いに連携して動作する。表示素子１３へのパターン表示が完了すると、投影パターン制御部３１は、画像取得部３２に信号を送信する。画像取得部３２は、投影パターン制御部３１から信号を受信すると撮像部２を動作させ、画像撮像を実施する。画像撮像が完了すると、画像取得部３２は投影パターン制御部３１に信号を送信する。投影パターン制御部３１は画像取得部３２から信号を受信すると、表示素子１３に表示する投影パターンを次の投影パターンに切り替える。これを順次繰り返すことで、全ての投影パターンの撮像を実施する。
【００３２】
距離算出部３３では、距離計測用パターンの撮像画像、パラメータ記憶部３６に格納されているパラメータを用いて、投影部１または撮像部２Ａ（もしくは２Ｂ）から計測対象物４までの距離を表示素子または撮像素子の画素ごとに算出する。距離計測は、投影部の有する画素ごとに行われる。そのため、有効であるかの判断は、１画素ごとに行われる。本実施形態では、投影部の表示素子の１画素ごとに、含まれる計測対象物体の距離計測値の有効性を判断するが、本発明は、これに限定されない。例えば、投影部の表示素子の複数の画素ごとに、含まれる計測対象物体の距離計測値の有効性を判断してもよい。また、撮像部の表示素子の１画素または複数の画素ごとに、含まれる計測対象物体の距離計測値の有効性を判断してもよい。
【００３３】
また、本実施形態では、有効であると判断された領域に対応する投影部の表示素子の１画素ごとに、消光または減光を行うが、本発明はこれに限定されない。例えば、投影部の表示素子の複数の画素ごとに、消光または減光を行ってもよい。
【００３４】
有効性判断部３４は、距離が正しく信頼性のあるものであるかの有効性を領域ごとに判断する。本実施形態および、本実施形態以外のその他の実施形態で、領域とは、各画素、および複数の画素を含めたものを示す。有効性判断部３４は、有効性判断結果をパラメータ記憶部３６に送り、これを用いて投影するパターンの更新を行う。  
【００３５】
繰り返し制御部３５は、計測対象物にパターンを投影し、それを撮像した結果から距離算出を行い、距離算出結果の有効性を判断し、それに基づいて投影パターンを更新する一連の流れを、終了条件を満たすまで繰り返し行うように制御する。第１の実施形態ではユーザが指定した任意回数を繰り返したら終了するものとする。
【００３６】
パラメータ記憶部３６は、三次元的な距離を算出するのに必要なパラメータを格納する。パラメータとしては、投影部１と撮像部２Ａおよび２Ｂとの機器パラメータ、投影部１と撮像部２Ａおよび２Ｂとの内部パラメータ、投影部１と撮像部２Ａおよび２Ｂとの外部パラメータ、投影パターンのパラメータがある。また、パラメータ記憶部３６は有効性判断部３４で得られた有効性判断結果を格納し、投影パターン制御部３１で投影パターンを更新する際に用いる。
【００３７】
投影部１と撮像部２Ａおよび２Ｂとの機器パラメータは、表示素子の画素数、撮像素子の画素数である。投影部１と撮像部２Ａおよび２Ｂとの内部パラメータは、焦点距離、画像中心、ディストーションによる画像歪みの係数などである。投影部１と撮像部２Ａおよび２Ｂとの外部パラメータは、投影部１と撮像部２Ａおよび２Ｂとの相対位置関係を表す並進行列と回転行列である。投影パターンのパラメータは、距離計測用パターン、消灯・減光用マスクパターンに関する情報である。有効性判断結果は、撮像素子または表示素子の領域（各画素、または複数の画素）に対して有効か無効かを格納したデータである。
【００３８】
面抽出部３７では、画像取得部３２で撮影された撮像装置２１Ａ及び撮像装置２１Ｂの撮影画像を用いて、パッシブ法によるステレオ距離計測を行い、その距離データから計測対象物４の面の推定を行い、更に計測対象物４の面の法線方向の算出を行う。本実施形態では、パッシブ法による距離計測を用いているが、多重反射の影響を与えない距離計測手法ならば、どのような手法を用いても良い。
【００３９】
面抽出部３７は、投影装置１と撮像装置２１Ａ及び２１Ｂの幾何的配置情報を元に、各面の中の各点での反射光方向の算出を行う。反射光の方向がある閾値の範囲以内であるかどうかを判定し、同一範囲内にある面に細分化を行う。
【００４０】
投影パターン分割部３８では、最初に面抽出部３７で算出された各面で、反射の影響が少ないと推定される同時撮影可能な面のグループを算出する。
【００４１】
このようにして得られた複数のグループの面の撮像装置の撮像素子上の位置から、投影装置１と撮像装置２１Ａ及び撮像装置２１Ｂの幾何的配置情報を元にして、投影装置１の投影パターンの対応する位置を算出して、投影パターンの点灯もしくは消灯を決定する。
図２を参照して、三角測量法による距離計測の原理を説明する。撮像部のレンズ中心をＣｃ、画像平面をＩｃ、焦点距離をｆｃ、画像中心ｃｃのピクセル座標を（ｕｃｏ，ｖｃｏ）、撮像素子の画素サイズをＰＳｃとすると、撮像部の内部行列Ａｃは以下の式（１）のように記述される。
【００４２】
【数１】
2014115109.tif 000003
【００４３】
また、投影部のレンズ中心をＣｐ、画像平面をＩｐ、焦点距離をｆｐ、画像中心ｃｐのピクセル座標を（ｕｐｏ，ｖｐｏ）、表示素子の画素サイズをＰＳｐとすると、投影部の内部行列Ａｐは以下の式（２）のように記述される。
【００４４】
【数２】
2014115109.tif 000004
【００４５】
撮像部の内部行列Ａｃと投影部の内部行列Ａｐは公知の技術である内部パラメータのキャリブレーション方法を用いることで算出される。
【００４６】
撮像部のカメラ座標系ＸＹＺと投影部のカメラ座標系ＸｐＹｐＺｐ間の相対位置関係を表す外部パラメータは回転行列Ｒと並進行列Ｔである。回転行列Ｒは３×３の行列であり、並進行列Ｔは３×１の行列である。回転行列Ｒと並進行列Ｔとは公知の技術である外部パラメータのキャリブレーション方法を用いることにより算出される。
【００４７】
撮像部のカメラ座標系を原点とする３次元空間中の点Ｍの座標を（Ｘ，Ｙ，Ｚ）とする。点Ｍを撮像部の画像平面Ｉｃに射影した点ｍｃのピクセル座標を（ｕｃ，ｖｃ）とする。その対応関係は以下の式（３）で記述される。
【００４８】
【数３】
2014115109.tif 000005
【００４９】
Ｓはスカラーである。また、同一点Ｍを投影部の画像平面Ｉｐに射影した点ｍｐのピクセル座標を（ｕｐ，ｖｐ）とする。その対応関係は以下の式（４）で記述される。
【００５０】
【数４】
2014115109.tif 000006
【００５１】
Ｓ’はスカラーである。上記を式（３）、式（４）を展開すると以下の式（５）で示す４つの連立方程式となる。
【００５２】
【数５】
2014115109.tif 000007
【００５３】
点ｍｃのピクセル座標（ｕｃ，ｖｃ）と点ｍｐのピクセル座標（ｕｐ，ｖｐ）とは、背景技術で説明した種々のパターン投影法を用いることで求められる。また、Ｃｉｊ（ｉ＝１〜３、  ｊ＝１〜４）、Ｐｉｊ（ｉ＝１〜３、ｊ＝１〜４）は、内部行列と外部パラメータとから算出されるため、予めキャリブレーションにより求められている。式（５）において点Ｍの座標値（Ｘ、Ｙ、Ｚ）のみが未知数であり、連立方程式を解くことでこれを求めることができる。なお、求める未知数である点Ｍの座標値は（Ｘ，Ｙ，Ｚ）の３つであるため、投影部のピクセル座標値（ｕｐ，ｖｐ）のいずれか一方を求めれば、点Ｍの座標値を算出することができる。以上が三角測量法に基づく距離計測の原理である。
【００５４】
本実施形態では、投影部１、撮像部２Ａおよび２Ｂともにピンホールカメラモデルで近似されるものとして説明する。ただし、本発明が適用できるカメラモデルはピンホールカメラに限られるものではない。
【００５５】
第１の実施形態では、撮像部であるカメラが２台ある場合を想定しているが、投影部１と撮像部２Ａおよび２Ｂのそれぞれに対して上記の三角測量法に基づく距離計測を行う。また、投影部に対応する点ｍｐのピクセル座標（ｕｐ，ｖｐ）の代わりに、もう一方の撮像部のピクセル座標との対応関係を考えることによって、撮像部２Ａと２Ｂ間における三角測量法に基づいて距離計測を行うことができるため、投影部１と撮像部２Ａ、投影部１と撮像部２Ｂ、撮像部２Ａと撮像部２Ｂの合計３つの距離計測結果を得ることができる。ただし、２つの撮像部間のピクセルの対応は、例えば、投影部との対応を介して取ることができる。ただし、これに限るものではなく、以下の文献に示すような二眼ステレオにおける様々なマッチング手法を用いて撮像部２Ａと２Ｂ間の対応を求めてもよい。
【００５６】
Ｄ．  ＳｃｈａｒＳｔｅｉｎ  ａｎｄ  Ｒ．  ＳｚｅｌｉＳｋｉ，  “Ａ  ｔａｘｏｎｏｍｙ  ａｎｄ  ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｄｅｎＳｅ  ｔｗｏ−ｆｒａｍｅ  Ｓｔｅｒｅｏ  ｃｏｒｒｅＳｐｏｎｄｅｎｃｅ  ａｌｇｏｒｉｔｈｍＳ，”ＩＪＣＶ，  ｖｏｌ．  ４７，  ｎｏ．  １，  ２００２
多重反射光が発生しない、あるいは、発生しても影響が顕在化しない場合には、上述の三角測量法で計測対象物の距離計測を行うことができる。しかし、多重反射光が発生して影響が顕在化すると計測誤差を生じる。例えば図３に示すように、計測対象物４に対して、パターン光Ｐｔ１を投影した場合、撮像部ではＯ１のように観測され、Ｒ１の部分に多重反射の影響が見られる。
【００５７】
図４を参照して、多重反射光による計測誤差発生のメカニズムを説明する。図４では、簡単のためにＸ軸とＺ軸の２次元断面図の形式で説明する。
【００５８】
投影部１のレンズ中心Ｃｐから画像平面Ｉｐ上の点ｕｐ１を通過する方向に出射した光線Ｌ１は計測対象物４上の点Ｐ１に入射する。点Ｐ１で反射された光は撮像部２の画像座標と点ｕｃ１で交わり、レンズ中心Ｃｃへと入射する。
【００５９】
投影部１のレンズ中心Ｃｐから画像平面Ｉｐ上の点ｕｐ２を通過する方向に出射した光線Ｌ２は計測対象物４上の点Ｐ２に入射する。点Ｐ２で反射された光は点Ｐ１で２次反射される。その後、撮像部２の画像座標上の点ｕｃ１で交わり、撮像部１のレンズ中心Ｃｃへと入射する。２次反射が起こると、本来は投影部１のレンズ中心Ｃｐから出射した光が、点Ｐ２から出射したかのように振舞う。
【００６０】
計測対象物の光沢性が低く、多重反射の影響が少ない場合には、撮像部２で観測される輝度はＬ１による反射光が支配的となる。ピクセル座標値がｕｐ１であると正しく検出されるため、距離計測結果も正しいＺｔとなる。
【００６１】
一方、計測対象物の光沢性が高く、入射角と反射角が等しくなるような正反射方向で反射光が観測され、多重反射の影響が大きい場合には、Ｌ２による反射光が支配的となる。このとき、ピクセル座標値がｕｐ２であると誤検出されるため、計測点がＰｅにあるものとして計測されてしまう。距離計測結果はＺｅとなり、ΔＺ＝Ｚｔ−Ｚｅだけの誤差を生じる。
【００６２】
実際には、図４で示した２次反射光だけでなく、３次以上の反射光も存在し、より複雑な計測誤差が発生することある。以上が多重反射光による計測誤差発生のメカニズムの説明である。
【００６３】
本実施形態では、有効性判断部によって多重反射の影響を受けず、有効であると判断された領域に対応する投影パターン部分を消光または減光し、更新したパターンで投影・撮像・距離計測・判断を繰り返し行うことで、多重反射の発生を低減させながら計測できる領域を拡大していく。
【００６４】
具体例を図５に示す。Ｖ１は図３に示した観測画像Ｏ１などを用いて三次元計測を行い、有効性判断部によって、有効であると判断した領域を表している。一方Ｖ２は多重反射などの影響により、無効であると判断した領域を表している。投影パターンの更新は、図３のＰｔ１に対して、計測対象物の有効であると判断されたＶ１の領域を消光または減光し、図５のＰｔ２にパターンにすることである。Ｐｔ２のような更新された投影パターン群を用いて、再び投影、撮像することによって、Ｏ２のような観測画像を得ることができ、結果として多重反射の影響を受けない三次元計測が可能となる。
【００６５】
図６のフローチャートを参照して、第１の実施形態に係る多重反射の影響を考慮した投影パターンの分割及び、多重反射領域の計測全体の流れを説明する。
【００６６】
投影パターンの分割処理のフローに関して説明をする。
【００６７】
（ステップＳ１）
まず、ステップＳ１では、撮影部２Ａ及び撮影部２１Ｂにより可視画像の撮影を行う。この最初の段階での撮影の際に、投影パターンの投影は行わない。もしくは、パターンを含まない照明として、全てのプロジェクタの画素の輝度値が同一値であれば、どのような照明を用いても構わない。また、図中では、２台の撮影部によって撮影が行われるが、複数台あっても構わない。この場合は、可視画像は２枚以上となるが、３枚以上であっても実質的に同様の処理を行うため、本実施形態では、２枚を例として説明する。撮影された可視画像は、画像取得部３２を経て、面抽出部３７に送られる。
【００６８】
（ステップＳ２）
ステップＳ３では、面抽出部３７において、撮影部２Ａ及び撮影部２１Ｂで撮影された２枚の可視画像から、パッシブ・ステレオ法による距離計測処理を実行する。
【００６９】
本実施形態では、パッシブ・ステレオ法として、局所的なブロックのパターンマッチングを用いた距離計測等を用いている。しかし、距離値を算出するのであれば、どのようなパッシブ・ステレオ法による距離算出アルゴリズムを用いても構わない。本実施形態と同様に計測用のパターンを用いないパッシブ法による距離計測であれば、Ｄｅｐｔｈ  Ｏｆ  ＤｅｆｏｃｕＳ（ＤＦＤ）法など、他の手法を用いても構わない。
【００７０】
上記のパッシブ法による三次元撮像処理を行うことで、可視画像の特徴量のある部分に関して、素子毎の距離値の算出が可能となる。これは、パッシブ法による三次元撮像処理の特徴である。その為、計測対象物体のエッジ部などの特徴量が存在する部分でしか、距離算出値は得られない。そこで、グラフカットなどの最適化手法を併用することで、特徴量のない部分に関しても距離の推定値を得ることが出来る。
【００７１】
ただし、特徴量のない部分に関して得られる距離値は、推定値であり、精度が保障された距離値ではないが、計測対象物４の形状の概略を知ることは出来る。
【００７２】
（ステップＳ３）
次に、ステップＳ３で、面抽出部３７において、面の抽出処理を行う。面の抽出処理とは、ステップＳ２で得られた計測対象物４の形状のうち、傾きが近似している領域を特定し、特定された領域ごとにグループ化することで、計測対象物体４における面領域を抽出する処理である。抽出の単位は、任意に決めて構わない。本実施形態では、計測対象物における面の傾き値によって行う。この値を用いて、ラベリング処理を用いて、分割処理を行っても良いし、スーパーピクセルと呼ばれる小さな面に分ける処理によって分割処理を行っても良い。
【００７３】
これらの手法を用いて面の傾きが近似した小さな面に分解することが可能となる。各面の傾き値が算出可能なことから、各面の平均的な法線方向も算出が出来る。尚、スーパーピクセルの技術的な詳細は、下記の文献のような技術を用いることが可能である。
【００７４】
ＳＬＩＣ  ＳｕｐｅｒｐｉｘｅｌＳ  Ｃｏｍｐａｒｅｄ  ｔｏ  Ｓｔａｔｅ−ｏｆ−ｔｈｅ−ａｒｔ  Ｓｕｐｅｒｐｉｘｅｌ  ＭｅｔｈｏｄＳ  ＩＥＥＥ  ＴｒａｎＳａｃｔｉｏｎＳ  ｏｎ  Ｐａｔｔｅｒｎ  ＡｎａｌｙＳｉＳ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  （ＩＳＳＮ：  ０１６２−８８２８）  ＩｎＳｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  ＥｌｅｃｔｒｏｎｉｃＳ  ＥｎｇｉｎｅｅｒＳ，  ２０１２
（ステップＳ４）
次に、ステップＳ４では、面抽出部３７において、抽出された計測対象物体の各面に対して、投影部１のパターン投影がどう反射するか、反射光方向の算出を行う。反射光の方向は、投影装置１と撮影部２Ａ及び撮影部２１Ｂの幾何的配置情報と各面の法線の方向によって決まる。詳細を後述する。ステップＳ１０によって、各面での反射光の方向の算出が可能となる。
【００７５】
（ステップＳ５）
次に、ステップＳ５では、面抽出部３７において、ステップＳ４で算出された各面の反射光の方向をグループ化することで、同時に点灯可能な面の組み合わせの決定を行い、個々のグループの投影パターンを生成する。反射光の方向ベクトルが、ある閾値以下の面同士は、多重反射を起こす可能が高い。これを排除するようにグループ化が行われる。詳細は、図１０で示す。
【００７６】
結果として、ステップＳ３で抽出された各面は、複数のグループのいずれかに所属するように振り分けられる。可視画像上の計測対象物４の位置（カメラ画面上での座標）の投影パターン上での位置（プロジェクタ画面上での座標）は、図５で示されるカメラ−プロジェクタの幾何条件の演算手法を用いて、対応をとることが可能である。そのため、それぞれの計測対象物４上の面のグループ毎に対応する投影パターンを生成することが出来る。よって、図７で示されるＰｔ１から、Ｐｔ３及びＰｔ４それぞれを生成することが出来る。
【００７７】
生成された投影パターンＰｔ３及び投影パターンＰｔ４を用いて、それぞれの投影パターンに関して、ステップＳ６〜ステップＳ１０で示される距離計測を実施することで、距離計測が可能となる。
【００７８】
次に距離計測ステップであるステップＳ６〜ステップＳ１０を示す。
【００７９】
（ステップＳ６）
ステップＳ６では、投影部１が、計測対象物４に対して計測用のパターン群を投影し、撮像部２Ａおよび撮像部２Ｂによって計測対象物４を撮影する。各撮像部で撮影が完了すると、計測用の次のパターンが投影されて撮影する。計測用のパターン群が全て投影・撮影されるまで繰り返される。計測用のパターンは例えばグレイコードが挙げられるが、これに限られるものではない。撮影されたデータは画像取得部３２に送られる。
【００８０】
（ステップＳ７）
ステップＳ７では、距離算出部３３において、撮影画像に基づいて、上述した三角測量法を用いて、領域ごとに投影部１と撮像部２Ａ、投影部１と撮像部２Ｂ、撮像部２Ａと撮像部２Ｂの合計３つの距離計測結果が算出される。
【００８１】
（ステップＳ８）
ステップＳ８では、有効性判断部３４において、ステップＳ７で得られた３つの距離計測結果に基づいて、各領域における距離計測結果が有効であるかを判断する。各領域における３つの距離計測値が一致していれば、多重反射による影響などがなく、有効な距離計測結果であると判断することができる。なぜなら、光沢性が高い計測対象物の多重反射の影響は、観測する視点の方向において異なるため、異なる撮像部（異なる視点）で観測すれば、多重反射の影響の有無が判別できるためである。また多重反射以外の影響、例えばランダムに発生した画像ノイズなどで、３つの距離計測値が一致しない場合は、距離計測結果が無効であると見なす。
【００８２】
ただし、たとえ多重反射や画像ノイズなどの影響が全く無い場合でも複数の距離計測系において距離計測値が完全には一致しないことがある。なぜなら理想状態（シミュレーション）でない場合、事前にキャリブレ―ションによって求める投影部や撮像部の内部・外部パラメータが、僅かな誤差を含む可能性があるためである。前述の三角測量法の原理で説明したように、投影部や撮像部の内部・外部パラメータを用いて距離値を算出するため、内部・外部パラメータの誤差が距離計測値の誤差として現れてしまう。
【００８３】
キャリブレーションの誤差はキャリブレーションをやり直す以外に、誤差を取り除いたり補正したりすることは難しい。そこで、キャリブレーションの誤差による複数の距離計測系における距離計測値の不一致への対策として、ある投影部と撮像部（例えば投影部１と撮像部２Ａ）の位置姿勢をキャリブレーションの基準として定め、そこからの許容範囲を設定することで解決する。ただし、この基準は真値とは異なる可能性があるが、キャリブレーションの誤差を取り除いたり補正したりできないため、距離計測値の一致不一致を判定する方法としては最善であると考えられる。具体的には、求めた内部・外部パラメータを用いて、キャリブレーション用のデータに対して再投影を行い、キャリブレーションによる距離計測結果の誤差を算出し、それに基づいて距離計測値が一致していると見なせる基準からの許容範囲を定める。また、この場合領域の距離が一つの計測値に定まらないため、基準とする系の値を代表値とする。ただし、これに限るものではなく、代表値を平均値や中央値で定めてもよい。
【００８４】
（ステップＳ９）
ステップＳ９では、投影パターン制御部３１が、ステップＳ８で得られた有効性判断結果に基づいて、投影パターンのうち、距離計測値が有効であると見なされた領域に対応する部分を、消光または減光するように投影パターン群を更新する。距離計測値が有効である領域に関しては、所望の距離計測値が得られているため、以降の繰り返し処理の中では処理を行う必要はない。そして、その領域を照らしている光を消光または減光することによって、その領域で反射した光が計測対象物内の他の面を照らす多重反射の原因となっていた場合には、次の繰り返し処理で更新した投影パターンを投影することで、その多重反射の影響を取り除くことができる。ただし、投影パターンの更新方法は消光や減光に限らず、有効であると見なされた領域を照らす光の影響が相対的に弱まる方法でありさえすればよい。例えば、有効ではないと見なされた領域に対応する投影パターン部を増光させてもよい。
【００８５】
（ステップＳ１０）
ステップＳ１〜ステップＳ９までの工程を１回実行した後、ステップＳ１０では、所定の終了判定条件を満たすかどうかを判定し、満たす場合はステップＳ１１へ進み、満たさない場合はステップＳ６へ戻り、ステップＳ９で更新した投影パターンを用いて処理を少なくとも１回繰り返す。第１実施形態では終了判定条件を任意の指定回数Ｎ回繰り返していることとする。よって繰り返し回数がＮ−１回以下の場合は工程ステップＳ６へ戻り、Ｎ回の場合は工程ステップＳ１１へ進む。複数回繰り返し処理を行うことによって、３次以上の多重反射の影響を取り除いたり、画像ノイズなどの影響を受けにくくしたりすることが可能である。また任意の回数に指定できるため、現場のタクトタイムに合わせて処理を行うことができる。
【００８６】
なお、終了判定条件としては、所定の回数繰り返していること、の他にも様々な条件が考えられる。例えば、一連の処理に要する時間に基づいて、終了判定を行ってもよい。また、Ｓ１００５およびＳ１００６の処理の結果に基づいて、終了判定を行ってもよい。また、過去の計測結果と、今回の計測結果とに基づいて、終了判定を行ってもよい。
【００８７】
繰り返してステップＳ６へ戻った場合は、ステップＳ９で更新された投影パターン群を投影して撮影を行い、ステップＳ６〜ステップＳ９の処理を同様に行い、ステップＳ１０の終了判定条件を満たすかどうか判定し、終了条件を満たすまで繰り返す。
【００８８】
（ステップＳ１１）
ステップＳ１１では距離計測結果の統合を行う。繰り返し処理を行っている間、新たに有効であると見なされた領域における距離計測値が得られるので、その値を保持しておく。一度有効であると見なされた領域は、その距離計測値を保持して対応付けられた後、繰り返しの間に処理が行われることはない。よってｉ番目の繰り返しの際に新たに有効であると見なされた領域の距離計測値を保持しておけば、ステップＳ１１では、Ｎ個の距離計測値のデータを統合すれば、計測対象物の距離計測結果が得られる。ただし、本発明はこれに限られるものではなく、繰り返し処理の間（例えばステップＳ１０の終了判定条件を判定する時など）に、新たに有効であると見なされた領域の距離計測値を距離計測結果のデータに加えていってもよく、その場合はステップＳ１１に進んだ時点で距離計測結果は既に統合済みとなっている。
【００８９】
最終的にステップＳ１１の処理内で、各投影パターンでの距離計測結果も統合することで、計測対象物４の距離計測を、取得することが可能となる。
【００９０】
次に、投影パターンの分割投影に関して、概略を示す。
【００９１】
投影パターンの分割は、図５、図６で説明した様な多重反射の影響のある部分を、事前に得られた計測対象物の面情報やカメラ及びプロジェクタの配置情報から多重反射の影響を算出し、面同士の組み合わせで、多重反射の影響が少ない組み合わせを算出し、投影パターンを分割し、図６で示されるフローチャートを実行することで、より繰り返し撮影の少ない工程で、距離計測を可能とする手法である。
【００９２】
図７では、各面毎の多重反射の影響を事前に測定、算出しておき、投影パターンＰｔ１をそれぞれ、投影パターンＰｔ３及びＰｔ４に分割することで、多重反射が起きにくい投影パターンを生成することが出来る。ただし、Ｐｔ３及びＰｔ４の計測は、時分割で順番に行う必要がある。しかし、事前に多重反射による影響を加味して、投影パターンを生成することによって、ステップＳ８及びステップＳ９の処理の低減化が可能である。また、ステップＳ１０における終了条件をより早く満たすことが可能である。結果として、図６で示されるフローチャートにおけるパターン投影及び距離計測の繰り返し回数を減らすことが出来る。
【００９３】
なお、投影パターンの分割は、図７では、２枚の例を示しているが、２枚以上の投影パターンに分割をしても良い。このような手法は、空間符号化法や位相シフト法など各種アクティブ法による距離計測に適用することが出来る。
【００９４】
次に、ステップＳ１０で行われる反射光方向算出の方法と、ステップＳ１１で行われる面のグループ化に関してより詳細な説明を行う。これらの説明のために、図８〜図１２を用いる。
【００９５】
図８は、微小面の算出について説明をする図である。多重反射の現象は、図４で説明されているが、ここでは面のグループ化の前段処理となる計測用の光線の反射方向が一致すると見なすことが可能な微小面の算出に関して述べる。図８は、距離計測装置のカメラ装置とプロジェクタ装置の配置を示す図である。なお、以下の説明は、二次元図を元に行うが、実際の距離計測装置では、三次元構成の装置が用いられる。
【００９６】
計測対象物４は、面１と面２から構成されるものとする。プロジェクタは、計測用のパターンを投影するが、このときのパターン投影のプロジェクタの１画素辺りの光線として、各光線ベクトル（光線ベクトル１、光線ベクトル２等）を想定する。
【００９７】
同様に、カメラ装置で観測される１画素当たりの観測方向を観測ベクトル（観測ベクトル１、観測ベクトル２等）として想定する。
【００９８】
もし、多重反射が起こっていない場合は、カメラ１からの観測方向は、計測点１及び計測点２それぞれ観測ベクトル１及び観測ベクトル２として撮影が行われる。その為、測定距離は、測定点１及び測定点２共に面２上に存在し、計測対象物４の形状を正確に示す。
【００９９】
もし、多重反射が発生している場合は、反射光ベクトル１と反射光ベクトル２が発生する。このときに、反射光ベクトル１と反射光ベクトル２の面２に対しての反射角は、若干差がある。
【０１００】
これは、光線ベクトル１と面２の法線ベクトルと光線ベクトル２と面２の法線ベクトル内積が、カメラとプロジェクタの配置やレンズの条件によって変わるためである（観測ベクトル１と観測ベクトル２は平行でないため）。その為、厳密には、計測対象物４の面に対する反射光の出射角によって、これを分けることが出来る。面２と個々の光線ベクトルの内積値に対して閾値を設けて分類することで、光学反射状態がほぼ同じとみなせる微小面（類似反射面）を算出することが出来る。
【０１０１】
閾値の大きさは、計測対象物４の反射係数等に依存をする。計測対象物４の材質とカメラ装置の画素の解像度により設定する必要がある。微小面細分化の算出方法としては、面２と個々の光線ベクトルの内積値を元にして、前述のスーパーピクセル技術を用いることが出来るし、他の同様の技術を用いても良い。
【０１０２】
以上のようにして、微小面を算出出来るが、以降の説明の簡略化の為に、各面は、反射光の方向が計測対象物上の面では、同一と見なせる閾値が設定されていると仮定し、計測対象物上の各面上では同一の反射光の反射角を有するとする。
【０１０３】
図９は、図８における多重反射の発生を図示したものである。
【０１０４】
最初に、距離値が正常に計測される状態に関して説明をする。プロジェクタから光線ベクトル１の方向に対して、投影パターンの一部が投影されたとする。この光線は、面２で反射をし、カメラ１の観測ベクトル１の方向として観測が行われる。この状態だと、測定点１の位置が計測対象物４の計測点として算出が行われる。この場合、正常に距離値が求められる。
【０１０５】
次に、多重反射の影響を受ける場合に関して説明する。プロジェクタから光線ベクトル３の方向に対して、投影パターンの一部が投影されたとする。この光線は、面１で反射を起こし、面２の計測点１の位置に反射光が到達したとする。
【０１０６】
カメラ１では、正常に計測される状態と同様に観測ベクトル１の方向に、光線ベクトル３の反射光が観測されてしまう。
【０１０７】
この為、距離計測値は、光線ベクトル３の方向と観測ベクトル１の交点上である計測点１’の位置だと誤認されてしまう。
【０１０８】
この為、計測点１の位置は、計測対象物４の面２上ではなく、計測対象物４上ではない空間上に距離値を算出してしまう。
【０１０９】
図１０は、図９で発生した状況を回避するための手法について述べている。
投影パターンを光線の反射方向が一致する面毎に、投影パターンを空間的に切り替える手法に関して述べる。
【０１１０】
投影パターンは、図７で既に説明したように、測定対象物４の各面の状態を認識し、光線の反射方向が一致する面を考慮して面のグループ化を行い、各グループの面毎（反射光の特性に影響がない面同士）に、パターンの投影を行う。
【０１１１】
面の特定に関しては、図６のステップＳ１〜ステップＳ４にて特定されているものとする。また、図８で説明したように、各面の反射光の反射角は、カメラ１、カメラ２とプロジェクタの配置及び、各面の法線方向との関係から決定出来るものとする。
【０１１２】
図１０では、面１に対して、投影領域２の部分にだけ投影パターンを投影している。この状態だと、光線ベクトル１は、存在しないため、測定点１が観測されることはない。もし光線ベクトル３が面１で反射を起こし、反射光ベクトル３として反射を起こした場合、測定点１’として距離計測が行われる。
【０１１３】
測定点１’自体は、図６のフローチャートに説明されるステップＳ６〜ステップＳ１１の処理によって、計測対象物４上にはない不正点だと認識が出来る。
【０１１４】
結果として、間違って観測される測定点１’は、削除され、正しい距離計測結果である測定点１だけが、観測されるようになる。
【０１１５】
図１１は、図１０とは別の投影領域にパターン投影した場合について説明をする。
【０１１６】
図１０でパターンを投影した投影領域２から投影領域３に切り替えて、パターンを投影する。この場合、投影パターンは、光線ベクトル１にだけが存在する。そのため、多重反射の影響を発生させる光線が存在しないため、面２上の計測点１は、正常に距離計測が出来る。仮に、光線ベクトル１の反射光であり、反射光ベクトル１が発生し、測定点４の地点で観測されたとしても、カメラ１からの観測の方向は、観測ベクトル１’の方向となり、測定点５の地点が距離計測結果となる。測定点５の正当性は、図６のフローチャートに説明されるステップＳ６〜ステップＳ１１の処理によって、不正点だと認識が出来る。
【０１１７】
結果として、正しい距離計測結果である測定点１のみが、観測されるようになる。
【０１１８】
このようにして、面１及び面２上の計測点が双方とも多重反射の影響を排除しながら、正常に距離計測を行うことが出来るようになる。
【０１１９】
図１２は、面のグループ化について説明をする。
【０１２０】
投影パターンのグループ化は、それぞれの面での反射光の影響が少ない面同士を同時に点灯する投影パターンを構成することで実現が出来る。
【０１２１】
この処理は、図８のステップＳ１０〜ステップＳ１１で実行が行われる。
【０１２２】
図１２では、計測対象物４が、４面で構成されていると仮定する。
【０１２３】
面Ａ〜面Ｄが計測対象物４の面である。それぞれの面方向を計測するための投影パターンの光線の代表として、光線ベクトルＡ〜光線ベクトルＤを示す。それぞれの面内での光学反射特性は、同一と仮定をする。
【０１２４】
このとき、各面、面Ａ〜面Ｄは、それぞれ光線ベクトルＡ〜光線ベクトルＤによってパターンが照射されるが、それぞれの反射光が発生する。
【０１２５】
この反射光は、反射光ベクトルＡ〜反射光ベクトルＤが発生する。反射光ベクトルＡ〜反射ベクトルＤの反射の方向は、それぞれ面Ａ〜面Ｄの法線ベクトルの方向と、光線ベクトルＡ〜光線ベクトルＤの角度によって光の反射の法則によって決定をする。
【０１２６】
次に、微小な反射角が近い面同士のグループ分けの条件について述べる。
各面の反射ベクトルがお互いに逆方向（２つの反射ベクトルの内積がマイナス）であれば、多重反射を発生させる可能性が高いと判断出来る。
【０１２７】
逆に、反射ベクトルがお互いに順方向（２つの反射ベクトルの内積がプラス）であれば、多重反射を発生させる可能性は低いと判断出来る。
【０１２８】
また、前者の反射ベクトルがお互いに逆方向である場合でも、２つの反射ベクトルの内積の絶対値が、０に近い程、多重反射は発生しない。
【０１２９】
このような条件によって、反射ベクトル同士の内積値が小さいかどうかを判定し、多重反射が起こりえる面同士であるかを判定する。
【０１３０】
尚、２つの反射ベクトルの内積の絶対値が、０に近い程、多重反射を発生しないが、このときの判断の為に、反射ベクトルの内積を判断分けする閾値が必要となる。この閾値は、計測対象物４の材質等によって決まる。
【０１３１】
このような条件判定を繰り返すことで、図１２では、面Ａと面Ｂの反射光ベクトルは、多重反射を起こす可能性があると判定が出来る。同様に、面Ｃと面Ｄも反射ベクトルは、多重反射を起こす可能性があると判定が出来る。
【０１３２】
逆に、面Ａと面Ｃは、反射光ベクトルは、多重反射を起こしにくいと判定が出来る。同様に面Ｂと面Ｄの反射光ベクトルは、多重反射を起こしにくいと判定が出来る。
【０１３３】
その為、投影パターンのグループ化としては、面Ａと面Ｃの組み合わせ、及び面Ｂと面Ｄの組み合わせを２つの投影パターンのグループとして分けることが出来る。そして、面Ａと面Ｃの組み合わせの為に、投影領域４及び投影領域５を同時に点灯するような投影パターンを作成する。
【０１３４】
同様に、面Ｂと面Ｄの組み合わせの為に、投影パターンを生成することが出来る。
【０１３５】
この様にして、図７で示されるＰｔ１からＰｔ３およびＰｔ４へのと投影パターンの生成が可能となる。本実施形態では、２種類の投影パターンへの分割を行ったが、３種類以上の投影パターンに分割しても良い。
【０１３６】
効果としては、投影パターンの分割によって、反射光が発生しにくい投影パターンを生成することが出来る。もしくは、反射光によって発生する不正距離計測点の認識を行うことが容易になり、不正点の削除が可能となる。結果として、多重反射の影響を受けにくい計測結果を得ることが出来る。また、多重反射の発生そのものも低減化させることが出来るため、撮影回数頻度の低減化にも寄与する。
【０１３７】
よって、第１の実施形態によれば、多重反射の影響を受けづらい投影パターンを複数作成することによって、有効な距離計測値が得られた領域に対応する投影パターン部分を消光または減光する距離撮像方式において、繰り返し処理の回数を低減させながら、多重反射の影響を低減し、有効な距離計測値を得ることが可能になる。
【０１３８】
［第２の実施形態］
第２の実施形態では、第１の実施形態と異なり、計測対象物を撮像部（カメラ）による可視画像と、事前に保持してある計測対象物体４の形状情報を用いて、計測対象物４の位置姿勢の推定を行うことで、計測対象物４に対する距離計測装置からの距離や計測対象物の現在の位置姿勢及び概要形状の取得を行う。
【０１３９】
その後の処理は、第１の実施形態と同様に、計測対象物に計測用のパターン光を投影するパターン投影部（プロジェクタ）と計測用のパターン光が投影された計測対象物を撮影する撮像部（カメラ）を用いて、アクティブ・ステレオ法による計測対象物の詳細な三次元計測を行う。
【０１４０】
その際に、パターン光の投影範囲等は、前段の処理によって得られた現在の位置姿勢及び概要形状の情報を元にして、第１の実施形態と同様に、相互反射発生の可能性のある面同士に同時にパターンの点灯を避けながら距離計測を行う。
【０１４１】
第２の実施形態での概要形状の取得は、可視画像に撮影された計測対象物体の見かけ上の大きさと、パラメータ記憶部の保持するカメラパラメータ値（外部パラメータ、内部パラメータ、ディストーションによる画像歪みの係数など）及び、計測対象物の三次元で示される形状情報と照合することによって、計測対象物の位置姿勢の概算値を知ることが出来る。
【０１４２】
このような技術は、形状フィッティング技術、もしくは位置合わせ技術、レジストレーション技術と呼ばれている。例えば、レジストレーション技術としては、位相限定相関法や最小二乗化法、レーベンバーグ・マルカート法などが用いられる。また、座標の幾何学的変換には、アフィン変換や透視投影変換等の技術が用いられる。
【０１４３】
計測対象物の三次元モデル情報から幾何学変換を用いて、仮想空間上で計測対象物を位置の変更や回転を行い、カメラパラメータや画像歪み係数を用いて、撮像装置から観測が推定される画像や特徴部分（頂点や面など）の座標の推定を行う。
【０１４４】
仮想に生成された計測対象物体の特徴部分と実際に撮像された計測対象物体の可視画像の特徴部分（エッジ部分の比較であれば、ソーベルフィルタによるエッジ特徴などを用いる）との比較演算を行うことで、計測対象物体の位置姿勢の概要形状を知ることが出来る。
【０１４５】
この様に実施することよって、第１の実施形態に示されるパッシブ・ステレオ法による計測対象物の概要形状算出処理と置き換えることが可能である。
【０１４６】
第２の実施形態による利点は、このような処理を用いることで、撮像部（カメラ）の台数を１台に減らすことが可能がある点である。
【０１４７】
図１３は、本実施形態における距離計測装置の構成を示している。同図に示すように、本実施形態における構成では、投影部１、撮像部２、制御・計算処理部３からなる。
【０１４８】
第１の実施形態における構成図である図１との差に関して述べる。
【０１４９】
第２の実施形態では、第１の実施形態と違いパッシブ・ステレオ法による三次元計測は行わず、１台の撮像部２から前述の計測対象物の位置姿勢と概要形状を求める。撮像部２が、２台の撮像部（カメラ）で構成されるのではなく、１台の撮像部から構成される。
【０１５０】
撮像部の内部構造であるレンズ２１や撮像素子２２に関しては、第１の実施形態と同等品を用いることが出来る。
【０１５１】
第２の実施形態では、予め距離計測の前に、計測対象物の三次元の形状情報データを形状情報記憶部３９に記録し保持をする。
【０１５２】
形状情報データとは、ＣＡＤなどで使用されている三次元形状や三次元幾何情報を示すデータである。ＤＸＦデータ（ＡｕｔｏＤｅＳｋ社製のＣＡＤ汎用フォーマット）やＰＬＹデータなどを用いることが出来る。
【０１５３】
形状情報データには、計測対象物体の頂点（Ｖｅｒｔｅｘ）の座標データや面の法線の方向、更に面の構成データである四角メッシュや三角メッシュなどの情報を含んでいる。制御・計算処理部３内部の工程では、この計測対象物体の三次元形状情報を用いて、撮像装置２で撮影される計測対象部品の可視画像から位置姿勢の概要形状の算出を行う。
【０１５４】
次に、図１４のフローチャートを参照して、第２実施形態における処理の流れについて説明する。図１４の説明では、第２の実施形態における処理のフローチャートで、図６との差分ステップＳ１３についてのみ説明する。
【０１５５】
第１の実施形態では、ステップＳ２において、パッシブ・ステレオ法を用いた三角測量による距離計測法を用いて計測対象物の概要形状情報を算出していた。これに対し、第２の実施形態は、ステップＳ１３において、可視画像の撮影のみを行い、可視画像に撮像された計測対象物の位置姿勢を認識計測することで、計測対象物の概要形状情報の算出を行う。
【０１５６】
ステップＳ１３では、計測対象物の形状情報の特徴量の位置と、実際の可視画像の計測対象物の特徴量の位置との誤差を比較し、フィッティング処理を行うことで、計測対象物の位置の推定値を算出することで計測物体の概要形状を得ることが出来る。
【０１５７】
非特許文献１では、計測対象物の形状を示すモデルデータ（文献中では楕円）を用いて、撮影画像内での位置を推定する技術を開示している。本実施形態も同様の技術を用いている。
【０１５８】
計測対象物の形状情報の特徴量は、ソーベルフィルタを用いて生成したエッジ部情報を用いている。エッジ特徴量を得られる技術であれば、キャニー法などの他の手法を用いても構わない。また、画像の特徴量も、ＣＡＤデータなどの三次元形状データや可視画像から算出可能であれば、ＳＩＦＴなどのエッジ特徴以外の特徴量を用いても構わない。
【０１５９】
計測対象物の位置姿勢などの概要形状の算出の仕方は、パラメータ記憶部３６が保持しているカメラ姿勢情報を使用し、前述の三角計測法によるモデル式である式１及び式２、式３に対して計測対象物の座標Ｘ，Ｙ，Ｚを求める様に最適化演算を行うことで決定出来る。これらの技術的な詳細に関しては、非特許文献２等の文献に開示されており、ここでは特に触れない。
【０１６０】
形状記憶部３９が保持しているＣＡＤデータと計測対象物へのフィッティングに関して図１５を用いて概要を説明する。
【０１６１】
形状記憶部３９が保持している形状情報データは、５に示されている様に、計測対象物の形状を示す情報が保持されている。
【０１６２】
形状情報データ５は、ＣＡＤなどの設計時に用いられる設計情報を用いても良いし、事前に他の三次元距離計測装置を用いて得た形状データ等を用いても良い。
【０１６３】
形状情報データ５は、ポリゴンと呼ばれる複数の平面で構成し形状を表している。この平面情報には、法線方向なども記録されており、計測対象物の表面が、どのように幾何的配置が構成され、かつ各面がどのような方向を向いているかを保持している。平面を構成するデータの面の端の部分を計測対象物体のエッジ情報としている。つまり、エッジ情報とは、物体の面と面の接続部を示しており、６で示されるように、計測対象物体の角に当たる部分である。通常の撮像装置（カメラ）では、エッジ部分が輝度の違いとして観測され、ソーベルフィルタなどの画像処理によって抽出される。
【０１６４】
その為、ステップ１３において、形状情報記憶部３９が保持する形状情報データから算出する計測対象物のエッジ情報の推定情報と、撮影された可視画像に対して画像処理によって得られるエッジ情報をそれぞれ算出し、対応したエッジ同士の位置情報の誤差を算出し、計測対象物体の位置姿勢の推定を行う。
【０１６５】
図１５の１５Ｂは、この演算の状態を図示したものである。
【０１６６】
エッジ情報の比較処理は、撮像装置からの見かけの状態（可視画像で得られるエッジ情報の推定値）を比較する処理を行う。
【０１６７】
推定しているエッジ情報７と撮影装置によって撮像される可視画像４（実際には可視画像４のソーベルフィルタによって処理されたエッジ画像）とのフィッティング処理を行う。
【０１６８】
フィッティング処理は、前述の通り、位相限定相関法や最小二乗法などの最適化演算を使用することで、高精度に位置合わせを行うことが出来る。
【０１６９】
最終的には、パラメータ記憶部３６が保持しているカメラ姿勢情報を使用し、前述の三角計測法によるモデル式である式１及び式２、式３に対して計測対象物の座標Ｘ，Ｙ，Ｚを求める様に最適化演算を行うことで、計測対象物の位置姿勢の概要形状を算出することが出来る。
【０１７０】
ステップＳ１４以降の処理に関しては、第１の実施形態と同様に処理を行うことが出来る。
【０１７１】
よって、第２実施形態によれば、多重反射の影響を受けづらい投影パターンを生成する際に、１台のカメラのみを使用して作成することが出来、第１の実施形態と同様に多重反射の影響を低減し、有効な距離計測値を得る事が可能になる。
【０１７２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【０１７３】
１  投影部
１１  光源
１２  照明光学系
１３  表示素子
１４  投影光学系
２  撮像部
２１  撮像レンズ
２２  撮像素子
３  制御・計算処理部
３１  投影パターン制御部
３２  画像取得部
３３  距離算出部
３４  有効性判定部
３５  繰り返し制御部
３６  パラメータ記憶部
３  制御・計算処理部
３１  投影パターン制御部
３２  画像取得部
３３  距離算出部
３４  有効性判定部
３５  繰り返し制御部
３６  パラメータ記憶部
４  計測対象物
【図１】
2014115109.tif 000008
【図２】
2014115109.tif 000009
【図４】
2014115109.tif 000010
【図６】
2014115109.tif 000011
【図７】
2014115109.tif 000012
【図８】
2014115109.tif 000013
【図９】
2014115109.tif 000014
【図１０】
2014115109.tif 000015
【図１１】
2014115109.tif 000016
【図１２】
2014115109.tif 000017
【図１３】
2014115109.tif 000018
【図１４】
2014115109.tif 000019
【図３】
2014115109.tif 000020
【図５】
2014115109.tif 000021
【図１５】
2014115109.tif 000022