(57)【要約】    【課題】  計算量を増大させることなく凹凸の多い物体等に適切な解像度の３次元画像を得る。    【解決手段】  プロジェクタから第１の投影パターンを投影し（Ｓ１０）、２台のカメラでその様子を撮影する（Ｓ１１）。得られた画像から距離画像を算出する（Ｓ１２）。この距離画像に対して水平方向の傾斜情報の評価を行し傾斜が急な部分や凸凹が細かく連続する部分などを抽出する（Ｓ１３）。抽出した領域を領域テンプレートに当てはめ、第２の投影パターンを１つあるいは複数選択する（Ｓ１４）。選択された投影パターンを投影して（Ｓ１５）、２台のカメラでその様子を撮影し（Ｓ１６）、得られた画像から距離画像を算出する（Ｓ１７）。第２の投影パターンが複数選択された場合はこれを繰り返す（Ｓ１８）。最後にそれぞれ算出された距離画像（点群データ）を合成して最終的な出力を得る（Ｓ１９）。【選択図】  図６
2006058091.tif 000002
【特許請求の範囲】
【請求項１】
被写体の３次元画像を粗い解像度で取得する粗解像度画像取得手段と、
上記粗解像度画像取得手段で取得した粗い解像度の３次元画像に基づいて密な解像度で３次元画像を取得すべき領域を決定する密解像度３次元画像領域決定手段と、
上記密解像度３次元画像領域決定手段により決定された領域の３次元画像を密な解像度で取得する密解像度画像取得手段と、
上記粗解像度画像取得手段で取得した粗い解像度の３次元画像と上記密解像度画像取得手段で取得した密な解像度の３次元画像とを合成する３次元画像合成手段とを有することを特徴とする３次元画像取得装置。
【請求項２】
ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像取得装置において、
広いストライプ幅のパターンを投影し撮影して粗い解像度の３次元画像を取得する粗解像度画像取得手段と、
上記粗解像度画像取得手段で取得した粗い解像度の３次元画像に基づいて密な解像度で３次元画像を取得すべき領域を決定する密解像度３次元画像領域決定手段と、
上記密解像度３次元画像領域決定手段により決定された領域および近傍のみに狭いストライプ幅のパターンを投影し撮影して上記領域の３次元画像を密な解像度で取得する密解像度画像取得手段と、
上記粗解像度画像取得手段で取得した粗い解像度の３次元画像と上記密解像度画像取得手段で取得した密な解像度の３次元画像とを合成する３次元画像合成手段とを有することを特徴とする３次元画像取得装置。
【請求項３】
上記密解像度画像取得手段は、上記カメラのレンズを望遠側にシフトして上記領域を撮影して上記領域の密な解像度の３次元画像を取得する請求項２記載の３次元画像取得装置。
【請求項４】
上記カメラのレンズを望遠側にシフトするときに上記カメラにおける上記被写体の画角を一定にするために上記被写体を上記カメラに対して相対的に移動させる被写体移動手段を有する請求項３記載の３次元画像取得装置。
【請求項５】
密解像度３次元画像領域決定手段は、上記ストライプの並び方向に沿って被写体の奥行き座標が大きく変化する部位を上記領域と決定する請求項２、３または４記載の３次元画像取得装置。
【請求項６】
粗い解像度で得た被写体の３次元画像から詳細な撮像を実施すべき領域を決定して、その領域に対して２回目以降の撮像を行い、複数回の撮像データを合成した結果を３次元画像として得ることを特徴とする３次元画像取得方法。
【請求項７】
ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力方法において、
最初に広いストライプ幅のパターンを投影し撮影して３次元画像を得て、その３次元画像から詳細な撮像を実施すべき領域を決定して、その領域および近傍のみに狭いストライプ幅のパターンを投影し２回目以降の撮像を行い、複数回の撮像データを合成した結果を３次元画像として得ることを特徴とする３次元画像取得方法。
【請求項８】
ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力方法において、
最初に広いストライプ幅のパターンを投影し撮影して３次元画像を得て、その３次元画像から詳細な撮像を実施すべき領域を決定して、狭いストライプ幅のパターンを投影し、カメラのレンズを望遠側にシフトして２回目以降の撮像を行い、複数回の撮像データを合成した結果を３次元画像として得ることを特徴とする３次元画像入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン投影法を用いて対象物体までの距離情報を取得する３次元画像測定技術に関する。
【背景技術】
【０００２】
対象物の形状を計測する手法として、対象物に基準となるパターンを投影してこの基準となるパターン光が投影された方向とは異なる方向からＣＣＤカメラなどで撮影を行うパターン投影法と呼ばれる手法がある。撮影されたパターンは物体の形状によって変形を受けたものとなる。この撮影された変形パターンと投影したパターン（またはこれと等価な撮影パターン）との対応づけを行うことで、物体の３次元計測を行うことができる。パターン投影法では変形パターンと投影したパターンとの対応づけをいかに誤対応を少なく、かつ簡便に行うかが課題となっている。そこで様々なパターン投影法が従来提案されている。
【０００３】
例えば特許文献１（特許第３４８２９９０号公報）に開示される手法は、コード化されたパターンを投影する投光器と、投光器の光軸方向から投影パターンを撮影する第１のカメラと、投光器の光軸方向と異なる方向から投影パターンを撮影する第２のカメラとを備え、投影パターンに対する第１のカメラによる撮影パターンの変化量が所定値以上の領域について新たなコードを割り付け、割り付けたコードを用いて第２のカメラによる撮影パターンから第１の距離情報を生成し、第１の距離情報および第１のカメラより得られた輝度情報に基づいて３次元画像を得るよう構成した３次元画像撮影装置である。投光器と同じ光軸に置いた第１のカメラで投光パターンを撮影してえた撮影パターンを用いて再コード化することにより精度よく３次元計測を行うことができる。
【特許文献１】特許第３４８２９９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような投影パターンを用いた方式では、ストライプの境界部の座標をカメラと投光器との位置関係から三角測量の原理により求めている。従ってカメラ画像において縦方向（Ｙ軸方向）にはカメラの解像度分、横方向（Ｘ軸方向）にはストライプ境界数分の座標データが算出されることになる。算出されたデータはＹ軸方向には密で、Ｘ方向には疎になるが、一般にストライプ幅を狭くしていくと、この比は小さくなることは明らかである。しかしながら、ストライプ幅を狭くしていくと、その分、計算量が大きくなる。さらに、ストライプ幅を狭くすると図２２に示すように、カメラ画像の濃度プロファイルは鈍ったものとなり、コード化が不正確になる。
【０００５】
本発明は上述の事情を考慮してなされたものであり、３次元形状測定のストライプ方向の解像度が小さいという問題を計算量を増やすことなく解消することを目的としている。さらに、その際にコード化の精度を向上させることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の原理的な構成例においては、上述の目的を達成するために、粗い解像度で得た被写体の３次元画像から詳細な撮像を実施すべき領域を決定して、その領域に対して２回目以降の撮像を行い、複数回の撮像データを合成した結果を３次元画像として得る。
この構成においては、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な３次元画像を取得できる。
【０００７】
また、本発明の他の構成例では、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力方法において、最初に広いストライプ幅のパターンを投影し撮影して３次元画像を得て、その３次元画像から詳細な撮像を実施すべき領域を決定して、その領域および近傍のみに狭いストライプ幅のパターンを投影し２回目以降の撮像を行い、複数回の撮像データを合成した結果を３次元画像として得る。
【０００８】
この構成においても、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な３次元画像を取得できる。
【０００９】
また、さらに他の構成例では、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力方法において、最初に広いストライプ幅のパターンを投影し撮影して３次元画像を得て、その３次元画像から詳細な撮像を実施すべき領域を決定して、狭いストライプ幅のパターンを投影し、カメラのレンズを望遠側にシフトして２回目以降の撮像を行い、複数回の撮像データを合成した結果を３次元画像として得る。
【００１０】
この構成においても、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な３次元画像を取得できる。さらに、カメラを望遠側にしているので、カメラ画像の濃度プロファイルは鈍くすることがなく、コード化が正確になる。
【００１１】
本発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【００１２】
さらに本発明を説明する。
【００１３】
すなわち、本発明の一側面によれば、上述の目的を達成するために、３次元画像取得装置に：被写体の３次元画像を粗い解像度で取得する粗解像度画像取得手段と；上記粗解像度画像取得手段で取得した粗い解像度の３次元画像に基づいて密な解像度で３次元画像を取得すべき領域を決定する密解像度３次元画像領域決定手段と；上記密解像度３次元画像領域決定手段により決定された領域の３次元画像を密な解像度で取得する密解像度画像取得手段と；上記粗解像度画像取得手段で取得した粗い解像度の３次元画像と上記密解像度画像取得手段で取得した密な解像度の３次元画像とを合成する３次元画像合成手段とを設けるようにしている。
【００１４】
この構成においては、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な３次元画像を取得できる。
【００１５】
また、本発明の他の側面によれば、上述の目的を達成するために、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像取得装置に：広いストライプ幅のパターンを投影し撮影して粗い解像度の３次元画像を取得する粗解像度画像取得手段と；上記粗解像度画像取得手段で取得した粗い解像度の３次元画像に基づいて密な解像度で３次元画像を取得すべき領域を決定する密解像度３次元画像領域決定手段と；上記密解像度３次元画像領域決定手段により決定された領域および近傍のみに狭いストライプ幅のパターンを投影し撮影して上記領域の３次元画像を密な解像度で取得する密解像度画像取得手段と；上記粗解像度画像取得手段で取得した粗い解像度の３次元画像と上記密解像度画像取得手段で取得した密な解像度の３次元画像とを合成する３次元画像合成手段とを設けるようにしている。
【００１６】
この構成においても、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な３次元画像を取得できる。
【００１７】
この構成において、上記密解像度画像取得手段は、上記カメラのレンズを望遠側にシフトして上記領域を撮影して上記領域の密な解像度の３次元画像を取得するようにしてもよい。このようにすると、カメラを望遠側にしているので、カメラ画像の濃度プロファイルは鈍くすることがなく、コード化が正確になる。
【００１８】
この場合、上記カメラのレンズを望遠側にシフトするときに上記カメラにおける上記被写体の画角を一定にするために上記被写体を上記カメラに対して相対的に移動させる被写体移動手段を設けることが好ましい。
【００１９】
上記密解像度３次元画像領域決定手段は、例えば、上記ストライプの並び方向に沿って被写体の奥行き座標が大きく変化する部位を上記領域と決定する。
【００２０】
なお、本発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品も本発明の技術的な範囲に含まれることも当然である。
【００２１】
本発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【発明の効果】
【００２２】
本発明によれば、処理時間の短い概略的な撮像によって大まかな形状データを取得し、そのデータによって詳細な形状取得領域を決めてその領域のみの距離画像を得て合成するので、高精細な距離画像を高速に得ることが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施例について説明する。
【実施例１】
【００２４】
本発明の実施例１に係る３次元画像測定装置を説明する。
【００２５】
図１は、本発明の実施例１の３次元画像測定装置の構成図であり、図１において、３次元画像測定装置は、３次元計測用にパターンを投影するパターン投影装置（たとえば液晶プロジェクタ）１０、同光軸でパターンをモニタする撮像装置（たとえばＣＣＤカメラ。第１カメラとも呼ぶ）２０、三角測量用撮像装置（たとえばＣＣＤカメラ。第２カメラとも呼ぶ）３０、制御部６０等で構成される。制御部６０は例えばパーソナルコンピュータや専用の処理装置で構成される。
【００２６】
制御部６０は、機能的に大きく分けると、粗３次元画像計算部６０１、詳細撮像領域抽出部６０２、密３次元画像計算部６０３、３次元画像合成部６０４等を含んで構成される。これらの処理については後に詳述する。
【００２７】
４０はハーフミラーであり、５０は対象物（被写体ともいう）である。この３次元測定装置の基本的な構成は、特許文献１（特許第３４８２９９０号公報）に開示される構成と同様である。パターン投影装置１０は、液晶プロジェクタもしくはＤＬＰ（商標）プロジェクタ、またはスライドプロジェクタを用いる。パターン投影装置１０、たとえば液晶プロジェクタへ入力する投影パターンは、図２に示すような濃淡のあるストライプパターンを用い、例えば、図２の右側に図示されている対象物（物体）にパターン投影する。スライドプロジェクタを用いる場合、投影パターンはスライドフィルム上へ形成するか、ガラスパターンに金属膜などを蒸着し膜厚や網膜点パターンなどによって透過率をコントロールする。
【００２８】
図３にパターン投影の模様を示す。撮像装置（第１カメラ２０）と投影装置（パターン投影装置１０）をハーフミラー４０などで同光軸に配置し、三角計測用に撮像装置を用意し、図２に示すようなストライプパターンを投影する。同光軸の撮像素子（第１カメラ２０）で観測された画像（第１カメラ・イメージ）から再コード化を実施し、測定用撮像素子（第２カメラ３０）で観測された画像（第２カメラ・イメージ）とで３次元距離画像（距離）を算出する。
【００２９】
投影パターンには第１の投影パターン（粗３次元画像計算部６０１用）と第２の投影パターン（密３次元画像計算部６０３用）があり、第１の投影パターンは比較的粗いピッチのストライプパターンである。第２のパターンは数種類用意してあり、第１の投影パターンを用いた撮像結果をもとに選択する。図４にその投影パターンのバリエーションを示す。画面中央部を分割してその部分のみにストライプパターンを配置し、それ以外の部分は輝度が０となるようにしている。例えば液晶プロジェクタの解像度がＸＧＡ（１０２４×７６８画素）として第１の投影パターンはストライプ幅を１２画素分として８５本のストライプ投影パターン、第２の投影パターンの詳細部を６画素分とする。
【００３０】
図５に液晶プロジェクタへ入力するパターンデータの水平方向の輝度プロファイルを示す。投影パターンは２５６階調を４段階から６段階程度に分けた輝度ストライプの組み合わせである。
【００３１】
図６を参照しながら撮像方法について説明する。まずプロジェクタから第１の投影パターンを投影し（Ｓ１０）、２台のカメラでその様子を撮影する（Ｓ１１）。得られた画像から距離画像を算出する（Ｓ１２）。この距離画像に対して水平方向の傾斜情報の評価を行う（Ｓ１３）。例えば距離画像データをＸ方向に抽出（いわゆるカメラ画像の副走査方向のデータ）し、この副走査方向データに対して、Ｘ方向にＺ座標値を微分した結果から傾斜が急な部分や凸凹が細かく連続する部分などが抽出できる。あるＸ座標ｘ１に着目するとその直前のＸ座標ｘ０のＺ座標値ｚ０から、Ｚ軸方向の傾き（（ｚ０−ｚ１）／（ｘ０−ｘ１））が算出される。この値の絶対値が閾値より大きい場合にはＺ軸方向に大きく変化していると判断できるので２回目に詳細に撮像すべき領域と判定され、さらにＺ軸方向の傾き値が一つ前のＸ座標から正負の符号が反転する場合にはＺ軸方向に凸あるいは凹の頂点付近と判断できるので、これも２回目に詳細に撮像すべき領域と判定される。距離画像データはＹ方向にはカメラ解像度分あるので、この処理をＹ方向には一定の座標値ごとに行う。
【００３２】
抽出した領域を領域テンプレートに当てはめ、第２の投影パターンを１つあるいは複数選択する（Ｓ１４）。図７はその一例である。抽出した領域は図７上の距離画像の中で被写体上の斜線部分である。これを左下図のテンプレートに当てはめると右下図のようになり、Ｅ、Ｆ、Ｈが選択される。これにより図４の第２の投影パターンのうち３つが選択される。
【００３３】
この選択された投影パターンを投影して（Ｓ１５）、２台のカメラでその様子を撮影し（Ｓ１６）、得られた画像から距離画像を算出する（Ｓ１７）。第２の投影パターンが複数選択された場合はこれを繰り返す（Ｓ１８）。最後にそれぞれ算出された距離画像（点群データ）を合成して最終的な出力を得る（Ｓ１９）。
【００３４】
上述の粗３次元画像計算部６０１はステップＳ１０〜Ｓ１２の処理を行い、詳細撮像領域抽出部６０２はステップＳ１３の処理を行い、密３次元画像計算部６０３はステップＳ１４〜Ｓ１８の処理を行い、３次元画像合成部６０４はステップＳ１９の処理を行なう。
【００３５】
この一連の処理のうち距離画像を算出する処理について以下に説明する。
【００３６】
図８は、距離画像を算出する構成例を示しており、この図において、パターン投影装置１０がコード化されたパターンを対象物５０に投影する。このパターンはフレームメモリ１１０に記憶される。モニタ用の第１カメラ２０および三角測量用の第２カメラ３０により、対象物５０上の投影パターンを撮像しそれぞれパターン画像メモリ１２０、１５０に記憶する。
【００３７】
領域分割部１３０はパターン画像メモリ１２０のパターン画像を、パターン投影装置１０からの投影パターン（光）が十分に届いている領域（領域２ともいう）と届いていない領域（領域１ともいう）に分割する。たとえば、隣り合うストライプ間の強度差が閾値以下である領域については、投影パターンが十分に届いてないと判別し、ストライプ間の強度差が閾値以上である領域を投影パターンが十分に届いている領域と判別する。投影パターンが十分に届いている領域に関し、以下に述べるように、境界線となるエッジ画素算出を行い、距離計算を行う。投影パターンが十分に届いてない領域については、別途、視差に基づく距離計算を行う。ここではとくに説明しないが、詳細は特許文献１を参照されたい。
【００３８】
再コード化部１６０は、抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成し、セルの再コード化を行う。これについては後に詳述する。
【００３９】
コード復号部１７０は、パターン画像メモリ１５０に記憶されている、三角測量用の第２カメラ３０からのパターン画像の各セル（エッジ）のコードを再コード化部１６０からのコードを用いて判別する。これにより、パターン画像メモリ１５０のパターン画像における測定点ｐ（エッジ）の画素のｘ座標および光源からの照射方向（スリット角）θが決定され、後述する式（１）により距離Ｚが測定される（図１６参照）。３次元画像メモリ１８０は、この距離と、第１カメラ２０から取得した対象物の輝度値（輝度値メモリ１４０に記憶される）とを三次元画像データとして記憶する。
【００４０】
なお、詳細撮像領域抽出部６０２が詳細に撮像すべき領域を判別し、これに基づいて測定制御部６０５が測定モードを粗から密に切り替える。
【００４１】
この構成例における３次元形状の算出の詳細についてさらに説明する。
【００４２】
上述で得られたそれぞれのパターン画像、輝度値を用いて３次元形状を算出する為に以下の操作を行う。
【００４３】
同光軸のモニタ用の第１カメラ２０によって撮影されたパターン画像と投光に用いられたパターン画像を用いて図９に示すフローチャートに従って再コード化を行う。最初に第１カメラ２０で撮影されたパターン画像の領域分割を行う。隣り合うストライプ間の強度差が閾値以下である領域については、パターン投影装置１０からの投影パターンが届いてない領域１として抽出し、ストライプ間の強度差が閾値以上である領域を領域２として抽出し（Ｓ３０）、領域２について境界線となるエッジ画素算出を行う。
【００４４】
抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（Ｓ３１）。画像の中心から順に対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なった場合には新たなコードの生成、割り付けを行う（Ｓ３２〜Ｓ３６）。
【００４５】
図１０は簡単のため単純化した例であるが、図１０の左側のストライプ列がストライプの並びによってコード化された投光パターンであり、それぞれの強度に３（強）、２（中）、１（弱）が割り当てられている。図１０の右側がそれぞれ同軸上の第１カメラ２０で撮影されたストライプをセルの幅でストライプと垂直方向に抽出したものである。図１０の右上の例では、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てる。図１０の右下の例では、左から３つめ上から２つめのセルで、既存のコードが出現しているので、セルの並びから新たなコードとして（２３２、１３１）という具合に（縦の並び，横の並び）によってコードを表現する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
【００４６】
例として、図１１の対象物に、図１２のパターンを投光した場合に第１カメラ２０、第２カメラ３０で得られる画像を簡単化したものをそれぞれ図１３、図１４に示す。この例では、板の表面には新たなコード化されたパターンとして図１５が得られる。
【００４７】
次に第２カメラ３０で得られたストライプ画像からストライプを抽出し、先ほどと同じようにセルに分割する。各セルについて、再コード化されたコードを用いて各セルのコードを検出し、検出されたコードに基づいて光源からの照射方向θを算出する。各画素の属するセルのθとカメラ２で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌを用いて式（１）によって距離Ｚを算出する。なお、測定点ｐと、光源からの照射方向θと、第２カメラ３０で撮影された画像上のｘ座標と、カメラパラメータである焦点距離Ｆと、基線長Ｌとの関係を図１６に示す。
【００４８】
Ｚ＝ＦＬ／（ｘ＋Ｆｔａｎθ）          −−−式（１）
【００４９】
この計算は実際にはセルの境界のｘ座標を利用して行うが、このときのｘ座標はカメラの画素解像度よりも細かい単位で計算することで計測精度を向上させている。ｘ座標値は、先に算出したエッジ画素の両側のセルの適当な数画素の輝度平均値ｄ１、ｄ２とエッジ画素の輝度ｄｅから求める。エッジ画素の両隣の画素位置ｐ１とｐ２と輝度平均値ｄ１とｄ２から一次補間した直線から輝度ｄｅに相当する画素位置ｄｅ’（図では便宜上ｘで示す）が求められ、これがｘ座標値となる。（図１７参照）
【００５０】
図１８はｘ座標を求める構成例を示している。図１８においては、エッジ右近傍画素位置入力部２１０、エッジ右セル輝度平均値入力部２２０、エッジ左近傍画素位置入力部２３０、エッジ左セル輝度平均値入力部２４０、エッジ輝度入力部２５０からそれぞれｄ１、ｐ１、ｄ２、ｐ２、ｄｅを補間計算部２００に供給して上述のとおりｘ座標を計算する。
【００５１】
上記実施例において、最初の第１の投影パターンを用いた距離画像取得の替わりにパターン投影なしに２台のカメラで撮影した被写体のテクスチャ情報のみに基づくステレオマッチング手法による距離画像取得でも同様の効果が得られる。
【実施例２】
【００５２】
図１９は本発明の実施例２の３次元画像測定装置の構成図である。上述した実施例１の３次元画像測定装置の構成において、２台のカメラ２０、３０にそれぞれ２段階ズームレンズ２０ｚ、３０ｚを取り付けている。ズームレンズ２０ｚ、３０ｚはＰＣなどの制御装置（図１の制御部６０に相当）によりコントロールされる。また被写体５０を設置する台はＸＹ方向可動ステージ７０となっており、同様に外部制御される。
【００５３】
以下、図２０のフローチャートをもとに動作について説明する。まず初期状態として２台のカメラのズームレンズを広角側に設定しておき、プロジェクタから第１の投影パターンを投影する（Ｓ４０）。その様子を２台のカメラで撮影し（Ｓ４１）、距離画像を算出する（Ｓ４２）。この距離画像に対して実施例１と同様に水平方向の傾斜情報の評価を行う（Ｓ４３）。例えばＸ方向に座標値を微分した結果から傾斜が急な部分や凸凹が細かく連続する部分などが抽出できる。この処理をＹ方向には一定の座標値ごとに行う。
【００５４】
ここで抽出した領域に対して第１の投影パターンよりも細かい幅のストライプパターンをもつ第２の投影パターンを投影して（Ｓ４４）、カメラのズームによって拡大撮影を行う（Ｓ４５〜Ｓ４７）。この場合、図１に示す構成のように２台のカメラの光軸は固定されているので、被写体に対して画角をパン（移動）させることはできない。そこで固定の画角に対して可動ステージにより被写体を相対的に移動させている。
【００５５】
抽出した領域を領域テンプレートに当てはめ、可動ステージの位置座標を１つあるいは複数選択する。図７の例では、Ｅ、Ｆ、Ｈが選択されているが、Ｅは画面中央なので可動ステージはホームポジションである。Ｆは可動ステージをカメラから見て左方向へ移動させ、Ｈはカメラから見て上方向へ移動させる。このように可動ステージを動作させ、ズームレンズを望遠側に設定してある２台のカメラで（被写体を移動させた後にズームレンズを望遠側に設定しても良い）、第２の投影パターンを投影して、２台のカメラでその様子を撮影し、得られた画像から距離画像を算出する（Ｓ４４〜Ｓ４８）。本実施例での第２の投影パターンは図２や図１２に示すような第１の投影パターンのストライプ幅を単純に狭めたパターンでもよく、また図４の中央に示したプロジェクタの画面中央のみにストライプ幅を狭めたストライプパターンが配置されているものでも構わない。可動ステージの位置座標が複数選択された場合はこれを繰り返す（Ｓ４９）。最後にそれぞれ算出された距離画像（点群データ）をマージして最終的な出力を得る（Ｓ５０）。
【００５６】
この例では説明を単純化するために２段階のズームを例にあげたが、数段階のズームでその段階数に応じた第２の投影パターンを用意してもよい。
【００５７】
なお、本発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、本発明は、可視領域波長のほか、近赤外などの不可視波長の投射光に関しても有効であることはいうまでもない。
【００５８】
また、上述実施例では、ハーフミラー４０を用いて投影装置１０とモニタ用の撮像装置２０とを同一の光軸（同主点）に配置したが、図２１に示すように、投影装置１０および撮像装置２０を、パターンのストライプ（エッジ）の方向に無視できる程度に離間して配置し、実質的に同一の光軸上（同主点）に配置しても良い。この場合ハーフミラーによるパターン光のロスや配分に伴うパワーの低下やバラツキを回避できる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施例１の装置構成を示す図である。
【図２】上述実施例１を説明するためのパターンと被写体の一例を示す図である。
【図３】上述実施例１のストライプパターン例を示す図である。
【図４】上述実施例１の第２のパターンの例を説明する図である。
【図５】上述実施例１のパターンのプロファイルの例を説明する図である。
【図６】上述実施例１の動作を説明する概要図である。
【図７】上述実施例１の領域選択を説明する図である。
【図８】上述実施例１の距離計算の構成例を説明するブロック図である。
【図９】上述実施例１の再コード化の動作例を説明する
【図１０】上述実施例１の再コード化を説明する図である。
【図１１】上述実施例１の再コード化を説明するためのカメラと被写体の配置図である。
【図１２】上述実施例１の再コード化を説明するためのパターン図である。
【図１３】上述実施例１の第１カメラのモニタ画像の例を示す図である。
【図１４】上述実施例１の第２カメラ２のモニタ画像の例を示す図である。
【図１５】上述実施例１において被写体にあたって輝度が変化した部分を説明する図である。
【図１６】上述実施例における距離計算を説明する図である。
【図１７】上述実施例のエッジ座標の算出説明図である。
【図１８】上述構成例１の測定点の第２カメラの画像上の座標ｘの補間計算を行う回路構成例を説明する図である。
【図１９】本発明の実施例２の構成を説明する模式図である。
【図２０】上述実施例２の動作例を説明するフローチャートである。
【図２１】上述実施例の他の変形例を説明する図である。
【図２２】ストライプパターンの幅とカメラ出力のプロファイルとの関係を説明する図である。
【符号の説明】
【００６０】
１０      パターン投影装置
２０      第１カメラ
２０ｚ      第１カメラのズームレンズ
２０ｚ      段階ズームレンズ
３０      第２カメラ
４０      ハーフミラー
５０      対象物
６０      制御部
７０      ＸＹ方向可動ステージ
１１０      フレームメモリ
１２０      パターン画像メモリ
１３０      領域分割部
１４０      輝度値メモリ
１５０      パターン画像メモリ
１６０      再コード化部
１７０      コード復号部
１８０      ３次元画像メモリ
２００      補間計算部
２１０      エッジ右近傍画素位置入力部
２２０      エッジ右セル輝度平均値入力部
２３０      エッジ左近傍画素位置入力部
２４０      エッジ左セル輝度平均値入力部
２５０      エッジ輝度入力部
６０１      粗３次元画像計算部
６０２      詳細撮像領域抽出部
６０３      密３次元画像計算部
６０４      ３次元画像合成部
６０５      測定制御部
【図６】
2006058091.tif 000003
【図８】
2006058091.tif 000004
【図９】
2006058091.tif 000005
【図１６】
2006058091.tif 000006
【図１７】
2006058091.tif 000007
【図１８】
2006058091.tif 000008
【図２０】
2006058091.tif 000009
【図２１】
2006058091.tif 000010
【図１】
2006058091.tif 000011
【図２】
2006058091.tif 000012
【図３】
2006058091.tif 000013
【図４】
2006058091.tif 000014
【図５】
2006058091.tif 000015
【図７】
2006058091.tif 000016
【図１０】
2006058091.tif 000017
【図１１】
2006058091.tif 000018
【図１２】
2006058091.tif 000019
【図１３】
2006058091.tif 000020
【図１４】
2006058091.tif 000021
【図１５】
2006058091.tif 000022
【図１９】
2006058091.tif 000023
【図２２】
2006058091.tif 000024