(57)【要約】【課題】一回の撮影で対象物体の形状を計測することができて、複数方向からの同時計測も可能な投影パターンの投影方法および投影手段を備えた３次元形状計測方法および装置を提供する。【解決手段】３次元形状計測装置は、制御装置５と、撮像カメラ２と、プロジェクタ１からなり、制御装置５は、２画素以上の大きさを有し、それぞれを識別可能な特徴的な色分布を設定した複数の小領域からなる投影パターンを作成してプロジェクタ１により対象物３に投影させ、撮像カメラ２により投影パターンが投影されている対象物３を撮像し、撮像された撮像画像中の任意の小領域の色分布に基づいて投影パターンの小領域との対応関係を求める。【選択図】図１
2008275392.tif 000002
【特許請求の範囲】
【請求項１】
２画素以上の大きさを有し、それぞれを識別可能な特徴的な色分布を設定した複数の小領域からなる投影パターンを対象物に投影し、投影パターンが投影されている対象物を撮像し、撮像された撮像画像中の任意の小領域の色分布に基づいて前記投影パターンの前記小領域との対応関係を求めることを特徴とする３次元形状計測方法。
【請求項２】
前記投影パターンは、前記小領域を周囲に１画素以上の間隔を離して２次元平面上に離散分布したパターンとしたことを特徴とする請求項１記載の３次元形状計測方法。
【請求項３】
制御装置と、撮像カメラと、プロジェクタからなり、制御装置は、２画素以上の大きさを有し、それぞれを識別可能な特徴的な色分布を設定した複数の小領域からなる投影パターンを作成して前記プロジェクタにより対象物に投影させ、撮像カメラにより投影パターンが投影されている対象物を撮像し、撮像された撮像画像中の任意の小領域の色分布に基づいて前記投影パターンの前記小領域との対応関係を求めることを特徴とする３次元形状計測装置。
【請求項４】
前記投影パターンは、前記小領域を周囲に１画素以上の間隔を離して２次元平面上に離散分布したパターンとしたことを特徴とする請求項３記載の３次元形状計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物体の３次元形状を計測する３次元形状計測方法および装置に関する。
【背景技術】
【０００２】
既存の３次元計測装置の多くは三角測量の原理を用いている。図９は一般的な三角測量の原理を説明する図である。つまり、複数のカメラ画像間で「同じ点を見ている」という対応点を求めるか、或いはカメラ画像とパターン投影機（プロジェクタやレーザ発信器など）の間で「カメラ画像中の画素に投影された点は、光源からどの向きに投影されている点だったのか」という対応点を求めることができれば、その２つの投影線の交点として物体表面の３次元位置が求まるものである。
【０００３】
このように、複数のカメラ画像やパターン投影機から対応点を求めることが３次元計測において重要な役割を果たしていることは周知の事実であり、既存の方法においても、そのような問題を解決する目的でさまざまな工夫がなされている。一例として、ここではパターンを切り替える方法を説明する。
【０００４】
図１０は従来の投影パターンを大量に切り替える方法を説明する図である。投影機としてプロジェクタを用いて、投影パターン中の明るさを部分的に変化させながら画像を撮影し、画像の中の各画素について変化（例えば「白→黒→黒→白→・・・」のような変化）を調べる。パターンの変化のさせ方を工夫しておくことで、画像中のある画素の変化と同じように変化しているパターン内の位置は容易に特定できるため、画像中のすべての画素について対応点を求めることが可能である。
【０００５】
このように、計測対象が静止物体であるという前提条件の下で、プロジェクタから投影する投影パターンを切り替えながら（投影パターンを移動させる方法も投影パターン切り替えの１部）複数回の撮影を行う方法は広く知られている。
例えば、特許文献２には、カラーの縞模様を用いた形状計測技術の一種であり、複数の画像を用いる代わりに、カラーパターンとカラーカメラを色成分毎に分離して用いることで、仮想的に複数の白黒パターンを獲得し、パターン切り替えの手間を軽減する技術が示されている。
【０００６】
また、特許文献３には、レーザをスキャンする、いわゆる光切断法と呼ばれる計測技術の一種が示されているが、根本的な原理は前述のパターンの切り替え方法と類似であり、「ある部分に光が当たった瞬間」という時間の情報を用いて、レーザ発信機の投影方向と画像中の画素の対応関係を求めるものである。また、特許文献４には、パターンを切り替える方式の一種である位相シフト法と呼ばれる方法で、特許文献２の技術と同様に、色成分毎に異なるパターンを用いることでパターン切り替えの手間を軽減する方法が示されている。
【０００７】
これらの方法では、カメラから見た同一画素の値の時々刻々の変化からプロジェクタ側の対応画素を見つけることが可能であり、見つかった対応点同士から三角測量を行うことで計測が可能となる。つまり、従来のパターン切り替え方式では、パターンの時間変化をパターン中の画素のIDとして用いていると言える。
一方、特定のパターン光を投射することによりパターン切り替えを要せずに物体の３次元形状を非接触に計測する形状計測法としては、縞模様あるいはランダムな点群などを用いる方法も知られている。
【０００８】
パターンを投影した対象物体を複数カメラで撮影し、複数画像間で対応点を求める方法はステレオ・マッチングと呼ばれ、縞模様を使った方法「Rapid shape acquisition using color structured light and multi-pass dynamic programming」（L. Zhang、 B. Curless、 and S. M. Seitz、 Proc. Symposium on 3D Data Processing Visualization and Transmission、 2002）や、ランダムな点群を用いた方法「ランダムドットパターン投光ステレオを用いた物流ロボット視覚システムの開発」（橋本学、 鷲見和彦、 羽下哲司、 黒田伸一、 小平紀生、 岩田彰太郎、 日本ロボット学会誌、 Vol. 17、 No.1、 pp.48-49、 1999.）など数多くの手法が提案されている。
【０００９】
このようなカメラ−カメラ間の対応点に基づく方法だけではなく、カメラ−プロジェクタ間の対応点を求めるために縞模様やランダムな点群を用いる方法も存在している。
例えば、特許文献１には、カラーの縞模様を用いてカメラ−プロジェクタ間の対応点を求める３次元形状計測技術が示されている。
これらのパターンを切り替えない方法では、画像中に観測される明度や色の局所的な変化を特徴量として用い、特徴量の類似している場所の組み合わせを複数カメラ間、或いはカメラ−プロジェクタ間で探索し、見つかった対応点同士から三角測量を行うことで計測が可能となる。
【００１０】
以上説明したことからわかるように、何らかの方法で投影パターンの１画素毎に固有のID(識別情報)を埋め込むことができれば、撮影された画像中の各画素から取り出されたIDによって対応点を求めることが可能であり、すなわち三角測量によって３次元形状計測を行うことが可能である。図１１は投影パターン内の１画素毎にＩＤ（識別情報）を設定する例を説明する図である。
【特許文献１】特開２００３−４２７３５号公報
【特許文献２】特開平９−２１６２０号公報
【特許文献３】特開２００４−２０５３６号公報
【特許文献４】特開２００１−３３０４１７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来の投影パターンを切り替える方法では、切り替え方を工夫して、異なる部分に同一の値の変化が起きないような保証を持たせた切り替え方を適用する。このため、原理的に対応点の誤認識が起きない。しかし、原理的に複数回の撮影を要するため、データ取得に時間を要し、変形や移動をする物体形状は計測不能である。
また、パターンを切り替えずに縞模様やランダムな点群などを用いる計測方法は、変形や移動をする物体形状も計測可能であるが、物体表面の形状や反射特性あるいは撮影環境等の不確定要素によって異なる部分同士が同じような特徴を持って撮影されてしまう場合があり、対応点が誤認識される危険性が知られている。
【００１２】
つまり、従来のパターンを切り替えない方法では、撮影された画像中のある部分が他の部分と異なる固有の特徴を有するという保証が無かった。
また、従来の方法ではパターン切り替えの有無に関わらずパターン投影と撮影をする方角は１方向しか想定されておらず、例えば対象物体の周囲から複数の装置で同時に計測を行うようなことは実現されていなかった。
【００１３】
本発明は、上記問題点に鑑み、一回の撮影で対象物体の形状を計測することができて、複数方向からの同時計測も可能な投影パターンの投影方法および投影手段を備えた３次元形状計測方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、撮影対象の表面上のある部分と別の部分が同じような特徴を持って撮影されないように、プロジェクタの投影パターンのあらゆる部分にそれぞれ固有の特徴を持たせる必要がある。
また、あるプロジェクタからの投影パターンと別のプロジェクタからの投影パターンをも判別できるように、全てのプロジェクタの投影パターンのあらゆる部分にそれぞれ固有の特徴を持たせる必要がある。
【００１５】
そこで、本発明は、プロジェクタから投影する投影パターンの解像度において２画素以上の大きさの小領域を設け、個々の小領域に対して個別に識別可能な特徴的な色分布を設定し、それら多様な小領域を１画素以上の間隔で２次元的に離散分布させた投影パターンを作成・投影することで、物体表面に反射して観測される投影パターンが異なる部分同士で類似パターンとして観測されることを防ぎ、かつ、そのパターンを投影しているプロジェクタをも判別可能とする。
【００１６】
具体的な解決手段は以下のようになる。
（１）３次元形状計測方法は、２画素以上の大きさを有し、それぞれを識別可能な特徴的な色分布を設定した複数の小領域からなる投影パターンを対象物に投影し、投影パターンが投影されている対象物を撮像し、撮像された撮像画像中の任意の小領域の色分布に基づいて前記投影パターンの前記小領域との対応関係を求めることを特徴とする。
（２）上記（１）記載の３次元形状計測方法は、前記投影パターンを、前記小領域を周囲に１画素以上の間隔を離して２次元平面上に離散分布したパターンとしたことを特徴とする。
【００１７】
（３）３次元形状計測装置は、制御装置と、撮像カメラと、プロジェクタからなり、制御装置は、２画素以上の大きさを有し、それぞれを識別可能な特徴的な色分布を設定した複数の小領域からなる投影パターンを作成して前記プロジェクタにより対象物に投影させ、撮像カメラにより投影パターンが投影されている対象物を撮像し、撮像された撮像画像中の任意の小領域の色分布に基づいて前記投影パターンの前記小領域との対応関係を求めることを特徴とする。
（４）上記（３）記載の３次元形状計測装置は、前記投影パターンを、前記小領域を周囲に１画素以上の間隔を離して２次元平面上に離散分布したパターンとしたことを特徴とする。
【発明の効果】
【００１８】
本発明は、一回の撮影で得た撮像画像データに基づいて対象物体の形状を計測することができる。このため、データ取得に時間を要することなく、変形や移動をする物体の形状も計測可能となる。
また、複数のプロジェクタと複数の撮像カメラを同時に使用することで対象物体全周の形状計測も可能となる。
【００１９】
本発明は、各画素が有する色情報を、位置を特定するためのＩＤ情報に兼用することができる。また、扱う情報の単位を、従来のような画素単位ではなく、２画素以上の小領域を単位としているので、ＩＤを特定するための情報として２画素以上の豊富な色情報を用ることができる。また、小領域は２画素以上の複数の画素から構成するので、画素数を増やすことにより識別能力の高いＩＤ情報を構成することができる。  
【発明を実施するための最良の形態】
【００２０】
本発明は、３次元形状計測方法およびそのための計測装置において、投影パターン上のある小領域に対応する撮像画像上の抽出小領域を求める方法およびそのための手段に特徴を有する。
具体的には、１回の撮影でカメラ画像と投影パターンの間の対応関係を正確に求めるために、プロジェクタから投影する投影パターンに、その解像度において２画素以上の大きさの小領域を複数設け、個々の小領域に対して個別に識別可能な特徴的な色分布を設定し、それら多様な小領域をその周囲に１画素以上の間隔を設けて相互に２次元的に離散分布させた投影パターンを作成し、計測対象の物体に投影する。これにより、物体表面に反射して観測される投影パターンが異なる部分同士で類似パターンとして観測されることを防ぎ、かつ、そのパターンを投影しているプロジェクタをも判別可能とする。
【００２１】
小領域としては、例えば、２（縦）×２（横）画素等の正方形ブロック、２×１画素等の長方形ブロック、円形（近似）ブロック、等の任意形状、任意面積のブロックで構成する。
小領域単位の処理対象の座標データは、小領域の中心位置（例えば、２×２画素のブロックでは４画素の角が当接している位置）や、小領域を構成している画素の位置、等任意に設定できる。以下、小領域単位の処理対象の座標データは、小領域の中心位置として説明する。
【００２２】
小領域の周囲に設ける間隔は、複数の小領域を配置する配置パターンや、小領域の形状等の関係で、適宜形成される。
色分布は、図４および図５に示されるように、投影パターン中および撮像画像中の小領域内のＲＧＢの値の分布を意味する。このことから、撮像画像中に観測される小領域内の
ＲＧＢの値の分布から、投影パターン中の小領域の色分布が判別される。
【００２３】
図４では、観測（撮像）画像中の小領域内の画像は、Ｒ成分として上から１段目および２段目の８画素分のデータが表示されているので、投影パターン中の対応する小領域のパターンとして上から１段目および２段目の８画素分がＲ成分値を有し（２値表示のときの値１）、上から３段目および４段目の８素分がＲ成分値が無い（同じく値０）として表示して、Ｒ成分のＩＤを特定する。即ち、Ｒ成分のＩＤは、
上から１段目の左から１つ目、左から２つ目、左から３つ目、左から４つ目、
上から２段目の左から１つ目、左から２つ目、左から３つ目、左から４つ目、
上から３段目の左から１つ目、左から２つ目、左から３つ目、左から４つ目、
上から４段目の左から１つ目、左から２つ目、左から３つ目、左から４つ目、
の順で表記すると、［１、１、１、１、１、１、１、１、０、０、０、０、０、０、０、０］となる。
【００２４】
同じようにして、Ｇ成分は［０、０、１、１、０、０、１、１、０、０、１、１、０、０、１、１］となる。また、同じようにして、Ｂ成分は［０、０、０、０、０、０、０、０、１、１、１、１、１、１、１、１］となる。
図５も同じようにして、Ｒ成分は［１、１、１、１、１、１、１、１、０、０、０、０、０、０、０、０］、Ｇ成分は［１、１、１、１、１、１、１、１、０、０、０、０、０、０、０、０］、Ｂ成分は［０、０、０、０、０、０、０、０、１、１、１、１、１、１、１、１］となる。
色情報としては、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｗ（ホワイト）、不表示のブラックを単体又は複数の組み合わせで用いる。
【実施例１】
【００２５】
図１は本発明の実施例１を説明する説明図である。
本発明の３次元形状計測方法を実行する３次元形状計測装置は、投影パターンを投影するプロジェクタ１と、撮像カメラ２と、これらを制御する制御装置５からなる。
プロジェクタ１は、計測対象物体３の外側面上に投影パターンを投影する。投影パターンは、４×４画素のブロックからなる小領域４を選択したパターンに従って互の間隔をとって離散的に設けられるように配置する。各小領域４は、それぞれ独立して識別できるＩＤを構成するように色分布データ（例えば、Ｒ、Ｇ、Ｂ）を有する。
【００２６】
撮像カメラ２は、計測対象物体上の投影パターン、即ち小領域４を１回で撮像する。
制御装置５は、プロジェクタ１と撮像カメラ２を制御して本発明の投影パターン上の小領域と撮像画像上の抽出小領域との対応づけを行い、投影パターン上の小領域の座標データと対応する撮像画像上の小領域の座標データを求めるフローを実行する対応付け方法、更には、必要に応じて、前記対応付けられた両座標データから計測対象物体の３次元座標データを求めるフローを実行する３次元位置算出方法を実行するソフトウエアを備える。
【００２７】
制御装置は、コンピュータで構成するのが好ましいが、演算機能およびＩ／Ｏ機能を有するものであれば問題はない。
小領域の持つ解像度を高く設定すれば、例えば小領域１つずつを2次元バーコードのパターンにするようなことも可能である。（一般的に用いられていることからも明らかなように、２次元バーコードのパターン同士の識別は非常に容易である。）しかし、投影パターン全体の解像度はプロジェクタの性能によって限界があるため、小領域の解像度を高くすると投影パターン内に設定できる小領域の数は少なくなり、計測データのサンプリングが粗くなるというトレードオフがある。また、小領域の解像度を高く設定するために小領域の面積を大きくすると、対象物体の局所的な形状変形の影響で計測の精度や安定性が低下するというトレードオフも存在する。
【００２８】
このように、小領域の大きさや配置方法、個々の小領域内のパターンをどのように設定するかについては、計測対象や実装に依存する。例えば、発明者による実施例では４画素×４画素の小領域を設け、それぞれの小領域にはＲＧＢのカラー情報をそれぞれ２値で設定した値の組み合わせによる小さなカラーパターンを持たせている。この実施例における小領域のバリエーションはたかだか数十程度であるが、カメラとプロジェクタの３次元的な配置による対応点探索範囲の拘束条件（エピポーラ拘束）と併用することで有効に働く。
【００２９】
図２は本発明の実施例における投影パターンの一例である。
図２では、４画素×４画素の小領域を１〜３画素の間隔を空けて配置しており、投影パターン全体の中に１２００個の小領域が離散して存在している。図２では小領域は黒で示されているが、実際にはそれぞれの小領域は前述のように数十種類のＲＧＢの組み合わせパターンの中のどれか１つのパターンが設定されている。
【００３０】
図３は、歩行中の足に対してプロジェクタで図２の投影パターンを投影し、カメラでその反射光（すなわち足の表面に投影されたパターン）を撮影した撮像画像で検出された少領域である。
投影パターンは離散な小領域によって構成されているため、画像中でも離散な小領域が観測される。画像中で小領域を検出した後に、検出された各小領域中の色の分布を調べる。投影パターン中の小領域には個々を識別可能な特徴的色分布を設定しているため、画像中で検出された小領域の色分布も特徴的なものとなり、カメラ−カメラ間の対応点探索においても、あるいはカメラ−プロジェクタ間の対応点探索においても、誤認識を大幅に低減することができる。
【００３１】
（拡張例）
本発明は、以上説明したように、カメラで撮影した画像中の対応点の誤認識を大幅に低減するとともに、図６、図７に示されるように、対象物体表面に複数プロジェクタから投影された投影パターンが混在しても、どのプロジェクタから投影された点であるかを判別できる特徴を備える。
図６では、プロジェクタ１Ａと１Ｂで計測対象の物体３、この場合足に各プロジェクタ固有の投影パターンを投影し、その投影画像を撮像カメラで撮像し、撮像画像上の小領域の色分布、例えば、ＲＧＢのパターンを検出することにより、各プロジェクタ固有の投影パターンを判別する。 
【００３２】
このように、複数のプロジェクタで同時にパターンを投影する場合については、例えばプロジェクタ２台の場合ではプロジェクタ１Aの投影パターンに含まれる全ての小領域にはプロジェクタ１Bの投影パターンに含まれる全ての小領域と異なる色分布を持たせる。このようなプロジェクタ毎の小領域の種類の振り分けによって、図６に示すように、画像中に観測される複数プロジェクタからの投影パターンから、各小領域のＲＧＢの値の分布を調べることで、小領域を投影したプロジェクタを判別可能である。
【００３３】
（投影パターン上のある小領域と、撮像画像上の抽出小領域との対応付け方法の処理フローチャート）
図８は、本発明の投影パターン上のある小領域と、撮像画像上の抽出小領域との対応付け方法を説明するフローチャートである。
図８において、予め、計測対象物体の外形形状や必要な計測精度等に応じて小領域のブロックサイズを選択し、小領域のＩＤとなる色分布の内容情報を選択しておく。なお、これら選択事項は自動的に求まるようにすることもできる。例えば、計測対象物体の外側形状を撮像し、物体の表面の凹凸の程度に応じて小領域のブロックサイズを選択し、小領域のＩＤとなる色分布の内容情報を選択するようにすることもできる。
【００３４】
前記選択事項を計測装置の該当するプログラムへセットした段階で、プログラムをスタートする。以下、プログラムの手順をフローチャートで示す。ステップ（手順）は「Ｓ」と省略して記載する。
（１）小領域投影パターンを投影（Ｓ１）：
小領域の形状や順番や配置パターンを決めた投影パターン（図２参照）を、プロジェクタにより計測対象物体へ投影する（図３参照）。
（２）撮像（Ｓ２）：
Ｓ１のプロジェクタの投影に応じて撮像カメラにより計測対象物体を１回だけ撮像する
（図３参照）。
【００３５】
（３）撮像画像から小領域抽出し、色分布を検出（Ｓ３）：
撮像画像から小領域を適宜抽出し、この小領域の色分布を検出する。
（４）投影パターンの順番の小領域と撮像画像の抽出小領域との対応づけができたか？（Ｓ４）：
投影パターンの順番の小領域と撮像画像の抽出小領域との対応づけができたか？判断し、ＹＥＳの場合先に進み、ＮＯの場合Ｓ３へ戻る。
【００３６】
（５）投影パターン上のすべて又は必要とする小領域について、撮像画像上の小領域と対応付けできたか？（Ｓ５）：
投影パターン上のすべて又は必要とする小領域について、撮像画像上の小領域と対応付けできたか？判断し、ＹＥＳの場合先に進み、ＮＯの場合Ｓ３へ戻る。
対応付けの対象となる投影パターン上の小領域は、投影パターン上のすべて又は必要とする範囲（適宜設定した範囲等）に設定できる。
この対応付けのフローチャートを実行することにより、投影パターン上のすべて又は必要とする範囲の対応付けのデータが揃う。
【００３７】
図８では、対応付けのフローチャートの後に、点線で示した３次元位置算出のステップ６を実行して計測対象物体の表面の３次元位置データを求めることもできる。ステップ６は次のようになる。
（６）３次元位置算出（Ｓ６）：
先の対応付けフローチャートを実行して得た、投影パターン上の小領域の座標データと、これに対応する撮像画像上の小領域の座標データに基づき、周知の３次元形状を演算する手段により、計測対象物体の外側面の３次元座標データを求める。
【００３８】
（３次元形状演算手段）
上記のようにして対応付けできた投影パターン上の２次元座標データと撮像画像上の２次元座標データから計測対象の物体表面上の３次元座標を求める方法は、当該分野において周知事項であるので、ここでは説明を省略する。
【図面の簡単な説明】
【００３９】
【図１】本発明の３次元形状計測装置の構成図である。
【図２】本発明の投影パターン例である。
【図３】足に投影した本発明の投影パターンを撮像した例である。
【図４】本発明の色分布例１を示す。
【図５】本発明の色分布２を示す。
【図６】本発明のプロジェクタおよび撮像カメラを複数組設ける例を説明する図である。
【図７】本発明のプロジェクタおよび撮像カメラを複数組設けた場合の判別例を説明する図である。
【図８】本発明の処理手順を示すフローチャートである。
【図９】従来の三角測量の説明図である。
【図１０】従来のプロジェクタパターンを大量に切り替える例を示す図である。
【図１１】１画素毎にＩＤを設定する例を説明する図である。
【符号の説明】
【００４０】
１、１Ａ、１Ｂ    プロジェクタ
２、２Ａ、２Ｂ    カメラ
３    計測対象の物体
４    小領域
５    制御装置
【図１】
2008275392.tif 000003
【図２】
2008275392.tif 000004
【図３】
2008275392.tif 000005
【図４】
2008275392.tif 000006
【図５】
2008275392.tif 000007
【図６】
2008275392.tif 000008
【図７】
2008275392.tif 000009
【図８】
2008275392.tif 000010
【図９】
2008275392.tif 000011
【図１０】
2008275392.tif 000012
【図１１】
2008275392.tif 000013