(57)【特許請求の範囲】
【請求項１】
投影手段により明部と暗部とを有する複数種類のパターンが時系列に投影された対象物体を撮像した複数の画像を取得する画像取得手段と、
前記複数の画像における画素に対して、該画素の輝度に応じたラベルを付与する付与手段と、
前記投影される複数種類のパターンのうちのある１つのパターンにおける明部と暗部との境界が発生する位置では、他のパターンにおいて前記境界が発生しない制約に基づいて、前記付与されたラベルを変更する変更手段と、
前記変更されたラベルに基づいて、前記投影手段の投影面における前記パターンの位置と、前記取得された画像における前記パターンの位置との対応関係を導出する対応関係導出手段と備えることを特徴とする情報処理装置。
【請求項２】
前記変更手段は、前記付与手段によって付与された前記それぞれの画像における隣合う画素のラベルの変化が前記投影される複数のパターンの輝度の変化に存在するかどうかに基づいて、前記ラベルを変更することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記変更手段は、前記投影された複数種類のパターンのうち低周波なパターンから取得された画像における画素に対して付与されたラベルが、高周波なパターンから取得された画像における画素に対して付与されたラベルよりも確からしいとして、前記付与手段によって付与されたラベルを変更することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記付与手段は、前記画像における画素の輝度が、閾値よりも大きい場合と、小さい場合とで、それぞれ異なるラベルを付与することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記パターンは、グレイコードパターンであることを特徴とする請求項１乃至４のいずれか１項に記載された情報処理装置。
【請求項６】
前記導出された対応関係に基づいて、前記対象物体表面の三次元座標を導出する三次元座標導出手段を、更に有することを特徴とする請求項１乃至５のいずれか１項に記載された情報処理装置。
【請求項７】
前記三次元座標導出手段は、前記符号の境界となる位置を計測点として、前記対象物体表面の三次元座標を導出することを特徴とする請求項６に記載された情報処理装置。
【請求項８】
投影手段により明部と暗部とを有する複数種類のパターンが時系列に投影された対象物体を撮像した複数の画像を取得する画像取得工程と、
前記複数の画像における画素に対して、該画素の輝度に応じたラベルを付与する付与工程と、
前記投影される複数種類のパターンのうちのある１つのパターンにおける明部と暗部との境界が発生する位置では、他のパターンにおいて前記境界が発生しない制約に基づいて、前記付与されたラベルを変更する変更工程と、
前記変更されたラベルに基づいて、前記投影手段の投影面における前記パターンの位置と、前記取得された画像における前記パターンの位置との対応関係を導出する対応関係導出工程と備えることを特徴とする情報処理方法。
【請求項９】
コンピュータを、請求項１乃至７の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラとプロジェクタの対応関係を求める技術に関する。
【背景技術】
【０００２】
プロジェクタからパターン光を計測対象物体に投影し、その反射光を撮像装置が観測することで、投影座標と撮像座標の対応を取得し、三角測量の原理によって三次元座標を求める三次元計測装置が広く知られている。パターン光を投影し、反射光を観測する三次元計測手法では、拡散反射率が低い黒色物体や金属物体が計測対象物体である場合、反射光が小さくパターン光の観測輝度が低下してしまう。そのため、ショットノイズなどのノイズの影響を大きく受け、精度良く投影座標と撮像座標の対応を求めることができないため、三次元計測精度が悪化する。
【０００３】
この問題に対処する方法のひとつに、特許文献１では、特定のパターンの露光時間を長くすることによって、観測輝度を高め、ノイズの影響を低減している。また、非特許文献２では、プロジェクタが出力する光の広がり方を狭め、パターン光の照度を大きくし、高精度な計測に必要な観測輝度を得ている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１１５２６４号公報
【非特許文献】
【０００５】
【非特許文献１】Ｇｕｐｔａ，  Ｍｏｈｉｔｔｅｎ  Ａｇｒａｗａｌ，  Ａｍｉｔｔｅｎ  Ｖｅｅｒａｒａｇｈａｖａｎ，  Ａｓｈｏｋ； Ｎａｒａｓｉｍｈａｎ，  Ｓｒｉｎｉｖａｓａ  Ｇ，  Ｓｔｒｕｃｔｕｒｅｄ  Ｌｉｇｈｔ  Ｉｎ  Ｓｕｎｌｉｇｈｔ，  ＩＣＣＶ，  ２０１３
【非特許文献２】Ｇｕｐｔａ，Ｍｏｈｉｔ；Ａｇｒａｗａｌ，Ａｍｉｔ；Ｖｅｅｒａｒａｇｈａｖａｎ，Ａｓｈｏｋ；Ｎａｒａｓｉｍｈａｎ，Ｓｒｉｎｉｖａｓａ  Ｇ，Ｓｔｒｕｃｔｕｒｅｄ  Ｌｉｇｈｔ  ３Ｄ  Ｓｃａｎｎｉｎｇ  Ｕｎｄｅｒ  Ｇｌｏｂａｌ  Ｉｌｌｕｍｉｎａｔｉｏｎ，ＣＶＰＲ，２０１１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の手法では、しかし、露光時間を長くするため、計測時間がかかるという課題がある。。また、非特許文献１の手法では、パターン光が投影される範囲が狭まるため、計測範囲が狭まるという課題がある。
【０００７】
本発明は上記問題に鑑みてなされたものであり、パターンが投影された対象物体の観測輝度が小さくてノイズの影響を受ける場合でも、高精度に投影座標と撮像座標の対応を求めることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の情報処理装置は、例えば、投影手段により明部と暗部とを有する複数種類のパターンが時系列に投影された対象物体を撮像した複数の画像を取得する画像取得手段と、前記複数の画像における画素に対して、該画素の輝度に応じたラベルを付与する付与手段と、前記投影される複数種類のパターンのうちのある１つのパターンにおける明部と暗部との境界が発生する位置では、他のパターンにおいて前記境界が発生しない制約に基づいて、前記付与されたラベルを変更する変更手段と、前記変更されたラベルに基づいて、前記投影手段の投影面における前記パターンの位置と、前記取得された画像における前記パターンの位置との対応関係を導出する対応関係導出手段と備える。
【発明の効果】
【０００９】
本発明によれば、パターンが投影された対象物体の観測輝度が小さくてノイズの影響を受ける場合でも、高精度に投影座標と撮像座標の対応を求めることができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態の情報処理装置の構成例を示すブロック図。
【図２】空間分割パターンの例としてグレイコードのパターンを示す図。
【図３】パターン１で明暗境界となるパターンエッジ位置のコードを示す図。
【図４】パターン２で明暗境界となるパターンエッジ位置のコードを示す図。
【図５】第１の実施形態のエッジ検出手段による処理を説明する図。
【図６】第１の実施形態の情報処理装置による計測処理フローチャート。
【図７】空間分割パターンの例としてＭＭＳＷ（Ｍａｘｉｍｕｍ  Ｍｉｎ−Ｓｔｒｉｐｅ−Ｗｉｄｔｈ）のパターンを示す図。
【図８】グレイコードとＭＭＳＷの最も縞幅が細いパターンの一部の比較を示す図。
【図９】連続画素におけるＭＭＳＷのパターンを示す図。
【図１０】撮像画像を二値化した結果を示す図。
【図１１】第２の実施形態の情報処理装置による処理を説明する図。
【図１２】第２の実施形態の情報処理装置による処理を説明する図。
【図１３】第２の実施形態の情報処理装置による処理を説明する図。
【図１４】第２の実施形態の三次元計測装置による計測処理を説明するフローチャート。
【図１５】第３の実施形態の三次元計測装置の構成例を示すブロック図。
【図１６】第３の実施形態の情報処理装置による処理を説明する図。
【図１７】第３の実施形態の情報処理装置による処理を説明する図。
【図１８】第３の実施形態の情報処理装置による処理フローチャート。
【図１９】多値の輝度レベルからなる投影パターンの一例を示す図。
【図２０】第４の実施形態の情報処理装置による処理フローチャート。
【図２１】第５の実施形態の情報処理装置の構成例を示すブロック図。
【図２２】第５の実施形態の情報処理装置による処理フローチャート。
【図２３】本願発明の情報処理装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明にかかる実施形態の情報処理装置を詳細に説明する。
【００１２】
本発明にかかる実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図２３を用いて説明する。
【００１３】
図２３は、本実施形態における情報装置のハードウェア構成図である。同図において、ＣＰＵ２３１０は、バス２３００を介して接続する各デバイスを統括的に制御する。ＣＰＵ２３１０は、読み出し専用メモリ（ＲＯＭ）２３２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ２３２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）２３３０に一時記憶され、ＣＰＵ２３１０によって適宜実行される。また、入力Ｉ／Ｆ２３４０は、外部の装置（表示装置や操作装置など）から情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ２３５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。
【００１４】
これらの各機能部は、ＣＰＵ２３１０が、ＲＯＭ２３２０に格納されたプログラムをＲＡＭ２３３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ２３１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
【００１５】
（第１の実施形態）
第１の実施形態の情報処理装置は、投影したグレイコードパターン群の構造的特徴に基づき、ノイズの影響を受けて発生した計測対象領域の識別誤りを訂正、決定することで、高精度な三次元座標を算出できるようにしたものである。
【００１６】
［装置の構成］
図１のブロック図により本実施形態の情報処理装置１１００を備える三次元計測装置１０００の構成例を示す。投影装置１は、空間分割パターン光を計測対象物体に投影する。パターンは、計測対象物体の表面で反射し、撮像装置２によって撮像される。撮像装置２が撮像した画像は、情報処理装置１１００に送られ、情報処理装置１１００によって対象物体の三次元座標が算出される。また、情報処理装置１１００は、投影装置１および撮像装置２の動作を制御する。
【００１７】
情報処理装置１１００は、投影制御部１０１、画像入力部１０２、ラベル付与部１０３、ラベル変更部１０４、エッジ検出部１０５、三次元座標算出部１０６、出力部１０７とを備える。
【００１８】
投影制御部１０１は、図２に示す明部と暗部とを含むグレイコードのパターン画像を保持しており、投影装置１を制御し、グレイコードパターンの低周波パターンから高周波パターンへ順番にパターンを投影させると同時に、画像入力部１０２に制御信号を出力する。ただし、投影されるパターンはグレイコードに限る必要はなく、後述するグレイコードパターン群の特徴と同様の特徴を持っている空間分割パターン群であればよい。
【００１９】
画像入力部１０２は、投影制御部１０１から入力された制御信号のタイミングに合わせて、撮像装置２を制御し、撮像させ、パターンが投影された撮像画像を受けとる（画像取得）。さらに、該撮像画像をラベル付与部１０３に逐次出力する。ただし、パターンの投影、撮像は順番に行う必要はなく、順番は変更してもよいし、各パターンの光の波長を分けて投影し、各波長に対応した撮像装置を用いることで、全パターンを同時に投影、撮像してもよい。
【００２０】
ラベル付与部１０３は、パターンが投影された撮像画像の輝度値に応じて二値（白、黒）のラベルを付与する。二値化は通常の空間符号化と同様の手法を用いればよく、例えば、撮像画像の輝度ヒストグラムをある閾値で分割した際に、クラス間分散が最大となる閾値で二値化すればよい。ラベル付与部１０３は、得られた二値化結果をラベル変更部１０４に出力する。
【００２１】
ラベル変更部１０４は、グレイコードパターンの特徴を利用し、ラベル付与部１０３から入力された二値化結果のラベル付け誤りを訂正するために、ラベルを変更する。ラベル変更部３０２は、得られた二値化結果をエッジ検出部１０５に出力する。
【００２２】
エッジ検出部１０５は、ラベル変更部１０４から入力された二値化結果からサブピクセルエッジを検出する。検出されたサブピクセル精度のエッジ位置をラベル変更部１０４に出力する。また、全パターンの処理が終了した際は、各パターンの二値化結果とサブピクセルエッジ情報を統合し、空間符号化を行い、投影座標と画像座標の対応関係を求める（対応関係導出）。得られた投影座標と画像座標の対応関係を三次元座標算出部１０６に出力する。
【００２３】
三次元座標算出部１０６では、エッジ検出部１０５から入力された投影座標（投影面上の座標、即ち、プロジェクタの画像座標）と画像座標との対応関係を用いてサブピクセルエッジに対応する三次元計測点を導出する（三次元座標導出）。投影座標と画像座標との対応関係と予め求められた投影装置１と撮像装置２の較正データから、三次元座標を算出（導出）する。
【００２４】
出力部１０７は、得られた三次元座標をモニタ、他のコンピュータやサーバ装置、補助記憶装置、各種記録媒体などに出力する。
【００２５】
これらの各機能部は、ＣＰＵ２３１０が、ＲＯＭ２３２０に格納されたプログラムをＲＡＭ２３３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ２３１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
【００２６】
［計測処理］
図６のフローチャートにより第１の実施形態の情報処理装置１１００による計測処理を説明する。
【００２７】
（ステップＳ１１）
ステップＳ１１では、三次元計測装置１０００が起動されると、初期化処理が実行される。初期化処理には、投影装置１や撮像装置２の起動、投影装置１と撮像装置２の較正データや投影パターンを読み込む処理などが含まれる。
【００２８】
（ステップＳ１２）
ステップＳ１２では、投影制御部１０１は、グレイコードパターンの低周波パターンから高周波パターンの順で投影装置１にパターンを投影させるとともに、画像入力部１０２に制御信号を送る。制御信号を受けた画像入力部１０２は、撮像装置２にパターンが投影された画像を撮像させ、撮像画像をラベル付与部１０３に送る。
【００２９】
（ステップＳ１３）
ステップＳ１３では、撮像画像を受けたラベル付与部１０３はパターンが投影された撮像画像に二値のラベルを付与する。
【００３０】
（ステップＳ１４）
ステップＳ１４では、ラベル変更部１０４が、グレイコードの特徴に基づき、これまでに検出されたエッジ位置を用いて、パターン群の制約が保たれるようにラベルを変更する。図２に示すように、グレイコードは隣合うコードのハミング距離が１（例えば００１００と００１１０）であるという特徴があるため、あるパターンのエッジを形成する隣接した投影画素（以下、パターンエッジ位置）は他パターンでは同じ明暗である。また、グレイコードは識別できた領域ごとに一本のエッジを投影している。そのため、低周波パターンから高周波パターンへ順に処理をすると、エッジが検出された時点で、エッジを形成する撮像画素（以下、エッジ位置）と投影座標の対応関係が求められ、エッジ位置のそれ以降のパターンにおけるラベルを決定できる。
【００３１】
例えば、図３のパターン１に設定された枠で示すパターンエッジ位置では、パターン１で明暗が異なり、パターン２では明、パターン３以降では暗と決められている。さらに、図４の枠で示す二つのパターンエッジ位置では、パターン２で明暗が異なり、パターン３では明、パターン４以降では暗と決められている。このようにグレイコードにおけるパターンエッジ位置は、あるパターンで明暗が異なると、次のパターンでは明、それ以降のパターンでは暗、というように符号が決められている。そこで、この特徴を利用して（参照して）、より高周波なパターンを復号する際には、それまでのより低周波なパターンで検出されたエッジ位置において既に決定されているラベルでラベル変更を行う。より低周波なパターンであるほど明暗の縞が太いためコントラストが高く、ラベル付けが容易であると考えられるため、エッジ位置も確からしいと言える。したがって、低周波なパターンから順に処理をすることで、より確からしいラベルを優先的に付与することができる。エッジ位置は、後段のエッジ検出部１０５から得られる。このようにして、パターン群の制約（パターンの時系列の特性）が保たれた、より尤もらしい二値化結果を得る。
【００３２】
（ステップＳ１５）
ステップＳ１５では、エッジ検出部１０５が、二値化結果に基づき、エッジ位置、および、サブピクセルエッジを検出する。エッジ検出部１０５による処理を図５に示す。まず、二値化結果を画像の横方向（エッジが横方向であれば画像の縦方向）に走査して、白ラベルと黒ラベルが入れ替わる境界の隣接画素を抽出し、エッジ位置とする。そして、エッジ位置が滑らかに繋がるようなサブピクセルエッジを、関数フィッティングを行うなどして求める。なお、エッジ位置は隣接画素に限定する必要はなく、複数の画素によって幅を持たせてもよい。また、サブピクセルエッジの求め方も関数フィッティングに限定する必要はない。例えば、図２の正パターンに加えて明暗反転パターンも投影、撮像し、正パターンと反転パターンの観測輝度をプロットした際にできる交点位置をサブピクセルエッジとしてもよい。エッジ検出部１０５では、このようにして得られたパターンの二値化結果とサブピクセルエッジを記憶し、エッジ位置をラベル変更部１０４に出力する。
【００３３】
（ステップＳ１６）
ステップＳ１６では、エッジ検出部１０５は、全パターン画像の投影、撮像、および、処理が終了したかを判定する。終了していれば、ステップＳ１７に処理が進み、終了していなければ、ステップＳ１２に処理が戻る。
【００３４】
（ステップＳ１７）
ステップＳ１７では、三次元座標算出部１０６は、投影座標と画像座標との対応関係から、三次元座標を算出して、出力部１０７に送出する。そして、出力部１０７が三次元座標のデータを出力し、処理を終了する。
【００３５】
なお、ステップＳ１２の処理は必ずしも繰り返しの中に含める必要はない。ステップＳ１２で全パターンを投影、撮像してからステップＳ１３からステップＳ１５までの処理を繰り返してもよいし、並列処理することも可能である。また、ステップＳ１３とステップＳ１４の処理については、図に示す順序で実行する必要はなく、適宜順序を入れ替えてもよい。
【００３６】
上記に述べた構成で、投影パターンの幾何的特徴を利用して、空間コードの符号の誤りを訂正することにより、撮像画像に発生したノイズの影響を低減し、三次元座標を高精度に算出することができる。
【００３７】
（第２の実施形態）
第２の実施形態では、グレイコードよりも低反射物体の計測に適しているＭａｘｉｍｕｍ  ｍｉｎ  Ｓｔｒｉｐｅ−Ｗｉｄｔｈ（以下、ＭＭＳＷ）パターンを投影し、空間符号化を行う。さらに、ＭＭＳＷパターン群の特徴に基づき、ノイズの影響を受けて発生した計測対象領域の識別誤りを訂正、決定することで、高精度な三次元座標を算出する。
【００３８】
［装置の構成］
以下、本発明にかかる第２の実施形態の情報処理装置２１００を説明する。
【００３９】
情報処理装置２１００は、投影制御部２０１、画像入力部２０２、ラベル付与部２０３、ラベル変更部２０４、エッジ検出部２０５、三次元座標算出部２０６、出力部２０７とを備える。本実施形態のブロック図は第１の実施形態（図１）と同様の構成であるため、ブロック図を省略する。
【００４０】
投影制御部２０１は、非特許文献１で用いられている図７に示すＭＭＳＷのパターン画像を保持している。ＭＭＳＷパターンは最も幅が狭い縞がなるべく太くなるように設計されたパターンである。したがって、図８に示すように、ＭＭＳＷは最も細い縞の幅がグレイコードに比べ太い縞で構成されたコードであるため、最も不利な時のコントラストが高くノイズの影響を受けにくい特徴を持っており、より低反射物体の計測に適している。投影装置１を制御し、ＭＭＳＷパターンを投影させると同時に、画像入力部２に制御信号を出力する。ただし、投影されるパターンはＭＭＳＷに限る必要はなく、後述するラベル変更部２０４の説明で記述するＭＭＳＷパターン群の特徴を持っている空間分割パターン群であればよい。また、パターンの投影、撮像は順不同であり、各パターンの光の波長を分けて投影し、各波長に対応した撮像装置を用いることで、全パターンを同時に投影、撮像してもよい。
【００４１】
ラベル変更部２０４は、ＭＭＳＷパターンの特徴を利用し、ラベル付与部２０３から入力された二値化結果のラベル付け誤りを訂正する。ＭＭＳＷはグレイコードと同様に、パターンエッジ位置のハミング距離が１であるという特徴がある。そのため、全パターンの二値化が完了した後、エッジ位置のハミング距離が１になるようにラベルを変更すれば、パターン群の制約が保たれた二値化結果が得られる。得られた二値化結果をエッジ検出部２０５に出力する。
【００４２】
その他の動作については、第１の実施形態と同様であるため省略する。
【００４３】
［計測処理］
図１４のフローチャートにより第２の実施形態の三次元計測装置２０００による計測処理を説明する。
【００４４】
（ステップＳ２２）
ステップＳ２２では、投影制御部２０１は、投影装置１にＭＭＳＷパターン光を投影させるとともに、画像入力部２０２に制御信号を送る。制御信号を受けた画像入力部２０２は、撮像装置２にパターンが投影された画像を撮像させる。ステップＳ２３の判定により、全パターン画像の投影、撮像が終了するまでステップＳ２２が繰り返される。終了後、撮像画像を画像処理部２０３に送る。
【００４５】
（ステップＳ２４）
ステップＳ２４では、撮像画像を受けたラベル付与部２０３は、パターンが投影された撮像画像に二値のラベルを付与する。
【００４６】
（ステップＳ２５）
ステップＳ２５では、ラベル変更部２０４が、ＭＭＳＷの特徴に基づき、パターン群の制約が保たれるようにラベルを変更する。
【００４７】
本実施形態では、ＭＭＳＷパターンの特徴を利用し、ラベル付与部２０３から入力された二値化結果のラベル付け誤りを訂正する。ＭＭＳＷはグレイコードと同様に、パターンエッジ位置のハミング距離が１であるという特徴がある。そのため、全パターンの二値化が完了した後、エッジ位置のハミング距離が１になるようにラベルを変更すれば、パターン群の制約が保たれた二値化結果が得られる。
【００４８】
ＭＭＳＷパターンの特徴を利用したラベル付け誤りの訂正方法について詳しく述べる。ここでは図７のＭＭＳＷパターンにおいて、横方向に連続する５１１から５１５画素目を例に挙げて、処理の流れを説明する。図９に５１１から５１５画素目の連続画素におけるＭＭＳＷの投影パターンを示す。図９のように、ＭＭＳＷのパターンエッジ位置のハミング距離は１であり、枠で囲っている部分のみ明暗が変化している。各投影画素に対して対応するコードが決められており、例えば、５１３画素目に対応するコードは００００１１００１１というように、ＭＭＳＷでは対応表を用いて投影画素とコードを対応させる。以下、あるコードに対して対応する投影画素を対応画素と呼ぶ。各パターンの撮像画像を二値化した結果を図１０に示す。ただし、図１０では一部に二値化の誤りを含んでいるものとする。
【００４９】
まず、誤りの可能性がある誤り候補を検出する。ＭＭＳＷは各パターンが太い縞であるため、局所的に異なるラベルが振られることはほとんど起こらないと考えられる。よって、図１１の灰色画素のように、各パターンにおいて、ラベルが１画素ごとに白‐黒‐白（１‐０‐１）、または、黒‐白‐黒（０‐１‐０）と変化する中央の画素は誤りの可能性が高いため、誤り候補とする。また、図１１の灰枠のように、誤り候補を含まない白ラベルと黒ラベルが変化する隣接画素を抽出し、エッジ位置とする。
【００５０】
続いて、図１２の分類に基づいて誤り候補のラベルが誤りかどうかを判定して、必要に応じてラベルを変更する方法について説明する。
【００５１】
（ステップＳ１２０１）
はじめに、図１１の領域６００１のように孤立している誤り候補の画素は、誤りであると見なし、白ラベルであれば黒ラベルに、黒ラベルであれば白ラベルに変更する。
【００５２】
（ステップＳ１２０２）
次に、領域６００２、６００３のように誤り候補が連続している画素の処理について述べる。ステップＳ１２０２では、領域６００２のように片方の画素がエッジ位置であるか否かを判定する。片方の画素がエッジ位置である場合は、その画素ともう一方のエッジ位置の画素のハミング距離が１になるように、エッジ位置の画素つまり領域６００２の右画素の白ラベルを黒ラベルに変更する。なぜなら、この二つの画素における計測対象物体表面が、ハミング距離が２となるような不連続な面であると考えるよりも、連続的な面にパターンエッジ位置に対応する部分が投影されており、領域６００２の右の画素が誤っているためにハミング距離が２になっていると考えた方が尤もらしいからである。
【００５３】
（ステップＳ１２０３）
次に、ステップＳ１２０３では、ステップＳ１２０２で片方の画素がエッジ位置ではないと判定された画素に対して、両方の画素がエッジ位置であるか否かを判定する。そして、領域６００３のように、連続している誤り候補の両方の画素がエッジ位置である場合、ハミング距離が１になるように、かつ、対応画素の差が小さくなるように、ラベルを変更する。なぜなら、連続する複数の撮像画素において対応画素が頻繁に変化することは、計測対象物体表面が鋭利な凹凸形状でない限り起こらないと考えられるためである。図１１の例では、領域６００３の右画素の対応画素は６８、左画素の対応画素は５１２である。右画素の黒ラベルを白ラベルに変更すると、ハミング距離は１、対応画素は５１３となり、対応画素の差は１となる。一方、左画素の白ラベルを黒ラベルに変更すると、ハミング距離は１だが、対応画素は５１１となり、対応画素の差は４４３となってしまう。よって、右画素のラベルを変更した方が隣合う撮像画素間の対応画素の差が小さくなるため、右画素を誤りと見なしてラベルを変更すればよい。また、連続している誤り候補の画素が、エッジ位置では無い場合は、どちらが誤りか判断できないため、両方の画素のラベルを変更してもよいし、どちらか一方の画素のラベルを変更してもよい。
【００５４】
このようにＭＭＳＷパターン群の特徴を利用することで、パターン群の制約が保たれた、図１３のような、より尤もらしい二値化結果を得る。なお、誤り候補の検出は１画素ごとに限定する必要はなく、２画素以上ごとに検出してもよい。また、エッジ位置は隣接画素に限定する必要はなく、ある程度の画素幅を持たせてもよい。得られた二値化結果をエッジ検出部２０５に出力する。
【００５５】
（ステップＳ２６）
ステップＳ２６では、そして、エッジ検出部２０５が、二値化結果に基づき、サブピクセルエッジを検出し、空間符号化により投影座標と画像座標の対応関係を求める。
【００５６】
（ステップＳ２７）
ステップＳ２７では、三次元座標算出部２０６は、投影座標と画像座標との対応関係から、三次元座標を算出して、出力部２０７に送出する。そして、出力部２０７が三次元座標のデータを出力し、処理を終了する。
【００５７】
このように、空間分割パターン群として太い縞で構成されているＭＭＳＷを用いて、ＭＭＳＷパターン群の特徴を利用することで、撮像画像に発生したノイズの影響を低減し、三次元座標を高精度に算出することができる。
【００５８】
（第３の実施形態）
第３の実施形態において説明する装置は、パターン投影を用いた三次元計測装置であり、ＭＭＳＷパターンなどを用いて、投影の有無を表す二値化のラベル付けを行う際に、曖昧な領域には曖昧なことを示すラベルを一旦付与し、後段の処理で空間的な近傍情報（分布）に基づいて、二値化のラベル付けを確定する。このようにすることにより、ノイズの影響を受けて計測対象領域の識別誤りが発生することを防止することが可能となり、高精度な三次元座標を算出することができる。
【００５９】
［装置の構成］
第３の実施形態に係る情報処理装置３１００は、投影制御部３０１、画像入力部３０２、ラベル付与部３０３、ラベル変更部３０４、エッジ検出部３０５、第２のラベル変更部３０６、三次元座標算出部３０７、出力部３０８とを備える。以下、本発明にかかる第３の実施形態の情報処理装置３１００を図１５のブロック図により説明する。第３の実施形態は、図１の構成を一部変更したものである。ここでは第１の実施形態と異なる部分を中心に説明する。
【００６０】
投影制御部３０１は、第２の実施形態と同様にＭＭＳＷのパターン画像を保持しており、同様の処理を行うため説明を省略する。投影パターンはＭＭＳＷに限る必要はないが、高いコントラストが得られるパターンが望ましい。
【００６１】
ラベル付与部３０３では、パターンが投影された撮像画像の輝度値に応じて三値（白、灰、黒）のラベルを付与する。得られた三値化結果をラベル変更部３０４に出力する。
【００６２】
ラベル変更部３０４は、撮像画像において空間的な近傍では同ラベルである可能性が高いという情報を利用して、ラベル付与部３０３から入力された三値化結果を初期値として最適化し、ラベルを決定する。得られた三値最適化結果をエッジ検出部３０５に出力する。
【００６３】
エッジ検出部３０５は、ラベル変更部３０４から入力された三値最適化結果からサブピクセルエッジ（境界位置）を検出する。処理の詳細は後述する。求められたサブピクセルエッジを第２のラベル変更部３０６に出力する。
【００６４】
第２のラベル変更部３０６は、エッジ検出部３０５から入力されたサブピクセルエッジに従って、曖昧領域（灰ラベル）の白ラベル、黒ラベルを決定し、空間符号化する。処理の詳細は後述する。
【００６５】
その他の構成については、第１の実施形態と同様であるため省略する。
【００６６】
［計測処理］
図１８のフローチャートにより第３の実施形態の三次元計測装置３０００による計測処理を説明する。
【００６７】
（ステップＳ３１）
ステップＳ３１では、三次元計測装置３０００が起動されると、初期化処理が実行される。初期化処理には、投影装置１や撮像装置２の起動、投影装置１と撮像装置２の較正データや投影パターンを読み込む処理などが含まれる。
【００６８】
（ステップＳ３２）
ステップＳ３２では、投影制御部３０１は、ＭＭＳＷパターンを投影装置１に投影させるとともに、画像入力部３０２に制御信号を送る。制御信号を受けた画像入力部３０２は、撮像装置２にパターンが投影された画像を撮像させ、撮像画像をラベル付与部３０３に送る。
【００６９】
（ステップＳ３３）
ステップＳ３３では、撮像画像を受けたラベル付与部３０３は、パターンが投影された撮像画像に三値のラベルを付与する。ラベル付与部３０３は、パターンが投影された撮像画像の輝度値に応じて三値（白、灰、黒）のラベルを付与する。グレイコードのような明暗パターンを用いた空間符号化では、通常撮像画像を二値（白、黒）にラベル付けし識別するが、ここでは曖昧で決められない部分は無理に二値化せず、灰ラベルを付与しておき、後段で二値化する。ある画素ｐにおける三値化結果ｇｐは、撮像画像の輝度Ｉ、白ラベルと黒ラベルを分ける輝度の閾値ｔ、灰ラベルの輝度範囲ｗを用いると、
【００７０】
【数１】
0006571948.tif 000002
【００７１】
と表わされる。１が白ラベル、０が灰ラベル、−１が黒ラベルを表している。閾値ｔは、第１の実施形態と同様に、通常の空間符号化において二値化の際に用いる閾値と同じ値を設定すればよい。灰ラベルの輝度範囲ｗは、後述する注目画素ｐの信頼度に基づき、値を決定する。三値化を行うことによって、閾値付近の曖昧な部分を無理に二値化せず後段の第２のラベル変更部３０６で精度良くラベルを決めることができる。さらに、ＭＭＳＷパターンを用いているおかげでコントラストが比較的高く、信頼度が高くなるため、灰ラベルになる割合を低く抑えられる。このようにして得られた三値化結果をラベル変更部３０４に出力する。
【００７２】
信頼度と灰ラベルの輝度範囲wについて説明する。信頼度とは、注目画素pにおけるラベル誤り率、ＳＮ比、輝度の大きさなどに基づいて決めることができる値である。例えば、計測対象に対して明部だけからなるパターンと暗部だけからなるパターンをそれぞれ投影して撮像した２枚の画像において、暗部だけからなるパターンを投影した画像の方が輝度が高くなっている画素は、投影パターンのＳＮ比が低く誤りが生じていると考えられる。そこで、注目画素pに対して適当な大きさの窓を考え、近傍領域の画素の中で誤りが発生している画素の割合をラベル誤り率とし、１とラベル誤り率の差を信頼度とする。信頼度が低いほど白ラベルにすべきか黒ラベルにすべきか決めづらいため、灰ラベルにラベル付けされる画素が非常に多くなってしまう傾向にある．そのため，灰ラベルの輝度範囲wは注目画素pの信頼度が高いほどwの値を大きく、信頼度が低いほどwの値を小さく設定する。このように閾値を設定することで、灰ラベルにラベル付けされる画素数をある程度の範囲に収めることができる。
【００７３】
（ステップＳ３０４）
次に、三値のラベルを受けたラベル変更部３０４は、各画素のラベルを空間的な近傍情報に基づき、尤もらしいラベルに最適化し、決定（変更）する。即ち、ラベル変更部３０４は、撮像画像において空間的な近傍では同ラベルである可能性が高いという情報を利用して、ラベル付与部３０３から入力された三値化結果を初期値として最適化し、ラベルを変更する。縞パターンはある程度の縞の幅を持ったパターンであること、および、一般的には投影装置１よりも撮像装置２の方が空間解像度が高いことから、投影パターンにおける明暗の縞幅は複数の撮像画素と対応する。したがって、撮像画像中の注目画素の近傍画素（８近傍など）を見た際、近傍画素は注目画素と同ラベルである可能性が高い。これを利用し、例えば、近傍画素において各ラベルの多数決を取ることで注目画素のラベルを決定すれば、注目画素により尤もらしいラベルを付与することができる。ここでは、下記のようなコスト関数Ｃを設計し、コストが最小になるようなラベル組み合わせＧを求める。
【００７４】
【数２】
0006571948.tif 000003
【００７５】
Ｖはすべての画素の集合、Ｅはすべての画素に対応する近傍画素の集合を表す。また、ｐは注目画素、ｑは近傍画素を示す添え字である。データコストＤは注目画素ｐ単体としてみた場合にどのラベルが妥当かを表し、スムーズコストＷは近傍画素ｑのラベルと注目画素ｐの関係を見た場合にどのラベルが妥当かを表している。λは重みを表すが、λが大きいほどスムーズコストＷの影響が大きくなり、強く平滑化されたような結果となる。データコストＤやスムーズコストＷの設計は、上記ではラベル情報のみを用いているが、撮像画像の輝度情報を用いるなどしてもよい。コスト関数Ｃを最小化する手法としては、Ｉｔｅｒａｔｅｄ  Ｃｏｎｄｉｔｉｏｎａｌ  Ｍｏｄｅｓ、Ｇｒａｐｈ  Ｃｕｔ、Ｂｅｌｉｅｆ  Ｐｒｏｐａｇａｔｉｏｎなど様々あるが、どれを用いてもよい。このようにして、ノイズの影響が大きいために発生したラベル付け誤りを低減する。得られた三値最適化結果をエッジ検出部３０５に出力する。
【００７６】
（ステップＳ３５）
ステップＳ３５において、エッジ検出部３０５は、決定した三値最適化結果に基づき、サブピクセルエッジを検出する。
【００７７】
エッジ検出部３０５による処理を図１６に示す。灰ラベル付近にエッジが存在すると考えられるため、まず、三値化結果を画像の横方向（エッジが横方向であれば画像の縦方向）に走査して、灰ラベルとその近傍の白黒ラベルの領域を抽出し、エッジの候補点とする。そして、エッジ候補点群の中心付近を通るようなサブピクセルエッジを、エッジ候補点に対して関数フィッティングを行うなどして求める。求められたサブピクセルエッジを第２のラベル変更部４０３に出力する。
【００７８】
（ステップＳ３６）
ステップＳ３６において、第２のラベル変更部３０６は、求められたサブピクセルエッジに基づき、エッジ位置を検出し、灰ラベルを二値の白黒ラベルに変更する。
【００７９】
第２のラベル変更部３０６の処理を図１７に示す。まず、サブピクセルエッジが通る画素単位の位置であるエッジ位置（境界位置）を求める。エッジ位置以外の灰ラベルは、エッジ位置の左右（エッジが横方向であれば上下）でラベルを決定する。例えば図１７の場合では、エッジ位置の左にある場合は黒ラベル、右にある場合は白ラベルに変更する。次に、エッジ位置の灰ラベルを、サブピクセルエッジを境界として左右で画素内の面積が広い方のラベルに変更する。図１７下の場合のように、エッジ位置のある画素においてサブピクセルエッジが左寄りである場合は、右側の面積が広いので白ラベルに変更する。このようにして、エッジ位置と二値化結果を得る。なお、エッジ位置はサブピクセルエッジが通る画素に限定する必要はなく、ある程度の画素幅を持たせてもよい。
【００８０】
（ステップＳ３７）
ステップＳ３７において、全パターン画像の投影、撮像、および、処理が終了したかを判定する。処理が終了したと判定されるまで、ステップＳ３２からステップＳ３６までが繰り返され、空間符号化により投影座標と画像座標の対応関係を求められる。処理すべきパターンがまだ残っている場合は、得られたパターンの三値化結果とサブピクセルエッジを記憶し、次のパターンの処理を行う。全パターンの処理が終了した際は、各パターンの多値化結果とサブピクセルエッジ情報を統合し、空間符号化を行い、投影座標と画像座標の対応関係を求める。得られた投影座標と画像座標の対応関係を三次元座標算出部３０７に出力する。
【００８１】
（ステップＳ３８）
ステップＳ３８において、三次元座標算出部３０７は、投影座標と画像座標との対応関係から、三次元座標を算出して、出力部３０８に送出する。そして、出力部３０８が三次元座標のデータを出力し、処理を終了する。
【００８２】
なお、ステップＳ３２の処理は図の繰り返しの中に含める必要はない。ステップＳ３２で全パターンを投影、撮像してからステップＳ３３からステップＳ３６までの処理を繰り返してもよいし、並列処理することも可能である。
【００８３】
このように、縞幅の細いパターンを含まないパターン群を用いて、空間的な近傍情報を利用することで、撮像画像に発生したノイズの影響を低減し、三次元座標を高精度に算出することができる。
【００８４】
（第４の実施形態）
第４の実施形態において説明する装置は、三次元計測装置であり、投影されるパターンの輝度レベルが多段階であり、投影の有無を表すラベル付けを行う際に、投影輝度レベルよりも多段階のラベルを用いて曖昧な領域には曖昧なことを示すラベルを付与する。曖昧なラベルは空間的な近傍情報に基づき後段の処理で投影輝度レベルに合わせたラベルに修正することによって、ノイズの影響を受けて発生する計測対象領域の識別誤りを訂正し、より少ない投影枚数によって、高精度な三次元座標を算出する。
【００８５】
［装置の構成］
以下、本実施形態における装置の構成について説明する。第４の実施形態に係る情報処理装置４１００は、投影制御部４０１、画像入力部４０２、ラベル付与部４０３、ラベル変更部４０４、エッジ検出部４０５、第２のラベル変更部４０６、三次元座標算出部４０７、出力部４０８とを備える。第４の実施形態は、図１５の構成を一部変更したものである。従って、ここでは第３の実施形態と異なる部分を中心に説明する。
【００８６】
投影制御部４０１は、図１９に示すＰ１、Ｐ２…Ｐｍのｍ段階（Ｐ１＞Ｐ２＞…＞Ｐｍとしても一般性を失わない）の輝度レベル（図１９ではｍ＝４）からなるパターン画像を保持しており、投影制御部１を制御し、１枚ずつ順番にパターンを投影させると同時に、画像入力部４０２に制御信号を出力する。ただし、パターンの投影、撮像は順不同であり、各パターンの光の波長を分けて投影し、各波長に対応した撮像装置を用いることで、全パターンを同時に投影、撮像してもよい。図１９に示したパターンの例では、（１）から（４）は対象物体に各輝度レベルを投影した時の観測輝度を求めるための輝度較正用パターンであり、（５）から（７）は空間分割のための符号化パターンである。多値のパターンを用いることで、１枚当たりの識別可能な領域が増えるため、より少ない投影枚数で投影装置１と撮像装置２との対応関係を求めることができる。例えば、グレイコードのような通常の明暗パターンでは、新たな符号化パターンを１枚投影するごとに一意に識別可能な領域の数が２倍に増えるが、図１９に示した例では、４段階の輝度レベルから成るパターンであるため、新たな符号化パターン１枚に付き一意に識別可能な領域の数が４倍に増える。
【００８７】
ラベル変更部４０４は、空間的な近傍では同ラベルである可能性が高いことを利用しラベルを変更する。
【００８８】
エッジ検出部４０５は、多値化結果からサブピクセルエッジを求める。
【００８９】
第２のラベル変更部４０６は、サブピクセルエッジを元に多値化結果を投影輝度レベルに決定する。
【００９０】
ラベル付与部４０３は、パターンが投影された撮像画像のｍ段階の輝度値に対応するラベルをＬ１、Ｌ２…Ｌｍ、およびそれらに属さない未決定のラベルＵを付与する。
【００９１】
ラベル変更部４０４は、第３の実施形態と同様に、ラベル付与部４０３から入力された多値化結果を初期値として最適化し、ラベルを決定する。得られた多値最適化結果をエッジ検出手段４０５に出力する。
【００９２】
エッジ検出部３２３では、第３の実施形態と同様に、ラベル変更部４０４から入力された多値最適化結果からサブピクセルエッジを検出する。求められたサブピクセルエッジを第２のラベル変更部４０６に出力する。
【００９３】
第２のラベル変更部４０６は、エッジ検出部４０５から入力されたサブピクセルエッジに従って、未決定ラベルＵを投影パターンの輝度レベルに対応したラベルＬｉに変更し、空間符号化する。第２のラベル変更部４０６の処理は第３の実施形態で述べた灰ラベルを未決定ラベルＵに、白ラベルと黒ラベルを後述する集合Φに含まれるラベルペアに置き変えて考えれば、同様の処理となるため説明を省略する。このようにして、エッジ位置と多値化結果を得る。
【００９４】
その他の構成については、第３の実施形態と同様であるため省略する。
【００９５】
［計測処理］
図２０のフローチャートにより第４の実施形態の三次元計測装置４０００による計測処理を説明する。ただし、そのうちの多くは第３の実施形態と同様であるため説明を省略し、違いのあるステップのみ説明する。
【００９６】
（ステップＳ４２）
ステップＳ４２において、投影制御部４０１は、図１９に示したような多値パターンを投影装置１に投影させるとともに、画像入力部４０２に制御信号を送る。制御信号を受けた画像入力部４０２は、撮像装置２にパターンが投影された画像を撮像させ、撮像画像をラベル付与部４０３に送る。
【００９７】
（ステップＳ４３）
ステップＳ４３において、撮像画像を受けたラベル付与部４０３は、パターンが投影された撮像画像に多値のラベルを付与する。ラベル付与部４０３は、パターンが投影された撮像画像のｍ段階の輝度値に対応するラベルをＬ１、Ｌ２…Ｌｍ、およびそれらに属さない未決定のラベルＵを付与する。このようなラベルＵを導入することで、この段階では曖昧で決められない部分は無理に決めず、後段で空間情報を用いてより正確にラベルを決めることができる。そのため、ラベル付けが難しいエッジ付近のラベル付け誤りを低減することができる。
【００９８】
上記に示した多値ラベルの付け方について説明する。まず、図１９に示した投影パターンのうち投影画素全てを輝度レベルＰｉ（ｉ＝１，２，…，ｍ）としたパターンである（１）〜（４）に示した輝度較正用パターンを、対象物体に投影して撮像した画像において、ある画素ｐで観測される輝度値をＩｐ（Ｐｉ）とする。そして、図１９に示した（５）〜（７）の符号化パターンを順次投影し、撮像していく。各符号化パターンを投影した画像に対して、画素ｐにおける多値化結果ｇｐは、撮像画像の輝度Ｉｐ、各輝度レベルにおいてその輝度ラベルであると見なす輝度範囲をｗｐ（Ｐｉ）とすると、
【００９９】
【数３】
0006571948.tif 000004
【０１００】
と表わされる。輝度範囲ｗｐ（Ｐｉ）はカメラの輝度値Ｉｐ（Ｐｉ）における標準偏差に基づいて決定すればよい。ただし、これに限るものではなく、ｗｐ（Ｐｉ）の値は例えばＩｐ（Ｐｉ）の０．１倍等の比で与えたり、適当な固定値を用いてもよい。得られた多値化結果をラベル変更部４０４に出力する。なお、未決定のラベルＵは１つのラベルに限る必要はなく、どの輝度値の間かによって多値のラベルを付与してもよい。
【０１０１】
（ステップＳ４４）
ここでは、下記のようなコスト関数Ｃを設計し、コストが最小になるようなラベル組み合わせＧを求める（コストを評価する）。
【０１０２】
【数４】
0006571948.tif 000005
【０１０３】
各記号の説明は第３の実施形態と同様であるものについては省略し、新たに定義した集合Φと関数ｆおよびｈについてのみ説明する。集合Φは投影パターンにおいて隣合って位置する輝度レベルに対応するラベルのペア（Ｌｉ，Ｌｊ）（画素同士の組）を要素とする集合であり、投影パターン毎に定義される。例えば図１９の（５）ではΦ＝｛（Ｌ１，Ｌ２），（Ｌ２，Ｌ３），（Ｌ３，Ｌ４）｝であり、（６）ではΦ＝｛（Ｌ１，Ｌ２），（Ｌ２，Ｌ３），（Ｌ３，Ｌ４），（Ｌ４，Ｌ１）｝である。データコスト計算に用いる関数ｆは輝度値に対応するラベルの関数であり、その輝度値の大きさの順序を表す添え字を返し、データコストＤが輝度レベルが大きく異なるラベルに変化するほど高いコストを与える。スムーズコスト計算に用いる関数ｈは、比較する二つのラベルが同じならコスト０、ラベルが異なり一方が未決定ラベルＵであればコスト１、ラベルが異なりどちらも未決定ラベルではなく、投影パターンとして隣合って配置される可能性があるラベルペアである場合はコスト２、ラベルが異なりどちらも未決定ラベルではなく、投影されるパターンとして隣合うはずがないラベルペアである場合はコスト３として計算する。ただし、ＤやＷのコストの決め方はこれに限るものではなく、コストの値や条件は投影パターンの性質によっても変化する。得られた多値最適化結果をエッジ検出部４０５に出力する。
【０１０４】
（ステップＳ４５）
ステップＳ４５では、エッジ検出部４０５は、第３の実施形態と同様に、ラベル変更部４０４から入力された多値最適化結果からサブピクセルエッジを検出する。第３の実施形態では灰ラベルとその近傍の白黒ラベルをエッジの候補点としていたが、第４の実施形態では、ラベルＵとその近傍のラベルが集合Φに含まれるラベルペアである場合に、それらをエッジ候補点とする。そして、エッジ候補点群の中心付近を通るようなサブピクセルエッジを、エッジ候補点に対して関数フィッティングを行うなどして求める。
【０１０５】
（ステップＳ４６）
ステップＳ４６において、第２のラベル変更部４０６は、求められたサブピクセルエッジに基づき、エッジ位置を検出し、未決定ラベルを投影パターンの輝度レベルに対応したラベルに変更する。第２のラベル変更部４０６は、エッジ検出部４０５から入力されたサブピクセルエッジに従って、未決定ラベルＵを投影パターンの輝度レベルに対応したラベルＬｉに変更し、空間符号化する。第２のラベル変更部４０６の処理は第３の実施形態で述べた灰ラベルを未決定ラベルＵに、白ラベルと黒ラベルを集合Φに含まれるラベルペアに置き変えて考えれば、同様の処理となるため説明を省略する。
【０１０６】
このように、多段階の輝度レベルからなる多値パターンを投影して、未決定ラベルを含むラベル付けを行ってから空間的な近傍情報を利用することで、撮像画像に発生したノイズの影響を低減し、より少ない投影枚数で三次元座標を高精度に算出することができる。
【０１０７】
（第５の実施形態）
第１の実施形態、第２の実施形態では空間分割パターン群の特徴を利用することで、高精度な三次元座標を算出する手法を説明した。そして、第３の実施形態、第４の実施形態では曖昧なことを示すラベルを付与し、空間的な近傍情報を利用することで、高精度な三次元座標を算出する手法を説明した。そこで、第５の実施形態では、これら二つの手法を統合し、ノイズの影響を受けて発生した計測対象領域の識別誤りを訂正、決定することで、さらに高精度な三次元座標を算出する。
【０１０８】
［装置の構成］
第５の実施形態に係る情報処理装置５１００は、投影制御部５０１、画像入力部５０２、ラベル付与部５０３、ラベル変更部５０４、エッジ検出部５０５、第２のラベル変更部５０６、三次元座標算出部５０７、出力部５０８とを備える。
【０１０９】
以下、本発明にかかる第５の実施形態の情報処理を図２１のブロック図により説明する。ここでは、第１の実施形態と第３の実施形態を統合した手法として、グレイコードパターン群の特徴と空間的な近傍情報を利用した手法を説明する。
【０１１０】
ラベル付与部５０３は、撮像画像の輝度の値に応じて三値のラベルを付与する。
【０１１１】
ラベル変更部５０４は、第１、第２の実施形態と同様にパターンの特性を利用しラベルを変更した後、第３、第４の実施形態と同様に空間的な近傍では同ラベルである可能性が高いことを利用しラベルを変更する。詳細な処理は後述する。
【０１１２】
エッジ検出部５０５は、三値化結果からサブピクセルエッジを求める。
【０１１３】
第２のラベル変更部５０６は、第３の実施形態と同様に近傍の画素のラベルを見てラベルを変更してもよいが、グレイコードパターンはより低周波なパターンのラベルによって、サブピクセルエッジの左右（エッジが横方向であれば上下）のラベルが決まるため、この特性に従ってラベルを変更してもよい。例えば、図２に示すようにグレイコードのパターン１で明、パターン２で暗の領域内におけるパターン３のサブピクセルエッジでは左が明、右が暗と決まっており、一方、パターン１で明、パターン２で明の領域内におけるパターン３のサブピクセルエッジは左が暗、右が明というように決まっている。処理すべきパターンがまだ残っている場合、得られたパターンの二値化結果とサブピクセルエッジを記憶するとともに、エッジ位置をラベル変更部５０４に出力する。
【０１１４】
このように、三値化された曖昧なラベルを、グレイコードの低周波なパターンから順に処理し、より確からしいラベルを付与した上で、ラベルを最適化することによって、第１の実施形態や第３の実施形態よりもより誤りの少ないラベルを得ることができる。
【０１１５】
［計測処理］
図２２のフローチャートにより第５の実施形態の三次元計測装置５０００による計測処理を説明する。
【０１１６】
ステップＳ５３、ステップＳ５５、ステップＳ５６、および、ステップＳ５７は第３の実施形態と略同様であり、その他のステップは第１の実施形態と略同様である。
【０１１７】
なお、ステップＳ５２の処理は図の繰り返しの中に含める必要はない。ステップＳ５２で全パターンを投影、撮像してからステップＳ５３からステップＳ５７までの処理を繰り返してもよいし、並列処理することも可能である。また、ステップＳ５３とステップＳ５４の処理については、図に示す順序で実行する必要はなく、適宜順序を入れ替えてもよい。
【０１１８】
このように、グレイコードパターン群の特徴と空間的な近傍情報を利用することで、撮像画像に発生したノイズの影響を低減し、三次元座標をさらに高精度に算出することができる。
【０１１９】
（変形例）
第１の実施形態から第５の実施形態では、いずれも三次元計測を行う例について述べたが、求めた投影座標と撮像座標の対応関係に基づいて、プロジェクションマッピングのための較正を行ってもよい。通常、プロジェクションマッピングにおいてコンテンツを表示する際には撮像装置２は必要無いが、較正時には投影光が投影対象のどの領域に照射されているか対応関係を求める必要がある。そこで撮像装置２を用いて、第１〜５の実施形態のいずれかの方法に基づいて、パターンを投影する様子を撮像し、投影対象に対して投影光のマッピング関係を求めれば良い。
【０１２０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
【０１２１】
即ち、上述した各実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【０１２２】
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
【図１】
0006571948.tif 000006
【図２】
0006571948.tif 000007
【図３】
0006571948.tif 000008
【図４】
0006571948.tif 000009
【図５】
0006571948.tif 000010
【図６】
0006571948.tif 000011
【図７】
0006571948.tif 000012
【図８】
0006571948.tif 000013
【図９】
0006571948.tif 000014
【図１０】
0006571948.tif 000015
【図１１】
0006571948.tif 000016
【図１２】
0006571948.tif 000017
【図１３】
0006571948.tif 000018
【図１４】
0006571948.tif 000019
【図１５】
0006571948.tif 000020
【図１６】
0006571948.tif 000021
【図１７】
0006571948.tif 000022
【図１８】
0006571948.tif 000023
【図１９】
0006571948.tif 000024
【図２０】
0006571948.tif 000025
【図２１】
0006571948.tif 000026
【図２２】
0006571948.tif 000027
【図２３】
0006571948.tif 000028