(57)【要約】【課題】物体の動きに対する追従性およびロバスト性を向上させることができる計測システムを提供する。【解決手段】計測システム１００は、投影座標系で規定される投影座標をグレイコード化して得られるグレイコードの特定のビットに対応した第１のパターン画像と、第１のパターン画像と同じ周期を有し、かつ、第１のパターン画像と異なる位相を有する第２のパターン画像と、を含む第１のパターン投影画像を示す第１のパターン光を、第１および第２のパターン画像の投影が混在した投影シーケンスに従って被写体に投影する投影装置１０２と、第１のパターン光を撮像し、撮像画像を生成する少なくとも１つの撮像装置１０１と、を備える。【選択図】図１
2015180857.tif 000002
【特許請求の範囲】
【請求項１】
投影座標系で規定される投影座標をグレイコード化して得られるグレイコードの特定のビットに対応した第１のパターン画像と、前記第１のパターン画像と同じ周期を有し、かつ、前記第１のパターン画像と異なる位相を有する第２のパターン画像と、を含む第１のパターン投影画像を示す第１のパターン光を、前記第１および第２のパターン画像の投影が混在した投影シーケンスに従って被写体に投影する投影装置と、
前記第１のパターン光を撮像し、撮像画像を生成する少なくとも１つの撮像装置と、
を備える、計測システム。
【請求項２】
前記被写体の３次元的形状情報を前記撮像画像に基づいて計測する演算装置をさらに備える、請求項１に記載の計測システム。
【請求項３】
前記投影装置は、前記第１のパターン画像を含み、前記第２のパターン画像を含まない第２のパターン投影画像を示す第２のパターン光を１フレーム期間以上前記被写体に投影した後、前記第１のパターン光を２フレーム期間以上前記被写体に投影し、
前記演算装置は、前記撮像装置により撮像された前記第２のパターン光の撮像画像に基づいて、前記被写体までの絶対的な距離を示す第２の３次元的形状情報を計測し、前記撮像装置により撮像された前記第１のパターン光の撮像画像に基づいて、前記被写体の相対的な変化量を示す第１の３次元的形状情報を計測し、前記第１の３次元的形状情報に基づいて前記第２の３次元的形状情報を更新する、請求項２に記載の計測システム。
【請求項４】
前記第１のパターン投影画像は、前記第１および第２のパターン画像とは異なる第３のパターン画像をさらに含み、
前記投影シーケンスは、前記第３のパターン画像の投影をさらに含み、
前記第１、第２および第３のパターン画像の間で互いに対応した、前記投影座標により特定されるある画素に着目したとき、前記第１および第２のパターン画像内の前記ある画素の画素値がいずれも１であるとき、前記第３のパターン画像内の前記ある画素の画素値は０であり、前記第１および第２のパターン画像内の前記ある画素の画素値がいずれも０であるとき、前記第３のパターン画像内の前記ある画素の画素値は１である、請求項３に記載の計測システム。
【請求項５】
前記第１および第２のパターン画像内の前記ある画素の画素値が互いに異なるとき、前記第３のパターン画像内の前記ある画素は、前記第３のパターン画像の過去のフレームにおいて０または１のうち出現頻度の低い方の値を有する、請求項４に記載の計測システム。
【請求項６】
前記演算装置は、前記第２のパターン画像の投影を前記投影シーケンスに混合することを、前記被写体の３次元的変化量に応じて選択的に切り替える、請求項２に記載の計測システム。
【請求項７】
前記演算装置は、前記グレイコードの特定のビットを、前記被写体の３次元的変化量に応じて選択的に決定する、請求項２に記載の計測システム。
【請求項８】
前記演算装置は、前記被写体の３次元的形状の計測とは独立して、２次元的な動き量を探索し、前記少なくとも１つの撮像装置により撮像された前記グレイコードを示す画像を前記２次元的な動き量を参照して復号する、請求項２に記載の計測システム。
【請求項９】
前記２次元的な動き量の探索に用いられる画像は、前記３次元的形状の計測から取得された複数の画像を合成することにより得られる、請求項２に記載の計測システム。
【請求項１０】
前記演算装置は、前記撮像画像を復号し、復号された前記投影座標と、前記少なくとも１つの撮像装置の撮像座標系で規定される撮像画素座標との対応関係から、前記撮像座標系から得られる前記３次元的形状情報を前記投影座標系における３次元的形状情報に変換する、請求項２に記載の計測システム。
【請求項１１】
前記少なくとも１つの撮像装置は、複数の撮像装置であり、
前記複数の撮像装置は、前記被写体の撮像範囲を互いに補完し合うように前記第１のパターン光を撮像する、請求項１に記載の計測システム。
【請求項１２】
前記演算装置は、前記撮像画像を復号し、復号された前記投影座標と、前記少なくとも１つの撮像装置の撮像座標系で規定される撮像画素座標との対応関係から、モアレトポグラフィ画像を生成する、請求項２に記載の計測システム。
【請求項１３】
前記演算装置は、前記３次元的形状情報に基づいて投影画像を生成し、
前記投影装置は、前記投影画像を示す投影光を前記被写体に投影する、請求項２に記載の計測システム。
【請求項１４】
請求項１に記載の計測システムにおいて利用され、複数の単位画素を備えたビジョンチップであって、
前記複数の単位画素の各々は、
光を受光して電荷を生成する受光素子と、
前記受光素子によって異なった時刻に取得された第１および第２の電荷をそれぞれ蓄積する第１および第２の電荷蓄積部と、
前記第１の電荷蓄積部に蓄積された第１の電荷の量と、前記第２の電荷蓄積部に蓄積された第２の電荷の量とを比較し、前記第１および第２の電荷の量の大小関係を示す第１のビットと、前記第１および第２の電荷の量の差分が所定の範囲内であるか否かを示す第２のビットとを比較結果に基づいて生成する比較部と、
を備える、ビジョンチップ。
【請求項１５】
投影装置および撮像装置を備える計測システムにおいて利用される計測方法であって、
投影座標系で規定される投影座標をグレイコード化して得られるグレイコードの特定のビットに対応した第１のパターン画像を含み、前記第１のパターン画像と同じ周期を有し、かつ、前記第１のパターン画像と異なる位相を有する第２のパターン画像を含まない第２のパターン投影画像を示す第２のパターン光を１フレーム期間以上計測対象である被写体に投影した後、前記第１および第２のパターン画像を含む第１のパターン投影画像を示す第１のパターン光を２フレーム期間以上前記被写体に前記投影装置を用いて投影し、
前記撮像装置により撮像された前記第２のパターン光の撮像画像に基づいて、前記被写体までの絶対的な距離を示す第２の３次元的形状情報を計測し、
前記撮像装置により撮像された前記第１のパターン光の撮像画像に基づいて、前記被写体の相対的な変化量を示す第１の３次元的形状情報を計測し、
前記第１の３次元的形状情報に基づいて前記第２の３次元的形状情報を更新する、計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、計測システム、計測システムに利用される計測方法およびビジョンチップに関する。
【背景技術】
【０００２】
構造化ライトによって、物体の３Ｄ形状を取得する方法は古くから知られている。例えば、特許文献１が、そのような技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６０−１５２９０３号公報
【非特許文献】
【０００４】
【非特許文献１】武井  丈治，  鏡  慎吾，  橋本  浩一  ：  “高速プロジェクタを用いた３０００フレーム毎秒の三次元画像計測システムの開発”，  ロボティクス・メカトロニクス講演会講演概要集  ２００７，  “１Ｐ１−Ｍ０２（１）”−“１Ｐ１−Ｍ０２（４）”，  ２００７−０５−１１
【非特許文献２】石井抱，石川正俊  ：  “１ｍｓビジュアルフィードバックシステムのための高速対象追跡アルゴリズム”，    日本ロボット学会誌，  Ｖｏｌ．１７，  Ｎｏ．２，  ｐｐ．１９５−２０１  （１９９９）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した従来の計測システムでは、物体の動きに対する追従性およびロバスト性のさらなる向上が求められていた。本願の限定的ではないある例示的な一実施形態は、物体の動きに対する追従性およびロバスト性を向上させることができる計測システムを提供する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示の一態様は、投影座標系で規定される投影座標をグレイコード化して得られるグレイコードの特定のビットに対応した第１のパターン画像と、前記第１のパターン画像と同じ周期を有し、かつ、前記第１のパターン画像と異なる位相を有する第２のパターン画像と、を含む第１のパターン投影画像を示す第１のパターン光を、前記第１および第２のパターン画像の投影が混在した投影シーケンスに従って物体に投影する投影装置と、前記第１のパターン光を撮像し、撮像画像を生成する少なくとも１つの撮像装置と、を備える計測システムを含む。
【０００７】
上記の態様は、方法、半導体集積回路、コンピュータプログラム、または、記録媒体によって実現されてもよい。あるいは、システム、装置、方法、半導体集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせによって実現されてもよい。
【発明の効果】
【０００８】
本開示の一態様によれば、物体の動きに対する追従性およびロバスト性を向上させることができる計測システムを提供できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、例示的な実施の形態１による計測システム１００の概略的な構成例を示す模式図である。
【図２Ａ】図２Ａは、５ｂｉｔのグレイコード表である。
【図２Ｂ】図２Ｂは、５ｂｉｔのグレイコードに対応した５ｂｉｔの補助コード表である。
【図３】図３は、５ビットのグレイコードに対応したパターン画像の一部を示すイメージ図である。
【図４】図４は、例示的な実施の形態１による計算機１０４の概略的な機能ブロック図である。
【図５】図５は、例示的な実施の形態１による計測システム１００の計測方法を示すフローチャートである。
【図６Ａ】図６Ａは、従来の３次元計測における投影シーケンスを示す図である。
【図６Ｂ】図６Ｂは、例示的な実施の形態１による投影シーケンスを示す図である。
【図７】図７は、Ｘ座標の０ｂｉｔのデータを取得したときの投影フレームの様子を示す図である。
【図８Ａ】図８Ａは、従来のＣＭＯＳイメージセンサ内の単位画素７００の構造を示す模式図である。
【図８Ｂ】図８Ｂは、図８Ａの単位画素７００内のデータフローを模式的に示すイメージ図である。
【図８Ｃ】図８Ｃは、例示的な実施の形態２によるビジョンチップ内の単位画素７００の構造を示す模式図である。
【図８Ｄ】図８Ｄは、図８Ｃの単位画素７００内のデータフローを模式的に示すイメージ図である。
【図９】図９は、例示的な実施の形態２によるビジョンチップの動作を示すシーケンス図である。
【図１０】図１０は、従来の計測システムの概略的な構成例を示す模式図である。
【発明を実施するための形態】
【００１０】
本開示の実施の形態を説明する前に、先ずは図１０を参照しながら特許文献１に開示された従来の計測システム８００を説明する。
【００１１】
計測システム８００は、撮像装置８０１、光源８０２、およびスリット板８０３を備えている。スリット板８０３としては、グレイコードを示すパターン８０３ａ、８０３ｂおよび８０３ｃのように種々のグレイコードに基づく異なるパターンを有するスリットが設定される。撮像装置８０１は、パターン８０３ａ、８０３ｂおよび８０３ｃのそれぞれに対応する光を撮像して、画像８０５ａ、８０５ｂおよび８０５ｃをそれぞれ生成する。画像８０５ａ、８０５ｂおよび８０５ｃによって画像群８０５が構成される。
【００１２】
この構成によれば、画像群８０５に含まれる３枚の画像の同一の明暗のパターンが、スリット板８０３を介してどの方向に出射された光源８０３からの光に基づいているかを、グレイコードを復号することにより一意に特定することができる。従って、被写体８０４までの距離に応じて発生する視差を特定でき、三角法により被写体８０４の三次元的形状を類推できる。
【００１３】
また、計測の分野において特許文献１以外に、非特許文献１に開示された、光パターン投影を用いた高速な３Ｄ形状計測の手法が知られている。
【００１４】
非特許文献１は、光パターン投影を用いて高速に３Ｄ形状を計測する手法を開示している。非特許文献１の計測システムは、撮像装置と、光源、レンズおよびデジタルマイクロミラーデバイスを有する投影装置とを備えている。撮像装置は高速度撮影を行う機能を有している。例えば、撮像装置は、６０００ｆｐｓで高速撮影ができる。投影装置は、１０２４×７６８の画素を有するバイナリパターンを６０００ｆｐｓ以上で投影できる。特許文献１の技術に対して、光源およびスリット板を、計算機から非常に高速なレートで制御できるデジタルマイクロミラーデバイスを備えた投影装置に置き換えている点が特徴であると言える。
【００１５】
具体的には、１０２４×７６８の画像のＸ座標をグレイコード化した各ビットをマンチェスタ符号化して得られるパターンが、デジタルマイクロミラーデバイスに６０００ｆｐｓで設定される。そのパターンは投影対象に投影され、撮像装置は、パターンが投影された投影対象を６０００ｆｐｓで撮影する。
【００１６】
Ｘ座標は０から１０２３までの範囲であるので、各座標は１０ｂｉｔで表される。さらにマンチェスタ符号化することにより各座標は２０ｂｉｔで表される。そのため、２０フレームの撮像画像から各Ｘ座標が得られる。また、三角法によって投影対象までの距離を画素毎に得ることができる。撮像結果は、計算装置（例えば、パーソナルコンピュータ）に伝送されて解析される。マンチェスタ符号化によって２フレーム毎に新しいＸ座標のビットを得て再計算できる。このため、最終的なスループットとして３０００ｆｐｓの分解能で３Ｄ計測が可能になる。
【００１７】
また、非特許文献２に開示された、高速度ビジョン空間に対する画像処理技術が知られている。
【００１８】
非特許文献２によれば、撮像空間のシステムダイナミクスに対して、十分な速度のフレームレートで撮像すれば、フレーム間での対象物体の動き量を撮像画素空間内で１ピクセル以下に限定した高速ビジョン空間が定義でき、このような画像処理アルゴリズムが構築される。
【００１９】
以下、本願発明者が考察した従来技術の問題点を説明する。
【００２０】
非特許文献１は、投影装置と撮像装置とを用いて、高フレームレートで移動物体を３次元計測できる可能性を示唆している。
【００２１】
しかしながら、非特許文献１の方法によれば、例えば投影装置の投影画像がＸ座標方向に１０２４画素を有する場合、Ｘ座標の１０ビット分の伝送に２０フレームが利用される。確かに、新しいビットが確定する毎に新しい３次元計測の結果が更新されるので、３０００ｆｐｓのレートで３次元計測が可能になる。ただし、その結果は６０００ｆｐｓでの撮像による２０フレーム前の結果を含んでいるので、実質的な時間解像度は投影レートの１／２０である３００ｆｐｓ程度である。その結果、実際に計測することが可能な被写体の移動速度は大きく制限されてしまう。
【００２２】
このような課題に鑑み、本願発明者は、新規な構造を備えた計測システム、それに利用される計測方法およびビジョンチップに想到した。
【００２３】
本開示によれば、投影装置と撮像装置とのフレームレートは、計測対象の被写体の移動速度に対して十分になるように限定される。これにより、動きに対する追従性およびロバスト性を改善する新しいパターンの符号化方式が提供される。例えば、人体を計測する場合、スポーツなどの運動中の被写体の動きを想定しても、秒速３０メートルを越える移動はまず発生しない。また、医療の診断目的で人体を計測する場合などであれば、さらに低速に被写体速度を限定できる。
【００２４】
また、アミューズメント施設などにおいてプロジェクションマッピングのインタラクティブな投影が想定される。そのとき、例えばボーリング場においてボールと連動したコンテンツ投影を行う場合、世界記録でもボールの速度は秒速１５メートル程度である。これは、用途に応じて被写体速度の範囲を制限しても、システムは正しく機能することを意味している。
【００２５】
本開示の一態様の概要は以下のとおりである。
【００２６】
本発明の一態様である計測システムは、投影座標系で規定される投影座標をグレイコード化して得られるグレイコードの特定のビットに対応した第１のパターン画像と、前記第１のパターン画像と同じ周期を有し、かつ、前記第１のパターン画像と異なる位相を有する第２のパターン画像と、を含む第１のパターン投影画像を示す第１のパターン光を、前記第１および第２のパターン画像の投影が混在した投影シーケンスに従って被写体に投影する投影装置と、前記第１のパターン光を撮像し、撮像画像を生成する少なくとも１つの撮像装置と、を備える。
【００２７】
この構成によれば、物体の動きに対する追従性およびロバスト性を向上させることができる計測システムを提供できる。
【００２８】
ある態様において、前記計測システムは、前記被写体の３次元的形状情報を前記撮像画像に基づいて計測する演算装置をさらに備えていてもよい。
【００２９】
この構成によれば、被写体の３次元的形状情報をリアルタイムで計測できる。
【００３０】
ある態様において、前記投影装置は、前記第１のパターン画像を含み、前記第２のパターン画像を含まない第２のパターン投影画像を示す第２のパターン光を１フレーム期間以上前記被写体に投影した後、前記第１のパターン光を２フレーム期間以上前記被写体に投影し、前記演算装置は、前記撮像装置により撮像された前記第２のパターン光の撮像画像に基づいて、前記被写体までの絶対的な距離を示す第２の３次元的形状情報を計測し、前記撮像装置により撮像された前記第１のパターン光の撮像画像に基づいて、前記被写体の相対的な変化量を示す第１の３次元的形状情報を計測し、前記第１の３次元的形状情報に基づいて前記第２の３次元的形状情報を更新してもよい。
【００３１】
この構成によれば、従来の手法に比べ高い時間分解能を得ることができる。
【００３２】
ある態様において、前記第１のパターン投影画像は、前記第１および第２のパターン画像とは異なる第３のパターン画像をさらに含み、前記投影シーケンスは、前記第３のパターン画像の投影をさらに含み、前記第１、第２および第３のパターン画像の間で互いに対応した、前記投影座標により特定されるある画素に着目したとき、前記第１および第２のパターン画像内の前記ある画素の画素値がいずれも１であるとき、前記第３のパターン画像内の前記ある画素の画素値は０であり、前記第１および第２のパターン画像内の前記ある画素の画素値がいずれも０であるとき、前記第３のパターン画像内の前記ある画素の画素値は１であってもよい。
【００３３】
この構成によれば、撮像結果に基づいてパターン光が当たっていない箇所を検出できる。
【００３４】
ある態様において、前記第１および第２のパターン画像内の前記ある画素の画素値が互いに異なるとき、前記第３のパターン画像内の前記ある画素は、前記第３のパターン画像の過去のフレームにおいて０または１のうち出現頻度の低い方の値を有していてもよい。
【００３５】
この構成によれば、２次元の画像処理への適用性を高めることができる。
【００３６】
ある態様において、前記演算装置は、前記第２のパターン画像の投影を前記投影シーケンスに混合することを、前記被写体の３次元的変化量に応じて選択的に切り替えてもよい。
【００３７】
この構成によれば、計測システムの速度を制限できる。これと同様に、移動物体の加速度にも制約を与えることができる。
【００３８】
ある態様において、前記演算装置は、前記グレイコードの特定のビットを、前記被写体の３次元的変化量に応じて選択的に決定してもよい。
【００３９】
この構成によれば、被写体の変化量を追従できる範囲を動的に変更できる。
【００４０】
ある態様において、前記演算装置は、前記被写体の３次元的形状の計測とは独立して、２次元的な動き量を探索し、前記少なくとも１つの撮像装置により撮像された前記グレイコードを示す画像を前記２次元的な動き量を参照して復号してもよい。
【００４１】
この構成によれば、２次元的な動き量を考慮した３次元計測を精度よく行える。
【００４２】
ある態様において、前記２次元的な動き量の探索に用いられる画像は、前記３次元的形状の計測から取得された複数の画像を合成することにより得られ得る。
【００４３】
この構成によれば、新たに撮影することなく、動き探索などの２次元の画像処理にその合成画像を用いることができる。
【００４４】
ある態様において、前記演算装置は、前記撮像画像を復号し、復号された前記投影座標と、前記少なくとも１つの撮像装置の撮像座標系で規定される撮像画素座標との対応関係から、前記撮像座標系から得られる前記３次元的形状情報を前記投影座標系における３次元的形状情報に変換してもよい。
【００４５】
この構成によれば、投影座標系における３次元的形状情報を取得できる。
【００４６】
ある態様において、前記少なくとも１つの撮像装置は、複数の撮像装置であり、前記複数の撮像装置は、前記被写体の撮像範囲を互いに補完し合うように前記第１のパターン光を撮像してもよい。
【００４７】
この構成によれば、パターン光は当たるが撮像できないオクルージョン領域を減らすことができる。
【００４８】
ある態様において、前記演算装置は、前記撮像画像を復号し、復号された前記投影座標と、前記少なくとも１つの撮像装置の撮像座標系で規定される撮像画素座標との対応関係から、モアレトポグラフィ画像を生成してもよい。
【００４９】
この構成によれば、モアレトポグラフィ画像を動画として取得でき、本開示を医療分野に好適に適用できる。
【００５０】
ある態様において、前記演算装置は、前記３次元的形状情報に基づいて投影画像を生成し、前記投影装置は、前記投影画像を示す投影光を前記被写体に投影してもよい。
【００５１】
この構成によれば、本計測システムを投影システムとして機能させることができる。
【００５２】
ある態様において、前記計測システムにおいて利用され、複数の単位画素を備えたビジョンチップであって、前記複数の単位画素の各々は、光を受光して電荷を生成する受光素子と、前記受光素子によって異なった時刻に取得された第１および第２の電荷をそれぞれ蓄積する第１および第２の電荷蓄積部と、前記第１の電荷蓄積部に蓄積された第１の電荷の量と、前記第２の電荷蓄積部に蓄積された第２の電荷の量とを比較し、前記第１および第２の電荷の量の大小関係を示す第１のビットと、前記第１および第２の電荷の量の差分が所定の範囲内であるか否かを示す第２のビットとを比較結果に基づいて生成する比較部と、を備える。
【００５３】
この構成によれば、外部にメモリを設けなくてもよく、メモリ容量や帯域のコストを最小化することができる。
【００５４】
本発明の一態様である計測方法は、投影装置および撮像装置を備える計測システムにおいて利用される計測方法であって、投影座標系で規定される投影座標をグレイコード化して得られるグレイコードの特定のビットに対応した第１のパターン画像を含み、前記第１のパターン画像と同じ周期を有し、かつ、前記第１のパターン画像と異なる位相を有する第２のパターン画像を含まない第２のパターン投影画像を示す第２のパターン光を１フレーム期間以上計測対象である被写体に投影した後、前記第１および第２のパターン画像を含む第１のパターン投影画像を示す第１のパターン光を２フレーム期間以上前記被写体に前記投影装置を用いて投影し、前記撮像装置により撮像された前記第２のパターン光の撮像画像に基づいて、前記被写体までの絶対的な距離を示す第２の３次元的形状情報を計測し、前記撮像装置により撮像された前記第１のパターン光の撮像画像に基づいて、前記被写体の相対的な変化量を示す第１の３次元的形状情報を計測し、前記第１の３次元的形状情報に基づいて前記第２の３次元的形状情報を更新する。
【００５５】
この計測方法によれば、物体の動きに対する追従性およびロバスト性を向上させることができる。
【００５６】
本開示によれば、投影装置と撮像装置とを用いて移動物体を３次元計測するとき、投影装置のフレームレートに対して、従来よりも高い時間解像度を有した３次元計測結果が得られる。
【００５７】
以下、図面を参照しながら、本開示の具体的な実施の形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。また、重複する説明は省略する場合がある。なお、本開示の実施の形態による投影システムは、以下で例示するものに限られない。
【００５８】
（実施の形態１）
図１から図６を参照しながら、本実施の形態による計測システム１００の構造、機能および動作を説明する。
【００５９】
図１は計測システム１００の概略的な構成の一例を模式的に示している。計測システム１００は、撮像装置１０１、投影装置１０２および計算機１０４を備えている。
【００６０】
投影装置１０２は、第１のパターン画像と、第２のパターン画像と、を含む第１のパターン投影画像を示す第１のパターン光を、第１および第２のパターン画像の投影が混在した投影シーケンスに従って被写体に投影する。第１のパターン画像は、投影座標系で規定される投影座標をグレイコード化して得られるグレイコードの特定のビットに対応した画像である。第２のパターン画像は、第１のパターン画像と同じ周期を有し、かつ、第１のパターン画像と異なる位相を有した画像である。本願明細書では、投影座標系は、投影用のパターン画像の各画素の座標を特定する座標系を意味する。また、パターン画像の各画素を特定する座標を投影座標系の「投影座標」と称する。投影装置１０２は、光源およびレンズ光学系などを含んでいる。
【００６１】
投影装置１０２は、Ｘ軸方向に３２画素、Ｙ軸方向に２８画素の解像度を有している。ただし、この解像度は説明を簡易化するための仕様である。例えばＤＬＰプロジェクタなどが知られている。ＤＬＰプロジェクタは、Ｘ軸方向に１９２０画素、Ｙ軸方向に１０８０画素の解像度を有し得る。そのようなＤＬＰプロジェクタを用いれば、２００００ｆｐｓを超えるバイナリパターンを出力できる。投影装置１０２には、このようなタイプの製品を広く用いることができる。
【００６２】
図２Ａは、Ｘ座標として取り得る０から３１の値をクレイコード化した５ビットのグレイコードを示している。図２Ｂは５ビットのグレイコードに対応した補助コードを示している。図３は、５ビットのグレイコードに対応したパターン画像の一部を示している。
【００６３】
図２Ａに示されるグレイコードは、ｂｉｔ０からｂｉｔ４までの５ビットによって３２種類の値をコード化して得られる。グレイコードの特性上、隣接する値の間でいずれか１つのビットしか変化しない。
【００６４】
図３の（Ｘ４ａ）は、Ｘ座標のグレイコード値においてｂｉｔ４に対応するパターン画像を示している。図３の（Ｘ４ｂ）は、（Ｘ４ａ）をビット反転させて得られるパターン画像を示している。同様に、図３の（Ｘ３ａ）は、Ｘ座標のグレイコード値においてｂｉｔ３に対応するパターン画像を示している。図３の（Ｘ２ｂ）は、（Ｘ２ａ）をビット反転させて得られるパターン画像を示している。図３の（Ｘ２ａ）は、Ｘ座標のグレイコード値においてｂｉｔ２に対応するパターン画像を示している。図３の（Ｘ２ｂ）は、（Ｘ２ａ）をビット反転させて得られるパターン画像を示している。
【００６５】
図３の（Ｙ４ａ）は、Ｙ座標のグレイコード値においてｂｉｔ４に対応するパターン画像を示している。図３の（Ｙ４ｂ）は、（Ｙ４ａ）をビット反転させて得られるパターン画像を示している。同様に、図３の（Ｙ３ａ）は、Ｙ座標のグレイコード値においてｂｉｔ３に対応するパターン画像を示している。図３の（Ｙ２ｂ）は、（Ｙ２ａ）をビット反転させて得られるパターン画像を示している。図３の（Ｙ２ａ）は、Ｘ座標のグレイコード値においてｂｉｔ２に対応するパターン画像を示している。図３の（Ｙ２ｂ）は、（Ｙ２ａ）をビット反転させて得られるパターン画像を示している。
【００６６】
なお、図示されていなが、Ｘ座標およびＹ座標のｂｉｔ１および０にもそれぞれ対応したパターン画像および反転パターン画像が存在していてもよい。
【００６７】
投影装置１０２はこれらパターンを被写体１０３に順次投影する。投影装置１０２は、グレイコードおよび補助コードに対応した画像の投影を含む、後述する投影シーケンスに従って投影光を投影する。
【００６８】
撮像装置１０１は、投影されたパターン光を順次撮像し、撮像画像を生成する。また、撮像装置１０１は、撮像画素座標を規定する撮像座標系を有している。撮像装置１０１は、イメージセンサ、レンズ光学系などを含んでいる。本願明細書では、撮像座標系は、撮像装置１０１により取得される撮像画像の各画素の座標を特定する座標系を意味する。「投影座標」と区別して、撮像画像の各画素の座標を撮像座標系の「撮像座標」と称する。
【００６９】
計算機１０４は、計測システム１００全体を制御する機能を有している。例えば、計算機１０４は、被写体の３次元的形状情報を撮像画像に基づいて計測する。計算機１０４は、例えばコンピュータ、プロセッサに代表される演算装置、または半導体集積回路によって実現され得る。半導体集積回路とは、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などである。メモリに、各構成要素の機能を発揮するコンピュータプログラムが実装されており、半導体集積回路内のプロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能を実現してもよい。
【００７０】
図４を参照しながら、計算機１０４の構造、機能の詳細を説明する。
【００７１】
図４は計算機１０４の機能ブロック構成の一例を示している。計算機１０４は、画像出力部４００、画像入力部４１０、差分計算部４２０、フレームメモリ部４３０、コード復号ユニット４４０、座標変換部４５０、座標変換用メモリ４６０、座標補間部４７０、コンテンツ生成部４８０、パターン生成ユニット４９０および画像出力部４００を含んでいる。計算機１０４内の各メモリ部は、例えばＲＡＭなどによって構成され得る。なお、座標変換部４５０、座標変換用メモリ４６０、座標補間部４７０、およびコンテンツ生成部４８０は任意に設けることができる。後述するように、計測システム１００は投影システムとしても機能し得る。投影システムとして機能させるときに、これらの機能ブロックが有する機能を計算機１０４に実装すればよい。
【００７２】
画像入力部４０１は、画像出力部４００と同期しながら、撮像装置１０１により撮像された撮像画像（撮像データ）を受信する。画像入力部４０１は、受信した撮像データを差分計算部４２０に送信する。
【００７３】
差分計算部４２０は、グレイコードのビット毎に反転ビットと非反転ビットとを示すパターン画像の差分を計算することにより、マンチェスタ符号を復号して、２フレーム毎にコード復号ユニット４４０にデータを出力する。
【００７４】
具体的には、差分計算部４２０は、画像入力部４０１から受信した撮像データがＸおよびＹ座標の非ビット反転画像であれば、その撮像データをフレームメモリ部４３０に書き込む。差分計算部４２０は、その画像データがＸおよびＹ座標のビット反転画像であれば、先にフレームメモリ部４３０に記録された非ビット反転画像を読み出して、両者の差分をとる。その差分を取ることにより、被写体の色または環境光に依存することなく、投影光の「０」と「１」とを判別することができる。その差分が所定の値以下の領域を、投影光が投影されていない領域として判定し、その領域を計測対象領域から除外することができる。
【００７５】
コード復号用メモリ部４４１には、撮像装置１０１の画素毎に書き込み領域が設けられている。グレイコード化された座標データの各ビット値は、その書き込み領域にビット単位で書き込まれる。この操作が撮像装置１０１の露光時間の間に逐次実行される。
【００７６】
コード復号ユニット４４０は、コード復号用メモリ部４４１に記録されたデータをビット単位で読み出す。コード復号ユニット４４０は、パターン生成ユニット４９０が現在出力しているパターンの種別を示す情報（パターン種別情報）に応じて、特定のビットを更新して、更新後のデータをコード復号用メモリ部４４１内の上述した書き込み領域にビット単位で書き込む。
【００７７】
コード復号ユニット４４０は、第２のパターン投影画像を示す第２のパターン光に基づく撮像データを受信したときは、その撮像データを復号して、被写体までの絶対的な距離情報を示す第２の３次元的形状情報を生成する。また、コード復号ユニット４４０は、第１のパターン投影画像を示す第１のパターン光に基づく撮像データを受信したときは、その撮像データを復号して、被写体の相対的な変化量を示す第１の３次元的形状情報を生成する。その際、コード復号ユニット４４０は、その変化量に基づいて被写体までの絶対的な距離情報を補正（更新）する。つまり、コード復号ユニット４４０は、第１の３次元的形状情報に基づいて第２の３次元的形状情報を更新する。
【００７８】
コード復号ユニット４４０は最終的に、コード復号用メモリ部４４１に記録されたグレイコードの座標データをバイナリに再変換して座標変換部４５０に出力する。
【００７９】
これまでの処理により、撮像装置１０１のある画素で撮像された投影光が、投影装置１０２のどの画素から投影されたのかを知ることができる。つまり、投影座標と、撮像座標との対応関係を知ることができる。従って、撮像装置１０１と投影装置１０２との互いの位置関係が既知であれば撮像画素毎に被写体までの距離を三角法により得ることができる。しかしながら、得られる情報は、撮像装置１０１の撮像画素に対応した距離情報である。そのため、本実施の形態では、その情報を投影装置１０２の画素座標に対応した距離情報に変換する。
【００８０】
座標変換部４５０は、コード復号ユニット４４０から受信したデータを、投影装置１０２の投影座標に対応したアドレスで特定される座標変換用メモリ４６０の領域に書き込む。その後、座標変換部４５０は、座標変換用メモリ４６０から、第２の３次元的形状情報を投影装置１０２のＸ座標およびＹ座標の順番で読み出すことにより、投影装置１０２の投影座標に対応した、被写体までの距離情報を生成する。
【００８１】
その際、対応点が存在しない投影画素が発生し得る。具体的には、被写体に投影されたパターン画像のうち、ある複数の画素に対応したそれぞれの光が、撮像装置１０１の１つの撮像画素によって撮像され得る。その場合、グレイコードの特性上、対応点が存在しない投影画素は隣接する２つの投影画素のどちらかの画素座標に丸め込まれるので、片側の投影画素は対応先のない状態となる。
【００８２】
座標補間部４７０は、座標変換部４５０から、投影装置１０２の投影座標に対応した距離情報を受信する。座標補間部４７０は、距離情報の存在しない投影座標に対して距離情報を補間する。これは、補間することが可能な距離情報を有する投影座標が一定数その周辺に存在する箇所に限り、周辺座標の距離情報から線形補間等の補間法を用いて行なわれる。座標補間部４７０は、投影座標系による距離情報をコンテンツ生成部４８０に出力する。
【００８３】
コンテンツ生成部４８０は、投影用の映像コンテンツを生成する。コンテンツ生成部４８０は、予め記録されていた映像コンテンツを、座標補間部４７０から受信した距離情報に基づいて加工し、加工した映像コンテンツを画像出力部４００に出力する。以下、加工された映像コンテンツを、予め記録された加工前の映像コンテンツと区別して、「加工後の映像コンテンツ」と称する場合がある。
【００８４】
コンテンツ生成部４８０は、座標ずれの無い、被写体までの距離に正確に対応した映像コンテンツを生成する。コンテンツ生成部４８０は、投影用の加工後の映像コンテンツを画像出力部４００に出力する。
【００８５】
パターン生成ユニット４９０は、基本パターン生成部４９１、補助パターン生成部４９２およびセレクタ４９３を有している。基本パターン生成部４９１は、投影座標系で規定される投影座標をグレイコード化して得られるグレイコードを示す基本パターンを生成する。第１の画像パターンは基本パターンに含まれる。補助パターン生成部４９２は、基本パターンと同じ周期を有し、かつ、基本パターンと異なる位相を有する補助パターンを生成する。第２の画像パターンは補助パターンに含まれる。
【００８６】
基本パターンまたは補助パターンがセレクタ４９３により選択されて、画像出力部４１０に出力される。被写体１０３の３次元的変化量に応じたセレクタ４９３の切替えによって、補助パターンが基本パターンに選択的に混合される。その結果、基本パターンと補助パターンとの投影が混在した投影シーケンスが決定される。
【００８７】
画像出力部４１０は、コンテンツ生成部４８０により生成された映像コンテンツと、パターン生成ユニット４９０により生成された、基本パターンおよび補助パターンを含む投影パターンとを、投影装置１０２に出力する。投影装置１０２は、加工後の映像コンテンツを示す投影光を被写体１０３に投影する。
【００８８】
図５、図６Ａおよび図６Ｂを参照しながら、計測システム１００の動作を説明する。
【００８９】
図５は、計測システム１００の計測方法のフローチャートを示している。
【００９０】
（ステップＳ１０１およびＳ１０２）
まず始めに、計測システム１００の初期キャリブレーションの方法の一例を説明する。初期キャリブレーションにおいては、投影装置１０２は、第１のパターン画像を含み、第２のパターン画像を含まない第２のパターン投影画像を示す第２のパターン光を被写体に１フレーム期間以上投影する。
【００９１】
初期キャリブレーションでは、基準平面を有する移動しない物体などを被写体１０３の位置に設置する。投影装置１０２は、図３のパタ−ン画像（Ｘ４ａ）を示すパターン光を被写体１０３に投影する。そして、撮像装置１０１はそのパターン光を撮像し、第１のキャリブレーション画像を取得する。
【００９２】
続けて、投影装置１０２は図３のパタ−ン画像（Ｘ４ｂ）を示すパターン光をその物体に投影する。撮像装置１０１はそのパターン光を撮像し、第２のキャリブレーション画像を取得する。
【００９３】
第１のキャリブレーション画像と第２のキャリブレーション画像とを比較することにより、差分の小さい領域は投影光が当たっていない領域であると判定できる。一方、差分が十分である領域は、投影光が当たっている領域であると判定でき、その差分の符号から投影座標を復号できる。
【００９４】
Ｘ座標およびＹ座標のそれぞれの５ビット全てに対し、上述した処理を繰り返すことにより、撮像装置１０１のある画素で撮像された投影光が、投影装置１０２のどの画素から投影されたのかを知ることができる。つまり、投影座標と、撮像装置の撮像座標系で規定される撮像座標との対応関係を知ることができる。最終的には基準平面までの絶対的な距離情報（第２の３次元的形状情報）が計算機１０４によって得られる。
【００９５】
後述する３Ｄ計測では、その基準平面とのＸ軸方向における差分を距離に３角法を用いて換算する。初期キャリブレーションにおいて、Ｙ軸方向の設置誤差またはレンズ歪みなども予め求めておくことができる。もちろん、計測精度を要しない場合には、初期キャリブレーションは不要であることは言うまでもない。
【００９６】
（ステップＳ１０３およびＳ１０４）
投影装置１０２は、第１のパターン画像および第２のパターン画像を含む第１のパターン投影画像を示す第１のパターン光を被写体に２フレーム期間以上投影する。換言すると、投影装置１０２は、基本パターンおよび補助パターンに対応した画像の投影が混在した投影シーケンスに従って被写体にパターン光を投影する。このとき、投影装置１０２は、非反転ビットおよび反転ビットのパターン画像をそれぞれ投影する。
【００９７】
撮像装置１０１は、第１のパターン光を撮像する。また、計算機１０４は、第１のパターン光に基づく撮像画像から第１の３次元的形状情報を取得する。
【００９８】
（ステップ１０５）
以降、計算機１０４は、第１の３次元的形状情報に基づいて第２の３次元的形状情報を更新する。これにより、相対的な変化量に基づいて移動物体を追従することができる。
【００９９】
次に、本実施の形態による移動物体の計測方法を、従来の方法と対比しながら説明する。
【０１００】
図６Ａは従来の３次元計測における投影シーケンスを示している。従来の投影シーケンスでは、Ｘ座標のｂｉｔ０からｂｉｔ５までの投影光を順次投影しながら計測を行う。１つのｂｉｔの計測において、反転パターン画像を含めて２フレームを用いるので、図６Ａに示される例では、１０フレーム周期で繰り返し計測がなされる。
【０１０１】
従来の投影シーケンスによれば、新しいビットの計測結果が得られる毎に、過去の５ビット分を集計してＸ座標が得られる。これにより、３角法によって被写体１０３までの距離を求めることができる。しかしながら、過去１０フレームまでの画像に依存してしまうので、時間分解能の低下が避けられない。
【０１０２】
本実施の形態では、従来の計測に用いる図６Ａに示されるグレイコードに加えて、補助コードの特定のｂｉｔを用いる。
【０１０３】
再び、図２Ａおよび２Ｂを参照する。図２Ａおよび２Ｂにそれぞれ示されるグレイコードおよび補助コードの各ｂｉｔのコード列に着目すると、グレイコードと補助コードとの間では、ビット位置に応じて０と１との繰り返しパターンの周期は同一であり、その繰り返しパターンは互いに位相にして９０度ずれていることが分かる。つまり、補助コードは、ビット毎にグレイコードの位相を９０度ずらすことにより得られる。
【０１０４】
本実施の形態では、計測対象の距離は、３つのビットを計測する区間、すわなち、６フレーム区間において１画素分以上変化しないことを前提としている。以下、グレイコードのｂｉｔ０に対応した補助コードのｂｉｔ０を利用する計測方法を説明する。
【０１０５】
図６Ｂは、本実施の形態による３次元計測における投影シーケンスを示している。
【０１０６】
本実施の形態の撮像シーケンスは、３つのビットを計測する区間により定まる単位シーケンスを有している。単位シーケンスは、グレイコードのｂｉｔ０およびそれに対応した補助コードのｂｉｔ０を含んでいる。単位シーケンスは、さらにグレイコードのｂｉｔ０以外のｂｉｔを含んでいる。図示する例では、初めにグレイコードのｂｉｔ０、補助コードのｂｉｔ０、およびグレイコードのｂｉｔ１に対応した画像を示すパターン光がこの順で投影される。続いて、グレイコードのｂｉｔ０、補助コードのｂｉｔ０、グレイコードのｂｉｔ２、グレイコードのｂｉｔ０、補助コードのｂｉｔ０、グレイコードのｂｉｔ３、グレイコードのｂｉｔ０、補助コードのｂｉｔ０、およびグレイコードのｂｉｔ４に対応した画像を示すパターン光、がこの順で投影される。従って、全てのビットが揃うには２４フレームを要する。以降、このような投影が繰り返し実行される。このように、本実施の形態による投影シーケンスでは、グレイコードの間に補助コードが挿入される。
【０１０７】
しかしながら、図２Ａのグレイコードのｂｉｔ０と、図２Ｂの補助コードのｂｉｔ０とに着目すると、被写体の距離の変化が１画素未満である限り、グレイコードおよび補助コードのｂｉｔ０をモニタすれば被写体の距離の相対的な変化を追従できることが分かる。このような計測方法は、グレイコードを用いたロータリエンコーダなどにより相対移動量を計測する手法として知られている。
【０１０８】
本実施の形態によれば、最初にフレーム内に出現した被写体までの距離の絶対値は２４フレームの遅延を伴って得られる。以後、６フレーム毎に距離の変化の相対値を得ることができる。従って、絶対値を一度補足した被写体までの距離の変化を、６フレームを用いて追跡できる。そのため、従来の手法に比べ高い時間分解能を得ることができる。
【０１０９】
なお、本実施の形態では、補助コードのｂｉｔ０を用いる例を示したが、本開示はこれに限定されない。計測対象とする移動物体の移動量に応じてｂｉｔ１またはｂｉｔ２などを相対的な動き量の追跡に用いることもできる。グレイコードの特定のビットを、被写体の３次元的変化量に応じて選択的に決定すればよい。例えば、図２Ｂに示されるように、補助コードのｂｉｔ１を用いれば、３画素以内の範囲で変化する移動物体を追従できる。また、補助コードのｂｉｔ２を用いれば、７画素以内の範囲で変化する移動物体を追従できる。
【０１１０】
また、被写体の移動速度を計測しながら、補助パターンの画像の投影を投影シーケンスに混合することを、つまり、補助パターンの利用の有無を、被写体の３次元的変化量に応じて選択的に切り替えることもできる。さらに、利用する補助パターンのｂｉｔの位置を動的に変更してもよい。多くのシステムは、実際に自身の速度を制限できる。これと同様に、移動物体の加速度にも制約を与えることができる。速度の変化は一定以上起きないので、補助パターンのｂｉｔを動的に変更しても、一定の範囲内で被写体を追跡できる。
【０１１１】
また、フレーム単位でパターン画像を示すパターン光を投射する代わりに、パターン画像毎に色または波長を変えることにより、１フレーム期間により多くのパターン画像を重畳することも可能である。
【０１１２】
以下、本実施の形態の変形例を主として説明する。
【０１１３】
本実施の形態では、計測システム１００は、１つの撮像装置１０１を備えている。ただし、計測システム１００は、複数の撮像装置１０１を備えていても構わない。複数の撮像装置１０１は、被写体１０３の撮像範囲を互いに補完し合うようにパターン光を撮像することができる。これにより、投影光は当たるが撮像できないオクルージョン領域を減らすことができる。
投影装置１０２の両側に少なくとも２つの撮像装置１０１を設置することにより、投影光は当たるが撮像できないオクルージョン領域を減らすことができる。
【０１１４】
本実施の形態では、投影装置１００と被写体１０３との間の距離方向（Ｚ方向）における変化のみに着目した。ただし、当然ながら、被写体１０３は撮像面におけるＸ−Ｙ座標方向にも変化し得る。
【０１１５】
計算機１０４は、被写体の３次元的形状の計測とは独立して、２次元的な動き量を探索し、撮像装置１０１により撮像されたグレイコードを示す画像を２次元的な動き量を参照して復号してもよい。
【０１１６】
Ｘ−Ｙ座標方向への変化の追従方法として、２次元の画像処理による動き探索などが従来から知られている。従来の動き探索により各画素の動きベクトルを求め、過去のフレームにおける対応する画素位置に基づいてグレイコードを復号することにより、さらに高い計測性が得られる。特に、高速ビジョン空間では被写体の動きの量を１画素以内に制限できるので、全方向に探索しても、その探索は３×３の範囲内で済む。
【０１１７】
仮にフレームレートが１／１０となった場合、２１×２１の範囲を探索する必要がある。そのため、３×３の範囲を１０回探索するよりもさらに４９倍の演算量が求められる。このように、フレームレートを増加させて、データ量を１０倍にしても、演算量は逆に１／４９に減少するようなケースが発生し得る。これが高速ビジョン空間に制約を加えた画像処理の特徴である。
【０１１８】
ここで、グレイコードまたは補助パターンなどの投影用の非反転ビットパターンの撮像画像と、その反転ビットパターンの撮像画像とを合成することにより、２次元の画像処理で扱う画像を得る方法を提案する。
【０１１９】
非反転ビットパターンと反転ビットパターンの画像を用いるのは、マンチェスタ符号化によりロバスト性を向上させるために非特許文献１において述べられている手法である。マンチェスタ符号化によれば各ｂｉｔにおいて時間方向における０と１との出現頻度が等しくなる。そのため、計測用の複数の画像を合成することにより、全ての画素に一定量の投光がなされた状態で得られる画像と同等の画像が得られる。これにより、新たに撮影することなく、動き探索などの２次元の画像処理にその合成画像を用いることができる。
【０１２０】
さらに、符号化の拡張として、反転ビットのパターン画像以外を使う方法を提案する。
【０１２１】
上述した説明では、グレイコードのｂｉｔ０に対応する画像およびその反転画像と、補助パターンのｂｉｔ０に対応する画像およびその反転画像と、の４フレームを用いた。同様に、３フレームを用いても移動物体の計測を実現することができる。この方法では、投影シーケンスは、第３の画像フレームの投影をさらに含む。
【０１２２】
図７は、Ｘ座標の０ｂｉｔのデータを取得したときの投影フレームの様子を示している。図７において、第１の画像フレームは、図２Ａのグレイコードのｂｉｔ０に対応する画像のフレームを意味する。第２の画像フレームは、図２Ｂの補助パターンのｂｉｔ０に対応する画像のフレームを意味する。第３の画像フレームにおいては、各画素において、第１および第２の画像フレームの両方の画素値が１であるとき、その画素に対応した画素の画素値が０であり、第１および第２の画像フレームの両方の画素値が０であるとき、その画素に対応した画素のその画素値が１である。なお、第３の画像フレームにおいては、第１および第２の画像フレームの両方の画素値が互いに異なる画素の画素値はドントケアとすることができる。なお、これらの画像フレームを順不同で投影することができる。
【０１２３】
この方法によれば、３フレーム期間において計測対象の動きが十分小さければ、各画素には０と１とが含まれるので、撮像結果に基づいて投影光が当たっていない箇所を検出できる。投影光が当たっている箇所において０／１の判別が可能となる。
【０１２４】
さらに、第３の画像フレーム内の画素のうち、その画素に対応する、第１の画像フレームと、第２の画像フレームと、の画素の両画素値が互いに異なる場合、第３の画像フレーム内の画素には、第３の画像フレームの過去のフレームにおいて０または１のうち出現頻度の低い方を割り当てても構わない。
【０１２５】
これによれば、各画素において０と１との出現頻度を一様にすることができるので、上述した２次元の画像処理への適用性を高めることができる。また、可視光を用いて計測した場合に発生し得るパターンのちらつきを低減できる。さらに、投影装置において、液晶の焼きつき防止、またはマイクロミラーデバイスの偏りによる寿命の低下を防止することができる。
【０１２６】
本開示は、計測に投影装置１０２が利用されるので、同一の投影装置１０２を用いてプロジェクションマッピングなどの分野に応用し得る。特に、本開示の計測の特性上、投影装置１０２の撮像座標と、撮像装置１０１の投影座標との対応関係が得られるので、計測結果を投影装置１０２の投影座標に換算することが可能である。その対応関係が得られるということは、その情報を使った様々なコンテンツ生成が可能であり、その１つの例として、その関係からモアレトポグラフィ画像を生成することが可能である。この場合、計算機１０４内のコンテンツ生成部４８０は、映像コンテンツとして、モアレトポグラフィ画像を生成する。その他には当然ながら３Ｄコンピュータグラフィックスなどの距離情報を用いた従来どおりの応用も可能である。ただし、単に距離情報のみを取得する従来の深度センサーでは原理的には厳密なモアレトポグラフィ画像を生成できないので、本方式でのみ行える有用な表現形式の１つといえる。
【０１２７】
モアレトポグラフィは、投光と撮像との両者においてスリットを用いて、被写体の等高線を撮像する技術である。本実施の形態においては、撮像座標と投影座標との対応関係が得られているので、それぞれにスリットを仮定して再計算することによりモアレトポグラフィ画像を動画として得られる。さらには、モアレトポグラフィ画像の元データをメモリ等に記録しておけば、スリットの間隔を変更した画像を事後的に取得できる。
【０１２８】
医療分野においてはモアレトポグラフィ画像を見慣れているユーザーが多いので、画像の形式を変換できることは非常に有意義である。さらに、上述したように、プロジェクションマッピングを応用すれば、患部を示す画像を実際の人体に投影することもできる。
【０１２９】
（実施の形態２）
図８Ａから図８Ｄを参照して、本実施の形態によるビジョンチップを説明する。本実施の形態によるビジョンチップは、実施の形態１による計測システム１００において利用し得る。
【０１３０】
図８Ａは、グローバルシャッター機能を有した従来のＣＭＯＳイメージセンサ内の単位画素７００の構造を模式的に示している。図８Ｂは、その単位画素７００内のデータフローを模式的に示している。
【０１３１】
フォトダイオード７０１により受光された光は電荷に変換される。その電荷は、適切なタイミングでフローティングディフュージョン７０２に伝送される。その後、その電荷量に応じた電位がアンプ７０４により増幅される。そして、光の信号が多値情報として読み出される。露光時間は、フォトダイオード７０１およびフローティングディフュージョン７０２の電荷をリセットするタイミング、または転送のタイミングによって制御される。
【０１３２】
図８Ｃは、本実施の形態によるビジョンチップ内の単位画素７００の構造を模式的に示している。図８Ｄは、その単位画素７００内のデータフローを模式的に示している。
【０１３３】
本実施の形態によるビジョンチップは、複数の単位画素７００を備えている。複数の単位画素７００の各々は、典型的には、フォトダイオード（ＰＤ）７０１、フローティングディフュージョン（ＦＤ）７０２、拡張フローティングディフュージョン（ＥＦＤ）７０３、およびコンパレータ７０５を備えている。
【０１３４】
フローティングディフュージョン７０２および拡張フローティングディフュージョン７０３は、フォトダイオード７０１により生成された電荷を蓄積する。コンパレータ７０５は、フローティングディフュージョン７０２および拡張フローティングディフュージョン７０３のそれぞれに蓄積された電荷に応じて発生する電位の差分を取り、両者の大小関係を比較する。
【０１３５】
図９を参照しながら、本実施の形態によるビジョンチップの動作シーケンスを説明する。
【０１３６】
図９は、本実施の形態によるビジョンチップの動作シーケンスを示す。
【０１３７】
（ステップＳ２０１）
まず、第１の時刻で、フォトダイオード７０１、フローティングディフュージョン７０２、および拡張フローティングディフュージョン７０３のそれぞれの電荷をリセットする。
【０１３８】
（ステップＳ２０２）
次に、第２の時刻で、フォトダイオード７０１の電荷を、フローティングディフュージョン７０２に転送する。
【０１３９】
（ステップＳ２０３）
次に、第３の時刻で、フォトダイオード７０１をリセットする。
【０１４０】
（ステップＳ２０４）
次に、第４の時刻で、フローティングディフュージョン７０２の電荷を拡張フローティングディフュージョン７０３に転送する。
【０１４１】
（ステップＳ２０５）
次に、第５の時刻で、フォトダイオード７０１の電荷をフローティングディフュージョン７０２に転送する。
【０１４２】
（ステップＳ２０６）
最後に、フローティングディフュージョン７０２の電荷に応じた電位と、拡張フローティングディフュージョン７０３の電荷に応じた電位と、をコンパレータ７０５により比較する。比較の結果、両者の大小関係を表す第１のビットと、両者の差が一定の範囲内にあるか否かを示す第２のビットが出力される。
【０１４３】
実施の形態１による計測システムに従来のイメージセンサを適用した場合、イメージセンサの出力のデータ帯域がボトルネックとなり、システムコストの増加に繋がる。また、過去のフレームとの差分を取るために、イメージセンサの外部に過去のフレームの画像データを多値のままで記録しておくメモリが必要になる。その結果、メモリ容量およびそのメモリアクセスのための帯域を確保するために、メモリコストが増大してしまう。
【０１４４】
本実施の形態によるビジョンチップによれば、第１の時刻と第２の時刻との間に露光された第１のフレームと、第３の時刻と第５の時刻との間に露光された第２のフレームとの差分をコード化した出力が得られる。その出力は１画素に付き２フレーム合わせて２ビットのみを含んでいる。
【０１４５】
また、ビジョンチップは、過去のフレームの画像を電荷量として内部に保持するので、外部にメモリを設けなくてもよく、メモリ容量や帯域のコストを最小化することができる。
【０１４６】
本開示による計測システムによれば、移動物体の３次元計測において、３０００ｆｐｓ以上の高速計測を実現でき、かつ、その時間分解能を高く維持できる。
【０１４７】
以下、想定され得る本開示の応用例を説明する。
【０１４８】
本開示は、ＦＡ機器の制御、自動車のヘッドライト制御などのマシンビジョン分野、またはインタラクティブなプロジェクションマッピングなどに好適に適用され得る。また、スポーツなどの動きの早い人の動きを計測する計測分野、または医療分野への適用も考えられる。医療分野においては、モアレトポグラフィなどの使い慣れた形式が存在するが、上述したように、本開示の撮像データは、モアレトポグラフィの形式の画像に変換され得る。
【産業上の利用可能性】
【０１４９】
本開示の計測システム、および計測方法は、例えば医療システムおよびプロジェクションマッピングシステムに利用できる。
【符号の説明】
【０１５０】
１００、８００  計測システム
１０１、８０１  撮像装置
１０２  投影装置
１０３、８０４  被写体
１０４、計算機
４００  画像出力部
４１０  画像入力部
４２０  パターン復号部
４３０  フレームメモリ部
４４０  コード復号ユニット
４４１  コード復号用メモリ部
４５０  座標変換部
４６０  座標変換用メモリ部
４７０  座標補間部
４８０  コンテンツ生成部
４９０  パターン生成部
４９１  基本パターン生成部
４９２  補助パターン生成部
４９３  セレクタ
４１０  画像出力部
４１１  パターン生成部
７０１  フォトダイオード  ７０２  フローティングディフュージョン
７０３  拡張フローティングディフュージョン
７０４  アンプ
７０５  コンパレータ
８０２  光源
８０３  スリット板
８０５  画像群
【図１】
2015180857.tif 000003
【図２Ａ】
2015180857.tif 000004
【図２Ｂ】
2015180857.tif 000005
【図３】
2015180857.tif 000006
【図４】
2015180857.tif 000007
【図５】
2015180857.tif 000008
【図６Ａ】
2015180857.tif 000009
【図６Ｂ】
2015180857.tif 000010
【図７】
2015180857.tif 000011
【図８Ａ】
2015180857.tif 000012
【図８Ｂ】
2015180857.tif 000013
【図８Ｃ】
2015180857.tif 000014
【図８Ｄ】
2015180857.tif 000015
【図９】
2015180857.tif 000016
【図１０】
2015180857.tif 000017