(57)【要約】      （修正有）【課題】環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる３次元情報算出装置を提供する。【解決手段】３次元情報算出装置５０は、近赤外波長領域の構造化光２を投影しているときに被写体３を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する画像入力部２０と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部５１と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部５２と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部５３と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部５４とを備える。【選択図】図３
2020101377.tif 000002
【特許請求の範囲】
【請求項１】
近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、前記構造化光を投影していないときに前記被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する画像入力部と、
前記第１近赤外画像と前記第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部と、
前記第１可視光画像と前記第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部と、
前記近赤外差分画像と前記可視光差分画像とを減算して抽出画像を算出する画像抽出部と、
前記抽出画像に基づいて、前記被写体までの距離を算出する３次元計算部と
を備える３次元情報算出装置。
【請求項２】
被写体に近赤外波長領域の構造化光を投影する投影部と、
前記構造化光を投影しているときの同一時刻、同一画角の第１近赤外画像、第１可視光画像を撮像し、前記構造化光を投影していないときの同一時刻、同一画角の第２近赤外画像、第２可視光画像を撮像する撮像部と、
前記第１近赤外画像と前記第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部と、
前記第１可視光画像と前記第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部と、
前記近赤外差分画像と前記可視光差分画像とを減算して抽出画像を算出する画像抽出部と、
前記抽出画像に基づいて、前記被写体までの距離を算出する３次元計算部と
を備える３次元計測装置。
【請求項３】
前記撮像部は、可視光波長領域で撮像する可視光撮像素子と、近赤外波長領域で撮像する近赤外撮像素子とが積層されている
請求項２記載の３次元計測装置。
【請求項４】
前記撮像部は、近赤外波長領域で撮像する近赤外撮像画素と、可視光波長領域で撮像する可視光撮像画素とが同一層に配置されている
請求項２記載の３次元計測装置。
【請求項５】
近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、前記構造化光を投影していないときに前記被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力するステップと、
前記第１近赤外画像と前記第２近赤外画像とを減算して近赤外差分画像を算出するステップと、
前記第１可視光画像と前記第２可視光画像とを減算して可視光差分画像を算出するステップと、
前記近赤外差分画像と前記可視光差分画像とを減算して抽出画像を算出するステップと、
前記抽出画像に基づいて、前記被写体までの距離を算出するステップと
を有する３次元情報算出方法。
【請求項６】
近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、前記構造化光を投影していないときに前記被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する手順と、
前記第１近赤外画像と前記第２近赤外画像とを減算して近赤外差分画像を算出する手順と、
前記第１可視光画像と前記第２可視光画像とを減算して可視光差分画像を算出する手順と、
前記近赤外差分画像と前記可視光差分画像とを減算して抽出画像を算出する手順と、
前記抽出画像に基づいて、前記被写体までの距離を算出する手順と
をコンピュータに実行させるための３次元情報算出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラムに関する。
【背景技術】
【０００２】
光を用いた３次元計測技術がいろいろと開発されている。このような３次元計測技術には、例えば、複数のカメラで撮像した画像の視差をもとに距離を測定するステレオビジョン法、光を照射してからその光が物体で反射して帰ってくるまでの時間や位相を測定して距離を測定するＴｏＦ法（Time of Flight法）などがある。また、所定のパターンを投影して撮像し、投影パターンが撮像画像のどこにあるかをもとに３次元計測を行う構造化光法（Structured Light法）もある。
【０００３】
構造化光法はプロジェクタなどから所定のパターンを被写体に投影してイメージセンサで撮像し、プロジェクタから出射する所定のパターンの位置と、撮像画像における投影パターンの実際の位置とのずれをもとに、三角測量法を用いて被写体までの距離を算出するものである。
【０００４】
例えば、特許文献１には、３次元計測装置において、構造化光を投影しているときに撮像した画像から構造化光を投影していないときに撮像した画像を減算し、構造化光以外の光（例えば、環境光）によるノイズ成分を除去することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１６９７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、背景技術では、３次元情報を得るために、構造化光を投影したときと構造化光を投影していないときの２回の撮像が必要であり、この２回の撮像の間に被写体が動くと、２枚の撮像画像において被写体の位置がずれてしまう。そして、被写体位置がずれた状態のままで２枚の撮像画像を減算すると、環境光の影響を十分に除外することができず、また、算出した被写体の３次元情報（距離情報）に誤差が生じてしまう。
【０００７】
本発明は、このような問題を解決するためになされたもので、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る３次元情報算出装置は、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する画像入力部と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部とを備えるものである。
【０００９】
また、本発明に係る３次元計測装置は、被写体に近赤外波長領域の構造化光を投影する投影部と、構造化光を投影しているときの同一時刻、同一画角の第１近赤外画像、第１可視光画像を撮像し、構造化光を投影していないときの同一時刻、同一画角の第２近赤外画像、第２可視光画像を撮像する撮像部と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部とを備えるものである。
【００１０】
また、本発明に係る３次元情報算出方法は、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力するステップと、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出するステップと、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出するステップと、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出するステップと、抽出画像に基づいて、被写体までの距離を算出するステップとを有するものである。
【００１１】
また、本発明に係る３次元情報算出プログラムは、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する手順と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する手順と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する手順と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する手順と、抽出画像に基づいて、被写体までの距離を算出する手順とをコンピュータに実行させるためのものである。
【発明の効果】
【００１２】
本発明により、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測する３次元情報算出装置、３次元計測装置、３次元情報算出方法及び３次元情報算出プログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】比較例に係る、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いていない場合の２枚の撮像画像の減算処理を説明するための図である。
【図２】比較例に係る、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いた場合の２枚の撮像画像の減算処理を説明するための図である。
【図３】実施の形態に係る３次元計測装置１の概略構成を示すブロック図である。
【図４】実施の形態に係る撮像部２０の概略構成を説明するための図である。
【図５】実施の形態に係る３次元計測方法の処理手順を示すフローチャートである。
【図６】実施の形態に係る３次元計測方法の処理内容を説明するための図である。
【図７】変形例に係る撮像部２５の概略構成を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、実施の形態に係る３次元情報算出装置及び３次元情報算出方法について説明するが、その前に比較例として、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いたときに生じる問題について、実際の画像を用いて簡単に説明する。
【００１５】
（比較例）
図１は、比較例に係る、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いていない場合の２枚の撮像画像の減算処理を説明するための図である。各撮像画像は、近赤外波長領域で撮像するカメラの左側にあるプロジェクタから近赤外波長領域の構造化光（以下、「パターン光」ということもある。）を投影し、撮像している。
【００１６】
パターン光を投影したときの画像１０１には、パターンが投影された壁６の前にやはりパターンが投影された球体５が写っている。画像１０１において、ザラザラしたように写っているのが投影されたパターンである。また、パターンが投影された球体５の右には、球体の陰になってパターンが投影されていない壁４が写っている。
【００１７】
また、パターン光を投影していないときの画像１０２には、パターンが投影されていない壁４の前にやはりパターンが投影されていない球体３が写っている。
そして、パターン光を投影したときの画像１０１からパターン光を投影していないときの画像１０２を減算して得られた近赤外差分画像１０３は球体３の輝度が相殺されていて、２値化処理によりパターンを容易に抽出することができる。また、抽出したパターンに三角測量法を適用して、球体３又は壁４までの距離も容易に算出することができる。
【００１８】
図２は、比較例に係る、構造化光を投影したときと構造化光を投影していないときの２回の撮像の間に被写体が動いた場合の２枚の撮像画像の減算処理を説明するための図である。投影及び撮像の条件は図１のときと同じである。
パターン光を投影したときの画像２０１を撮像したときからパターン光を投影していないときの画像２０２を撮像したときまでの間に、球体３がカメラの前を左から右へと移動している。
【００１９】
このため、パターン光を投影したときの画像２０１からパターン光を投影していないときの画像２０２を減算して得られた近赤外差分画像２０３は、パターンの背景に不要な輝度差が出現し、２値化処理のときに２値化のためのしきい値を適切に設定することができず、２値化処理によりパターンを適切に抽出することができない。また、抽出したパターンに三角測量法を適用しても、被写体の３次元形状を精度良く復元することができない。近赤外差分画像２０３から算出した距離画像２０４でも、球体３を適切に復元できていない。
【００２０】
（実施の形態）
そこで、実施の形態に係る３次元情報算出装置及び３次元情報算出方法は、同一時刻、同一画角の近赤外画像及び可視光画像を撮像することができる撮像素子を用いて、パターン光を投影したときの近赤外画像、可視光画像と、パターン光を投影していないときの近赤外画像、可視光画像とを取得し、これらの画像を用いて環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して、被写体までの距離を正確に算出する。
【００２１】
以下、このような本実施の形態に係る３次元情報算出装置及び３次元情報算出方法について図面を参照して説明する。
まず、本実施の形態に係る３次元情報算出装置の構成について、３次元情報算出装置を３次元情報算出部として備える３次元計測装置の構成に基づいて説明する。
【００２２】
図３は、本実施の形態に係る３次元計測装置１の概略構成を示すブロック図である。
３次元計測装置１は、例えば、スマートフォンであって、投影部１０、撮像部２０、メモリ３０、４０、３次元情報算出部５０などを備える。
投影部１０は、近赤外波長領域の構造化光２を被写体３に投影するプロジェクタである。構造化光２は、例えば、波長幅の狭いレーザ光であり、投影部１０のどの位置から出射されているかが分かるような公知のランダムドットパターンを用いる。
【００２３】
撮像部２０は、被写体３にパターン光２を投影したときと、投影していないときの同一時刻、同一画角の近赤外波長領域の画像（近赤外画像）及び可視光波長領域の画像（可視光画像）をそれぞれ撮像する撮像素子であり、可視光画像については撮像後にグレースケール画像に変換している。このため、撮像部２０は、可視光波長領域で撮像する可視光撮像素子２１の上に、近赤外波長領域で撮像する近赤外撮像素子２２が積層されている。
【００２４】
図４は、本実施の形態に係る撮像部２０の概略構成を説明するための図である。撮像部２０のある撮像画素行（又は、撮像画素列）とその隣の撮像画素行（又は、撮像画素列）とをそれぞれ撮像画素の積層方向と垂直な方向から視たときの断面を示している。
【００２５】
ベイヤ―配列で配置されたＲＧＢの可視光撮像画素２３の上に近赤外撮像画素２４（ＮＩＲ（Near InfraRed）撮像画素２４）がそれぞれ積層されている。ＮＩＲ撮像画素２４は、例えば、８００〜１０００ｎｍの近赤外波長領域で撮像する光電変換部を含む撮像画素である。このような撮像部２０は、公知技術を用いて、例えば、下層がシリコン基板などの半導体材料で形成され、上層が半導体材料又は有機膜で形成されている。なお、ＮＩＲ撮像画素２４は、近赤外波長領域に加えて可視光波長領域で撮像する撮像画素であっても良い。
【００２６】
そして、近赤外撮像素子２２は、画像データをメモリ３０又は３次元情報算出部５０に出力する。同様に、可視光撮像素子２１は、画像データをメモリ４０又は３次元情報算出部５０に出力する。
メモリ３０は、被写体３にパターン光２を投影したとき又は投影していないときの近赤外画像を記憶する。
メモリ４０は、被写体３にパターン光２を投影したとき又は投影していないときの可視光画像を記憶する。
【００２７】
３次元情報算出部５０は、撮像部２０及びメモリ３０、４０から入力した、パターン光２を投影したときの近赤外画像、可視光画像と、パターン光２を投影していないときの近赤外画像、可視光画像とを用いて、被写体３の３次元データ（３次元座標）を算出して３次元計測装置１の外部に出力する。
【００２８】
このため、３次元情報算出部５０は、近赤外画像差分部５１、可視光画像差分部５２、画像抽出部５３、３次元計算部５４などを備える。
近赤外画像差分部５１は、被写体３にパターン光２を投影したときの近赤外画像から投影していないときの近赤外画像を減算して近赤外差分画像を算出し、画像抽出部５３に出力する。
【００２９】
可視光画像差分部５２は、被写体３にパターン光２を投影したときの可視光画像から投影していないときの可視光画像を減算して可視光差分画像を算出し、画像抽出部５３に出力する。
画像抽出部５３は、近赤外差分画像から可視光差分画像を減算してパターン抽出画像を算出し、３次元計算部５４に出力する。
【００３０】
３次元計算部５４は、投影部１０から照射される構造化光におけるドットパターンの位置とパターン抽出画像におけるドットパターンの位置とのずれ量、投影部１０と撮像部２０との間の実際の距離、及び、撮像部２０の焦点距離に三角測量法を適用して被写体３の３次元データを算出して出力する。
なお、３次元情報算出部５０が実現する各構成要素は、例えば、コンピュータである３次元情報算出部５０が備える演算装置（図示せず）の制御によって、プログラムを実行することにより実現できる。
【００３１】
より具体的には、３次元情報算出部５０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
【００３２】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、３次元情報算出部５０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
【００３３】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００３４】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって３次元情報算出部５０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、または無線通信路を介して、プログラムを３次元情報算出部５０に供給できる。
【００３５】
次に、本実施の形態に係る３次元情報算出装置（３次元情報算出部５０）の動作、すなわち、３次元情報算出方法について、ここでは、３次元情報算出方法を含む３次元計測方法に基づいて説明する。
図５は、本実施の形態に係る３次元計測方法の処理手順を示すフローチャートである。
また、図６は、本実施の形態に係る３次元計測方法の処理内容を説明するための図である。
【００３６】
処理を開始して、投影部１０がパターン光２を投影する（ステップＳ１０）と、撮像部２０が近赤外画像（第１近赤外画像）３０１及び可視光画像（第１可視光画像）３０４を撮像し、可視光画像についてはグレースケール画像に変換する（ステップＳ２０）。
これにより、近赤外画像３０１には、パターンが投影された球体５及び壁６、パターンが投影されていない壁４が写っている。また、可視光画像３０４には、パターンが投影されていない球体３及び壁４が写っている。可視光画像３０４に近赤外波長領域のパターンが写ることはない。
【００３７】
次に、投影部１０がパターン光２の投影を中止する（ステップＳ３０）と、やはり、撮像部２０が近赤外画像（第２近赤外画像）３０２及び可視光画像（第２可視光画像）３０５を撮像し、可視光画像についてはグレースケール画像に変換する（ステップＳ４０）。
これにより、近赤外画像３０２及び可視光画像３０５にはともにパターンが投影されていない球体３及び壁４が写っているが、各画像からも明らかのように、近赤外画像３０１及び可視光画像３０４を撮像してから近赤外画像３０２及び可視光画像３０５を撮像するまでの間に、球体３が撮像部２０の前を左から右へと移動している。
【００３８】
次に、近赤外画像差分部５１が、パターン光２を投影したときの近赤外画像３０１からパターン光２を投影していないときの近赤外画像３０２を減算して、近赤外差分画像３０３を算出する（ステップＳ５０）。
近赤外差分画像３０３は、図２に示した近赤外差分画像２０３と同様にパターンの背景に不要な輝度差が出現しており、２値化処理によりパターンを適切に抽出することができず、このままでは球体３の適切な距離画像を得ることができない。
【００３９】
次に、可視光画像差分部５２が、パターン光２を投影したときの可視光画像３０４からパターン光２を投影していないときの可視光画像３０５を減算して、可視光差分画像３０６を算出する（ステップＳ６０）。可視光差分画像３０６にも、近赤外差分画像３０３と同様の輝度差が出現している。
【００４０】
次に、画像抽出部５３が、近赤外差分画像３０３から可視光差分画像３０６を減算してパターン抽出画像（抽出画像）３０７を算出する（ステップＳ７０）。上記したように、近赤外差分画像３０３及び可視光差分画像３０６には同様の輝度差が存在することから、これらの画像を減算することにより球体３の移動による画像のずれを補償し、その結果、パターンの背景が一様となって、２値化処理によりパターンを容易に抽出することができる。
【００４１】
次に、３次元計算部５４が、パターン抽出画像３０７に３角測量法を適用して、球体３までの距離又は球体３の３次元データを適切に算出して出力する（ステップＳ８０）。距離画像３０８でも、球体３を精度良く復元できている。
【００４２】
このように、本実施の形態に係る３次元情報算出装置及び３次元情報算出方法は、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して、被写体までの距離を正確に算出することができる。
【００４３】
なお、本実施の形態に係る３次元情報算出装置及び３次元情報算出方法では、種々の変更、変形が可能である。
例えば、本実施の形態では、撮像部２０として可視光波長領域で撮像する可視光撮像画素２３の上に、近赤外波長領域で撮像する近赤外撮像画素２４が積層された撮像素子を用いたが、撮像部として可視光撮像画素と近赤外撮像画素とが同一層に配置された撮像素子を用いても良い。
【００４４】
図７は、変形例に係る撮像部２５の概略構成を説明するための図である。撮像部２５の撮像面の一部を拡大したものを示す。
撮像部２５には、ベイヤ―配列の奇数行又は偶数行のＧ撮像画素がＮＩＲ撮像画素に置き換えられ、ＮＩＲ撮像画素及びＲＧＢの撮像画素が同一層に配置された、公知の撮像素子を用いることができる。
【００４５】
また、本実施の形態では、構造化光としてランダムドットパターンを用いたが、構造化光としてスリットパターン、グレイコードパターンなどを用いても良い。
また、本実施の形態では、３次元計測装置１はスマートフォンに限られるものではなく、デジタルカメラなどの、撮像部を備える各種の情報処理装置であっても良い。また、３次元計測装置１を３次元撮像装置、距離画像取得装置などのように構成しても良いし、投影装置、撮像装置、３次元情報算出装置等で構成される３次元計測システムなどのように構成しても良い。この場合には、３次元情報算出装置は各画像を入力する画像入力部を備えるようにする。
【００４６】
また、本実施の形態では、構造化光を投影した状態で撮像した後に構造化光を投影していない状態で撮像したが、構造化光を投影していない状態で撮像した後に構造化光を投影した状態で撮像しても良い。
【００４７】
また、本実施の形態では、可視光撮像素子２１が撮像した可視光画像をグレースケール画像に直接変換していたが、可視光画像から近赤外波長領域に近い赤色波長領域の画像だけを抽出した後にグレースケール画像に変換しても良い。このようにすれば、より適切に被写体の動き成分を補償することができる。
【００４８】
また、本実施の形態では、構造化光を投影したときと構造化光を投影していないときとの２回の撮像の間に被写体が動いた場合について説明をしてきたが、これらの２回の撮像の間に手振れなどにより撮像部の位置が動いた場合についても同様に考えて処理をすればよい。
【００４９】
また、本実施の形態では、近赤外波長領域の構造化光を用いたが、可視光波長領域の構造化光、例えば、赤色波長領域、緑色波長領域又は青色波長領域の構造化光を用いても良い。
【００５０】
この場合には、被写体に、例えば、青色波長領域の構造化光を投影し、構造化光を投影しているときの同一時刻、同一画角の青色波長領域画像、赤色波長領域画像を撮像し、また、構造化光を投影していないときの同一時刻、同一画角の青色波長領域画像、赤色波長領域画像を撮像して、構造化光を投影しているときの青色波長領域画像と構造化光を投影していないときの青色波長領域画像とを減算して青色波長領域差分画像を算出し、構造化光を投影しているときの赤色波長領域画像と構造化光を投影していないときの赤色波長領域画像とを減算して赤色波長領域差分画像を算出し、青色波長領域差分画像と赤色波長領域差分画像とを減算して抽出画像を算出し、抽出画像に基づいて、被写体までの距離を算出するようにすれば良い。
【００５１】
これならば、通常の撮像素子を用いて、本実施の形態に係る３次元情報算出装置及び３次元情報算出方法を実現することができる。
もちろん、近赤外波長領域、可視光波長領域以外の波長領域の構造化光を用いても良い。
【００５２】
以上、説明したように、本実施の形態に係る３次元情報算出装置５０は、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する画像入力部と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部５１と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部５２と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部５３と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部５４とを備えるものである。
このような構成により、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
【００５３】
また、本実施の形態に係る３次元計測装置１は、被写体に近赤外波長領域の構造化光を投影する投影部１０と、構造化光を投影しているときの同一時刻、同一画角の第１近赤外画像、第１可視光画像を撮像し、構造化光を投影していないときの同一時刻、同一画角の第２近赤外画像、第２可視光画像を撮像する撮像部２０と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する近赤外画像差分部５１と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する可視光画像差分部５２と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する画像抽出部５３と、抽出画像に基づいて、被写体までの距離を算出する３次元計算部５４とを備えるものである。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
【００５４】
また、本実施の形態に係る３次元計測装置１は、撮像部２０は、可視光波長領域で撮像する可視光撮像素子２１と、近赤外波長領域で撮像する近赤外撮像素子２２とが積層されていることが好ましい。
このような構成により、同一時刻、同一画角の近赤外画像及び可視光画像を容易に撮像することができる。
【００５５】
また、本実施の形態に係る３次元計測装置１は、撮像部２５は、近赤外波長領域で撮像する近赤外撮像画素と、可視光波長領域で撮像する可視光撮像画素とが同一層に配置されていることが好ましい。
このような構成でも、同一時刻、同一画角の近赤外画像及び可視光画像を容易に撮像することができる。
【００５６】
また、本実施の形態に係る３次元情報算出方法は、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力するステップと、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出するステップＳ５０と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出するステップＳ６０と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出するステップＳ７０と、抽出画像に基づいて、被写体までの距離を算出するステップＳ８０とを有するものである。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
【００５７】
また、本実施の形態に係る３次元情報算出プログラムは、近赤外波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１近赤外画像、第１可視光画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第２近赤外画像、第２可視光画像とを入力する手順と、第１近赤外画像と第２近赤外画像とを減算して近赤外差分画像を算出する手順Ｓ５０と、第１可視光画像と第２可視光画像とを減算して可視光差分画像を算出する手順Ｓ６０と、近赤外差分画像と可視光差分画像とを減算して抽出画像を算出する手順Ｓ７０と、抽出画像に基づいて、被写体までの距離を算出する手順Ｓ８０とをコンピュータに実行させるためのものである。
このような構成により、やはり、環境光の影響を除外するとともに、被写体の動きやカメラの手振れによる画像のずれを補償して被写体までの距離を正確に計測することができる。
【００５８】
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
第１波長領域の構造化光を投影しているときに被写体を撮像した同一時刻、同一画角の第１波長領域画像、第２波長領域画像と、構造化光を投影していないときに被写体を撮像した同一時刻、同一画角の第１波長領域画像、第２波長領域画像とを入力する画像入力部と、
構造化光を投影しているときの第１波長領域画像と構造化光を投影していないときの第１波長領域画像とを減算して第１波長領域差分画像を算出する第１波長領域画像差分部と、
構造化光を投影しているときの第２波長領域画像と構造化光を投影していないときの第２波長領域画像とを減算して第２波長領域差分画像を算出する第２波長領域画像差分部と、
第１波長領域差分画像と第２波長領域差分画像とを減算して抽出画像を算出する画像抽出部と、
抽出画像に基づいて、被写体までの距離を算出する３次元計算部と
を備える３次元情報算出装置。
【符号の説明】
【００５９】
１    ３次元計測装置
１０    投影部
２０、２５    撮像部
２１    可視光撮像素子
２２    近赤外撮像素子
２３    可視光撮像画素
２４    近赤外撮像画素
３０、４０    メモリ
５０    ３次元情報算出部
５１    近赤外画像差分部
５２    可視光画像差分部
５３    画像抽出部
５４    ３次元計算部
２    構造化光（パターン光）
３    被写体（球体）
４    壁
５    パターンが投影された球体
６    パターンが投影された壁
１０１、２０１、３０１    パターン光を投影したときの近赤外画像
１０２、２０２、３０２    パターン光を投影していないときの近赤外画像
１０３、２０３、３０３    近赤外差分画像
３０４    パターン光を投影したときの可視光画像
３０５    パターン光を投影していないときの可視光画像
３０６    可視光差分画像
３０７    パターン抽出画像（抽出画像）
２０４、３０８    距離画像
【図１】
2020101377.tif 000003
【図２】
2020101377.tif 000004
【図３】
2020101377.tif 000005
【図４】
2020101377.tif 000006
【図５】
2020101377.tif 000007
【図６】
2020101377.tif 000008
【図７】
2020101377.tif 000009