(57)【要約】      （修正有）【課題】装置の小型化および低価格化を可能にし、かつ投影光を高い照度で照射できるようにして三次元形状を高精度に計測する。【解決手段】断面形状が円弧状をなす複数の凸レンズ部をガラス面上に一定間隔で螺旋状に一体形成したレンチキュラーレンズ８を、携帯端末ＭＴの背面に着脱自在に装着する。そして、このレンチキュラーレンズ８を携帯端末ＭＴのバイブレーション通知用のモータ４により回転させながら携帯端末ＭＴのライト３の光をレンチキュラーレンズ８を介して照射することで、観測対象物にグレイコードパターンを投影させる。そして、この状態で携帯端末ＭＴのカメラ２を用いて観測対象物を撮影し、その画像データと事前に作成されたルックアップテーブルを用いて観測対象物の三次元座標を得る。【選択図】図７
2016125918.tif 000002
【特許請求の範囲】
【請求項１】
観測対象物の三次元形状を計測する三次元形状計測装置であって、
暗部と明部による縞紋様を形成する螺旋状パターンを生成するための光学特性を有する螺旋状パターン生成光学系と、
前記螺旋状パターン生成光学系をその螺旋中心を軸として回転させる回転駆動部と、
前記観測対象物に対し、前記回転中の螺旋状パターン生成光学系を通して前記縞紋様が動的に変化する螺旋状パターンを投影する発光部と、
前記観測対象物に対し前記縞紋様が動的に変化する螺旋状パターンが投影されている状態で、当該観測対象物を撮像してその画像データを出力する撮像部と、
前記撮像部から出力された画像データをもとに、前記観測対象物の三次元形状を表す三次元座標を求める制御部と
を具備することを特徴とする三次元形状計測装置。
【請求項２】
前記螺旋状パターン生成光学系は、レンチキュラーレンズにより構成されることを特徴とする請求項１記載の三次元形状計測装置。
【請求項３】
前記回転駆動部は、携帯端末が備えるバイブレーション用モータと兼用することを特徴とする請求項１または２記載の三次元形状計測装置。
【請求項４】
前記制御部は、
前記螺旋状パターン生成光学系の回転角、前記螺旋の位置、前記撮像部の光軸方向の位置、前記撮像部の撮像素子上の画素の位置座標のすべての組み合わせに対応付けて三次元座標を記憶したルックアップテーブルと、
前記撮像部から出力された複数の画像データからその画素ごとに輝度が最大となる螺旋状パターン生成光学系の回転角を求め、当該回転角と、前記画素の位置座標と、前記螺旋の位置との組み合わせに対応する三次元座標を前記ルックアップテーブルから検索し、当該検索された三次元座標を前記観測対象物の三次元形状を表す情報として出力する手段と
を備えることを特徴とする請求項１乃至３のいずれかに記載の三次元形状計測装置。
【請求項５】
前記制御部は、前記撮像部の撮像素子上で見たときの前記螺旋状パターン生成光学系により投影される縞紋様の間隔をｘpixel、螺旋の本数をｎ本とした場合に、前記螺旋状パターン生成光学系を３６０÷ｘ÷ｎずつ回転させてｘ枚の静止画像を撮影するべく、前記回転駆動部および撮像部を制御することを特徴とする請求項１乃至４のいずれかに記載の三次元形状計測装置。
【請求項６】
暗部と明部による縞紋様を形成する螺旋状パターンを生成するための光学特性を有する螺旋状パターン生成光学系を備えた三次元形状計測装置により、観測対象物の三次元形状を計測する三次元形状計測方法であって、
回転駆動部により、前記螺旋状パターン生成光学系をその螺旋中心を軸として回転させる過程と、
発光部により、前記観測対象物に対し前記回転中の螺旋状パターン生成光学系を通して前記縞紋様が動的に変化する螺旋状パターンを投影する過程と、
前記縞紋様が動的に変化する螺旋状パターンが前記観測対象物に投影されている状態で、当該観測対象物を撮像部により撮像してその画像データを取得する過程と、
制御部により、前記撮像部により得られた画像データをもとに前記観測対象物の三次元形状を表す三次元座標を求める過程と
を具備することを特徴とする三次元形状計測方法。
【請求項７】
暗部と明部による縞紋様を形成する螺旋状パターンを生成するための光学特性を有する螺旋状パターン生成光学系を備えた三次元形状計測装置において、観測対象物の三次元形状を計測するために使用するプログラムであって、
回転駆動部により、前記螺旋状パターン生成光学系をその螺旋中心を軸として回転させる処理と、
発光部により、前記観測対象物に対し前記回転中の螺旋状パターン生成光学系を通して前記縞紋様が動的に変化する螺旋状パターンを投影する処理と、
前記縞紋様が動的に変化する螺旋状パターンが前記観測対象物に投影されている状態で、当該観測対象物を撮像部により撮像してその画像データを得る処理と、
制御部により、前記撮像部により得られた画像データをもとに前記観測対象物の三次元形状を表す三次元座標を求める処理と
を、前記三次元形状計測装置が備えるコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、物体をカメラで撮影して当該物体の三次元形状を計測する三次元形状計測装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、人の顔や物体をカメラで撮影してその撮像画像から顔や物体の三次元形状を求める技術が提案されている。この技術は、例えばグレイコードパターン光投影法を用い、プロジェクタをカメラの上に配置して当該プロジェクタからグレイコードパターン光を観測対象物に投影し、この状態で観測対象物をカメラにより撮像してその撮像画像をもとに観測対象の三次元形状を求めるものである（例えば、非特許文献１または非特許文献２を参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】堀磨伊也ほか、「３次元形状計測による正面顔の生成」、情報処理学会研究報告  2005-CVIM-149 (18) pp.127-134、2005/5/2.
【非特許文献２】原田孝仁ほか、「画像を用いた３次元形状計測技術とその応用」、日本写真学会誌、2014年67巻5号pp.486-489.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、非特許文献１に記載された技術は、グレイコードパターンを観測対象物に投影するためにプロジェクタを用いる。このため、装置の構成が大がかりになると共に高価になるという課題がある。また液晶シャッタ等により光を遮る構成であるため、投影光の減衰が大きくなり、これによりグレイコードパターンの解像度が低下して三次元形状の計測精度の劣化を招く。
【０００５】
一方、非特許文献２に記載された技術は、観測対象物に対しスリットを通してレーザ光を照射するものとなっている。このため、スリットによる光の減衰が大きく、観測対象物に照射される光が暗くなり、その結果グレイコードパターンの解像度が低下して三次元形状の計測精度の劣化を招く。
【０００６】
この発明は上記事情に着目してなされたもので、その目的とするところは、装置の小型化および低価格化を可能にし、かつ投影光を高い照度で照射できるようにして三次元形状を高精度に計測することができる三次元形状計測装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するためにこの発明の第１の態様は、観測対象物の三次元形状を計測する三次元形状計測装置にあって、暗部と明部による縞紋様を形成する螺旋状パターンを生成するための光学特性を有する螺旋状パターン生成光学系と、上記螺旋状パターン生成光学系をその螺旋中心を軸として回転させる回転駆動部と、上記観測対象物に対し、上記回転中の螺旋状パターン生成光学系を通して上記縞紋様が動的に変化する螺旋状パターンを投影する発光部と、上記観測対象物に対し上記縞紋様が動的に変化する螺旋状パターンが投影されている状態で、当該観測対象物を撮像してその画像データを出力する撮像部と、上記撮像部から出力された画像データをもとに、上記観測対象物の三次元形状を表す三次元座標を求める制御部とを備えるようにしたものである。
【０００８】
この発明の第２の態様は、上記螺旋状パターン生成光学系として、レンチキュラーレンズを用いるようにしたものである。
【０００９】
この発明の第３の態様は、上記回転駆動部を携帯端末が備えるバイブレーション用モータと兼用するようにしたものである。
【００１０】
この発明の第４の態様は、上記制御部に、上記螺旋状パターン生成光学系の回転角、上記螺旋の位置、上記撮像部の光軸方向の位置、上記撮像部の撮像素子上の画素の位置座標のすべての組み合わせに対応付けて三次元座標を記憶したルックアップテーブルと、上記撮像部から出力された画像データからその画素ごとに輝度が最大となる螺旋状パターン生成光学系の回転角を求め、当該回転角と、上記画素の位置座標と、上記螺旋の位置との組み合わせに対応する三次元座標を上記ルックアップテーブルから検索し、当該検索された三次元座標を上記観測対象物の三次元形状を表す情報として出力する手段とを備えるようにしたものである。
【００１１】
この発明の第５の態様は、上記制御部により、上記撮像部の撮像素子上で見たときの上記螺旋状パターン生成光学系により投影される縞紋様の間隔をｘ pixel、螺旋の本数をｎ本とした場合に、上記螺旋状パターン生成光学系を３６０÷ｘ÷ｎ度ずつ回転させてｘ枚の静止画像を撮影するべく、上記回転駆動部および撮像部を制御するようにしたものである。
【発明の効果】
【００１２】
この発明の第１の態様によれば、観測対象物の三次元形状を計測するために、螺旋状パターン生成光学系を使用して、暗部と明部による縞紋様が動的に変化する螺旋状パターンを観測対象物に投影するようにしている。このため、プロジェクタなどの大掛かりな装置を使用することなく、観測対象物の三次元形状を計測することが可能となり、これにより小型で安価な装置を提供できる。また、光学系として液晶シャッタやスリットを用いる場合に比べ、グレイコードパターンを十分な照度で投影することができ、これにより反射率の低い観測対象物であっても、また遠距離にある観測対象物についても、高解像度で撮影することが可能となる。
【００１３】
この発明の第２の態様によれば、螺旋状パターン生成光学系としてレンチキュラーレンズを用いることで、螺旋状パターン生成光学系を射出成形技術を用いて製作することができ、これにより安価な装置を提供できる。
【００１４】
この発明の第３の態様によれば、回転駆動部を携帯端末が備えるバイブレーション用モータと兼用するようにしたことで、螺旋状パターン生成光学系を回転させるために新たな回転駆動系を設ける必要がなく、これにより装置のさらなる小型化および低価格化を図ることができる。
【００１５】
この発明の第４の態様によれば、事前に作成したルックアップテーブルを用いて三次元座標を求めるようにしているので、すべて計算処理により三次元座標を求める場合に比べ、少ない計算量で短時間に三次元座標を求めることができる。
【００１６】
この発明の第５の態様によれば、螺旋状パターン生成光学系を３６０÷ｘ÷ｎ度ずつ回転させてｘ枚の静止画像を撮影するべく、回転駆動系およびカメラを制御するようにしたことによって、縞の紋様がカメラの撮像素子上で見て１画素移動するごとに１枚の画像を撮影することができ、これにより観測対象物の全域の奥行き情報をもれなく得ることができる。
【００１７】
すなわちこの発明によれば、装置の小型化および低価格化を可能にし、かつ投影光を高い照度で照射できるようにして三次元形状を高精度に計測することができる三次元形状計測装置、方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】この発明の一実施形態に係る、携帯端末を用いた三次元形状計測装置の概要と用途の一例を示す図。
【図２】図１に示した携帯端末の背面側の構成を示す図。
【図３】図１に示した携帯端末に設けられる、グレイコードパターン生成用のレンチキュラーレンズの構成を示す図。
【図４】図３に示したレンチキュラーレンズの断面形状を示す図。
【図５】図４に示したレンチキュラーレンズによる光の収束特性を示す図。
【図６】図４に示したレンチキュラーレンズにより生成される収束光の近似図。
【図７】図１に示した携帯端末の機能構成を示すブロック図。
【図８】図７に示した携帯端末の処理手順と処理内容を示すフローチャート。
【図９】図８に示したフローチャートのうち、ルックアップテーブルの作成処理の手順と処理内容を示すフローチャート。
【図１０】図８に示したフローチャートのうち、画像処理の手順と処理内容を示すフローチャート。
【発明を実施するための形態】
【００１９】
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る三次元形状計測装置の概要と用途の一例を示す図である。  
この実施形態は、三次元形状計測装置として携帯端末ＭＴを用いる。そして、当該携帯端末ＭＴにより、観測対象物ＢＬに対しレンチキュラーレンズによりグレイコードパターン光を投影し、この状態で観測対象物ＢＬを撮像してその撮像画像をもとに観測対象物ＢＬの三次元形状を求める。
【００２０】
携帯端末ＭＴには、図２に示すようにその背面に、撮像部としてのカメラ２と、発光部としてのライト３と、回転駆動部としてのモータ４が固定的に設置され、さらに螺旋状パターン生成光学系としてのレンチキュラーレンズ８が着脱自在に装着される。
【００２１】
このうちカメラ２は、携帯端末ＭＴに設けられた既存のもので、本実施形態では観測対象物ＢＬを撮像するために使用される。ライト３は、上記カメラ２のフラッシュライトとして携帯端末ＭＴが既に備えているもので、本実施形態ではレンチキュラーレンズ８により生成されるグレイコードパターン光を観測対象物ＢＬに投影するために使用される。モータ４は、上記レンチキュラーレンズ８をその螺旋中央部を中心として回転させるもので、例えばバイブレーション通知用として携帯端末ＭＴに設けられているバイブレーション通知用の小型モータが用いられる。
【００２２】
レンチキュラーレンズ８は次のように構成される。図３は当該レンチキュラーレンズ８により投影されるグレイコードパターンを、また図４はレンチキュラーレンズ８のレンズ中心から角度θへ向かう半径方向の断面図をそれぞれ示している。すなわち、レンチキュラーレンズ８は、図４に示すように断面形状が円弧状をなす複数の凸レンズ部８１，８１，８１，…を、ガラス面上に一定間隔Ｄで螺旋状に一体形成したものとなっている。なお、レンズ中心から最初の凸レンズ部までの間隔は、θ÷２π×Ｄに設定され、また各凸レンズ部８１，８１，８１，…の円弧の形状は半径ｒに設定されている。凸レンズ部８１，８１，８１，…の形状は、集光作用が得られる形状であれば円弧に限らない。
【００２３】
このような構成であるから、レンチキュラーレンズ８にライト３により光を照射すると、その光は例えば図５に示すように上記各凸レンズ部８１，８１，８１，…によりそれぞれ収束されて観測対象物ＢＬに照射される。このため、観測対象物ＢＬの表面には、例えば図３に示すような輝度が明るい部位と暗い部位とが交互に配置された縞紋様からなる螺旋状のグレイコードパターンが投影される。なお、図６はレンチキュラーレンズ８によって生成される光の近似図を示す。また、レンチキュラーレンズ８をその中心を軸としてモータ４により回転させると、１回転する間に上記縞紋様が凸レンズ部８１，８１，８１，…の間隔Ｄだけ半径方向に移動する。なお、各凸レンズ部８１，８１，８１，…の配置位置は、レンチキュラーレンズ８を１回転させる間に２Ｄ分以上移動するように設定してもよい。
【００２４】
また携帯端末ＭＴは、上記カメラ２、ライト３、モータ４およびレンチキュラーレンズ８の他に、図７に示すように、入出力インタフェースユニット５と、制御ユニット６と、記憶ユニット７を備えている。なお、携帯端末ＭＴは無線インタフェースユニットを備えているが、この発明には直接関係しないので図示を省略している。
【００２５】
入出力インタフェースユニット５は、キーパッドおよび表示器を備えた入出力部１との間で操作信号の入力と表示データの出力を行うと共に、上記カメラ２、ライト３およびモータ４に対し制御信号を供給して駆動させると共に、カメラ２により撮像された画像データを取り込む機能を有する。
【００２６】
記憶ユニット７は、記憶媒体としてＳＳＤ（Solid State Drive）等の書き込みおよび読み出しが可能な不揮発性メモリを有し、この発明に係る記憶機能として、ルックアップテーブル記憶部７１と、テクスチャ情報記憶部７２と、撮像画像記憶部７３と、三次元画像情報記憶部７４を備えている。
【００２７】
ルックアップテーブル記憶部７１は、ルックアップテーブルを記憶するために用いられる。ルックアップテーブルは、ｔ，θ，ｉｘ，ｉｙのすべての組み合わせとその時の三次元座標（ｘ，ｙ，ｚ）との対応関係を表す。なお、ｔはレンチキュラーレンズ８の回転角、θはレンズ中心から半径方向への角度（螺旋の位置）、ｉｘおよびｉｙはカメラ２の撮像素子上の座標位置をそれぞれ示す。
【００２８】
テクスチャ情報記憶部７２は、上記レンチキュラーレンズ８を通さずに撮像した観測対象物ＢＬのテクスチャ情報を記憶するために用いられる。撮像画像記憶部７３は、観測対象物ＢＬに上記レンチキュラーレンズ８によるグレイコードパターンが投影された状態で撮像して得られる当該観測対象物ＢＬの画像データを記憶するために用いられる。三次元画像情報記憶部７４は、後述する画像処理部６４によりピクセルごとに求められる三次元座標データとテクスチャの色を表す情報を記憶するために使用される。
【００２９】
制御ユニット６は、中央処理ユニット（Central Processing Unit：ＣＰＵ）を有し、この発明に係る制御機能として、ルックアップテーブル作成部６１と、テクスチャ撮影制御部６２と、三次元画像撮影制御部６３と、画像処理部６４を備えている。これらの制御部は、いずれも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。
【００３０】
ルックアップテーブル作成部６１は、観測対象物ＢＬの三次元形状の計測に先立ちルックアップテーブルを作成する処理を行う。具体的には、レンチキュラーレンズ８の回転角ｔを所定量Δｔずつ変化させ、かつ螺旋の位置θを所定量Δθずつ変化させ、さらに観測対象物ＢＬに対するカメラ２の光軸方向の位置ｙを所定量Δｙずつ変化させながら、投影される光線上の１点の撮像素子上の位置座標ｉｘ，ｉｙを求める。そして、上記回転角ｔ、螺旋の位置θ、光軸方向の位置ｙおよび撮像素子上の位置座標ｉｘ，ｉｙのすべての組み合わせについて、それぞれ三次元座標値（ｘ，ｙ，ｚ）をルークアップテーブル記憶部７１に格納する。なお、ｘはカメラ２の光軸に対し直交しレンチキュラーレンズ８と並行する軸、ｙはカメラの光軸と平行する軸、ｚはｘおよびｙと直交する軸とそれぞれ定義する。
【００３１】
テクスチャ撮影制御部６２は、上記レンチキュラーレンズ８が携帯端末ＭＴから取り外された状態で、上記カメラ２およびライト３を駆動制御することにより観測対象物ＢＬを撮像する。そして、これにより得られた観測対象物ＢＬのテクスチャ情報をテクスチャ情報記憶部７２に格納する処理を行う。
【００３２】
三次元画像撮影制御部６３は、上記レンチキュラーレンズ８が携帯端末ＭＴに装着された状態で、上記ライト３およびモータ４を駆動制御することにより、上記レンチキュラーレンズ８によるグレイコードパターンを動的に変化させながら観測対象物ＢＬの表面に投影する。そして、この状態でカメラ２により観測対象物ＢＬを複数回撮像して得られた画像データを撮影画像記憶部７３に格納する処理を行う。
【００３３】
画像処理部６４は、上記撮影画像記憶部７３に記憶された複数の画像データ中の任意のピクセル（ｉｘ，ｉｙ）に着目し、輝度が最大となるグレイコードパターンの回転角ｔを求めると共に、すべての螺旋の位置θに対してこのときのｔ，θ，ｉｘ，ｉｙを引数として上記ルックアップテーブル記憶部７１から対応する三次元座標（ｘ，ｙ，ｚ）の候補を求め、この求められた三次元座標の候補と隣接するピクセルの三次元座標の候補との間の距離に応じて上記ピクセルにラベル付けをする処理を、すべてのピクセルに対し実行する。そして、ピクセルごとに、ラベルごとのピクセル数をカウントしてそのカウント値が最大となるラベルに対応する三次元座標の候補を選択し、この選択した三次元座標を上記テクスチャ情報記憶部７２に記憶されたテクスチャの色を表す情報と共に三次元画像情報記憶部７４に格納する処理を行う。
【００３４】
（動作）
次に、以上のように構成された携帯端末ＭＴによる三次元形状計測動作について説明する。図８はその処理手順と処理内容の全体の流れを示すフローチャートである。
【００３５】
（１）ルックアップテーブルの作成
観測対象物ＢＬの形状の三次元計測を行う前に、先ずステップＳ１においてルックアップ作成部６１の制御の下、ルックアップテーブルの作成が以下のように行われる。図９はその処理手順と処理内容を示すフローチャートである。
【００３６】
すなわち、先ずステップＳ１１、Ｓ１２、Ｓ１３により、それぞれレンチキュラーレンズ８の回転角ｔ、螺旋の位置θおよびカメラ２の光軸上の位置ｙを初期値に設定する。そして、この状態でライト３を点灯させる。次にステップＳ１４において、投影される光線上の１点をＳ＝（θcos(θ+t)，ｙ，θsin(θ+t) ）とする。これをカメラ２から見ると、（ｐｘ，ｐｙ，ｐｚ）＝Ｒ・（Ｓ−Ｃ）となる。また、カメラ２の撮像素子上の位置は、（ｉｘ，ｉｙ）＝（ｐｘ／ｐｚ＊width，ｐｙ，ｐｚ＊height）となる。そして、ルックアップテーブルには、LOOKUPTABLE [t][ θ][ix][iy]＝（ｘ，ｙ，ｚ）と代入する。
【００３７】
但し、各パラメータは以下の通り定義する。  
螺旋の本数をｎとする。  
撮像素子上で見た螺旋の間隔をｘ pixelとする。
グレイコードパターンは、ｔ＝０〜２π／ｎの範囲で２π／ｘ／ｎずつ回転するものとする。  
観測対象物ＢＬのｙ座標は、ｙmin〜ｙmaxの範囲とする。  
グレイコードパターンの螺旋は、ｘ＝θcos(θ+t)，ｙ＝0，ｚ＝θsin(θ+t)であるとする。  
三次元空間上のカメラ２の座標はＣ＝（ｃｘ，ｃｙ，ｃｚ）とする。  
カメラ２の姿勢行列をＲとする。  
撮像する画像のサイズを（width，height）pixelとする。
【００３８】
ルックアップテーブル作成部６１は、上記ステップＳ１４による処理を、ステップＳ１６で光軸上の位置ｙの値を予め設定したΔｙずつ増加させるごとに繰り返す。そして、ステップＳ１５において光軸上の位置ｙがその最大値ｙmaxを超えたと判定されると、ｔ＝０、θ＝０における処理を終了する。
【００３９】
次にステップＳ１８で螺旋の位置θの値を予め設定されたΔθ増加させ、光軸上の位置ｙ＝０からｙmaxまでΔｙ間隔で上記ステップＳ１４による処理を繰り返す。そして、ステップＳ１７において螺旋の位置θの値がその最大値θmaxを超えたと判定されると、ｔ＝０でかつ０≦θ≦θmaxにおける処理を終了する。
【００４０】
続いてステップＳ２０で、レンチキュラーレンズ８の回転角ｔを予め設定した値（２π／ｘ／ｎ）増加させ、この状態でθが０≦θ≦θmaxの範囲でΔθ増加するごとに、ｙ＝０からｙmaxまでΔｙ間隔で上記ステップＳ１４による処理を繰り返す。そして、ステップＳ１９においてレンチキュラーレンズ８の回転角ｔの値がその最大値２π／ｎを超えたと判定されると、ルックアップテーブルの作成処理を終了する。
【００４１】
なお、ルックアップテーブルにおいてデータの抜けが生じないようにするために、上記Δｙは（θcos(θ+t)，ｙ，θsin(θ+t)）と（θcos(θ+t)，ｙ＋Δｙ，θsin(θ+t)）をカメラ２の撮像素子に投影したときに、隣接ピクセルになるように設定される。また同様に、Δθは（θcos(θ+t)，ｙ，θsin(θ+t)）と（(θ＋Δθ)cos(θ+Δθ+t)，ｙ，(θ＋Δθ)sin(θ+Δθ+t)）をカメラ２の撮像素子に投影したときに、隣接ピクセルになるように設定される。
【００４２】
（２）テクスチャの撮影
上記ルックアップテーブルの作成終了後に、ユーザがシャッタボタンを押下したとする。携帯端末ＭＴは、上記シャッタボタンの押下をステップＳ２で検出すると、ステップＳ３によりテクスチャ撮影制御部６２の制御の下、テクスチャの撮影を行う。この撮影は、事前にレンチキュラーレンズ８を携帯端末ＭＴから取り外し、ライト３の発光を観測対象物ＢＬに対し直接照射した状態で行われる。そして、カメラ２により得られた画像データはテクスチャ情報記憶部７２に格納される。
【００４３】
（３）三次元形状の計測のための撮影
携帯端末ＭＴは、次に三次元画像撮影制御部６３の制御の下、レンチキュラーレンズ８を回転させながら観測対象物ＢＬの撮影を行う。先ずステップＳ４によりモータ４を駆動制御してレンチキュラーレンズ８を一定量回転させるごとに、ステップＳ５によりカメラ２を動作させて観測対象物ＢＬを撮影する。そして、カメラ２により撮影された静止画データを撮影画像記憶部７３に格納する。この撮影動作は、ステップＳ６でレンチキュラーレンズ８が１／ｎ回転したことが検出されるまで、繰り返し行われる。
【００４４】
ところで、観測対象物ＢＬの全域にわたって三次元形状の計測をするには、十分な数の静止画を撮影する必要がある。例えば、カメラ２の撮像素子上で見てレンチキュラーレンズ８により投影される縞の間隔（明るい部分および暗い部分の双方）がｘ pixelであり、螺旋がｎ本である場合、レンチキュラーレンズ８を３６０÷ｘ÷ｎずつ回転させてｘ枚の静止画像を撮影する。すなわち、レンチキュラーレンズ８により投影される螺旋状の縞紋様がカメラ２の撮像素子上で見て１ pixel移動するごとに１枚の画像を撮影する。
【００４５】
螺旋の形状は（ｘ，ｚ）＝（θcos(θ/n)，θsin(θ/n)）で表され、螺旋の本数ｎはｎ≧２に設定される。レンチキュラーレンズ８を、その中心を軸として１回転させることで、観測対象物ＢＬ上の如何なる場所にも最低１回は明るい部分と暗い部分が通過する。レンチキュラーレンズ８が１回転する間に、観測対象物ＢＬ上のどの点でも螺旋の間隔Ｄ＝πの２倍以上（図４の例では２倍）の回数だけ縞が通過する。
【００４６】
なお、携帯端末ＭＴは軽量であるため、実際に撮影する際は手振れが発生しやすい。従って本実施形態では携帯端末ＭＴをスタンドで固定した状態で撮影する。また、経緯端末ＭＴが備えるライト３は発光強度がそれほど強くないため、観測対象物ＢＬに対する携帯端末ＭＴの距離を１０〜２０cm程度に設定して計測を行う。この範囲であれば、近似的に焦点が合っており、グレイコードパターンを用いても十分なコントラストが得られる。
【００４７】
（４）三次元座標を求めるための画像処理
上記レンチキュラーレンズ８が１／ｎ回転すると、携帯端末ＭＴはステップＳ７において、画像処理部補６４の制御の下で三次元座標を求めるための画像処理を以下のように行う。図１０はその処理手順と処理内容を示すフローチャートである。
【００４８】
すなわち、先ずステップＳ７１において、撮影画像記憶部７３から撮影された複数の画像データを読み出し、当該画像データのあるピクセル（ｉｘ，ｉｙ）に着目し、輝度が最大となるときのグレイコードパターンの回転角ｔを求める。続いてステップＳ７２により螺旋位置θを１つ選択し、ステップＳ７３において、この選択された螺旋位置θを含むｔ，θ，ｉｘ，ｉｙを引数として上記ルックアップテーブル記憶部７１から対応する三次元座標（ｘ，ｙ，ｚ）の候補を検索する。この三次元座標候補を検索処理は、螺旋位置θをΔθずつ変化させるごとに繰り返し行われる。
【００４９】
上記θが最大値θmaxを超えたことがステップＳ７４で検出されると、画像処理部６４はステップＳ７５において、上記検索された三次元座標候補と隣接するピクセルの三次元座標候補との間の距離を計算する。そして、当該計算された距離が予め設定したしきい値以下であるか否かを判定する。この判定の結果、上記ピクセル間の三次元座標候補の距離が閾値以下であれば、ステップＳ７６において当該ピクセルに対し隣接するピクセルと同じラベルを貼る。これに対し上記ピクセル間の三次元座標候補の距離が閾値を超えていれば、ステップＳ７７において当該ピクセルに対し新しいラベルを貼る。以上述べたステップＳ７１〜Ｓ７７における処理は、ピクセルを１つ選択するごとに繰り返し行われる。
【００５０】
すべてのピクセルに対する処理が終了したことがステップＳ７８で検出されると、画像処理部６４は次にステップＳ７９に移行し、ラベルごとにピクセル数をカウントする。そしてステップＳ８０により、上記カウント値が最大となるラベルに対応する三次元座標候補を選択し、この選択した三次元座標と、テクスチャ情報記憶部７２に記憶されたテクスチャの色を表す情報を、ピクセルごとに三次元画像情報記憶部７４に格納する。なお、テクスチャの色を表す情報は、レンチキュラーレンズ８を携帯端末ＭＴから取り外した状態で、テクスチャ撮影制御部６２により別途行われるテクスチャの撮影により得られる。
【００５１】
そうして三次元座標を求めるための画像処理が終了すると、最後にステップＳ７により三次元画像撮影制御部６３がモータ４の回転を停止させる。
【００５２】
なお、上記三次元画像情報記憶部７４に記憶された、ピクセルごとの三次元座標およびテクスチャの色を表す情報は、ユーザの操作に応じて三次元画像情報記憶部７４から読み出され、これらの情報をもとに観測対象物ＢＬの三次元画像が生成されて、入出力部１の表示器に表示される。また、上記三次元画像情報記憶部７４に記憶されたピクセルごとの三次元座標およびテクスチャの色を表す情報を、通信ネットワークまたは記録媒体を使用してオブジェクト作成者に提供することで、上記監視対象物ＢＬの三次元オブジェを制作することも可能である。
【００５３】
（用途）
以上述べた三次元形状計測装置を用いて例えば人の顔の三次元形状を計測し、その計測データを事前に登録した三次元形状の情報と比較することで、例えば建物や部屋へ入る際のセキュリティチェックを行うことが可能となる。また、前記三次元形状計測装置を複数台使用するか、または１台の三次元形状計測装置を観測対象物の周囲の異なる位置に移動させることで、観測対象物の側面や背面など多面的な三次元形状を取得することができる。
【００５４】
（実施形態の効果）
以上詳述したように本実施形態では、断面形状が円弧状をなす複数の凸レンズ部８１，８１，８１，…をガラス面上に一定間隔Ｄで螺旋状に一体形成したレンチキュラーレンズ８を、携帯端末ＭＴの背面に着脱自在に挿着する。そして、このレンチキュラーレンズ８を携帯端末ＭＴのバイブレーション通知用のモータ４により回転させながら、携帯端末ＭＴのライト３の光を当該レンチキュラーレンズ８を介して照射することで、観測対象物ＢＬにグレイコードパターンを投影させる。そして、この状態で携帯端末ＭＴのカメラ２を用いて上記観測対象物ＢＬを撮影し、その画像データと事前に作成されたルックアップテーブルを用いて上記間作対象物ＢＬの三次元座標を得るようにしている。
【００５５】
したがって、携帯端末ＭＴに既に設けられているカメラ２とそのフラッシュライト３、およびバイブレーション通知用のモータ４を利用することで、プロジェクタなどの大掛かりな装置を使用することなく、観測対象物ＢＬの三次元形状を表す座標情報を計測することが可能となり、これにより小型で安価な装置を提供できる。
【００５６】
また、光学系としてレンチキュラーレンズ８を使用することで、液晶シャッタやスリットを用いる場合に比べ、グレイコードパターンを十分な照度で投影することができ、これにより反射率の低い観測対象物であっても、また遠距離にある観測対象物についても、高解像度で撮影することが可能となる。
【００５７】
さらに、レンチキュラーレンズ８により投影される螺旋状の縞紋様がカメラ２の撮像素子上で見て１ pixel移動するごとに１枚の画像を撮影するように、レンチキュラーレンズ８の凸レンズ部８１の配置間隔を設定している。このため、撮影範囲の全域にわたって、少なくとも一度ずつは明るい部分と暗い部分が投影される。これにより、撮影範囲の全域にわたって奥行き情報を得ることが可能となり、観測対象物ＢＬの全面についてもれなく三次元座標を得ることが可能となる。
【００５８】
さらに、レンチキュラーレンズ８を用いることで、光学系を射出成形技術を用いて精度良く安価に製作することができ、これにより安価な装置を提供できる。また、レンチキュラーレンズ８を回転させるためのモータ４を携帯端末ＭＴが備えるバイブレーション用モータと兼用するようにしたことで、新たな回転駆動系を設ける必要がなく、これにより装置のさらなる小型化および低価格化を図ることができる。
【００５９】
さらに、事前に作成したルックアップテーブルを用いて三次元座標を求めるようにしているので、すべて計算処理により三次元座標を求める場合に比べ、少ない計算量で短時間に三次元座標を求めることができる。
【００６０】
［他の実施形態］
また、レンチキュラーレンズ８の代わりに、同様の螺旋状の縞紋様パターンからなるグレイコードパターンを生成することが可能なマスクや磨りガラスを用いることも可能である。
【００６１】
さらに、三次元形状計測装置として使用する携帯端末としては、携帯電話機の他にスマートフォンやタブレット型端末を用いてもよく、また携帯端末以外にカメラ、ライトおよびモータを備えたゲーム機やコンパクトカメラ、音楽・映像プレーヤ等を利用してもよい。その他、グレイコードパターンを生成する部材の構成、三次元形状計測処理の手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【００６２】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００６３】
ＭＴ…携帯端末、ＢＬ…観測対象物、１…入出力部、２…カメラ、３…ライト、４…モータ、５…入出力インタフェースユニット、６…制御ユニット、７…記憶ユニット、８…レンチキュラーレンズ、６１…ルックアップテーブル作成部、６２…テクスチャ撮影制御部、６３…三次元画像撮影制御部、６４…画像処理部、７１…ルックアップテーブル記憶部、７２…テクスチャ情報記憶部、７３…撮影画像記憶部、７４…三次元画像情報記憶部、８１…凸レンズ部。
【図１】
2016125918.tif 000003
【図２】
2016125918.tif 000004
【図３】
2016125918.tif 000005
【図４】
2016125918.tif 000006
【図５】
2016125918.tif 000007
【図６】
2016125918.tif 000008
【図７】
2016125918.tif 000009
【図８】
2016125918.tif 000010
【図９】
2016125918.tif 000011
【図１０】
2016125918.tif 000012