(57)【特許請求の範囲】
【請求項１】
物体表面に対して、波長の異なる少なくとも３つの光の各々を、それぞれ異なる位置から照射する第１光照射手段と、
前記物体表面に対して、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する第２光照射手段と、
前記第１光照射手段により照射される光の点灯状態を保ち、かつ、前記第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、
前記照射制御手段により制御される前記第２光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第１光照射手段により照射される光及び前記第２光照射手段により照射される光の点灯、並びに前記第１光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも３つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段と、
前記第１光照射手段により照射される光及び第２光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから、前記第１光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第２光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも３つの光の各々の波長間の反射率比を推定する反射率推定手段と、
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも３つの光の各々の波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、
を含む物体形状推定装置。
【請求項２】
前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の明るさと、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも３つの光の各々の波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出する請求項１記載の物体形状推定装置。
【請求項３】
前記第２光照射手段は、前記第１光照射手段により前記少なくとも３つの光の各々を照射する位置とは異なる位置から、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する請求項１又は２記載の物体形状推定装置。
【請求項４】
物体表面に対して、波長の異なる少なくとも２つの光の各々を、それぞれ異なる位置から照射する第１光照射手段と、
前記物体表面に対して、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長を全て包含する波長域を有する光を、前記第１光照射手段の少なくとも２つの光とは異なる位置から照射する第２光照射手段と、
前記第１光照射手段により照射される光の点灯状態を保ち、かつ、前記第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、
前記照射制御手段により制御される前記第２光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第１光照射手段により照射される光及び前記第２光照射手段により照射される光の点灯、並びに前記第１光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段と、
前記第１光照射手段により照射される光及び第２光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから、前記第１光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第２光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する反射率推定手段と、
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、
を含む物体形状推定装置。
【請求項５】
前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々の前記位置に対応する画素の明るさと、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の方向を表す単位ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出する請求項４記載の物体形状推定装置。
【請求項６】
前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する請求項４又は５記載の物体形状推定装置。
【請求項７】
コンピュータを、
物体表面に対して、波長の異なる少なくとも３つの光の各々を、それぞれ異なる位置から照射する第１光照射手段により照射される光の点灯状態を保ち、かつ、前記物体表面に対して、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、
前記照射制御手段により制御される前記第２光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第１光照射手段により照射される光及び前記第２光照射手段により照射される光の点灯、並びに前記第１光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも３つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段、
前記第１光照射手段により照射される光及び第２光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから、前記第１光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第２光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも３つの光の各々の波長間の反射率比を推定する反射率推定手段、及び
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも３つの光の各々の波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段、
として機能させるためのプログラム。
【請求項８】
コンピュータを、
物体表面に対して、波長の異なる少なくとも２つの光の各々を、それぞれ異なる位置から照射する第１光照射手段により照射される光の点灯状態を保ち、かつ、前記物体表面に対して、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長を全て包含する波長域を有する光を、前記少なくとも２つの光とは異なる位置から照射する第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、
前記照射制御手段により制御される前記第２光照射手段により照射される光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記第１光照射手段により照射される光及び前記第２光照射手段により照射される光の点灯、並びに前記第１光照射手段により照射される光の点灯に対応する一組の画像の各々から、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段、
前記第１光照射手段により照射される光及び第２光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさから、前記第１光照射手段により照射される光の各々に対応する前記分光画像データの各々の明るさを差し引いて得られる明るさと、前記第２光照射手段により照射される光の明るさの成分とに基づいて、前記物体表面の各位置について、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する反射率推定手段、及び
前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々と、前記物体表面の注目点に対して予め求められた前記第１光照射手段の光源の各々の方向を表す単位ベクトルとに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体形状推定装置及びプログラムに係り、特に、物体の３次元形状を推定する物体形状推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、被験者に負担を与えることなく、自然な摂食運動を正確に測定し得る摂食運動測定システムが提案されている（特許文献１参照）。この摂食運動測定システムでは、取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、テンプレートと面法線ベクトルデータとをテンプレートマッチングして、各面法線ベクトルデータにおける追跡形状の位置を特定する手法が用いられている。
【０００３】
また、照度差ステレオ法で求められる相対的な座標系を絶対的な座標系に高精度で変換し、精度の高い３次元データを生成する３次元データ生成方法が提案されている（特許文献２参照）。この３次元データ生成方法では、照射方向を変えて被写体を撮像することにより複数の原画像を取得し、各原画像のデータによって画像行列を生成し、当該画像行列に因子分解を適用して被写体における面の向きを抽出し、抽出した面の向きに基づいて被写体の３次元データを生成している。また、被写体を撮像する際に、立体チャートの表面の反射率の比及び面の向きが既知である少なくとも３つの面を被写体とともに撮像し、３つの面の反射率及び面の向きを用いて被写体の面の向きを絶対的な座標系に変換している。
【０００４】
また、照度差ステレオ法による顔形状の復元手法が提案されている（非特許文献１参照）。非特許文献１の技術では、カラーではなく、モノクロカメラを利用しており、異なる方向に設置された３つの白色光源を順に点灯しながら、３枚の画像を取得し、取得した画像の輝度差から対象物の法線ベクトルを推定して、対象物の３次元形状を復元している。また、外乱となる環境光の影響を排除するため、白色光源の照射がない４枚目の画像を取り込み、白色光を照射した画像との差分画像を利用している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−３１６５０号公報
【特許文献２】特開２００１−７４４１７号公報
【非特許文献】
【０００６】
【非特許文献１】A. Jones et al., “Head-mounted Photometric Stereo for Performance Capture,” Proc. European Conf. on Visual Media Production (CVMP 2011), pp. 158-164, 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の技術では、波長の異なる分光画像データを時系列に取得するため、計測に時間を要する。したがって、対象物に動きがある場合には３次元形状をうまく推定できないといった問題や、推定精度の劣化を生じるという問題がある。また、対象物の反射率は波長間で一定と仮定するか、又は波長間の反射率比を予め設定する必要があるが、表面色の異なる複数の物体を正しく計測する場合には、これらの前提が成立しないため法線ベクトルを推定することができないという問題がある。
【０００８】
また、特許文献２の技術では、参照となる立体チャートを常に被写体とともに撮像する必要があるため、装置の構成や対象物の設置方法の制約となるという問題がある。
【０００９】
また、非特許文献１の技術では、モノクロカメラを用いた照度差ステレオ法であるため、特許文献１と同様の問題がある。また、画像がモノクロである性質上、反射率変化に対応することができないという問題がある。
【００１０】
本発明は、上記問題点を解決するために成されたものであり、物体表面の色が未知の場合であっても、物体の３次元形状を精度よく推定することができる物体形状推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、第１の発明に係る物体形状推定装置は、物体表面に対して、波長の異なる少なくとも３つの光の各々を、それぞれ異なる位置から照射する第１光照射手段と、前記物体表面に対して、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する第２光照射手段と、前記第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも３つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段と、前記第１光照射手段により照射される光の各々の明るさと、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも３つの光の各々の波長間の反射率比を推定する反射率推定手段と、前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも３つの光の各々の波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、を含んで構成されている。
【００１２】
また、第１の発明に係る物体形状推定装置において、前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の明るさと、前記法線ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも３つの光の各々の波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出してもよい。
【００１３】
また、第１の発明に係る物体形状推定装置において、前記第２光照射手段は、前記第１光照射手段により前記少なくとも３つの光の各々を照射する位置とは異なる位置から、前記少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射してもよい。
【００１４】
また、前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも３つの光の各々の波長間の反射率比を推定してもよい。
【００１５】
また、第１の発明に係るプログラムは、コンピュータを、物体表面に対して、波長の異なる少なくとも３つの光の各々の波長を全て包含する波長域を有する光を照射する第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも３つの光の各々の波長に対応する分光画像データの各々を取得する画像取得手段、前記物体表面に対して、前記少なくとも３つの光の各々を、それぞれ異なる位置から照射する第１光照射手段により照射される光の各々の明るさと、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも３つの光の各々の波長間の反射率比を推定する反射率推定手段、及び前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも３つの光の各々の波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも３つの光の各々の波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段として機能させるためのプログラムである。
【００１６】
また、第２の発明に係る物体形状推定装置は、物体表面に対して、波長の異なる少なくとも２つの光の各々を、それぞれ異なる位置から照射する第１光照射手段と、前記物体表面に対して、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長を全て包含する波長域を有する光を、前記第１光照射手段の少なくとも２つの光とは異なる位置から照射する第２光照射手段と、前記第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段と、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段と、前記第１光照射手段により照射される光の各々の明るさと、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する反射率推定手段と、前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段と、を含んで構成されている。
【００１７】
また、第２の発明に係る物体形状推定装置において、前記法線ベクトル算出手段は、前記物体表面の各位置について、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々の前記位置に対応する画素の明るさと、前記法線ベクトルとの関係式を用いた連立方程式を、前記反射率推定手段により前記物体表面の前記位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を用いて解くことにより、前記物体表面の前記位置の法線ベクトルを算出してもよい。
【００１８】
また、第２の発明に係る物体形状推定装置において、前記反射率推定手段は、前記物体表面の各位置について、取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々の前記位置に対応する画素の、前記光の点灯及び消灯における明るさの差分値を用いて、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定してもよい。
【００１９】
また、第２の発明に係るプログラムは、コンピュータを、物体表面に対して、波長の異なる少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長を全て包含する波長域を有する光を、前記少なくとも２つの光とは異なる位置から照射する第２光照射手段により照射される光の点灯及び消灯を制御する照射制御手段、前記照射制御手段により制御される前記光の点灯及び消灯に同期して、撮像手段により前記物体表面を撮像することにより得られた、前記光の点灯及び消灯に対応する一組の画像の各々から、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々を取得する画像取得手段、前記物体表面に対して、前記少なくとも２つの光の各々を、それぞれ異なる位置から照射する第１光照射手段により照射される光の各々の明るさと、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記分光画像データの各々とに基づいて、前記物体表面の各位置について、前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比を推定する反射率推定手段、及び前記反射率推定手段により前記物体表面の各位置について推定された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長間の反射率比と、前記第１光照射手段により照射される光の各々の明るさ及び位置と、前記第２光照射手段により照射される前記少なくとも２つの光とは異なる波長の光の明るさ及び位置と、前記画像取得手段により取得された前記少なくとも２つの光の各々の波長、及び前記少なくとも２つの光とは異なる波長に対応する分光画像データの各々とに基づいて、前記物体表面の各位置の法線ベクトルを算出する法線ベクトル算出手段として機能させるためのプログラムである。
【発明の効果】
【００２０】
本発明の物体形状推定装置、及びプログラムによれば、物体表面に対して、波長の異なる少なくとも３つの光の各々と、少なくとも３つの光の各々の波長を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々から分光画像データの各々を取得し、取得した分光画像データの各々を用いて波長間の反射率比を推定し、推定した反射率比を用いて物体表面の各位置の法線ベクトルを算出することで、物体表面の色が未知の場合であっても、物体の３次元形状を精度よく推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施の形態に係る物体形状推定装置の構成を示すブロック図である。
【図２】３ＣＣＤを用いたカラーカメラの構成を示す模式図である。
【図３】単板式カラー画像で用いられるカラーフィルタを示す模式図である。
【図４】本発明の第１の実施の形態に係る撮像環境を示す概念図である。
【図５】本発明の第１及び第２の実施の形態に係る物体形状推定装置の物体形状推定処理ルーチンの内容を示すフローチャートである。
【図６】本発明の第２の実施の形態に係る物体形状推定装置の構成を示すブロック図である。
【図７】本発明の第２の実施の形態に係る白色光源が有する波長域を示す概念図である。
【図８】本発明の第２の実施の形態に係る撮像環境を示す概念図である。
【図９】本発明の各実施の形態に係る効果を示す模式図である。
【図１０】本発明の各実施の形態に係る実験結果を示す図である。
【図１１】照度差ステレオ法の原理を示す模式図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２３】
まず、本発明の各実施の形態の前提となる照度差ステレオ法の原理について概要を説明する。
【００２４】
照度差ステレオ法は画像の輝度情報から撮像した物体表面の法線ベクトルを算出する技術である。装置は１つのカメラと３つの光源で構成されている。図１１に示すように、撮像対象に対してそれぞれ異なる方向に３つの光源を配置し、いずれか１つの光源が照射された状態の画像データを取得する。つまり、光源の数と同じ枚数の画像データが取得される。カメラと撮像対象の位置関係は変化しないため、画像中の各画素は対象物の同じ点を撮影していることになる。変化するのは光源の位置だけであるため、画像の明るさは光源の位置と各画素に対応した対象物表面の法線ベクトルに依存する。ただし、物体表面は完全拡散反射、つまり面からの反射光はどの方向にも均一な強度を有すると仮定している。このとき、以下（１）式が成立する。
【００２５】
【数１】
0006432968.tif 000002
【００２６】
ここで、Ｉは撮像画像の画素値、又は輝度、ρは物体表面の反射率、Ｌは光源の明るさを表す。また、ｎは注目点、又は物体表面における法線ベクトル、ｓは注目点から光源の方向を表す単位ベクトル、θはｎとｓがなす角度である。
【００２７】
つまり、光源の明るさＬと反射率ρが不変と仮定すれば、画面中の輝度Ｉは光源の向きと物体表面の法線ベクトルがなす角度によってのみ変化する。法線ベクトルは上記（１）式より、次の（２）式によって定義される。
【００２８】
【数２】
0006432968.tif 000003
【００２９】
未知数は法線ベクトルの３成分、つまり３次元空間のベクトル要素であり、各画素について、３つの光源に対する画像データから上記（２）式を３つ生成できる。そのため、生成した３つの式からなる連立方程式を解くことにより、各画素における法線ベクトルを算出することができる。
【００３０】
以上の手順で法線ベクトルを求める方法が照度差ステレオ法であるが、上述のように光源を切り替えながら３枚の画像を取得する必要がある。光源の波長域が互いに重ならないように設定し、カメラ側で３つの波長域の画像を分光して撮像できれば光源の切り替えは必要ない。このアイデアに基づいて、ＲＧＢのＬＥＤ光源とカラーカメラを用いた構成によるカラー照度差ステレオ法によって１度の撮影で対象物の法線ベクトルを算出する手法も提案されている。ただし、カラー照度差ステレオ法では反射率ρを不変とする条件の成立性が課題である。単色の物体を計測するだけであれば、最初に１度だけキャリブレーションすればよいが、計測対象に色の変化が生じたり、計測対象が様々な色を含む場合にはこの手法は適用できない。物体の表面色によって反射率が変化してしまうためである。
【００３１】
そこで、本発明の各実施の形態では照明装置の点滅を利用して、計測対象の反射率比を画素単位、又は画像中の小領域単位で推定することにより、カラー照度差ステレオ法の適用範囲を拡張する。
【００３２】
＜本発明の第１の実施の形態に係る物体形状推定装置の構成＞
【００３３】
次に、本発明の第１の実施の形態に係る物体形状推定装置の構成について説明する。
【００３４】
図１に示すように、本発明の第１の実施の形態に係る物体形状推定装置１００は、予め設定された波長域の照射光を撮像対象の物体表面に照射する照明部１０と、照明部１０による照明の点滅を制御する照明制御部１２と、照明が照らされた物体表面を撮像する撮像部１４と、撮像部１４から出力される画像データを処理する画像処理部２０と、画像処理部２０での処理結果を表示するための出力部５０とを備えている。
【００３５】
照明部１０は、物体表面に対して、光を照射する４つの光源で構成されている。４つの光源のうち３つは、物体表面に対して、後述する撮像部１４で分光撮像が可能なＲＧＢのそれぞれの波長に対応した３つの光の各々を、それぞれ異なる位置から照射する光源である。なお、当該３つの光源が第１光照射手段の一例である。残りの１つの光源は、波長の異なる３つの光の各々の波長を全て包含する波長域を有する光を物体表面に対して照射する光源（以下、白色光源と呼ぶ）である。なお、当該白色光源が第２光照射手段の一例である。白色光源はＲＧＢ全ての波長域を含むため、白色光源を点滅させると、撮像部１４で撮像される画像の各々から得られるＲＧＢの波長に対応する３つの分光画像データの各々は、全て輝度変化を生じることになる。
【００３６】
照明制御部１２は、照明部１０の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御する。また、制御周期に同期してトリガ信号を撮像部１４に送信する。一方、白色光源以外の光源は撮像の間、点灯状態を保つように制御する。なお、白色光源以外の光源をそれぞれ順番に切り替えて点灯させるようにしてもよい。
【００３７】
撮像部１４は、照明制御部１２から送信されるトリガ信号に合わせてシャッターを制御し、物体表面を撮像する。結果として白色光源が点灯した状態と消灯した状態で計測対象の物体表面を映した２枚一組の画像を撮影する。撮影された画像データは、照明制御部１２の白色光源の点灯状態を識別するためのフラグ情報と共に画像処理部２０へ転送される。撮像部１４は、図２に示すように、プリズムを用いて入射光を分割し、異なる特性のバンドパスフィルタを配したＣＣＤでそれぞれを受光する３ＣＣＤ構成とする。なお、図３に示すように画素ごとにＲＧＢを透過するフィルタを並べることで一つの撮像素子でカラー情報を取得する単板式の構成としてもよい。いずれの場合でも、バンドパスフィルタは照明部１０のＲＧＢのいずれか一つの波長域のみを透過するように構成されているものとする。図４に本実施の形態の撮影環境の模式図を示す。未知の反射率ρを有する物体表面から反射された４光源の光をカメラで撮像する。反射率ρは物体表面の色に応じて変化するため、法線ベクトルを正しく算出するためには、反射率ρを推定しなければならない。
【００３８】
画像処理部２０は、ＣＰＵと、ＲＡＭと、後述する物体形状推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理部２０をハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロック図で説明すると、図１に示すように、撮像部１４から画像を取得する画像取得部３０と、分光画像データと照明部１０に関する情報を記憶する撮像情報格納部３２と、物体表面の各位置について反射率比を推定する反射率推定部３４と、推定した反射率比を用いて対象物の法線ベクトルを算出する法線ベクトル算出部３６とを備えている。
【００３９】
画像取得部３０は、撮像部１４により物体表面を撮像することにより得られた、照明制御部１２による白色光源の光の点灯及び消灯に対応する一組の画像の各々から、波長の異なる３つの光の各々の波長に対応する分光画像データの各々を取得すると同時に、白色光源の点灯状態を識別するためのフラグ情報を取得する。そして、波長の異なる３つの光の各々について、白色光源の点灯及び消灯に対応した一組の分光画像データを揃えて、反射率推定部３４に出力する。
【００４０】
なお、点灯及び消灯を繰り返しながら画像が順に撮影されるようにすれば、１フレーム前の画像と現フレームの画像とは点灯状態が異なるため、１フレーム前の画像データを撮像情報格納部３２に格納しておき、画像取得部３０からは現フレームの画像の分光画像データだけが出力されるように構成し、反射率推定部３４の演算過程では、必要に応じて１フレーム前の画像の分光画像データを撮像情報格納部３２から取得する形にしてもよい。
【００４１】
撮像情報格納部３２は、画像取得部３０で取得された一組の画像についての分光画像データが格納される。また、照明部１０の波長の異なる３つの光源に起因する明るさの成分Ｌg、Ｌb、Ｌr、白色光源に起因する明るさの成分Ｅ、及び各注目画素に対応する物体表面上の点から各光源の方向を表す単位ベクトルｓE、ｓLg、ｓLb、ｓLrの値等を記憶している。
【００４２】
反射率推定部３４は、撮像情報格納部３２に記憶されている照明部１０により照射される波長の異なる３つの光の各々の明るさと、画像取得部３０により取得された波長の異なる３つの光の各々の波長に対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置について、波長の異なる３つの光の各々の波長間の反射率比を推定する。
【００４３】
ここで、波長間の反射率比を推定する原理について説明する。
【００４４】
まず、白色光源が点灯している場合と消灯している場合に対して、上述した（１）式に基づいて以下（３）式、及び（４）式の関係式が各画素について成り立つ。
【００４５】
【数３】
0006432968.tif 000004
【００４６】
ここで、Ｅは白色光源の明るさを表す。また、添え字のＬは白色光源以外の光源に起因する成分を表し、添え字Ｅは白色光源に起因する成分を表す。ＩＬＥは白色光源と白色光源以外の光源の両者で照らされた場合の画像中の注目画素の明るさを意味する。
【００４７】
（３）式と（４）式に従って明るさの差分をとると、白色光源のみに起因する関係式が導出され、反射率に関する以下（５）式、及び（６）式の関係式が得られる。本実施の形態においては、各注目画素について、取得された波長の光の各々の波長に対応する分光画像データの各々の注目画素についての、光の点灯及び消灯における明るさの差分値をとる。
【００４８】
【数４】
0006432968.tif 000005
【００４９】
（６）式における反射率は、以下（７）において、ＲＧＢごとに、波長の異なる３つの光の各々の反射率について、それぞれ同様に算出される。（６）式の分子をＩＬＥ−ＩＬ＝Ｉ’と置くと、
【００５０】
【数５】
0006432968.tif 000006
【００５１】
となる。従って、各注目画素に対応する物体表面の各位置について、波長の異なる３つの光の各々の波長間の反射率比は以下の（８）式により推定される。
【００５２】
【数６】
0006432968.tif 000007
【００５３】
法線ベクトル算出部３６は、反射率推定部３４で上記（８）式により物体表面の各位置について推定された３つの光の各々の波長間の反射率比と、撮像情報格納部３２に記憶されている、照明部１０により照射される光の各々の明るさ及び各注目画素に対応する物体表面上の点から各光源の方向と、画像取得部３０により取得された波長の異なる３つの光の各々の波長に対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出する。
【００５４】
ここで、物体表面の各位置の法線ベクトルを算出する原理について説明する。
【００５５】
まず、上記（２）式に基づいて、画素単位で法線ベクトルが算出されるが、ＲＧＢにおける反射率の違いを上記（８）式の比で推定できるため、表面色の違いなどによって画素単位でＲＧＢ間の反射率が変化していても法線ベクトルを算出することができる。これは、法線ベクトルも大きさ１のベクトルであり、３軸成分の比率が分かれば求められるためである。
【００５６】
波長の異なる３つの光の各々の波長に対応する分光画像データの各々に対して、ＲＧＢのそれぞれについて上記（４）式が成立する。また、（８）式から物体表面におけるＲＧＢに対応した反射率比が求められているため、法線ベクトルｎに対して以下の（９）〜（１１）式の関係式が成り立つ。
【００５７】
【数７】
0006432968.tif 000008
【００５８】
法線ベクトルは３次元空間のベクトルであり、ベクトルの要素は３つである。そこで、法線ベクトル算出部３６では、各注目画素に対応する物体表面の各位置について、反射率推定部３４において物体表面の各位置について推定された、波長の異なる３つの光の各々の波長間の反射率比を用いて、（９）〜（１１）式からなる連立方程式を解くことにより、物体表面の各位置の法線ベクトルを算出する。そして、算出した物体表面の各位置の法線ベクトルに基づいて、出力部５０により物体形状に関する所定の出力情報を出力する。なお、特定の向きの面のみを出力するようにしてもよいし、法線ベクトルの変化が不連続な部分を抽出してもよい。
【００５９】
＜第１の実施の形態に係る物体形状推定装置の作用＞
【００６０】
次に、第１の実施の形態に係る物体形状推定装置１００の作用について説明する。照明制御部１２により照明部１０の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御し、制御周期に同期してトリガ信号を撮像部１４に送信する。また、照明制御部１２により、白色光源以外の光源は撮像の間、点灯状態を保つように照明部１０を制御する。そして、撮像部１４により、白色光源により照射される光の点灯及び消灯に同期して、対象物の撮像が行われ、撮像された一組の画像を画像処理部２０において受け付けると、物体形状推定装置１００は、図５に示す物体形状推定処理ルーチンを実行する。
【００６１】
まず、ステップＳ１００では、撮像部１４から受け付けた一組の画像の各々から、波長の異なる３つの光の各々の波長に対応する分光画像データの各々を取得すると共に、白色光源の点灯状態を識別するためのフラグ情報を取得する。
【００６２】
次に、ステップＳ１０２では、ステップＳ１００で取得した分光画像データの各々、及びフラグ情報に基づいて、３つの光の各々の波長に対して、当該光の波長の分光画像データの各注目画素について、白色光源の光の点灯及び消灯における明るさの差分値を算出する。
【００６３】
ステップＳ１０４では、撮像情報格納部３２に記憶されている、照明部１０により照射される３つの光の各々の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向を取得する。
【００６４】
ステップＳ１０６では、ステップＳ１０２で３つの光の各々の波長に対して算出した分光画像データの各注目画素についての明るさの差分値と、ステップＳ１０４で取得した３つの光の各々の明るさとに基づいて、各注目画素に対応する物体表面の各位置について、上記（８）式に従って、３つの光の各々の波長間の反射率比を推定する。
【００６５】
ステップＳ１０８では、ステップＳ１０２で３つの光の各々の波長に対して算出した分光画像データの各注目画素についての明るさの差分値と、ステップＳ１０４で取得した３つの光の各々の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向と、ステップＳ１０６で推定した波長の異なる３つの光の各々の波長間の反射率比とに基づいて、上記各注目画素に対応する物体表面の各位置について、（９）〜（１１）式からなる連立方程式を解くことにより、法線ベクトルを算出する。
【００６６】
そして、ステップＳ１１０では、ステップＳ１０８で算出した物体表面の各位置の法線ベクトルに基づいて、出力部５０により物体形状に関する所定の出力情報を出力する。
【００６７】
以上説明したように、第１の実施の形態に係る物体形状推定装置によれば、物体表面に対して、ＲＧＢに対応する３つの光の各々と、３つの光の各々の波長を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々から分光画像データの各々を取得し、取得した分光画像データの各々を用いて、各注目画素に対応する物体表面の各位置について、波長間の反射比を推定し、推定した反射比を用いて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出することにより、物体表面の色が未知の場合であっても、物体の３次元形状を精度よく推定することができる。
【００６８】
また、点滅する光源を一つ追加し、点灯及び消灯に合わせた２枚の画像を取得することで、様々な色を有する反射率が未知の物体表面の法線ベクトルを推定することが可能となる。例えば、図６（Ａ）のような平面に異なる色が付した物体では、色によって反射率が変化する。そのため、従来手法では、図６（Ｂ）に示すように、推定される法線ベクトルが正しく求められない。しかしながら、上述した第１の実施の形態で説明した方法によれば、図６（Ｃ）に示すように、物体表面の色に依らず正しい形状を推定できる。また、図１０（Ａ）〜（Ｃ）は、図７（Ａ）に示すカラー印刷した白紙を壁に貼り付け、従来手法と上述した第１の実施の形態で説明した提案手法との両者で法線ベクトルを算出した場合の実験結果の例である。対象は平面であるが、従来手法では、図７（Ｂ）のように、対象表面のカラーにより法線方向が変化していることが分かる。一方、提案手法では、図７（Ｃ）のように、ほぼ一様な色で表示されており、表面色に影響されていないことが確認できる。なお、カメラから見て対象面が少し右に傾いているため、図７（Ｃ）のように表示されている。
【００６９】
また、２枚の画像を撮像するだけで済むため、計測時間が比較的短く抑えられる。
【００７０】
＜本発明の第２の実施の形態に係る物体形状推定装置の構成＞
【００７１】
次に、本発明の第２の実施の形態に係る物体形状推定装置の構成について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００７２】
第２の実施の形態では、照明部２１０が、３つの光源で構成されており、波長が異なる２つの光の各々と、２つの光の各々の波長を包含する波長域を有する光とが照射される点、反射率比を推定する原理、及び法線ベクトルを算出する原理が第１の実施の形態と異なっている。
【００７３】
図８に示すように、本発明の第２の実施の形態に係る物体形状推定装置２００は、照明部２１０と、照明制御部２１２と、撮像部２１４と、画像処理部２２０と、出力部２５０とを備えている。
【００７４】
照明部２１０は、物体表面に対して、光を照射する３つの光源で構成されている。３つの光源のうち２つは、物体表面に対して、撮像部２１４で分光撮像可能なＲＧＢのうち２つに対応した２つの光の各々を、それぞれ異なる位置から照射する光源である。本実施の形態では、２つの光はＲＧＢのうちＧとＢの波長の各々に対応する。なお、当該２つの光源が第１光照射手段の一例である。残りの１つの光源は、図９に示すように、波長の異なる２つの光の各々のＧとＢの波長と、当該２つの光の各々の波長とは異なるＲの波長とを全て包含する波長域を有する光を物体表面に対して照射する白色光源である。なお、当該白色光源が第２光照射手段の一例である。
【００７５】
照明制御部２１２は、照明部２１０の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御する。
【００７６】
撮像部２１４は、照明制御部２１２から送信されるトリガ信号に合わせてシャッターを制御し、物体表面を撮像する。図１０に本実施の形態の撮影環境の模式図を示す。未知の反射率ρを有する物体表面から反射された３光源の光をカメラで撮像する。
【００７７】
画像処理部２２０は、図８に示すように、画像取得部２３０と、撮像情報格納部２３２と、反射率推定部２３４と、法線ベクトル算出部２３６とを備えている。
【００７８】
画像取得部２３０は、撮像部１４により物体表面を撮像することにより得られた、照明制御部１２による白色光源の光の点灯及び消灯に対応する一組の画像の各々から、ＲＧＢに対応する分光画像データの各々を取得すると同時に、白色光源の点灯状態を識別するためのフラグ情報を取得する。そして、白色光源の点灯及び消灯に対応した一組の画像を揃えて、反射率推定部２３４に受け渡す。
【００７９】
撮像情報格納部２３２は、画像取得部３０で取得された一組の画像についての分光画像データが格納される。また、照明部２１０の波長の異なる２つの光源に起因する明るさの成分Ｌg、Ｌb、白色光源に起因する明るさの成分Ｅ、及び各注目画素に対応する物体表面上の点から各光源の方向を表す単位ベクトルｓE、ｓLg、ｓLbの値等を記憶している。
【００８０】
反射率推定部２３４は、撮像情報格納部２３２に記憶されている照明部２１０により照射される波長の異なる２つの光の各々の明るさ、白色光源の光の明るさ、及び各注目画素に対応する物体表面上の点から白色光源の方向と、画像取得部３０により取得されたＲＧＢに対応する分光画像データの各々とに基づいて、物体表面の各位置について、ＲＧＢ間の反射率比を推定する。
【００８１】
ここで、第２の実施の形態における波長間の反射率比を推定する原理について説明する。
【００８２】
まず、白色光源が点灯した状態に対して、以下（１２）〜（１４）式の関係式が各画素について成り立つ。
【００８３】
【数８】
0006432968.tif 000009
【００８４】
一方、白色光源が消灯した状態に対して、以下（１５）、及び（１６）式の関係式が各画素について成り立つ。
【００８５】
【数９】
0006432968.tif 000010
【００８６】
Ｒの波長に対応する画素は、白色光源が消灯した場合には光源がなくなるため、関係式はＧとＢに対応する画素のみで成立する。ここで、各注目画素について、ＧとＢに対応する分光画像データの各々の注目画素についての、光の点灯及び消灯における明るさの差分値をとることで、白色光源にのみ起因する以下（１７）、及び（１８）式の関係式が得られる。
【００８７】
【数１０】
0006432968.tif 000011
【００８８】
上記（１２）、（１７）、及び（１８）式に基づいて、以下（１９）式により、ＲＧＢごとに、反射率が算出される。
【００８９】
【数１１】
0006432968.tif 000012
【００９０】
従って、各注目画素に対応する物体表面の各位置について、ＲＧＢ間の反射率比は以下（２０）式により推定される。
【００９１】
【数１２】
0006432968.tif 000013
【００９２】
法線ベクトル算出部２３６は、反射率推定部２３４で上記（２０）式により物体表面の各位置について推定されたＲＧＢ間の反射率比と、撮像情報格納部２３２に記憶されている、照明部２１０により照射される波長の異なる２つの光の各々の明るさ、白色光源の光の明るさ、及び各注目画素に対応する物体表面上の点から各光源の方向と、画像取得部２３０により取得されたＲＧＢに対応する分光画像データの各々とに基づいて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出する。
【００９３】
法線ベクトル算出部２３６では、各注目画素に対応する物体表面の各位置について、反射率推定部３４において物体表面の各位置について推定された、ＲＧＢ間の反射率比を用いて、以下の（２１）式に示す３つの式からなる連立方程式を解くことにより、物体表面の各位置の法線ベクトルを算出する。
【００９４】
【数１３】
0006432968.tif 000014
【００９５】
＜第２の実施の形態に係る物体形状推定装置の作用＞
【００９６】
次に、本発明の第２の実施の形態に係る物体形状推定装置２００の作用について説明する。照明制御部２１２により照明部２１０の光源のうち白色光源により照射される光の点灯及び消灯を一定周期で繰り返すように制御し、制御周期に同期してトリガ信号を撮像部２１４に送信する。また、照明制御部２１２により、白色光源以外の光源は撮像の間、点灯状態を保つように照明部２１０を制御する。そして、撮像部２１４により、白色光源により照射される光の点灯及び消灯に同期して、対象物の撮像が行われ、撮像された一組の画像を画像処理部２２０において受け付けると、物体形状推定装置２００は、上記図５に示す物体形状推定処理ルーチンと同様の処理ルーチンを実行する。
【００９７】
なお、第２の実施の形態に係る物体形状推定装置２００の他の構成及び作用については、第１の実施の形態と同様であるため、詳細な説明を省略する。
【００９８】
以上説明したように、第２の実施の形態に係る物体形状推定装置によれば、物体表面に対して、ＲＧＢのうち２つに対応する２つの光の各々と、２つの光の各々の波長とＲの波長に対応する光を全て包含する波長域を有する光とが照射され、光の点灯及び消灯に対応する一組の画像の各々からＲＧＢの分光画像データの各々を取得し、取得した分光画像データの各々を用いて、各注目画素に対応する物体表面の各位置について、波長間の反射比を推定し、推定した反射比を用いて、各注目画素に対応する物体表面の各位置の法線ベクトルを算出することにより、物体表面の色が未知の場合であっても、物体の３次元形状を精度よく推定することができる。
【００９９】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１００】
例えば、上述した各実施の形態では、照明部から照射される光は、ＲＧＢに対応する波長を有する３つの光である場合を例として説明したが、これに限定されるものではなく、カメラによって撮像した画像から、３つ以上の波長を識別できる分光画像データの取得が可能な光であれば、どのような波長の光を用いてもよい。
【０１０１】
また、上述した各実施の形態では、各注目画素に対応する物体表面の各位置について、反射率比を推定し、法線ベクトルを算出する場合を例として説明したが、これに限定されるものではなく、画像を所定の小領域単位に分割し、分割した小領域領域に対応する物体表面の各位置について、反射率比を推定し、法線ベクトルを算出するようにしてもよい。
【符号の説明】
【０１０２】
１０、２１０  照明部
１２、２１２  照明制御部
１４、２１４  撮像部
２０、２２０  画像処理部
３０、２３０  画像取得部
３２、２３２  撮像情報格納部
３４、２３４  反射率推定部
３６、２３６  法線ベクトル算出部
５０、２５０  出力部
１００、２００       物体形状推定装置
【図１】
0006432968.tif 000015
【図２】
0006432968.tif 000016
【図３】
0006432968.tif 000017
【図４】
0006432968.tif 000018
【図５】
0006432968.tif 000019
【図６】
0006432968.tif 000020
【図７】
0006432968.tif 000021
【図８】
0006432968.tif 000022
【図９】
0006432968.tif 000023
【図１０】
0006432968.tif 000024
【図１１】
0006432968.tif 000025