(57)【特許請求の範囲】
【請求項１】
基準画像と参照画像との対応付けを行って対応する画素間の視差を算出する視差算出手段と、この視差算出手段によって算出された対応する画素間の視差に基づいて距離画像を生成する距離画像生成手段とを備え、被写体を異なる視点から撮影した画像を用いて前記被写体の３次元形状を計測する３次元形状計測装置に用いられる撮像装置において、
前記被写体に対する適切なパターンとして予め定められた所定の投光パターンが焼き付けられたフィルムネガと、
このフィルムネガに焼き付けられた投光パターンを前記被写体に投射する投射手段と、
前記投光パターンが投射された被写体を撮影して前記基準画像を生成する第１の撮影手段と、
前記投光パターンが投射された被写体を前記第１の撮影手段の位置とは異なる位置から撮影して前記参照画像を生成する第２の撮影手段とを備え、
前記投光パターンは、文字、記号、図形又はこれらの組み合わせが複数存在するものであり、同一の文字、記号又は図形が複数存在しない
ことを特徴とする撮像装置。
【請求項２】
請求項１に記載された撮像装置において、
前記投射手段は、その光源が近赤外線発光ダイオードとされている
ことを特徴とする撮像装置。
【請求項３】
請求項２に記載された撮像装置において、
前記第１の撮像手段および前記第２の撮像手段の撮像素子と被写体との間に可視光カットフィルタが装着されている
ことを特徴とする撮像装置。
【請求項４】
基準画像と参照画像との対応付けを行って対応する画素間の視差を算出する視差算出手段と、この視差算出手段によって算出された対応する画素間の視差に基づいて距離画像を生成する距離画像生成手段とを備え、被写体を異なる視点から撮影した画像を用いて前記被写体の３次元形状を計測する３次元形状計測装置において、
前記被写体に対する適切なパターンとして予め定められた所定の投光パターンが焼き付けられたフィルムネガと、
このフィルムネガに焼き付けられた投光パターンを前記被写体に投射する投射手段と、
前記投光パターンが投射された被写体を撮影して前記基準画像を生成する第１の撮影手段と、
前記投光パターンが投射された被写体を前記第１の撮影手段の位置とは異なる位置から撮影して前記参照画像を生成する第２の撮影手段とを備え、
前記投光パターンは、文字、記号、図形又はこれらの組み合わせが複数存在するものであり、同一の文字、記号又は図形が複数存在しない
ことを特徴とする３次元形状計測装置。
【請求項５】
請求項４に記載された３次元形状計測装置において、
前記投射手段は、その光源が近赤外線発光ダイオードとされている
ことを特徴とする３次元形状計測装置。
【請求項６】
請求項５に記載された３次元形状計測装置において、
前記第１の撮像手段および前記第２の撮像手段の撮像素子と被写体との間に可視光カットフィルタが装着されている
ことを特徴とする３次元形状計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置および３次元形状計測装置に関し、特に、被写体を複数の異なる位置から撮影した画像を用いて被写体表面の３次元形状を計測する場合に用いて好適な撮像装置および３次元形状計測装置に関するものである。
【背景技術】
【０００２】
従来より、被写体のステレオ画像を撮影する３次元撮像装置を有する３次元形状計測装置では、異なる位置に設けられた少なくとも２台以上のカメラで被写体を撮影し、得られた複数の画像（基準となるカメラによる基準画像と、参照カメラによる参照画像）の間で対応する画素を特定し、対応付けられた基準画像上の画素と参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラから当該画素に対応する被写体の上の点までの距離を計測する。このような計測を被写体の表面全体に対応する全ての画素までの距離について行うことにより、被写体の３次元形状を計測できる。
【０００３】
この被写体の３次元形状の計測に際し、正確な３次元形状の計測を行うためには、基準画像と参照画像とで対応する画素を正確に対応付けることが重要である。この画素間の対応付けは、基準画像上のある点Ｐａに写像される実空間上の点は複数（図６に示す実空間上の点Ｐ１，Ｐ２，Ｐ３等）存在するので、実空間上の点Ｐ１，Ｐ２，Ｐ３等の写像である直線（エピポーララインと呼ばれている）上に、点Ｐａに対応する参照画像上の点Ｐａ’が存在することに基づいて行われる。しかし、被写体の表面の形状・濃淡・色等の特徴が少ない場合は、正確な対応付けは難しい。これに対し、高性能のカメラで構成された撮像装置を用いれば、幾分改善されるが装置が非常に高価なものとなる。
【０００４】
そこで、被写体の表面の形状・濃淡・色等の特徴が少ない場合でも正確な対応付けを行えるように改善された３次元形状計測装置が特許文献１に開示されている。この特許文献１に示された３次元形状計測装置では、一様乱数や正規乱数などの乱数を用いて非周期的な投光パターン（以下、ランダムパターンと呼ぶ）を生成し、この生成したランダムパターンを被写体に投射して、２つのカメラで撮像される両画像間の画素の対応づけをランダムパターンを手掛かりにして行うことで、対応付けの精度を向上させようとしている。
【０００５】
【特許文献１】特開２００１−１５９５０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した特許文献１に示された３次元形状計測装置によると、被写体に投射する投光パターンを乱数を用いて生成したランダムパターンとしているため、その投光パターンが毎回異なるものとなり、被写体に対して相性のあった適切な投光パターンであるか否かの保証がない。また、適切な投光パターンであるか否かについて、人が画像表示画面において肉眼で確認しようとしても判別し難い。
【０００７】
本発明は、このような課題を解決するためになされたもので、その目的とするところは、被写体に対して相性のあった適切な投光パターンであることを保証するとともに、適切な投光パターンであるか否かを画像表示画面において肉眼で判別し易い撮像装置および３次元形状計測装置を提供することにある。
【課題を解決するための手段】
【０００８】
このような目的を達成するために本発明の撮像装置は、基準画像と参照画像との対応付けを行って対応する画素間の視差を算出する視差算出手段と、この視差算出手段によって算出された対応する画素間の視差に基づいて距離画像を生成する距離画像生成手段とを備え、被写体を異なる視点から撮影した画像を用いて被写体の３次元形状を計測する３次元形状計測装置に用いられる撮像装置において、被写体に対する適切なパターンとして予め定められた所定の投光パターンが焼き付けられたフィルムネガと、このフィルムネガに焼き付けられた投光パターンを被写体に投射する投射手段と、投光パターンが投射された被写体を撮影して基準画像を生成する第１の撮影手段と、投光パターンが投射された被写体を第１の撮影手段の位置とは異なる位置から撮影して参照画像を生成する第２の撮影手段とを備え、投光パターンは、文字、記号、図形又はこれらの組み合わせが複数存在するものであり、同一の文字、記号又は図形が複数存在しないものとしたものである。
【０００９】
この発明によれば、フィルムネガに焼き付けられた投光パターンが被写体に投射され、この投光パターンが投射された被写体を撮影して生成された基準画像と参照画像が得られる。ここで、フィルムネガに焼き付けられた投光パターンは、被写体に対する適切なパターンとして予め定められた所定の投光パターンである。具体的には、文字、記号、図形又はこれらの組み合わせが複数存在するものであり、同一の文字、記号又は図形が複数存在しないものとされた投光パターンであり、その投光パターンが毎回異なるということはない。これにより、被写体に対して相性のあった適切な投光パターンであることが保証される。また、適切な投光パターンであるか否かを画像表示画面において肉眼で判別し易くなる。
【００１１】
また、本発明の撮像装置において、投射手段は、その光源を近赤外線発光ダイオードとするとよい。投光手段の光源を近赤外線発光ダイオードとすると、被写体が人間あるいは動物などの場合に、眩しくて目をあけていられないことを防ぐことができる。また、投光手段の光源を近赤外線発光ダイオードとする場合、第１の撮像手段および第２の撮像手段と被写体との間に可視光カットフィルタを装着すると、外乱光である可視光の影響を抑え、近赤外線によって撮像される被写体の画像の品質を向上させることができる。
【００１２】
また、本発明の３次元形状計測装置は、基準画像と参照画像との対応付けを行って対応する画素間の視差を算出する視差算出手段と、この視差算出手段によって算出された対応する画素間の視差に基づいて距離画像を生成する距離画像生成手段とを備え、被写体を異なる視点から撮影した画像を用いて被写体の３次元形状を計測する３次元形状計測装置において、被写体に対する適切なパターンとして予め定められた所定の投光パターンが焼き付けられたフィルムネガと、このフィルムネガに焼き付けられた投光パターンを被写体に投射する投射手段と、投光パターンが投射された被写体を撮影して基準画像を生成する第１の撮影手段と、投光パターンが投射された被写体を第１の撮影手段の位置とは異なる位置から撮影して参照画像を生成する第２の撮影手段とを備え、投光パターンは、文字、記号、図形又はこれらの組み合わせが複数存在するものであり、同一の文字、記号又は図形が複数存在しないものとしたものである。
【００１３】
この３次元形状計測装置によれば、第１の撮影手段により生成された基準画像（投光パターンが投射された被写体を撮影して生成された画像）と第２の撮影手段により生成された参照画像（投光パターンが投射された被写体を撮影して生成された画像）との対応付けを行って対応する画素間の視差が算出され、この算出された対応する画素間の視差に基づいて距離画像が生成される。この発明においても、上述した撮像装置と同様、フィルムネガに焼き付けられた投光パターンは、被写体に対する適切なパターンとして予め定められた所定の投光パターンであり、その投光パターンが毎回異なるということはない。これにより、被写体に対して相性のあった適切な投光パターンであることが保証され、適切な投光パターンであるか否かを画像表示画面において肉眼で判別し易くなる。
【発明の効果】
【００１４】
本発明によれば、被写体に対する適切なパターンとして予め定められた所定の投光パターンが焼き付けられたフィルムネガを設け、このフィルムネガに焼き付けられた投光パターンを被写体に投射するようにしたので、被写体に対して相性のあった適切な投光パターンであることを保証するとともに、適切な投光パターンであるか否かを画像表示画面において肉眼で判別し易いものとすることができるようになる
【発明を実施するための最良の形態】
【００１５】
以下、本発明を図面に基づいて詳細に説明する。図１はこの発明に係る撮像装置を含む３次元形状計測装置の一実施の形態の要部を示すブロック図である。同図において、１は被写体、２は基準カメラ、３は参照カメラ、４は投光器である。
【００１６】
この３次元形状計測装置は、例えば、人の顔のような立体的な被写体１の表面と基準カメラ２との距離を示す距離画像、すなわち、基準カメラ２から見た被写体１の表面形状を示す画像を生成するものである。
【００１７】
投光器４は、図２に示すように、光源４−１と、レンズ４−２とを備え、光源４−１とレンズ４−２との間にはフィルムネガ４−３が設けられている。フィルムネガ４−３には、被写体１に対する適切なパターンとして予め定められた所定の投光パターンＰＴが焼き付けられている。
【００１８】
本実施の形態において、投光パターンＰＴは、図３に示すように、文字「ＡＢＣ」とされている。この投光パターンＰＴは非周期的なパターンとされ、そのパターン内に同一の文字又は図形は複数存在しない。また、この投光パターンＰＴは、被写体１を人の顔として、基準画像と参照画像との画像間の対応付けを正確に行い得る適切なパターンとして定められたものである。
【００１９】
投光器４において、光源４−１からの光は、フィルムネガ４−３に照射される。これにより、フィルムネガ４−３に焼き付けられている投光パターンＰＴがレンズ４−２によって拡大され、被写体１に投射される。
【００２０】
基準カメラ２は、ＣＣＤ(Charge Coupled Device)素子を内蔵しており、被写体１を撮影し、得られた基準画像を電気信号に変換して画像間対応付け回路５に出力する。具体的には、基準カメラ２は、投光パターンＰＴが投射された状態の被写体１を連続撮影し、投光パターンＰＴが投射された状態の被写体１を撮像した基準画像を画像間対応付け回路５に出力する。
【００２１】
参照カメラ３は、基準カメラ２に対して所定の距離と角度が設けられており、基準カメラ２と同時に被写体１を撮影し、投光パターンＰＴが投射された状態の被写体１を撮像した参照画像を画像間対応付け回路５に出力する。
【００２２】
画像間対応付け回路５は、基準カメラ２からの投光パターンＰＴが投射された状態の被写体１を撮像した基準画像と、参照カメラ３からの投光パターンＰＴが投射された状態の被写体１を撮像した参照画像との対応付けを行い、基準画像の各画素に対する参照画像の画素の視差を距離画像生成回路６に出力する。
【００２３】
距離画像生成回路６は、画像間対応付け回路５から入力される基準画像と参照画像の各画素の視差を基に、距離画像（被写体１の写像の画素値が、被写体１の対応する点と基準カメラ２との距離に対応している画像）を生成して画像メモリ７に出力する。画像メモリ７内の距離画像は出力回路８から出力される。
【００２４】
次に、この３次元形状計測装置の動作について、図４に示すフローチャートを参照して説明する。
【００２５】
先ず、ステップＳ１において、投光器４からの投光パターンＰＴを被写体１に投射する。すなわち、投光器４において、光源４−１からの光をフィルムネガ４−３に照射することにより、フィルムネガ４−３に焼き付けられている投光パターンＰＴをレンズ４−２によって拡大させ、被写体１に投射する。
【００２６】
次に、ステップＳ２において、基準カメラ２と参照カメラ３により、投光パターンＰＴが投射された被写体１（例えば、人の顔）を撮影し、それぞれ、得られた基準画像Ｇ１、参照画像Ｇ２を画像間対応付け回路５に出力する。
【００２７】
ステップＳ３において、画像間対応付け回路５は、基準カメラ２からの基準画像Ｇ１と、参照カメラ３からの参照画像Ｇ２との対応付けを行い、基準画像Ｇ１の各画素に対する参照画像Ｇ２の画素の視差を距離画像生成回路６に出力する。
【００２８】
ステップＳ４において、距離画像生成回路６は、画像間対応付け回路５から入力された基準画像Ｇ１と参照画像Ｇ２の各画素の視差を基に、距離画像Ｄ１を生成して画像メモリ７に記録する。
【００２９】
以上の説明から分かるように、この３次元形状計測装置によれば、非周期的な投光パターンＰＴを被写体１に投射して撮影することで、基準画像Ｇ１と参照画像Ｇ２との画像間の対応付けにおけるミスを減少させ、白い壁や人の顔等のように、特徴が少ない立体的な被写体の表面形状を示す距離画像を生成することが可能となる。
【００３０】
また、この３次元形状計測装置によれば、フィルムネガ４−３に焼き付けられた投光パターンＰＴが被写体１に投射され、この投光パターンＰＴが投射された被写体１を撮影して生成された基準画像Ｇ１と、この投光パターンＰＴが投射された被写体１を撮影して生成された参照画像Ｇ２とが得られる。この場合、フィルムネガ４−３に焼き付けられた投光パターンＰＴは、被写体１に対する適切なパターンとして予め定められた所定の投光パターンであり、その投光パターンが毎回異なるということはない。これにより、被写体１に対して相性のあった適切な投光パターンであることが保証される。また、この投光パターンＰＴは、文字「ＡＢＣ」とされているので、適切な投光パターンであるか否かを画像表示画面において肉眼で判別し易い。
【００３１】
なお、この３次元形状計測装置において、投光パターンＰＴは、文字に限られるものではなく、記号や図形としてもよく、文字，記号，図形の組合せとしてもよい。図５に投光パターンＰＴの別の例を示す。
【００３２】
また、この３次元形状計測装置において、投光器４の光源４−１は近赤外線発光ダイオードとするとよい。投光器４の光源４−１を近赤外線発光ダイオードとすると、被写体１が人間あるいは動物などの場合に、眩しくて目をあけていられないことを防ぐことができる。また、投光器４の光源４−１を近赤外線発光ダイオードとする場合、基準カメラ１および参照カメラ２と被写体との間に可視光カットフィルタを装着すると、外乱光である可視光の影響を抑え、近赤外線によって撮像される被写体１の画像の品質を向上させることができる。
【００３３】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る撮像装置を含む３次元形状計測装置の一実施の形態の要部を示すブロック図である。
【図２】この３次元形状計測装置に用いる投光器の構成を示す図である。
【図３】この３次元形状計測装置において使用する投光パターンの一例を示す図である。
【図４】この３次元形状計測装置の動作を説明するためのフローチャートである。
【図５】この３次元形状計測装置において使用する投光パターンの別の例を示す図である。
【図６】エピポーララインを説明する図である。
【符号の説明】
【００３５】
１…被写体、２…基準カメラ、３…参照カメラ、４…投光器、４−１…光源、４−２…レンズ、４−３…ネガフィルム、５…画像間対応付け回路、６…距離画像生成回路、７…画像メモリ、８…出力回路、ＰＴ…投光パターン、Ｇ１…基準画像、Ｇ２…参照画像。
【図１】
0005191772.tif 000002
【図２】
0005191772.tif 000003
【図３】
0005191772.tif 000004
【図４】
0005191772.tif 000005
【図５】
0005191772.tif 000006
【図６】
0005191772.tif 000007