(57)【要約】【課題】パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素と投光されない部分に対応する画素との輝度差を大きくすると共に被写体のパターンが投光された部分に対応する画素の露光のオーバーフローを防止することが可能な被写体の三次元情報形成方法を提供する。【解決手段】被写体にパターン無し閃光を投光して被写体のパターン無し画像を撮影するステップと、被写体にパターン付き閃光を投光して被写体のパターン付き画像を撮影するステップと、パターン無し画像とパターン付き画像とを比較して被写体の三次元情報を取得するステップとを有し、被写体のパターン付き画像を撮影するステップは、パターン付き閃光の光量を固定して、パターン付き画像を撮影するときの露出条件を調整することを含む被写体の三次元画像形成方法とする。【選択図】        図２
2005044022.tif 000002
【特許請求の範囲】
【請求項１】
被写体にパターン無し閃光を投光して前記被写体のパターン無し画像を撮影するパターン無し画像撮影ステップと、
前記被写体にパターン付き閃光を投光して前記被写体のパターン付き画像を撮影するパターン付き画像撮影ステップと、
前記パターン無し画像と前記パターン付き画像とを比較して前記被写体の三次元情報を取得する三次元情報取得ステップと、を有する被写体の三次元画像形成方法において、
前記パターン付き画像撮影ステップは、前記パターン付き閃光の光量を固定して、前記パターン付き画像を撮影するときの露出条件を調整することを含むことを特徴とする被写体の三次元画像形成方法。
【請求項２】
前記パターン付き閃光の光量は、パターン無し閃光の光量よりも大きいことを特徴とする請求項１記載の被写体の三次元画像形成方法。
【請求項３】
前記パターン付き画像を撮影するときの露出条件は、前記パターン付き画像の露出量が、前記パターン無し画像の露出量よりも小さくなるように調整されることを特徴とする請求項１又は２記載の被写体の三次元画像形成方法。
【請求項４】
前記パターン無し画像撮影ステップは、前記パターン無し閃光の光量及び前記パターン無し画像を撮影するときの露出条件を記録するステップを含み、
前記パターン付き画像撮影ステップは、前記パターン付き画像を撮影するときの露出条件を記録するステップを含むことを特徴とする請求項１乃至３いずれか一項記載の被写体の三次元画像形成方法。
【請求項５】
前記パターン付き画像における前記パターン付き閃光が撮影されてない画素の輝度が、前記パターン無し画像における、前記画素に対応する画素の輝度と等しくなるように、前記パターン付き画像又は前記パターン無し画像の露出調整を行うステップをさらに含むことを特徴とする請求項１乃至４いずれか一項記載の被写体の三次元画像形成方法。
【請求項６】
前記パターン無し画像の色を調整するホワイトバランスの値を取得するステップ、及び
前記パターン無し画像の色を前記ホワイトバランスの値で調整する色調整ステップをさらに含み、
前記色調整ステップは、前記三次元情報取得ステップより後にあることを特徴とする請求項１乃至５いずれか一項記載の被写体の三次元画像形成方法。
【請求項７】
被写体にパターン無し閃光又はパターン付き閃光を投光する投光手段と、
前記パターン無し閃光又は前記パターン付き閃光が投光された前記被写体を撮影して、パターン無し画像又はパターン付き画像を得る撮影手段と、
前記パターン無し画像と前記パターン付き画像とを比較して前記被写体の三次元情報を取得する三次元情報取得手段と、を有する被写体の三次元画像形成装置において、
前記撮影手段は、前記パターン付き閃光の光量を固定すると共に前記パターン付き画像を撮影するときの露出条件を調整する手段を含むことを特徴とする被写体の三次元画像形成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体にパターン無し閃光又はパターン付き閃光を投光して、被写体のパターン無し画像又はパターン付き画像を撮影し、パターン無し画像と前記パターン付き画像とを比較して被写体の三次元情報を取得する、被写体の三次元画像形成方法及び装置に関する。
【０００２】
【従来の技術】
一般に、被写体の三次元形状を計測する方法には、光投影法、焦点合わせ法、光速度や光の干渉を利用した方法などの様々な方法が知られている。このような被写体の三次元形状を計測する方法の一つである光投影法としては、例えば、パターン光投影法がある。パターン光投影法では、被写体にスリットパターンなどのパターンを投光する投光部、並びに被写体及び被写体に投光されたパターンを撮影する撮影部を有する三次元画像形成装置を使用する。ここで、三次元画像形成装置における投光部及び撮影部とは、互いに異なる位置に配置されている。パターン光投影法では、三次元画像形成装置における投光部及び撮影部の位置、並びに被写体に投光されたパターンの位置に関して、三角測量の原理を適用する。これにより、三次元画像形成装置から被写体に投光されたパターンの位置までの距離を測定する。よって、パターンを被写体の全体にわたって投光して、三次元画像形成装置から被写体に投光されたパターンまでの距離を測定することで、被写体の三次元形状を計測することができる。
【０００３】
また、三次元画像形成装置によって、投光部からパターンを投光せずに、及び撮影部と被写体との位置関係を変えずに、撮影部によって被写体を撮影して、パターンが投光されてない被写体の画像（パターン無し画像）を得ることができる。よって、被写体にパターンを投光することによって測定された被写体の三次元形状の画像データに、得られたパターン無し画像の画像データを張り付けることで、被写体の三次元画像を形成することができる。
【０００４】
スリットパターンなどのパターンを投光する光投影法を使用した三次元画像形成装置としては、従来、三次元情報入力カメラが知られている。この三次元情報入力カメラも、被写体にパターン付きの閃光を投光すること、及び同じ被写体にパターン無しの閃光を投光することで、二回撮影を行う。このような二回の撮影により得られた情報を処理することで、被写体の三次元形状を形成する。
【０００５】
より具体的には、例えば、三次元情報入力カメラが、一回目の撮影において投光する閃光の第一の調光手段、及び第一の調光手段と独立な、二回目の撮影において投光する閃光の第二の調光手段を有してもよい。ここで、第一及の調光手段から投光される閃光の光量を制御する第一の調光判定レベルは、第二の調光手段から投光される閃光の光量を制御する第二の調光判定レベルと異なってもよく（例えば、特許文献１参照）、又は第一及び第二の調光判定レベルの両方が、三次元情報入力カメラによる一般撮影時の閃光の光量を制御する調光判定レベルと異なってもよい（例えば、特許文献２参照）。
【０００６】
また、三次元情報入力カメラが、一回目の閃光の発光時間を記憶する記憶手段と、二回目の閃光の発光時間を記憶手段によって記憶された一回目の閃光の発光時間と同じに設定する設定手段を有してもよい（例えば、特許文献３参照）。
【０００７】
上記三次元情報入力カメラ以外の三次元画像形成装置としては、（擬似）立体データ生成装置等が開示されている。（擬似）立体データ生成装置は、例えば、被写体を複数の方向から撮影し、複数の方向から撮影した被写体の画像データを入力するカメラを有し、カメラが、外部からホワイトバランス又は露出パラメータを設定できるパラメータ設定部を有する。この（擬似）立体データ生成装置において、複数の上記カメラを使用して被写体の複数の画像を撮影し、撮影された複数の画像を張り合わせて被写体の三次元画像を形成してもよい。この場合には、一つのカメラでホワイトバランス又は露出パラメータを自動決定し、その値を保持する。次に、決定されたホワイトバランス又は露出パラメータが、他のカメラに通知され、それら他のカメラの内部におけるパラメータ設定部に設定される。そして一つのカメラで設定されたホワイトバランス又は露出パラメータを、全てのカメラに対する共通のパラメータとして、全てのカメラで被写体の画像を撮影する（例えば、特許文献４参照）。
【０００８】
【特許文献１】
特許第３２７５８７３号明細書（第１頁、請求項１参照）
【０００９】
【特許文献２】
特開２０００−２８４３４６号公報（第２頁、請求項１参照）
【００１０】
【特許文献３】
特許第３２６９４８４号明細書（第１頁、請求項１参照）
【００１１】
【特許文献４】
特開２００１−１６６８０９号公報（第５頁、請求項６７及び６８、並びに第１８頁、第２０１−２０５段落参照）
【００１２】
【発明が解決しようとする課題】
上述したような三次元画像形成装置を使用した光投影法では、被写体及び被写体に投光されたスリットパターンなどのパターンを撮影した画像（パターン付き画像）に、パターンが鮮明に投光されているとき、三次元画像形成装置で被写体の三次元形状を非常に良い精度で測定及び形成することができる。
【００１３】
しかしながら、実際には、三次元情報入力カメラ等の三次元画像形成装置から被写体までの距離、被写体の色、投光部の光源の位置などによって、撮影されたパターン付き画像に写るパターンの輝度及び／又は色が変化し、被写体に投光されたパターンの位置を、得られたパターン付き画像から正確に特定することは困難である。
【００１４】
ここで、得られたパターン付き画像から被写体に投光されたスリットパターンの位置を特定するために、パターン付き画像をパターン無し画像と比較する方法が考えられる。パターンが投光されてない被写体を撮影して得られたパターン無し画像は、被写体の色及び光の反射強度など被写体に関する様々な情報を有するので、パターン付き画像とパターン無し画像とを比較することで、被写体における投光されたパターンの位置を、ある程度特定することができる。しかしながら、三次元情報入力カメラ等の三次元画像形成装置では、一般に、対象を撮影するとき、オートホワイトバランス（ＡＷＢ）などのホワイトバランス処理がなされ、撮影された画像の画素における色及び強度の画素値に対してホワイトバランス処理による演算が行なわれる。パターン付き画像におけるある画素とその画素に対応する位置におけるパターン無し画像の画素との間でホワイトバランス処理による演算は、通常異なるため、パターン付き画像をパターン無し画像と正確に比較することは困難である。
【００１５】
また、被写体のパターン付き画像を撮影した時に、被写体のパターンが投光された部分の輝度と、被写体のパターンが投光されない部分の輝度との差が小さいとすれば、得られたパターン付き画像における、被写体に投光されたパターンを正確に検出することが困難である。よって、この場合には、被写体の三次元形状の計測結果に誤差を含む可能性が高い。このため、被写体におけるパターンが投光された部分と投光されない部分との間における輝度差を大きくして、被写体における投光されたパターンの位置を明確にするために、所定値以上の強い閃光を発生させて被写体にパターンを投光する必要がある。
【００１６】
さらに、三次元画像入力カメラなどの三次元画像形成装置において、強い閃光を発生させて被写体にパターンを投光すると、パターン付き画像において、被写体のパターンが投光されない部分の光強度は、被写体のパターンが投光された部分に対して非常に弱く、パターン付き画像全体にわたる平均的な光強度は、あまり高くならない。ここで、画像情報入力装置の撮影部における露出条件を決定するとき、その露出条件が、パターン付き画像における光強度の平均値を基準に調整されると、パターン付き画像における、被写体のスリットパターンが投光された部分の画素で、露光のオーバーフローが発生し、その画素における三次元形状のデータを取得することが困難になる。
【００１７】
そこで、本発明は、上記問題に鑑みなされたものであり、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素と投光されない部分に対応する画素との間における輝度差を大きくすると共に被写体のパターンが投光された部分に対応する画素の露光のオーバーフローを防止することが可能な、被写体の三次元情報形成方法及び装置を提供することを目的とする。
【００１８】
また、パターンが投光された画像とパターンが投光されない画像とを比較して、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素を正確に特定することが可能な、被写体の三次元情報形成方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
請求項１記載の発明は、被写体にパターン無し閃光を投光して前記被写体のパターン無し画像を撮影するパターン無し画像撮影ステップと、前記被写体にパターン付き閃光を投光して前記被写体のパターン付き画像を撮影するパターン付き画像撮影ステップと、前記パターン無し画像と前記パターン付き画像とを比較して前記被写体の三次元情報を取得する三次元情報取得ステップと、を有する被写体の三次元画像形成方法において、前記パターン付き画像撮影ステップは、前記パターン付き閃光の光量を固定して、前記パターン付き画像を撮影するときの露出条件を調整することを含むことを特徴とする。
【００２０】
請求項１記載の発明によれば、前記パターン付き画像撮影ステップは、前記パターン付き閃光の光量を固定して、前記パターン付き画像を撮影するときの露出条件を調整することを含むので、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素と投光されない部分に対応する画素との間における輝度差を大きくすると共に被写体のパターンが投光された部分に対応する画素の露光のオーバーフローを防止することが可能な、被写体の三次元情報形成方法を提供することができる。
【００２１】
請求項２記載の発明は、請求項１記載の被写体の三次元画像形成方法において、前記パターン付き閃光の光量は、パターン無し閃光の光量よりも大きいことを特徴とする。
【００２２】
請求項２記載の発明によれば、前記パターン付き閃光の光量は、パターン無し閃光の光量よりも大きいので、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素と投光されない部分に対応する画素との間における輝度差をより確実に大きくすることができる。
【００２３】
請求項３記載の発明は、請求項１又は２記載の被写体の三次元画像形成方法において、前記パターン付き画像を撮影するときの露出条件は、前記パターン付き画像の露出量が、前記パターン無し画像の露出量よりも小さくなるように調整されることを特徴とする。
【００２４】
請求項３記載の発明によれば、前記パターン付き画像を撮影するときの露出条件は、前記パターン付き画像の露出量が、前記パターン無し画像の露出量よりも小さくなるように調整されるので、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素の露光のオーバーフローをより確実に防止することができる。
【００２５】
請求項４記載の発明は、請求項１乃至３いずれか一項記載の被写体の三次元画像形成方法において、前記パターン無し画像撮影ステップは、前記パターン無し閃光の光量及び前記パターン無し画像を撮影するときの露出条件を記録するステップを含み、前記パターン付き画像撮影ステップは、前記パターン付き画像を撮影するときの露出条件を記録するステップを含むことを特徴とする。
【００２６】
請求項４記載の発明によれば、前記パターン無し画像撮影ステップは、前記パターン無し閃光の光量及び前記パターン無し画像を撮影するときの露出条件を記録するステップを含み、前記パターン付き画像撮影ステップは、前記パターン付き画像を撮影するときの露出条件を記録するステップを含むので、パターンが投光された画像とパターンが投光されない画像とを比較して、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素を正確に特定するために、パターンが投光された画像又はパターンが投光されない画像を露出調整することができる。
【００２７】
請求項５記載の発明は、請求項１乃至４いずれか一項記載の被写体の三次元画像形成方法において、前記パターン付き画像における前記パターン付き閃光が撮影されてない画素の輝度が、前記パターン無し画像における、前記画素に対応する画素の輝度と等しくなるように、前記パターン付き画像又は前記パターン無し画像の露出調整を行うステップをさらに含むことを特徴とする。
【００２８】
請求項５記載の発明によれば、前記パターン付き画像における前記パターン付き閃光が撮影されてない画素の輝度が、前記パターン無し画像における、前記画素に対応する画素の輝度と等しくなるように、前記パターン付き画像又は前記パターン無し画像の露出調整を行うステップをさらに含むので、パターンが投光された画像とパターンが投光されない画像とを比較して、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素を正確に特定することが可能な、被写体の三次元情報形成方法を提供することができる。
【００２９】
なお、請求項５において、前記パターン付き画像における前記パターン付き閃光が撮影されてない画素の輝度が、前記パターン無し画像における、前記画素に対応する画素の輝度と等しくなるとは、前記パターン付き画像における前記パターン付き閃光が撮影されてない画素の輝度が、前記パターン無し画像における、前記画素に対応する画素の輝度と完全に一致するのみならず、許容範囲内の誤差を伴って実質的に等しいとみなせる場合も含む。
【００３０】
請求項６記載の発明は、請求項１乃至５いずれか一項記載の被写体の三次元画像形成方法において、前記パターン無し画像の色を調整するホワイトバランスの値を取得するステップ、及び前記パターン無し画像の色を前記ホワイトバランスの値で調整する色調整ステップをさらに含み、前記色調整ステップは、前記三次元情報取得ステップより後にあることを特徴とする。
【００３１】
請求項６記載の発明によれば、前記パターン無し画像の色を調整するホワイトバランスの値を取得するステップ、及び前記パターン無し画像の色を前記ホワイトバランスの値で調整する色調整ステップをさらに含み、前記色調整ステップは、前記三次元情報取得ステップより後にあるので、パターンが投光された画像とパターンが投光されない画像とを比較して、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素を正確に特定することができると共に、パターンが投光されない画像の色を調整して、色の調整された被写体の三次元画像を形成することができる。
【００３２】
請求項７記載の発明は、被写体にパターン無し閃光又はパターン付き閃光を投光する投光手段と、前記パターン無し閃光又は前記パターン付き閃光が投光された前記被写体を撮影して、パターン無し画像又はパターン付き画像を得る撮影手段と、前記パターン無し画像と前記パターン付き画像とを比較して前記被写体の三次元情報を取得する三次元情報取得手段と、を有する被写体の三次元画像形成装置において、前記撮影手段は、前記パターン付き閃光の光量を固定すると共に前記パターン付き画像を撮影するときの露出条件を調整する手段を含むことを特徴とする。
【００３３】
請求項７記載の発明によれば、前記撮影手段は、前記パターン付き閃光の光量を固定すると共に前記パターン付き画像を撮影するときの露出条件を調整する手段を含むので、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素と投光されない部分に対応する画素との間における輝度差を大きくすると共に被写体のパターンが投光された部分に対応する画素の露光のオーバーフローを防止することが可能な、被写体の三次元情報形成装置を提供することができる。
【００３４】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【００３５】
まず、本発明におけるスリット光投影法を用いた三次元画像形成装置について説明する。図１に示すように本発明で使用する三次元画像形成装置は、投光部１０、撮像部１１、並びに撮影スイッチ２３及び立体スイッチ２４を有する支持部２０を含む。
【００３６】
支持部２０は、机などに設置され投光部１０及び撮影部１１を支持する。支持部２０に設けられた撮影スイッチ２３を押すと、投光部１０は、支持部２０が設置された机などの面上にある被写体２１に閃光を投光する。なお図１では、三次元画像形成装置を室内で使用するために、支持部２０が机に設置されているが、三次元画像形成装置を三脚等に取り付けて、屋外で使用してもよい。
【００３７】
撮影部１１は、レンズ、ＡＦ（自動焦点調節）機構、ＡＥ（自動露光調節）機構などを有し、被写体の像の位置、撮像部１１における絞りの開口の大きさ、撮像部１１における露光時間、投光部１０の発する閃光の光量を調整することができる。また、撮像部１１は、閃光が投光された又は投光されない状態で被写体２１を撮像する。ここで、投光部１０及び撮影部１１とは、三次元画像形成装置における互いに異なる位置に配置されている。
【００３８】
立体スイッチ２４を押すと、被写体２１の三次元形状を計測するモード（立体モードと呼ぶ）に切り替わる。立体モードにおいては、図示してないスリットが、投光部１０の前に、図示してないモータなどで制御される自動スリット着脱装置によって、装着及び脱着される。投光部１０の前にスリットが装着されると、投光部１０からの発する閃光を、スリットパターン２２（パターン付き閃光）として、被写体２１上に投光することができる。投光部１０の前にスリットが装着されてない状態では、投光部１０は、パターン無し閃光として被写体２１に閃光を投光する。なお、スリットの装着及び脱着は、手動で行ってもよい。
【００３９】
また、三次元画像形成装置は、撮像部１１における絞りの開口の大きさ、撮像部１１における露光時間、投光部１０の閃光の光量を計測し、記録する手段、撮影した画像を記録する手段、パターン無し画像に対してホワイトバランスの処理をする手段、並びにパターン無し画像に対して処理するホワイトバランスの値を記録する手段を有する。パターン無し画像に対してホワイトバランスの処理をする手段は、撮像部１１に設けられたオートホワイトバランス（ＡＷＢ）機構であってもよい。
【００４０】
さらに、三次元画像形成装置は、撮影により得られた画像の歪曲を補正する手段、パターン無し画像又はパターン付き画像を露出調整する手段、及びパターン付き画像及びテクスチャ画素の間で対応する画素ごとに輝度及び／又は色を比較する手段、も有する。
【００４１】
次に、本発明の第一の実施形態に係るスリット光投影法を用いた三次元画像入力方法について図２及び図３と共に説明する。まず、本発明の三次元画像入力方法として、図１と共に説明した三次元画像形成装置の立体モードにおける動作を図２と共に詳細に説明する。
【００４２】
まず図１に示す三次元画像形成装置の立体スイッチ２４を押して、三次元画像形成装置の立体モードを開始する（Ｓ１）。次に、被写体２１を、三次元画像形成装置の撮像部１１によって撮影することが可能な範囲内に置き、撮影スイッチ２３を押す（Ｓ２）。
【００４３】
本実施形態においては撮影スイッチ２３を押すと、最初に、スリットパターンが投光されてない状態で被写体２１の画像（パターン無し画像）を以下のように撮影する。まず、撮像部１１のＡＦ機構を使用して、撮像部１１における被写体２１の像の焦点合わせをする。このＡＦ機構による焦点合わせの結果から、被写体２１から撮影部１１までの距離を算出することができ、算出された被写体２１から撮影部１１までの距離に基づいて投光部１０から発する閃光の光量１０３の適切な値を決定することができる。また、撮像部１１のＡＥ機構を使用して、撮像部１１において被写体２１の画像の明るさを計測し、この被写体２１の画像の明るさに基づいて、撮像部１１における絞りの開口の大きさ１０１及び閃光の露光時間１０２の適切な値を決定することができる。なお本実施形態では、撮像部１１における絞りの開口の大きさ及び閃光の露光時間を、画像を撮影するときの露出条件とする。また、撮像部１１における絞りの開口の大きさ及び閃光の露光時間によって決まり、撮像部１１によって取得される、ある一定の輝度を有する被写体に対する画像の光量を、画像の露出量とする。次に、決定した絞りの開口の大きさ１０１、露光時間１０２、閃光の光量１０３を記録する（Ｓ３）。
【００４４】
次に記録した絞りの開口の大きさ１０１、露光時間１０２、閃光の光量１０３の条件下で、被写体２１のパターン無し画像を撮影すると共に記録する（Ｓ４）。
【００４５】
Ｓ３において、絞りの開口の大きさ１０１、露光時間１０２、閃光の光量１０３を記録する手段としては、例えば、これらのパラメータを撮影したパターン無し画像のヘッダー部に書き込む、又はこれらのパラメータを新たに記録用ファイルを生成させてその記録用ファイルに書き込むなどの方法がある。
【００４６】
また、Ｓ４において、被写体２１の記録されたパターン無し画像に対しては、ホワイトバランスの処理が行なわれてないことに注意しなければならない。このように被写体２１のパターン無し画像を記録した後で、撮像部１１におけるオートホワイトバランス機構を用いて、被写体２１に対するホワイトバランスの値を取得し、記録する（Ｓ５）。
【００４７】
次に、被写体２１及び被写体２１に投光したスリットパターン２２の画像（パターン付き画像）を以下のように撮影する。Ｓ５においてホワイトバランスの値を記録した後、モータなどで制御された自動スリット着脱装置が動作し、投光部１０の前にスリットが装着される（Ｓ６）。投光部１０から発した光は、スリットを通過し、投光されるスリットパターン２２を形成する。投光部１０に対してこのスリットが装着される位置は、投光部１０で閃光を発生させたとき、十分な閃光が、スリットを通過すると共に、スリットが、撮像部１１の撮影領域に属さないような位置である。
【００４８】
ここで、被写体２１のパターン付き画像を撮像するために、投光部１０から発する閃光の光量は、固定値とし、撮像部１１における絞りの開口の大きさ及び／又は露光時間を調整する。閃光の光量の固定値は、パターン付き画像における被写体２１のスリットパターン２２が投光された部分と被写体２１のスリットパターン２２が投光されない部分の間における輝度の差及び色の差を十分大きくする値である。よって閃光の光量の固定値は、所定の値よりも大きければよい。しかしながら、閃光の光量の固定値は、パターン無し画像の撮影の際に決定された閃光の光量１０３よりも大きいことが好ましい。
【００４９】
また、パターン付き画像において、被写体２１のスリットパターン２２が投光された部分に対応する画素で、露光のオーバーフローが発生することを防止するように、パターン無し画像を撮影した際に得られた絞りの開口の大きさ１０１、露光時間１０２、及び閃光の光量１０３を利用して、パターン付き画像を撮影するための、撮影部１１における絞りの開口の大きさ１０４及び露光時間１０５を決定する（Ｓ８）。
【００５０】
パターン無し画像を撮影するときに得られた撮影部１１における絞りの開口の大きさ１０１、露光時間１０２、及び投光部１０が発する閃光の光量１０３の組み合わせは、限定されるので、これらの値に対応してパターン付き画像を撮影するための、撮像部１１における絞りの開口の大きさ１０４及び露光時間１０５を返すＬＵＴ（ルックアップテーブル）などを予め作成しておいてもよい。
【００５１】
上述のように投光部１０の閃光の光量を固定し、撮像部１１における絞りの開口の大きさ１０４及び露光時間１０５を決定して、被写体２１のパターン付き画像を撮像部１１によって撮影する。ここで、パターン無し画像の撮影と同様に、撮影したパターン付き画像に対するホワイトバランスの処理を行わないことに注意しなければならない。パターン無し画像の場合と異なりパターン付き画像に対するホワイトバランスの値を得る必要はなく、ホワイトバランスの処理を適用してない被写体２１のパターン付き画像のみを記録する（Ｓ９）。最後に、スリットを投光部１０の前から取り外し、立体モードを終了する（Ｓ１０）。
【００５２】
続いて、得られた被写体２１のパターン付き画像及びパターン無し画像から、被写体２１におけるスリットパターンが投光された部分を特定し、被写体２１の三次元画像を形成する画像処理方法を、図３を用いて説明する。
【００５３】
まず、得られたパターン付き画像及びパターン無し画像は、それぞれ、撮影部１１のレンズの歪曲収差などに由来する画像の歪みを有する。これらの画像の歪曲を、それぞれ、電気的に補正して、歪曲を取り除いたパターン付き画像及びパターン無し画像に変換する（Ｊ１、Ｊ２）。
【００５４】
絞りの開口の大きさ１０１、露光時間１０２、及び閃光の光量１０３で撮影した歪曲を取り除いたパターン無し画像を、絞りの開口の大きさ１０４、露光時間１０５、固定値の閃光の光量で撮影したパターン付き画像と比較して、パターン付き画像におけるスリットパターンの存否を判断するために、露出調整をする。
【００５５】
今、パターン付き画像に関する被写体のスリットパターンが投光されてない部分は、閃光がほとんど当たっていないので、パターン付き画像におけるスリットパターンが投光されてない部分に対応する画素の輝度は、絞りの開口の大きさ１０４及び露光時間１０５の条件で決まる。一方、パターン無し画像の輝度は、絞りの開口の大きさ１０１、露光時間１０２、及び閃光の光量１０３の条件によって決まっている。
【００５６】
露出調整は、パターン付き画像における被写体のスリットパターン２２が投光されてない部分に対応する画素の輝度と、パターン無し画像の対応する画素の輝度とが一致するように行う。すなわち、絞りの開口の大きさ１０４及び露光時間１０５の条件で決まる画像の輝度と、絞りの開口の大きさ１０１、露光時間１０２、及び閃光の光量１０３の条件で決まる画像の輝度との比だけ、パターン無し画像又はパターン付き画像の露出を調整する（Ｊ３）。
【００５７】
なお、パターン付き画像における被写体２１のスリットパターン２２が投光されてない部分に対応する画素の色と、パターン無し画像の対応する画素の色とは、パターン付き画像及びパターン無し画像の両方ともホワイトバランスの処理していないため、ほぼ一致する。
【００５８】
これに対して、パターン付き画像における被写体２１のスリットパターン２２が投光された部分に対応する画素の輝度は、絞りの開口の大きさ１０４及び露光時間１０５に加えて固定値の閃光の光量で決まるので、上述の露出補正後でも、パターン無し画像の対応する画素の輝度と異なる。
【００５９】
また、パターン付き画像における被写体２１のスリットパターン２２が投光された部分に対応する画素の色も、被写体２１の対応する部分の色とスリットパターン２２の色との合成であるので、被写体２１の対応する部分の色のみを反映するパターン無し画像の対応する画素の色と異なる。
【００６０】
前述の露出調整を行った後、パターン付き画像の画素における輝度及び／又は色を、パターン無し画像の対応する画素の輝度及び／又は色と比較する（Ｊ４）。
【００６１】
これにより、パターン付き画像におけるスリットパターンの存否を正確に判定することができる（Ｊ５）。すなわち、パターン付き画像における被写体２１のスリットパターン２２が投光されてない部分に対応する画素は、上述の露出調整後には、パターン無し画像の対応する画素とほぼ同じ輝度及び／又は色を有する。よって、上述の露出調整後に、パターン付き画像の画素及びパターン無し画像の対応する画素が、異なる輝度及び／又は色を有する場合には、パターン付き画像におけるその画素は、スリットパターン２２が撮影されている画素とみなすことができる。このようにして、パターン付き画像におけるスリットパターンが撮影された画素を正確に特定することができる。
【００６２】
このようにして、パターン付き画像におけるスリットパターンが撮影された画素を正確に特定した後に、図２のＳ５で記録したパターン無し画像に対するホワイトバランスのゲインの値を用いて、パターン無し画像の色の調整を行う。
【００６３】
以上のように、パターン付き画像におけるスリットパターンが撮影された画素を正確に特定することができる。よって、三次元画像形成装置における投光部１０及び撮影部１１の位置、並びに被写体２１に投光されたスリットパターン２２の位置に関して三角測量の原理を適用し、三次元画像形成装置から被写体２１に投光されたスリットパターン２２までの距離を算出し、被写体２１の三次元形状を正確に計測することができる。
【００６４】
また、ホワイトバランスの値により、パターン無し画像の色を調整して、被写体２１の適切な色を有するパターン無し画像を得ることができる。
【００６５】
よって、被写体２１の計測された三次元形状の画像データに、適切な色を有するパターン無し画像の画像データを張り付けることで、被写体２１の適切な色を有する三次元画像を形成することができる。
【００６６】
次に、本発明の第二の実施形態に係るスリット光投影法を用いた三次元画像入力方法について図４と共に説明する。本実施形態では、第一の実施形態とは逆に、立体モードにおいて、パターン無し画像より先にパターン付き画像を撮影する。
【００６７】
本実施例では、最初に、三次元画像形成装置の立体スイッチ２４を押して、三次元画像形成装置の立体モードを開始する（Ｔ１）と、モータなどで制御された自動スリット着脱装置が動作して、投光部１０の前にスリットが装着される（Ｔ２）。
【００６８】
撮影部１１に設けられたＡＦ機構を使用して、撮像部１１における被写体２１の像の焦点合わせをする。また、撮影部１１に設けられたＡＥ機構を使用して、撮像部１１において被写体２１の画像の明るさを計測する。
【００６９】
ここで、被写体２１のパターン付き画像を撮像するために、投光部１０から発する閃光の光量は、固定値とする。閃光の光量の固定値は、パターン付き画像における被写体２１のスリットパターン２２が投光された部分に対応する画素と被写体２１のスリットパターン２２が投光されない部分に対応する画素の間における輝度の差及び色の差を十分大きくする値である。
【００７０】
また、上述したような被写体２１の明るさの計測結果に基づいて、撮影するパターン付き画像において、被写体２１のスリットパターン２２が投光された部分に対応する画素で、露光のオーバーフローが発生することを防止するように、絞りの開口の大きさ１０６及び露光時間１０７を決定すると共に記録する（Ｔ３）。
【００７１】
次に、絞りの開口の大きさ１０６、露光時間１０７、及び固定値である閃光の光量の条件で、被写体２１のパターン付き画像を撮影する。投光部１０の前にスリットが配置されているので、投光部１０により閃光を発生させるだけで、被写体２１のパターン付き画像を撮影することができる。被写体２１のパターン付き画像を撮影した後、このパターン付き画像に対するホワイトバランスの値を算出せずに、得られたパターン付き画像をそのまま記録する（Ｔ４）。
【００７２】
次に、スリットを投光部１０の前から取り外す（Ｔ５）。スリットは、投光部１０からの閃光がスリットを通過しないと共にスリットが撮影部１１の撮影領域に属さないように、移動される。移動手段は、自動スリット着脱装置のような自動の装置でもよく、スリットを、手動で移動させてもよい。
【００７３】
続いて、被写体２１に対して閃光を発生させずに、撮像部１１のＡＦ機構及びＡＥ機構を動作させる。撮影部１１のＡＦ機構による焦点合わせの計測結果（被写体及び撮影部の間の距離）に基づいて、パターン無し画像を撮影するための適切な閃光の光量１１０を決定する。また、撮影部１１のＡＥ機構による画像の明るさの計測結果に基づいて、適切な絞りの開口の大きさ１０８及び露光時間１０９を決定する。
【００７４】
得られた絞りの開口の大きさ１０８、露光時間１０９、及び閃光の光量１１０を記録した（Ｔ６）後、絞りの開口の大きさ１０８、露光時間１０９、及び閃光の光量１１０の条件で、被写体２１のパターン無し画像を撮影すると共に記録して（Ｔ７）、立体モードを終了する。
【００７５】
得られた被写体２１のパターン付き画像及びパターン無し画像から、被写体２１におけるスリットパターンが投光された部分を特定する画像処理方法、及びパターン付き画像に対するホワイトバランスの処理などは、第一の実施形態の場合と同様である。
【００７６】
以上、本発明を説明するために二つの実施形態を示してきたが、本発明はこれらの実施形態に限定されるものではなく、これらの実施形態の組み合わせや種々の応用ができることは言うまでもない。例えば、上述の二つの実施形態においては、被写体に投光するパターン付き閃光を、スリットパターン２２として記載したが、パターン付き閃光は、スリットパターン２２に限定されず、被写体の三次元形状を計測することができれば、様々なパターンの閃光とすることが可能である。また、パターン付き閃光における閃光のパターンを替えるためには、投光部１０の前に装着及び脱着するスリットの形状を相応じて変えればよい。
【００７７】
【発明の効果】
本発明によれば、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素と投光されない部分に対応する画素との間における輝度差を大きくすると共に被写体のパターンが投光された部分に対応する画素の露光のオーバーフローを防止することが可能な、被写体の三次元情報形成方法を提供することができる。
【００７８】
また、本発明によれば、パターンが投光された画像とパターンが投光されない画像とを比較して、パターンが投光された画像において、被写体のパターンが投光された部分に対応する画素を正確に特定することが可能な、被写体の三次元情報形成方法を提供することができる。
【００７９】
【図面の簡単な説明】
【図１】本発明で使用する三次元画像形成装置の概略図である。
【図２】本発明の第一の実施形態においてパターン無し画像及びパターン付き画像を得る手順を示すフローチャートである。
【図３】得られたパターン無し画像及びパターン付き画像から被写体の三次元画像を形成する手順を示すフローチャートである。
【図４】本発明の第二の実施形態においてパターン無し画像及びパターン付き画像を得る手順を示すフローチャートである。
【符号の説明】
１０    投光部
１１    撮影部
２０    支持部
２１    被写体
２２    スリットパターン
２３    撮影スイッチ
２４    立体スイッチ
【図１】
2005044022.tif 000003
【図２】
2005044022.tif 000004
【図３】
2005044022.tif 000005
【図４】
2005044022.tif 000006