【手続補正書】
【提出日】平成18年10月11日(2006.10.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】      明細書
【発明の名称】  レンジファインダ装置
【特許請求の範囲】
【請求項１】  被写体に投射した光の反射光を受けて、前記被写体の３次元位置情報を測定するレンジファインダ装置であって、
前記光を投射する光源部と、
前記光源部からの投射光の前記被写体での反射光を、受けるカメラ部と、
前記被写体の距離情報に基づいて、前記光源部の光出力および前記カメラ部の露出条件のうちの少なくともいずれか一方を、制御する制御部とを備えた
ことを特徴とするレンジファインダ装置。
【請求項２】  請求項１記載のレンジファインダ装置において、
前記被写体までの距離を測定する距離測定センサを備え、
前記制御部は、前記距離測定センサの出力を前記被写体の距離情報として用いて、制御を行う
ことを特徴とするレンジファインダ装置。
【請求項３】  請求項１記載のレンジファインダ装置において、
前記カメラ部から出力された映像信号から、距離画像を求める距離計算部を備え、
前記制御部は、前記距離計算部によって得られた距離画像を前記被写体の距離情報として用いて、制御を行う
ことを特徴とするレンジファインダ装置。
【請求項４】  被写体に投射した光の反射光を受けて、前記被写体の３次元位置情報を測定するレンジファインダ装置であって、
前記光を投射する光源部と、
前記光源部からの投射光の前記被写体での反射光を、受けるカメラ部と、
前記カメラ部から出力される映像信号のレベル情報に基づいて、前記光源部の光出力および前記カメラ部の露出条件のうち少なくともいずれか一方を制御する制御部とを備えた
ことを特徴とするレンジファインダ装置。
【請求項５】  請求項１または４記載のレンジファインダ装置において、
前記制御部は、
前記距離情報または前記レベル情報から、前記被写体までの距離が第１の閾値以上であると判定したときは、前記光源部の光出力を相対的に大きく設定する一方、第２の閾値以下であると判定したときは、前記光源部の光出力を相対的に小さく設定するものである
ことを特徴とするレンジファインダ装置。
【請求項６】  請求項１または４記載のレンジファインダ装置において、
前記カメラ部の露出条件は、絞り、撮像素子の感度、およびシャッタ速度のうちの少なくとも１つによって設定される
ことを特徴とするレンジファインダ装置。
【請求項７】  請求項１または４記載のレンジファインダ装置において、
開閉自在に構成され、閉状態のとき前記光源部の投射光を遮断するシャッタ部を備え、
前記制御部は、前記シャッタ部の開閉状態を切替制御する
ことを特徴とするレンジファインダ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体の３次元位置情報を測定するレンジファインダ装置、および撮像装置に関する。
【０００２】
【従来の技術】
図２２は従来のレンジファインダ装置の構成例を示す図である。図２２において、光源部１０は第１および第２の光源１１Ａ，１１Ｂを備えており、各光源１１Ａ，１１Ｂの光投射側にはフィルタ１２Ａ，１２Ｂがそれぞれ設けられている。第１および第２の光源１１Ａ，１１Ｂの出力光はハーフミラー１３によって合成され、この合成光はスリット１４および回転ミラー１５を介して被写体１に投射される。各光源１１Ａ，１１Ｂの出力波長は赤外領域に設定されている。
【０００３】
図２３はフィルタ１２Ａおよびフィルタ１２Ｂの特性の一例を示す図である。フィルタ１２Ａおよびフィルタ１２Ｂは、図２３（ａ）に示すように、互いに異なる波長の光が選択されて通過するようになっている。あるいは図２３（ｂ）に示すように、波長の高低によって、光を分離する。
【０００４】
カメラ部２０は距離計測のための第１および第２の撮像素子２２Ａ，２２Ｂを備えており、各撮像素子２２Ａ，２２Ｂの受光側には、光源部に設けられたフィルタ１２Ａおよびフィルタ１２Ｂとそれぞれ同一特性を有するフィルタ２３Ａおよびフィルタ２３Ｂが設けられている。これにより、各撮像素子２２Ａ，２２Ｂは、被写体１の反射光から、第１の光源１１Ａの出力光と第２の光源１１Ｂの出力光とをそれぞれ分離して受光することができる。また、カメラ部２０は可視領域の光を受ける第３の撮像素子２２Ｃを備えており、この撮像素子２２Ｃの出力信号からカラー信号処理部２７によって被写体１のテクスチャ画像（カラー画像）が生成される。
【０００５】
図２４（ａ）は投射光の光強度と投射角度θとの関係を示す図である。図２４（ａ）に示すように、光源コントローラ１６は回転ミラー１５による合成光の投射角度の変化に合わせて、各光源１１Ａ，１１Ｂの光強度ＩＡ，ＩＢを制御する。これにより、光強度比ＩＡ／ＩＢは図２４（ｂ）のように変化する。図２４（ｂ）から分かるように、光強度比ＩＡ／ＩＢと投射角度θとは１対１の対応関係があり、光強度比ＩＡ／ＩＢが求まればそのときの投射角度θが一義的に特定できる。投射角度θが特定されれば、図２４（ｃ）に示すように被写体までの距離Ｚを求めることができる。
【０００６】
以下、図２２に示す従来のレンジファインダ装置の動作について説明する。
【０００７】
まず、光源部１０において、第１および第２の光源１１Ａ，１１Ｂが光を出力する。これらの出力光はフィルタ１２Ａおよびフィルタ１２Ｂを通ってハーフミラー１３によって合成され、合成された光はスリット１４によって縦方向に細長い線状のスリット光に加工される。このスリット光は回転制御部１７によって制御される回転ミラー１５によって反射され、被写体１側に投射される。
【０００８】
被写体１に投射された光の反射光がカメラ部２０に入射され、各撮像素子２２Ａ，２２Ｂ，２２Ｃはレンズ２１およびハーフミラー２４Ａ，２４Ｂを介して反射光を受ける。このとき、第１および第２の撮像素子２２Ａ，２２Ｂが受ける光は、その受光側に設けられたフィルタ２３Ａ，２３Ｂによって、合成光から分離された単一波長の光となる。
【０００９】
第１光源信号処理部２５は第１の撮像素子２２Ａの出力を受けて、第１の光源１１Ａから出力された光の反射光成分による画像信号を出力し、第２光源信号処理部２６は第２の撮像素子２２Ｂの出力を受けて、第２の光源１１Ｂから出力された光の反射光成分による画像信号を出力する。距離計算部３０は第１光源信号処理部２５および第２光源信号処理部２６から出力される画像信号を用いて、各画素毎に、光強度比を計算する。そして、図２４（ｂ）に示すような対応関係に基づいて、各画素毎に、投射角度θを特定する。
【００１０】
ここで、撮像素子の各画素位置とレンズ２１の中心とがなす視線とレンズ２１の光軸とによって決定される視線角度φ（図２２参照）は、各画素位置と１対１に対応した既知の値である。また、レンズ２１と回転ミラー１５の回転中心との距離Ｄ（図２２参照）も既知である。
【００１１】
したがって、距離計算部３０は、三角測量の原理により、各画素毎に、投射角度θ、視線角度φおよび距離Ｄを次式に代入して、各画素に対応する被写体１上の各点とカメラ部２０との距離Ｚを算出することができる。  
【００１２】
Ｚ＝（ｔａｎθ・ｔａｎφ／ｔａｎθ−ｔａｎφ）・Ｄ  …（１）
このようにして、被写体１上の各点の３次元位置情報を得ることができる。
【００１３】
また、被写体１の３次元位置情報とともに、第３の撮像素子２２Ｃの出力からカラー信号処理部２７によって、被写体１のテクスチャ画像（カラー画像）が得られる。
【００１４】
【発明が解決しようとする課題】
しかしながら、従来のレンジファインダ装置では、次のような問題がある。
【００１５】
まず、従来のレンジファインダ装置では、光源部１０の光出力の調整はその使用者によって行われており、実際には、使用者の経験に基づいて、あるいは試行錯誤によって、適切な設定がなされていた。このため、例えば初心者がレンジファインダ装置を利用する場合には、光出力を適切に設定することが困難であるため、精度の高い距離情報が必ずしも得られない。また、被写体が移動する場合には、その都度光出力の再調整が必要になり、このため時間や手間がかかるという問題もあった。さらには、被写体が接近し過ぎている場合に、光源部の出力光が過度に強いと、被写体に悪い影響を与える可能性があった。
【００１６】
また、従来のレンジファインダ装置では、他の問題もあった。図２５は３次元計測を行うときの映像信号の信号レベルを示す図である。図２５において、Ｌは映像信号全体の信号レベル、ＬＡは反射光成分の信号レベル、ＬＢは被写体の画像成分（背景光）の信号レベルである。３次元位置情報の精度を高めるためには、反射光成分の信号レベルＬＡのＳ／Ｎ比がより高くなるように、光源部１０の光出力を高く設定すればよい。しかしながら、カメラ部２０のダイナミックレンジは決まっているので、反射光成分の信号レベルＬＡを上げるのには限界がある。一方、通常の２次元画像を得るためには、被写体の画像成分の信号レベルＬＢも、ある程度のレベルが必要になる。したがって、被写体の反射光成分のＳ／Ｎ比を十分に改善できず、これが３次元位置情報の精度向上の妨げになっていた。
【００１７】
さらには、例えばコンピュータビジョンの分野では、被写体の距離情報から背景画像と前景画像とを区別し、この結果を用いて前景画像のみを切り出す技術が一般に知られている。ところが、テレビ電話のようなシステムでは、人の顔（前景）を背景から切り出す機能は要望されているものの、被写体の距離情報を求めること自体は必ずしも必要ではない。このため、被写体の距離情報を用いないで、背景画像と前景画像とを区別できる機能が実現できるのが好ましい。
【００１８】
前記の問題に鑑み、本発明は、精度の高い３次元位置情報が安定して得られ、また、被写体に対する安全性が高いレンジファインダ装置を提供することを課題とする。
【００１９】
【課題を解決するための手段】
前記の課題を解決するために、請求項１の発明が講じた解決手段は、被写体に投射した光の反射光を受けて前記被写体の３次元位置情報を測定するレンジファインダ装置として、前記光を投射する光源部と、被写体からの反射光を受けるカメラ部と、前記被写体の距離情報に基づいて、前記光源部の光出力および前記カメラ部の露出条件のうちの少なくともいずれか一方を制御する制御部とを備えたものである。
【００２０】
請求項１の発明によると、光源部の光出力およびカメラ部の露出条件のうち少なくともいずれか一方は、被写体の距離情報に基づいて、制御される。このため、例えば被写体が移動してもそれに応じて投射光の強度、または受光信号のレベルが制御されるので、精度の高い３次元位置情報を常に得ることができる。また、被写体が近づき過ぎた場合でも、投射光が被写体に悪影響を与えないように動作することも可能になる。
【００２１】
請求項２の発明では、前記請求項１のレンジファインダ装置は、前記被写体までの距離を測定する距離測定センサを備え、前記制御部は、前記距離測定センサの出力を前記被写体の距離情報として用いて制御を行うものとする。
【００２２】
請求項３の発明では、前記請求項１のレンジファインダ装置は、前記カメラ部から出力された映像信号から距離画像を求める距離計算部を備え、前記制御部は、前記距離計算部によって得られた距離画像を前記被写体の距離情報として用いて制御を行うものとする。
【００２３】
また、請求項４の発明が講じた解決手段は、被写体に投射した光の反射光を受けて前記被写体の３次元位置情報を測定するレンジファインダ装置であって、前記光を投射する光源部と、被写体からの反射光を撮るカメラ部と、前記カメラ部から出力される映像信号のレベル情報に基づいて、前記光源部の光出力および前記カメラ部の露出条件のうち少なくともいずれか一方を制御する制御部とを備えたものである。
【００２４】
請求項４の発明によると、光源部の光出力およびカメラ部の露出条件のうち少なくともいずれか一方は、カメラ部から出力される映像信号のレベル情報に基づいて、制御される。このため、例えば被写体が移動してもそれに応じて投射光の強度、または受光信号のレベルが制御されるので、精度の高い３次元位置情報を常に得ることができる。
【００２５】
請求項５の発明では、前記請求項１または４のレンジファインダ装置における制御部は、前記距離情報または前記レベル情報から、前記被写体までの距離が第１の閾値以上であると判定したときは前記光源部の光出力を相対的に大きく設定する一方、第２の閾値以下であると判定したときは前記光源部の光出力を相対的に小さく設定するものとする。
【００２６】
請求項６の発明では、前記請求項１または４のレンジファインダ装置におけるカメラ部の露出条件は、絞り、撮像素子の感度、およびシャッタ速度のうちの少なくとも１つによって設定されるものとする。
【００２７】
請求項７の発明では、前記請求項１または４のレンジファインダ装置は、開閉自在に構成され、閉状態のとき前記光源部の投射光を遮断するシャッタ部を備え、前記制御部は、前記シャッタ部の開閉状態を切替制御するものとする。
【００２８】
【発明の実施の形態】
以下、本発明の実施形態について、図面を参照して説明する。
【００２９】
（第１の実施形態）
図１は本発明の第１の実施形態に係るレンジファインダ装置の構成を示す図である。図１において、図２２に示す従来の構成と共通の要素には図２２と同一の符号を付しており、ここではその詳細な説明を省略する。
【００３０】
図１において、距離測定センサ１０１は、本レンジファインダ装置と被写体１との間の概略距離（平均的な距離）を測定する。この距離測定センサ１０１は超音波の反射を利用した距離センサ等によって実現される。制御部としての露光制御部１０２は、距離測定センサ１０１から出力された距離情報に応じて、光源コントローラ１６およびシャッタ部１０４の動作を制御する。光源コントローラ１６は光源部１０の光出力（光量）を調整する。シャッタ部１０４は開閉自在に構成されており、光源部１０の光投射側前面に配置されている。露光制御部１０２からの指令に応じて閉状態になると、光照射経路を遮断し、光源部１０の投射光を遮断する。
【００３１】
図２を参照して、図１のレンジファインダ装置の動作について説明する。図２において、（ａ）は被写体１までの距離Ｌと光源部１０の光出力との関係を示す図、（ｂ）は被写体１までの距離Ｌとシャッタ部１０４の動作との関係を示す図である。
【００３２】
まず、距離測定センサ１０１が被写体１までの距離の測定を行い、距離測定結果Ｌを露光制御部１０２に送る。ここでは、光源部１０からの光投射は行われない。露光制御部１０２は送られてきた距離測定結果Ｌから、被写体１が、第１領域（至近距離）、第２領域（中間距離）または第３領域（遠距離）のいずれの領域に存在するかを、予め定めた第１および第２の基準値ｌ１，ｌ２に基づいて判断する。すなわち、ここでの判断は次のように行われる。  
（１）０  ≦Ｌ≦ｌ１  のとき  第１領域
（２）ｌ１＜Ｌ＜ｌ２  のとき  第２領域
（３）ｌ２≦Ｌ        のとき  第３領域
【００３３】
露光制御部１０２は、被写体１が存在する領域に応じて、それぞれ、以下のように動作する。
【００３４】
（１）被写体１が第１領域に存在するとき
この場合は、被写体１が本レンジファインダ装置に接近し過ぎているので、被写体１への光の照射を避ける。したがって、露光制御部１０２は、図２（ａ）に示すように光源部１０の光出力を相対的に小さく設定し、また図２（ｂ）に示すようにシャッタ部１０４を閉状態にして、被写体１に光が照射されないようにする。ただしこのとき、光源部１０の光出力を完全にＯＦＦ状態にはしない方が好ましい。この場合、完全にＯＦＦ状態にする場合に比べて、光源部１０の光出力の立ち上げをより早く行うことができる。
【００３５】
ここで、被写体１への光の照射を避けるのは、照射される光パワーから被写体１を保護するためである。特に、光源部１０の光がレーザ光である場合、被写体１が至近距離にあるとき、与えられるエネルギー密度が高くなり、被写体１になんらかの悪影響を及ぼす可能性もあり得るからである。
【００３６】
この場合、被写体１に光が投射されないので、３次元位置情報の測定は実行されない。３次元位置情報の測定を実行するためには、被写体１を本レンジファインダ装置から遠ざけて、適切な位置に移動させる必要がある。
【００３７】
（２）被写体１が第２領域に存在するとき
この場合、露光制御部１０２は、図２（ｂ）に示すようにシャッタ部１０４を開状態にするとともに、図２（ａ）に示すように、カメラ部２０から出力される画像信号のレベルが適正なレンジに収まるように、光源部１０の光出力を制御する。これにより、光量不足や光量過多を防止することができ、反射光成分について常に高いＳ／Ｎ比を維持できるので、精度の高い３次元位置情報を測定することができる。
【００３８】
（３）被写体１が第３領域に存在するとき
この場合、被写体１は本レンジファインダ装置から遠く離れているので、光源部１０からできるだけ強い光を投射する必要がある。したがって、露光制御部１０２は、図２（ｂ）に示すようにシャッター部１０４を開状態にするとともに、図２（ａ）に示すように、光源部１０の光出力を相対的に強く、好ましくは最大にする。
【００３９】
被写体１が第２または第３領域に存在するときは、上記（２）（３）で述べた動作の後に、従来と同様の３次元位置情報測定の動作が行われる。
【００４０】
なお、ここでは、被写体１までの距離を３種類の領域に分けて、光源部１０の光出力を調整するものとしたが、光出力調整の方法はこれに限られるものではない。例えば、第１の基準値ｌ１と第２の基準値ｌ２とを同一の値にして、２種類の領域に分けて光出力を行ってもよい。または、領域をさらに細かく分けて、より精密な光出力調整を行ってもかまわない。
【００４１】
また、光源部１０の光出力調整の代わりに、または光源部１０の光出力調整に加えて、カメラ部２０の露光条件を調整するようにしてもよい。カメラ部２０の露光条件の制御は、例えば絞り、撮像素子の感度、またはシャッター速度を制御することによって実現される。例えば第２領域において、光源部１０の光出力を１００％に設定し、カメラ部２０の露光条件を、カメラ部２０から出力される画像信号のレベルが適正なレンジに収まるように、制御してもよい。
【００４２】
また、シャッター部１０４を省き、光源部１０の光出力調整や、カメラ部２０の露光条件の調整のみを行ってもかまわない。
【００４３】
図３は光源部１０の他の構成例を示す図である。図３（ａ）に示す構成では、各光源１１Ａ，１１Ｂの前に光透過率可変フィルタ４１Ａ，４１Ｂが設けられており、光を掃引するのではなく、パターン光を投射するように構成されている。図３（ｂ）に示すように、光透過率可変フィルタ４１Ａ，４１Ｂの光透過率は、光透過位置に応じて異なっている。また、光源１１Ａ，１１Ｂとしてレーザのような単色光源を用いる場合には、フィルタ１２Ａ，１２Ｂは必要ない。
【００４４】
図４はカメラ部の露光条件をそのシャッター速度で制御する場合を示す図である。シャッタ速度によって露光制御を行う場合には、光源部１０は、投射光を掃引するタイプではなく、図３に示すようなパターン光を投射するタイプであることが必要である。この場合、図４（ａ）に示すように光源部１０の発光期間Ｔを一定にし、図４（ｂ）に示すように、１垂直期間におけるカメラ部２０の露光時間Ｔ０をシャッター速度の制御によって変更すればよい。もちろん、カメラ部２０の露光時間Ｔ０を一定にして、光源部１０の発光期間Ｔを可変にしてもかまわない。この場合、Ｔ０≧Ｔとなる。
【００４５】
なお、本実施形態では、被写体の距離情報を得るための手段として距離測定センサ１０１を設けたが、このような手段は必ずしも設ける必要はない。この場合は、距離計算部３０によって得られた距離画像を被写体の距離情報として用いて、光源部１０の光出力やカメラ部２０の露光条件の制御を行えばよい。ただし、被写体の存在領域を確認するためにとりあえずまず距離情報が必要になるので、最初は、被写体への光照射を行う必要がある。このときにはまだ被写体までの距離が分からないので、光源部１０の光出力は必要最小限に低く抑えることが望ましい。
【００４６】
なお、本明細書において、距離画像とは、各画素について、カメラからの距離または３次元座標系における奥行き値が示された画像のことをいう。前者は球座標系（ｒ，θ，φ）のｒに相当するものであり、後者は直角座標系（ｘ，ｙ，ｚ）のｚに相当するものである。
【００４７】
また、距離計算部３０によって得られる距離画像は、カメラ部２０から出力される画像信号の信号レベルが適切でない場合等には、大きな誤差を含む可能性がある。例えば被写体１が非常に遠方にある場合、投射した光の反射光については微少な信号しか得られないので、距離画像のＳ／Ｎ比が低くなる。このようなＳ／Ｎ比の低い距離画像を被写体の距離情報として用いて制御を行うことは、システムが不安定になる要因になる。言い換えると、本実施形態のように、距離画像を得る構成とは別個に距離測定センサ１０１のような手段を設けて、この手段による測定結果を被写体の距離情報として用いる方が、より安定した制御を実現できる。
【００４８】
また、被写体の距離情報の代わりに、カメラ部２０から出力される映像信号のレベル情報に基づいて、光源部１０の光出力またはカメラ部２０の露出条件を制御するようにしてもよい。
【００４９】
また、本実施形態では、光強度比を用いて３次元計測を行うレンジファインダ装置を例にとって説明したが、光波長などの他の光特性を用いる構成であってもかまわない。なお、光波長を用いる場合には、図１に示すカメラ部２０の代わりに、反射光の光波長を計測できるカメラが必要となる。また、投射光の光特性と投射角度との対応関係を利用する構成に限らず、例えば、光の掃引開始から各ホトセンサに光が到達するまでの経過時間を実測するような構成であっても、もちろんかまわない（A.Gruss,S.Tada,T.Kanade,“A VLSI Smart Sensor for Fast Range Imaging”,in Proceedings of the 1992 IEEE/RSJ International Conference on Intelligent Robots and Systems,pp.349-358,July 1992) 。
【００５０】
（第２の実施形態）
図５は本発明の第２の実施形態に係るレンジファインダ装置の構成図である。図５では、図２２に示す従来の構成と共通の要素には同一の符号を付しており、ここではその詳細な説明を省略する。図５に示すレンジファインダ装置は、光源部１０から投射した光の被写体１での反射光をカメラ部３１０で受けて、これにより被写体１の３次元位置情報を測定する。また、カメラ部３１０はカラー画像（２次元画像）を撮像可能である。３次元位置情報の測定の動作は従来と同様である。
【００５１】
カメラ部３１０は、レンズ３１２、絞り３１３および撮像素子（ＣＣＤ）３１４を有し、さらにレンズ３１２の前にフィルタ部としてのＮＤ（Neutral Density ）フィルタ素子３１１が設けられている。ＮＤフィルタ素子３１１は液晶素子を有し、この液晶素子への印加電圧によって光透過率が制御可能に構成されている。制御部としての露光制御部３０１は、カメラ部３１０から出力された画像信号に基づいて、カメラ部３１０の絞り３１３若しくはＮＤフィルタ素子３１１等の制御、または光源部１０の光出力（光量）を調整するための制御を行う。
【００５２】
図６は図５のレンジファインダ装置の動作とＮＤフィルタ素子３１１の光透過率との関係を示すグラフである。図６に示すように、ここでは、３次元計測を行う、すなわち距離画像を撮像する第１期間Ｔ１と、カラー画像を撮像する第２期間Ｔ２とが交互に設けられている。ＮＤフィルタ素子３１１の光透過率は、露光制御部３０１によって、第１の期間Ｔ１では相対的に低く、第２の期間Ｔ２では相対的に高く設定される。また光源部１０は、露光制御部３０１および光源制御部１６によって、第１の期間Ｔ１では従来の３次元計測の場合と同様に制御され、第２の期間Ｔ２ではＯＦＦ状態に制御される。
【００５３】
図７はカメラ部３１０の撮像素子３１４の感度と光の波長との関係を示すグラフである。光源部１０の投射光の波長は近赤外領域に設定されている。カメラ部３１０の撮像素子３１４の感度は図７のように調整されており、カメラ部３１０への入射光のうち、可視領域の光がカラー画像の撮像に用いられ、近赤外領域の光が３次元計測すなわち距離画像の撮像に用いられる。
【００５４】
図８を用いて、本実施形態に係るレンジファインダ装置の技術的な特徴について説明する。同図中、（ａ）は３次元計測を行う第１の期間Ｔ１における映像信号の信号レベル、（ｂ）は２次元画像撮像を行う第２の期間Ｔ２における映像信号の信号レベルを示す。
【００５５】
本実施形態では、２次元画像の画質を劣化させることなく、精度の高い３次元計測を実現するために、第１期間Ｔ１と第２期間Ｔ２とにおいて、絞り３１３やＮＤフィルタ素子３１１等の設定を切り替える。すなわち、３次元計測のとき、光源部１０の投射光の反射光の信号レベルＬＡが十分高くなるように、被写体の画像成分の信号レベルＬＢを、２次元画像撮像のときのカラー画像成分の信号レベルＬ２よりも低く抑える。
【００５６】
例えば具体的には、第２期間Ｔ２では、露光制御部３０１はＮＤフィルタ素子３１１の光透過率を相対的に高く、好ましくは最大に設定する。そして、カラー画像成分の信号レベルＬ２が飽和レベルに達しない程度に大きくなるように、カメラ部３１０の露出条件例えば絞り、撮像素子の感度またはシャッター速度を制御する。ここでの制御は、カラー画像が適正露光の状態、例えば画素値の平均値が所定の基準レベル以上または画素値のピーク値が最大輝度の状態になるように、行えばよい。
【００５７】
また、第１期間Ｔ１では、露光制御部３０１はＮＤフィルタ素子３１１の光透過率を相対的に低く設定し、背景光すなわち被写体の画像成分の信号レベルＬＢを小さく抑える。そして、距離画像の信号レベルＬ１がカメラ部３１０の撮像素子のレンジ幅を越えない程度に大きくなるように、カメラ部３１０の露出条件を制御する。このとき、ＮＤフィルタ素子３１１の光透過率を低く設定したことによって、実質的な距離画像成分である光源部１０からの投射光の反射光の信号レベルＬＡも小さくなる。このため、光源部１０の光出力（光量）を高く設定し、実質的な距離画像成分ＬＡを大きくするのが好ましい。これによって、Ｓ／Ｎ比の高い距離画像を得ることができる。
【００５８】
さらに、第２期間Ｔ２内の最後に光源部１０の光をＯＦＦ状態にする第３期間Ｔ３を設け、この第３期間Ｔ３において、ＮＤフィルタ素子３１１の光透過率を、カラー画像成分の信号レベルができるだけ抑制されるように制御してもよい。この場合も、光源部１０の光出力を高く設定しておけば、第１期間Ｔ１において距離画像のレンジ幅Ｌ１が小さくなる、という不都合を避けることができる。
【００５９】
なお、ＮＤフィルタ素子３１１の透過率の制御と併せて、光源部１０の光出力のレベルをアップ・ダウンさせる制御を行ってもかまわない。なお、ここでの光出力の制御とは、図２４に示すような光強度の変化パターンは維持したまま、光量全体のレベルをアップダウンさせる制御のことである。
【００６０】
なお、ＮＤフィルタ素子３１１の光透過率を制御する代わりに、図４に示すように、カメラ部３１０のシャッター時間（例えばＣＣＤの電子シャッタ機能を用いる）を変化させて、入射光量を制御してもよい。この場合は、光源部１０がパターン光を投射する必要がある。
【００６１】
また、本実施形態では、ＮＤフィルタ素子の光透過率およびカメラ部の露光条件の双方を制御するものとしたが、これに限らず、いずれか一方を制御する構成でもかまわない。
【００６２】
またここでは、第１及び第２の期間Ｔ１，Ｔ２が交互の場合を示したが、本発明はこれに限られるものではなく、例えば期間Ｔ１，Ｔ２のうちの一方の期間が連続することがあってもかまわない。また、３次元計測と２次元画像撮像とにおいてサンプリング周期を同一にする必要はなく、例えば３次元計測のサンプリング周期を長く設定してもかまわない。
【００６３】
図９は本実施形態に係るレンジファインダ装置における光源部およびカメラ部の他の構成例を示す図である。図９に示すように、光源部１０Ａは１個の光源５１を用いて構成することができる。この場合、図１０に示すように、３次元計測を行う第１期間Ｔ１において、２種類のパターン光を時分割に投射させればよい。
【００６４】
（第３の実施形態）
図１１は本発明の第３の実施形態に係る撮像装置としてのテレビ電話システムの構成図である。図１１では、図５に示す構成と共通の要素には同一の符号を付しており、ここではその詳細な説明を省略する。ここでは、被写体７１１は人の顔である。
【００６５】
図１２（ａ）は図１１に示す撮像装置の時分割処理を表す図である。図１２（ａ）に示すように、本実施形態では、赤外フラッシュランプ７０１ａを点灯させその反射光を用いて前景と背景の区別を行う第１期間Ｔ１と、カラー画像（２次元画像）を撮像し前景画像のみを切り出す第２期間Ｔ２とを、交互に実行する。
【００６６】
図１１に示すように、光源部７０１は赤外フラッシュランプ７０１ａおよび透過型液晶表示素子７０１ｂを有する。赤外フラッシュランプ７０１ａは光源制御部７０２からの指令によって、第１期間Ｔ１において２回点灯し（ｔＡ，ｔＢ）、被写体７１１に赤外線を照射する。透過型液晶表示素子７０１ｂは光の通過位置に応じて光透過率が異なるフィルタ素子であり、光透過率の分布パタンとして２種類のパタンが設定可能になっている。この光透過率の分布パタンは、光源制御部７０２からの指令によって、赤外フラッシュランプ７０１ａの点灯毎に切り替えられる。この結果、被写体７１１への投射光の光強度パタンは図１２（ｂ）のようになる。図１２（ｂ）において、光強度パタンＩＡがタイミングｔＡにおける光の光強度特性に、光強度パタンＩＢがタイミングｔＢにおける光の光強度特性に、それぞれ対応する。光強度パターンＩＡ，ＩＢは投射角度θに応じて変化する。
【００６７】
カラー信号処理部７０３は第２期間Ｔ２で撮像したカラー画像を処理する。前景・背景区別部としての前景判断部７０４はカメラ部３１０からの出力信号によって、前景と背景とを区別する。切り出し部７０５は前景判断部７０４による区別結果を用いて、カラー信号処理部７０３の出力画像から前景画像を切り出す。テレビ電話部７０６は、切り出し部７０５から出力された前景画像および受話器７０７からの音声信号を電話回線７０８を介して電話の相手側に送り出す。制御部７０９は、ＮＤフィルタ素子３１１、絞り３１３および光源制御部７０２に対しては第２の実施形態における露光制御部３０１と同様の制御を行い、これに加えて、カラー信号処理部７０３および前景判断部７０４に対しても処理のタイミング等の制御を行う。
【００６８】
図１３を参照して、図１１に示すテレビ電話システムの動作について説明する。図１３（ａ）は図１２（ｂ）と同一の図であり、被写体７１１への投射光の光強度パタンＩＡ，ＩＢを示す。また図１３（ｂ）は光強度比ＩＡ／ＩＢと投射角度θとの関係を示す。光強度比ＩＡ／ＩＢと投射角度θとの間には１対１の対応関係があり、光強度比ＩＡ／ＩＢが得られればその光の投射角度θが一義的に特定できる。
【００６９】
カメラ部３１０の撮像素子３１４は、第１期間Ｔ１において、赤外フラッシュランプ７０１ａの２回の光照射による反射光を受光する。前景判断部７０４は撮像素子３１４からの画像信号を用いて、各画素毎に、光強度比ＩＡ０／ＩＢ０を求める。そして図１３（ｃ）に示すように、この光強度比ＩＡ０／ＩＢ０から、各画素が前景であるか背景であるかを判定する。すなわち、求めた光強度比ＩＡ０／ＩＢ０が、所定の判定基準ＲＴＨよりも大きい値であるときは、その画素は前景（人の顔）に対応するものと判定する一方、判定基準ＲＴＨよりも小さい値であるときは、背景に対応するものと判定する。このような判定を全ての画素について行い、この判定結果を切り出し部７０５に出力する。
【００７０】
図１３（ｄ）を用いて、上記のような判定が可能な理由について説明する。
【００７１】
図１１に示すように、テレビ電話システムの場合、カメラ部３１０の前に存在する被写体７１１の中心位置Ｐは、平均的な位置として予め定めることができる。したがって、このようにして定めた中心位置Ｐに対応する投射角度θＴＨを、基準角度として用いればよい。図１１から分かるように、投射角度が基準角度θＴＨよりも大きいときは、被写体７１１は中心位置Ｐよりも近くにあり、反対に、投射角度が基準角度θＴＨよりも小さいときは、被写体７１１は中心位置Ｐよりも遠くにある。そして、上述したように投射角度と光強度比とは１対１の関係にあるので、基準角度θＴＨに対応する光強度比ＲＴＨを基準として用いることによって、求めた光強度比から直接に、背景か前景かの判定を行うことができる。
【００７２】
次に第２期間Ｔ２において、カメラ部３１０は被写体７１１のカラー画像の撮像を行う。カラー信号処理部７０３はカメラ部３１０からの撮像信号を得て所定の処理を行い、切り出し部７０５にカラー画像信号を出力する。切り出し部７０５は前景判断部７０４の判定結果を用いて、カラー信号処理部７０３から送られたカラー画像信号から前景画像のみを切り出し、テレビ電話部７０６に出力する。テレビ電話部７０６はこの前景画像と受話器７０７からの音声信号とを電話回線７０８を介して出力する。
【００７３】
なお、図１４（ａ），（ｂ）に示すように、判定基準ＲＴＨにヒステリシス特性を持たせてもよい。これにより、ノイズに強い判定を行うことができる。
【００７４】
なお、ここでは、光強度比を求めて背景・前景の判定を行う場合について説明したが、これに限らず、例えば光強度そのものから判定を行ってもかまわない。この場合、図１５（ａ）に示すように、タイミングｔ２（またはｔ１）で照射された光の反射光の撮像素子３１４による観測値（光強度ＩＢ）から、予め定めた基準光強度ＩＴＨを用いて、背景・前景の判定を直接行うことができる。これは、図１５（ｂ）に示すように、投射角度θと光強度とが１対１の関係にあるためである。ただし、光強度比を用いた場合と異なり、光強度そのものは被写体７１１表面の色によって異なる。このため、光強度比を用いた場合と同程度の精度で前景・背景の区別を行うためには、基準光強度ＩＴＨを被写体７１１の表面の色に応じて変える必要がある。
【００７５】
なお、ここでは、光源として赤外フラッシュランプを用いたが、連続発光するランプを用いてもかまわない。この場合は、カメラ部３１０に可視光のみを撮像する撮像素子と赤外光のみを撮像する撮像素子とを設ける必要がある。また、図２４に示すように、光強度を時間的に変調し、投射方向を掃引させてもかまわない。
【００７６】
また、前景を切り出す代わりに、背景を切り出すように構成することも容易に可能である。
【００７７】
＜第１変形例＞
図１６は本実施形態に係るテレビ電話システムの他の構成を示す図である。図１６では、図１１と共通の構成要素には同一の符号を付している。図１１と異なるのは、前景と背景とを区別するための基準となる閾値を被写体に応じて決定する閾値決定部１２０１を備える点である。閾値決定部１２０１は、各画素における反射光の光強度比の分布に基づいて、閾値を決定する。具体的には、閾値決定部１２０１はカメラ部３１０からの出力信号に基づいて、前景と背景の区別の際の判定基準となる閾値を、モード法、Ｐ−タイル法または判別基準法等の手法を用いて決定する。
【００７８】
図１７（ａ）はモード法による閾値決定を示す図である。モード法では、各画素における反射光の光特性の分布を表すヒストグラムの谷間における値を閾値として決定する。ここで、撮像素子３１４から出力される各画素毎の明るさの比（図１３（ｂ）に示す光強度比）から図１７（ａ）のようなヒストグラムが得られたとする。閾値決定部１２０１はヒストグラムの谷間を認識し、この谷間における光強度比ＲＴＨを閾値として決定する。これにより、閾値は被写体に応じて変化することになり、より精度の高い判定を行うことができる。閾値決定部１２０１で決定された閾値は前景判断部７０４に送られる。
【００７９】
また、光強度比の分布の代わりに、光強度自体の分布を用いてもかまわない。この場合には、図１５（ａ）に示す基準光強度ＩＴＨが決定される。背景・前景の区別のために光強度そのものを用いる場合には、上述したように被写体７１１の色の影響を受けやすいので、このような閾値決定部１２０１を設けることは判定精度の向上のために極めて有効である。
【００８０】
図１７（ｂ）はＰ−タイル法による閾値決定を示す図である。Ｐ−タイル法では、累積ヒストグラムにおける累積値が所定の値になるときの値を閾値として決定する。ここで、撮像素子３１４から出力される各画素毎の光強度比から図１７（ｂ）のような累積ヒストグラムが得られたとする。閾値決定部１２０１は累積ヒストグラムから、累積頻度がＰ％になるときの光強度比ＲＴＨを閾値として決定する。テレビ電話システムの場合、カメラ画像全領域に対する前景（すなわち人の顔）領域の割合はほぼ所定の比率になると考えられるので、閾値決定のための累積頻度の値Ｐ％を予め定めることができる。
【００８１】
また、判別基準法では、閾値によって２分される領域間のクラス間分散が最大になるように、閾値を決定する。カメラ画像の全領域を領域Ｒ１と領域Ｒ２とに分ける。領域Ｒ１，Ｒ２が占める面積の割合をそれぞれω１  ，ω２  とし（ω１  ＋ω２  ＝１）、全領域における平均明るさをμＴ  、分散をσＴ  ２  とし、領域Ｒ１，Ｒ２の平均明るさをそれぞれμ１  ，μ２  とする。このとき、クラス間分散σＢ２（ｔ）は、次式で表される。  
σＢ２（ｔ）＝ω１  （μ１  −μＴ  ）２  ＋ω２  （μ２  −μＴ  ）２  
＝ω１  ・ω２  （μ１  −μ２  ）２  …（２）
判別基準η（ｔ）は、次式で表される。
η（ｔ）  ＝σＢ２（ｔ）／σＴ  ２  …（３）
このη（ｔ）が最大になるときのｔの値を求め、これを閾値として決定する。
【００８２】
なお、上述した３つの手法は２値化手法の一例であり、他の２値化手法を用いて閾値を決定してももちろんかまわない。
【００８３】
＜第２変形例＞
図１８は本実施形態に係るテレビ電話システムの他の構成を示す図である。図１８では、図１６と同様に、図１１と共通の構成要素には同一の符号を付している。図１１と異なるのは、超音波センサなどによる距離測定センサ１４０１を備える点である。そして、閾値決定部１４０２は、撮像素子３１４からの信号と併せて、距離測定センサ１４０１からの距離情報を用いて、被写体７１１に応じた閾値を決定する。
【００８４】
具体的には、閾値決定部１４０２は、距離測定センサ１４０１によって測定された被写体７１１までの距離情報および撮像素子３１４の出力信号から、被写体７１１の表面反射率Ｒを求め、求めた表面反射率Ｒに基づいて、前景と背景の区別の際の判定基準となる閾値を決定する。
【００８５】
以下、閾値の決定方法について、具体的に説明する。
【００８６】
距離測定センサ１４０１は被写体７１１までの概略距離ｒを検出し、閾値決定部１４０２に出力する。閾値決定部１４０２は概略距離ｒおよび撮像素子３１４からの出力である光強度ＩＢ（またはＩＡ）から、次式によって、被写体７１１の表面反射率Ｒを画素毎に計算する。  
Ｒ＝ＩＢ・ｒ２／（Ｋ・Ａ）  …（４）
ただし、Ｋは光源の明るさ、Ａは撮像素子３１４の感度である。
【００８７】
そして、求めた表面反射率Ｒから、光強度ＩＢの閾値すなわち図１５に示す基準光強度ＩＴＨを決定する。まず最初に、前景（被写体７１１の表面）が白であるときの閾値ＩＷＴＨを決定する。この閾値ＩＷＴＨの決定は、オペレータがモニター（図示省略）を見ながら、最適な切り出し画像が得られるように閾値を調整することによって行う。この決定は、本装置の設計若しくは製造段階において、または本装置を最初に使用する前のキャリブレーションとして行われる。
【００８８】
式（４）から、前景が白であるときの基準光強度ＩＷＴＨは、基準となる白の表面反射率ＲＷ  を用いて、次式で表すことができる。  
ＩＷＴＨ＝ＲＷ  ・Ｓ  …（５）
ただし、Ｓ＝Ｋ・Ａ／ｒ２
したがって、前景の任意の表面反射率Ｒに対する基準光強度ＩＴＨは、予め決定された基準光強度ＩＷＴＨと白の表面反射率ＲＷ  とを用いて、次式で表される。  
ＩＴＨ＝ＩＷＴＨ（Ｒ／ＲＷ  ）  …（６）
このように、被写体７１１に応じて、式（４）によって表面反射率Ｒを求め、式（６）によって基準光強度ＩＴＨを決定することができる。
【００８９】
なお、光強度そのものから背景・前景を区別する場合には、上述したように被写体７１１の色の影響を受けやすいので、このような閾値決定部１４０２を設けることは、判定精度の向上に極めて有効である。
【００９０】
また、閾値決定部１４０２に距離情報を与えるための手段として距離測定センサ１４０１を設けるものとしたが、距離測定センサ１４０１の代わりに、図５に示すような距離計算部３０を設けてもかまわない。この場合、例えば距離計算部３０において被写体７１１の中心付近における距離の平均値を求め、この平均値を概略距離ｒとして閾値決定部１４０２に与えるようにすればよい。
【００９１】
図１９は光源部７０１の他の構成例を示す図である。図１９に示す例では、２個の赤外ＬＥＤアレイ１５０１ａ，１５０１ｂを上下に、それぞれの照射光が被写体７１１に向かうように配置しており、その前に、光透過率が設定変更可能なフィルタ１５０２ａ，１５０２ｂをそれぞれ設けている。フィルタ１５０２ａ，１５０２ｂの光透過率は、その通過光の光強度ＩＡ，ＩＢが図１３（ａ）に示すように位置的に変化するように、それぞれ調整されている。
【００９２】
また、図２０に示すように、前景・背景を区別するための閾値を撮像素子の画素の位置に応じて変化させてもよい。これによって、撮像素子の各画素から見た被写体の方向のズレを補正することができ、より正確に前景・背景の区別を行うことができる。
【００９３】
また、図２１に示すように、閾値の逆数１／ＲＴＨと画素の水平位置の逆数であるΦとの関係が、次式を満たすように、閾値ＲＴＨを定めてもかまわない。  
１／ＲＴＨ＝ｋ１・Φ＋ｋ２  …（７）
（ただし、ｋ１，ｋ２は所定の係数）
これは、図１１において、カメラ部３１０または光源７０１から被写体７１１を見込む角度θＰが小さい場合に、被写体７１１の奥行き位置に応じて閾値ＲＴＨを定める、ということを近似している。また、角度φの逆数をΦとして用いてもよい。また、式（７）では一次直線関数を用いたが、単調に変化する関数であればどのような関数を用いてもかまわない。
【００９４】
【発明の効果】
以上のように本発明によると、例えば被写体が移動しても、それに応じて投射光の強度や反射光信号のレベルが制御されるので、精度の高い３次元位置情報を常に得ることができる。
【図面の簡単な説明】
【図１】
本発明の第１の実施形態に係るレンジファインダ装置の構成図である。
【図２】
図１の装置の動作を示す図であり、（ａ）は被写体までの距離と光源部の光出力との関係を示す図、（ｂ）は被写体までの距離とシャッタ部の動作との関係を示す図である。
【図３】
（ａ），（ｂ）は光源部の他の構成例を示す図である。
【図４】
カメラ部の露光条件をシャッター速度で制御する場合を示す図である。
【図５】
本発明の第２の実施形態に係るレンジファインダ装置の構成図である。
【図６】
図５の装置の動作とＮＤフィルタ素子の光透過率との関係を示す図である。
【図７】
図５の装置のカメラ部のＣＣＤの感度と光の波長との関係を示すグラフである。
【図８】
本発明の第２の実施形態の技術的な特徴を説明するための図であり、（ａ）は３次元計測を行う第１期間Ｔ１における映像信号の信号レベルを表す図、（ｂ）は２次元画像撮像を行う第２期間Ｔ２における映像信号の信号レベルを表す図である。
【図９】
レンジファインダ装置における光源部およびカメラ部の他の構成例を示す図である。
【図１０】
２種類のパターン光を時分割に投射する場合のタイミングを示す図である。
【図１１】
本発明の第３の実施形態に係る撮像装置を用いたテレビ電話システムの構成図である。
【図１２】
（ａ）は図１１に示す装置の動作を示す図、（ｂ）は２種類の光強度パターンを示す図である。
【図１３】
（ａ）〜（ｄ）は光強度比から前景・背景を区別する方法を示す図である。
【図１４】
（ａ），（ｂ）は前景・背景の区別基準にヒステリシス特性を持たせた場合を示す図である。
【図１５】
（ａ），（ｂ）は光強度そのものから背景・前景を区別する方法を示す図である。
【図１６】
本発明の第３の実施形態に係る構成であって、閾値決定部を設けた場合の構成を示す図である。
【図１７】
（ａ）はモード法を用いた閾値決定を示す図、（ｂ）はＰ−タイル法を用いた閾値決定を示す図である。
【図１８】
本発明の第３の実施形態に係る構成であって、距離センサおよび閾値決定部を設けた場合の構成を示す図である。
【図１９】
光源部の他の構成例を示す図である。
【図２０】
閾値を画素位置に応じて変える例を示す図である。
【図２１】
閾値を画素位置に応じて変える例を示す図である。
【図２２】
従来のレンジファインダ装置の構成図である。
【図２３】
（ａ），（ｂ）は図２２の装置に設けられた光学フィルタの特性を示す図である。
【図２４】
（ａ）は投射光の光強度と投射角度との関係を示す図、（ｂ）は光強度比と投射角度との関係を示す図、（ｃ）は投射角度と被写体までの距離との関係を示す図である。
【図２５】
従来のレンジファインダ装置における３次元計測時の映像信号の信号レベルを示す図である。
【符号の説明】
１，７１１  被写体
１０，７０１  光源部
２０，３１０  カメラ部
３０  距離画像
１０１  距離測定センサ
１０２，３０１  露光制御部（制御部）
１０４  シャッター部
３１１  ＮＤフィルタ素子（フィルタ部）
７０４  前景判断部（前景・背景区別部）
７０５  切り出し部
１２０１，１４０２  閾値決定部
１４０１  距離測定センサ