(57)【要約】【課題】装置の大型化、高コスト化を招くことなく、目的の被写体を的確に検出することによって、その目的の被写体に関して精度の高い距離画像を生成できるようにすると共に距離画像を短時間で生成できるようにした距離画像生成方法及びその装置を提供する。【解決手段】  カメラ１０には２つの撮像部ＰＡ、ＰＢが設けられ、撮像部ＰＡと撮像部ＰＢから、可視の波長域の光により結像された画像が取り込まれ、これらの画像によりステレオマッチング法を用いて距離画像Ａが生成される。一方、撮像部ＰＢは、赤外光により結像された画像を取り込むことができ、赤外光照射部１８から被写体に照射されて反射した赤外光による赤外画像が取り込まれ、ＴＯＦ法を用いて距離画像Ｂが生成される。まず、ＴＯＦ法を用いた距離画像Ｂが生成され、その距離画像Ｂにより主要被写体が検出される。そして、検出された主要被写体の画素範囲においてステレオマッチング法を用いた距離画像Ａが生成される。【選択図】  図１
2008116309.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を結像する光学系と、該光学系により結像された被写体の画像を２次元配列の受光素子により電気信号として取り込むイメージセンサとを備えた複数の撮像部と、
前記複数の撮像部のうち、少なくとも１つの撮像から取り込まれた画像に基づいて各画素の画素値を距離データとする距離画像を生成する距離画像生成手段と、
前記距離画像生成手段により生成された距離画像において、各距離ごとに各距離に属る距離データを有する画素の出現頻度を示す距離データヒストグラムを作成する距離データヒストグラム作成手段と、
前記距離データヒストグラムに基づいて、主要被写体を検出する主要被写体検出手段と、
前記主要被写体検出手段により検出された主要被写体の範囲の距離画像を、主要被写体の距離画像として記録媒体に記録し、又は、外部に送出する記録／送出手段と、
を備えたことを特徴とする距離画像生成装置。
【請求項２】
前記記録／送出手段は、前記主要被写体の距離画像と共に、前記複数の各撮像部により取り込まれた少なくとも１つの画像を前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項１の距離画像生成装置。
【請求項３】
前記複数の撮像部の各々から、第１の波長域の光により結像された被写体の画像を第１の画像として取り込む第１画像取込手段と、
前記複数の撮像部のうち、少なくとも１つの撮像部から、第２の波長域の光により結像された被写体の画像を第２の画像として取り込む第２画像取込手段と、
前記第１画像取込手段により取り込まれた第１の画像に基づいて、各画素の画素値を距離データとする第１の距離画像を生成する第１距離画像生成手段と、
を備え、
前記距離画像生成手段は、前記第２画像取込手段により取り込まれた第２の画像に基づいて、各画素の画素値を距離データとする第２の距離画像を生成する第２距離画像生成手段であり、
前記距離データヒストグラム作成手段は、前記第２距離画像生成手段により生成された第２の距離画像に基づいて、前記距離データヒストグラムを作成し、
前記第１距離画像生成手段は、前記第１画像取込手段により取り込まれた第１の画像に基づいて、前記主要被写体検出手段により検出された主要被写体の範囲の画像の各画素を距離データとする前記主要被写体の距離画像を生成し、
前記記録／送出手段は、第１距離画像生成手段により生成された前記主要被写体の距離画像を前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項１、又は、２の距離画像生成装置。
【請求項４】
前記第２の波長域内の光を被写体に照射する光照射手段を備え、前記第２画像取込手段は、前記光照射手段により前記第２の波長域内の光を被写体に照射し、その反射光により結像された被写体の画像を前記第２の画像として取り込むことを特徴とする請求項３の距離画像生成装置。
【請求項５】
前記第１距離画像生成手段は、前記複数の第１の画像において、同一の物点に対する像点を示す対応点を検出し、該対応点の視差に基づいて前記物点までの距離を求め、該距離を示す距離データを前記対応点の画素の画素値とすることにより前記第１の距離画像を生成するステレオマッチング法を用いた距離画像生成手段であることを特徴とする請求項３、又は、４の距離画像生成装置。
【請求項６】
前記第２距離画像生成手段は、前記第２の波長域の光が被写体に照射されて前記撮像部に到達するまでの時間に応じた画素値を示す前記第２の画像に基づいて各画素を像点とする物点までの距離を求め、該距離を示す距離データを各画素の画素値とすることによって前記第２の距離画像を生成するＴＯＦ法を用いた距離画像生成手段であることを特徴とする請求項３、４、又は、５の距離画像生成装置。
【請求項７】
前記第１の波長域は、可視の波長域であり、前記第２の波長域は、可視外の波長域であることを特徴とする請求項３〜６のうちのいずれか１の距離画像生成装置。
【請求項８】
前記第２の波長域は、赤外の波長域であることを特徴とする請求項３〜７のうちのいずれか１の距離画像生成装置。
【請求項９】
前記第１画像取込手段により前記第１の画像が取り込まれる撮像部において、前記第１の波長域の光を透過する１種類からなる第１の画素フィルター、又は、前記第１の波長域を分割した複数の波長域ごとの光を透過する複数種類からなる第１の画素フィルターが、前記イメージセンサの各受光素子に配置され、前記第１画像取込手段は、前記第１の画素フィルターが配置された受光素子によって前記第１の画像を取り込み、
前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第２の波長域の光を透過する第２の画素フィルターが前記イメージセンサの各受光素子に配置され、前記第２画像取込手段は、前記第２の画素フィルターが配置された受光素子によって前記第２の画像を取り込むことを特徴とする請求項３〜８のうちのいずれか１の距離画像生成装置。
【請求項１０】
前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第２の画素フィルターは、第１の画素フィルターと異なる受光素子に配置される画素フィルターであることを特徴とするであることを特徴とする請求項９の距離画像生成装置。
【請求項１１】
前記第１の波長域は緑色の波長域であり、前記第１の画素フィルターは、緑色の波長域の光を透過する画素フィルターであることを特徴とする請求項９、又は、１０の距離画像生成装置。
【請求項１２】
前記第２の波長域は赤外の波長域であり、前記第２の画素フィルターは、赤外の波長域の光を透過する画素フィルターであることを特徴とする請求項９、１０、又は、１１の距離画像生成装置。
【請求項１３】
前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第１の画素フィルターと前記第２の画素フィルターとが交互に配置されることを特徴とする請求項１０、１１、又は、１２の距離画像生成装置。
【請求項１４】
前記主要被写体検出手段は、前記距離データヒストグラム作成手段により作成された距離データヒストグラムにおいて、出現頻度が所定の閾値を超える距離範囲を主要被写体の距離範囲として検出すると共に、該距離範囲に属する距離データを有する画素を主要被写体の画素として検出することを特徴とする請求項１〜１３のうちのいずれか１の距離画像生成装置。
【請求項１５】
前記主要被写体検出手段は、前記所定の閾値を複数の閾値で変更し、各閾値において検出される前記主要被写体の距離範囲に基づいて、適切な閾値を決定し、該決定した閾値に基づいて前記主要被写体の画素を検出することを特徴とする請求項１４の距離画像生成装置。
【請求項１６】
前記主要被写体検出手段は、前記複数の閾値を所定の規定値分の差を有する値で設定し、各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値を前記適切な閾値として決定することを特徴とする請求項１５の距離画像生成装置。
【請求項１７】
前記主要被写体検出手段は、前記各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値が複数存在し、且つ、前記主要被写体の距離範囲の数が最大となるときの複数の閾値が隣接する値であることを条件として該条件を満たす場合に、該条件を満たした複数の閾値のうち最も小さい値の閾値を前記適切な閾値として決定し、
前記条件を満たさない場合には、前記条件を満たされるまで、前記規定値を減少させた新たな規定値によって前記複数の閾値を設定しなおすことを特徴とする請求項１６の距離画像生成装置。
【請求項１８】
前記主要被写体検出手段は、前記主要被写体の距離範囲を所定の距離範囲内に制限して検出することを特徴とする請求項１４〜１７のうちのいずれか１の距離画像生成装置。
【請求項１９】
前記第１距離画像生成手段は、前記被写体距離検出手段により検出された主要被写体の画素及びその周辺画素からなる画像を前記主要被写体の範囲の画像として、前記主要被写体の距離画像を生成することを特徴とする請求項３〜１８のうちのいずれか１の距離画像生成装置。
【請求項２０】
前記第１距離画像生成手段により距離画像が生成された前記主要被写体の範囲以外の距離画像を前記第２距離画像生成手段により生成された第２の距離画像から取得し、該取得した距離画像と、前記第１距離画像生成手段により生成された前記主要被写体の距離画像とを統合した距離画像を第３の距離画像として生成する第３距離画像生成手段を備え、
前記記録／送出手段は、前記第３距離画像生成手段により生成された第３の距離画像を、前記第１距離画像生成手段により生成された前記主要被写体の距離画像を含む距離画像として前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項３〜１９のうちのいずれか１の距離画像生成装置。
【請求項２１】
前記距離データヒストグラム作成手段は、各距離ごとに各距離に属する距離データを有する画素の出現頻度を求めた後、該求めた出現頻度に所定のフィルター処理を施して得た値を前記距離データヒストグラムの値とすることを特徴とする請求項１〜２０のうちいずれか１の距離画像生成装置。
【請求項２２】
前記フィルター処理は、前記出現頻度の平滑化を目的とした処理であることを特徴とする請求項２１の距離画像生成装置。
【請求項２３】
前記記録／送出手段は、前記複数の撮像部のうちのいずれか１つの撮像部から取り込まれた第１の画像を前記主要被写体の距離画像と共に前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項３〜２２のうちのいずれか１の距離画像生成装置。
【請求項２４】
前記距離データは、前記撮像部の光軸方向の距離を示す距離データであることを特徴とする請求項１〜２３のうちのいずれか１の距離画像生成装置。
【請求項２５】
被写体の画像を結像する光学系と、該光学系により結像された被写体の画像を２次元配列の受光素子により電気信号として取り込むイメージセンサとを備えた複数の撮像部のうち、少なくとも１つの撮像から取り込まれた画像に基づいて各画素の画素値を距離データとする距離画像を生成する距離画像生成工程と、
前記距離画像生成工程により生成された距離画像において、各距離ごとに各距離に属る距離データを有する画素の出現頻度を示す距離データヒストグラムを作成する距離データヒストグラム作成工程と、
前記距離データヒストグラムに基づいて、主要被写体を検出する主要被写体検出工程と、
前記主要被写体検出工程により検出された主要被写体の範囲の距離画像を、主要被写体の距離画像として記録媒体に記録し、又は、外部に送出する記録／送出工程と、
を備えたことを特徴とする距離画像生成方法。
【請求項２６】
前記記録／送出工程は、前記主要被写体の距離画像と共に、前記複数の各撮像部により取り込まれた画像を前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項２５の距離画像生成方法。
【請求項２７】
前記複数の撮像部の各々から、第１の波長域の光により結像された被写体の画像を第１の画像として取り込む第１画像取込工程と、
前記複数の撮像部のうち、少なくとも１つの撮像部から、第２の波長域の光により結像された被写体の画像を第２の画像として取り込む第２画像取込工程と、
前記第１画像取込手段により取り込まれた第１の画像に基づいて、各画素の画素値を距離データとする第１の距離画像を生成する第１距離画像生成工程と、
を備え、
前記距離画像生成工程は、前記第２画像取込工程により取り込まれた第２の画像に基づいて、各画素の画素値を距離データとする第２の距離画像を生成する第２距離画像生成工程であり、
前記距離データヒストグラム作成工程は、前記第２距離画像生成工程により生成された第２の距離画像に基づいて、前記距離データヒストグラムを作成し、
前記第１距離画像生成工程は、前記第１画像取込工程により取り込まれた第１の画像に基づいて、前記主要被写体検出工程により検出された主要被写体の範囲の画像の各画素を距離データとする前記主要被写体の距離画像を生成し、
前記記録／送出工程は、第１距離画像生成工程により生成された前記主要被写体の距離画像を前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項２５、又は、２６の距離画像生成方法。
【請求項２８】
前記第２画像取込工程は、前記第２の波長域内の光を被写体に照射する光照射手段により前記第２の波長域内の光を被写体に照射し、その反射光により結像された被写体の画像を前記第２の画像として取り込むことを特徴とする請求項２７の距離画像生成方法。
【請求項２９】
前記第１距離画像生成工程は、前記複数の第１の画像において、同一の物点に対する像点を示す対応点を検出し、該対応点の視差に基づいて前記物点までの距離を求め、該距離を示す距離データを前記対応点の画素の画素値とすることにより前記第１の距離画像を生成するステレオマッチング法を用いた距離画像生成工程であることを特徴とする請求項２７、又は、２８の距離画像生成方法。
【請求項３０】
前記第２距離画像生成工程は、前記第２の波長域の光が被写体に照射されて前記撮像部に到達するまでの時間に応じた画素値を示す前記第２の画像に基づいて各画素を像点とする物点までの距離を求め、該距離を示す距離データを各画素の画素値とすることによって前記第２の距離画像を生成するＴＯＦ法を用いた距離画像生成工程であることを特徴とする請求項２７、２８、又は、２９の距離画像生成方法。
【請求項３１】
前記第１の波長域は、可視の波長域であり、前記第２の波長域は、可視外の波長域であることを特徴とする請求項２７〜３０のうちのいずれか１の距離画像生成方法。
【請求項３２】
前記第２の波長域は、赤外の波長域であることを特徴とする請求項２７〜３１のうちのいずれか１の距離画像生成方法。
【請求項３３】
前記第１画像取込工程により前記第１の画像が取り込まれる撮像部において、前記第１の波長域の光を透過する１種類からなる第１の画素フィルター、又は、前記第１の波長域を分割した複数の波長域ごとの光を透過する複数種類からなる第１の画素フィルターが、前記イメージセンサの各受光素子に配置され、前記第１画像取込工程は、前記第１の画素フィルターが配置された受光素子によって前記第１の画像を取り込み、
前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第２の波長域の光を透過する第２の画素フィルターが前記イメージセンサの各受光素子に配置され、前記第２画像取込工程は、前記第２の画素フィルターが配置された受光素子によって前記第２の画像を取り込むことを特徴とする請求項２７〜３２のうちのいずれか１の距離画像生成方法。
【請求項３４】
前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第２の画素フィルターは、第１の画素フィルターと異なる受光素子に配置される画素フィルターであることを特徴とするであることを特徴とする請求項３３の距離画像生成方法。
【請求項３５】
前記第１の波長域は緑色の波長域であり、前記第１の画素フィルターは、緑色の波長域の光を透過する画素フィルターであることを特徴とする請求項３３、又は、３４の距離画像生成方法。
【請求項３６】
前記第２の波長域は赤外の波長域であり、前記第２の画素フィルターは、赤外の波長域の光を透過する画素フィルターであることを特徴とする請求項３３、３４、又は、３５の距離画像生成方法。
【請求項３７】
前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第１の画素フィルターと前記第２の画素フィルターとが交互に配置されることを特徴とする請求項３４、３５、又は、３６の距離画像生成方法。
【請求項３８】
前記主要被写体検出工程は、前記距離データヒストグラム作成工程により作成された距離データヒストグラムにおいて、出現頻度が所定の閾値を超える距離範囲を主要被写体の距離範囲として検出すると共に、該距離範囲に属する距離データを有する画素を主要被写体の画素として検出することを特徴とする請求項２５〜３７のうちのいずれか１の距離画像生成方法。
【請求項３９】
前記主要被写体検出工程は、前記所定の閾値を複数の閾値値で変更し、各閾値において検出される前記主要被写体の距離範囲に基づいて、適切な閾値を決定し、該決定した閾値に基づいて前記主要被写体の画素を検出することを特徴とする請求項３８の距離画像生成方法。
【請求項４０】
前記主要被写体検出工程は、前記複数の閾値を所定の規定値分の差を有する値で設定し、各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値を前記適切な閾値として決定することを特徴とする請求項３９の距離画像生成方法。
【請求項４１】
前記主要被写体検出工程は、前記各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値が複数存在し、且つ、前記主要被写体の距離範囲の数が最大となるときの複数の閾値が隣接する値であることを条件として該条件を満たす場合に、該条件を満たした複数の閾値のうち最も小さい値の閾値を前記適切な閾値として決定し、
前記条件を満たさない場合には、前記条件を満たされるまで、前記規定値を減少させた新たな規定値によって前記複数の閾値を設定しなおすことを特徴とする請求項４０の距離画像生成方法。
【請求項４２】
前記主要被写体検出工程は、前記主要被写体の距離範囲を所定の距離範囲内に制限して検出することを特徴とする請求項３８〜４１のうちのいずれか１の距離画像生成方法。
【請求項４３】
前記第１距離画像生成工程は、前記被写体距離検出工程により検出された主要被写体の画素及びその周辺画素からなる画像を前記主要被写体の範囲の画像として、前記主要被写体の距離画像を生成することを特徴とする請求項２７〜４２のうちのいずれか１の距離画像生成方法。
【請求項４４】
前記第１距離画像生成工程により距離画像が生成された前記主要被写体の範囲以外の距離画像を前記第２距離画像生成工程により生成された第２の距離画像から取得し、該取得した距離画像と、前記第１距離画像生成工程により生成された前記主要被写体の距離画像とを統合した距離画像を第３の距離画像として生成する第３距離画像生成工程を備え、
前記記録／送出工程は、前記第３距離画像生成工程により生成された第３の距離画像を、前記第１距離画像生成工程により生成された前記主要被写体の距離画像を含む距離画像として前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項２７〜４３のうちのいずれか１の距離画像生成方法。
【請求項４５】
前記距離データヒストグラム作成工程は、各距離ごとに各距離に属する距離データを有する画素の出現頻度を求めた後、該求めた出現頻度に所定のフィルター処理を施して得た値を前記距離データヒストグラムの値とすることを特徴とする請求項２５〜４４のうちいずれか１の距離画像生成方法。
【請求項４６】
前記フィルター処理は、前記出現頻度の平滑化を目的とした処理であることを特徴とする請求項４５の距離画像生成方法。
【請求項４７】
前記記録／送出工程は、前記複数の撮像部のうちのいずれか１つの撮像部から取り込まれた第１の画像を前記主要被写体の距離画像と共に前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項２７〜４６のうちのいずれか１の距離画像生成方法。
【請求項４８】
前記距離データは、前記撮像部の光軸方向の距離を示す距離データであることを特徴とする請求項２５〜４７のうちのいずれか１の距離画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は距離画像生成方法及びその装置に係り、特にステレオマッチング法等を用いて距離画像を生成する距離画像生成方法及びその装置に関する。
【背景技術】
【０００２】
距離画像生成装置として、ステレオマッチング法を使用して距離画像を生成するものが一般的に知られている。ステレオマッチング法では、複数のイメージセンサ（例えば２つのイメージセンサ）で異なる視線方向から同一の空間領域の被写体が撮像され、１組のステレオ画像が取得される。ステレオ画像を取得すると、被写体の同一物点に対するステレオ画像の各画像上での像点の位置が各画像間での対応点として検出され、その対応点の各画像上での位置のずれ（視差）が求められる。この視差に基づいて三角測量の原理によりその物点までの距離が算出される。このような処理を被写体の各物点について行うことによって被写体の各物点までの距離を各画素の画素値とした距離画像が生成される。
【０００３】
このようなステレオマッチング法を使用した距離画像生成装置では、取得したステレオ画像の各画像上において、被写体の同一物点に対する像点の位置を対応点として検出することによって、各画像間での各画素の対応付けを行う必要がある。そこで、このような対応点の検出は、例えば被写体の模様等を利用して各画像上に現れる被写体の特徴部分を検出することによって行なわれている。しかしながら、被写体が単一色のようなコントラストの低い模様の場合、特徴部分が少なく、各画像間での各画素の対応付けが適切に行なわれない場合がある。そこで、特許文献１〜４では、被写体に対して所定パターンの赤外光を照射し、その赤外光により結像されたステレオ画像を取得することによって、特徴部分が少ない被写体に対しても対応点の検出を行い易くし各画像間での各画素の対応付けを適切に行なえるようにしたことが提案されている。
【特許文献１】特開２００１−８２３５号公報
【特許文献２】特開２００１−１９４１１４号公報
【特許文献３】特開２００１−２６４０３３号公報
【特許文献４】特開２００３−１２１１２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体に所定のパターンの赤外光を照射するためには照明装置の構成が複雑化し、装置全体の小型化及び製造コストの低減には不向きである。また、撮影範囲内の全ての被写体に対してステレオマッチング法により距離画像を生成するとその処理の負担が大きく、処理時間が長くなるという欠点がある。
【０００５】
本発明はこのような事情に鑑みてなされたもので、装置の大型化、高コスト化を招くことなく、目的の被写体を的確に検出することによって、その目的の被写体に関して精度の高い距離画像を生成できるようにすると共に距離画像を短時間で生成できるようにした距離画像生成方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために請求項１に記載の距離画像生成装置は、被写体の画像を結像する光学系と、該光学系により結像された被写体の画像を２次元配列の受光素子により電気信号として取り込むイメージセンサとを備えた複数の撮像部と、前記複数の撮像部のうち、少なくとも１つの撮像から取り込まれた画像に基づいて各画素の画素値を距離データとする距離画像を生成する距離画像生成手段と、前記距離画像生成手段により生成された距離画像において、各距離ごとに各距離に属る距離データを有する画素の出現頻度を示す距離データヒストグラムを作成する距離データヒストグラム作成手段と、前記距離データヒストグラムに基づいて、主要被写体を検出する主要被写体検出手段と、前記主要被写体検出手段により検出された主要被写体の範囲の距離画像を、主要被写体の距離画像として記録媒体に記録し、又は、外部に送出する記録／送出手段と、を備えたことを特徴としている。
【０００７】
本発明によれば、距離データヒストグラムを作成してその距離データヒストグラムを使用して主要被写体を検出するようにしているため、的確に目的の被写体を検出することができ、その距離画像を生成することができる。
【０００８】
請求項２に記載の距離画像生成装置は、請求項１に記載の発明において、前記記録／送出手段は、前記主要被写体の距離画像と共に、前記複数の各撮像部により取り込まれた少なくとも１つの画像を前記記録媒体に記録し、又は、外部に送出することを特徴としている。
【０００９】
本発明は、主要被写体の距離画像と共に、各撮像部により取り込まれた画像も記録又は送出するようにした態様である。
【００１０】
請求項３に記載の距離画像生成装置は、請求項１、又は、２に記載の発明において、前記複数の撮像部の各々から、第１の波長域の光により結像された被写体の画像を第１の画像として取り込む第１画像取込手段と、前記複数の撮像部のうち、少なくとも１つの撮像部から、第２の波長域の光により結像された被写体の画像を第２の画像として取り込む第２画像取込手段と、前記第１画像取込手段により取り込まれた第１の画像に基づいて、各画素の画素値を距離データとする第１の距離画像を生成する第１距離画像生成手段と、を備え、前記距離画像生成手段は、前記第２画像取込手段により取り込まれた第２の画像に基づいて、各画素の画素値を距離データとする第２の距離画像を生成する第２距離画像生成手段であり、前記距離データヒストグラム作成手段は、前記第２距離画像生成手段により生成された第２の距離画像に基づいて、前記距離データヒストグラムを作成し、前記第１距離画像生成手段は、前記第１画像取込手段により取り込まれた第１の画像に基づいて、前記主要被写体検出手段により検出された主要被写体の範囲の画像の各画素を距離データとする前記主要被写体の距離画像を生成し、前記記録／送出手段は、第１距離画像生成手段により生成された前記主要被写体の距離画像を前記記録媒体に記録し、又は、外部に送出することを特徴としている。  本発明によれば、第１距離画像生成手段と第２距離画像生成手段とにより異なる方法で個別に距離画像を生成する手段を備えている。第１距離画像生成手段が複数の撮像部から取り込まれた全ての画像に基づいて距離画像を生成する手段であるため高い精度の距離画像を生成することができる一方で距離画像の生成に時間を要する。そこで、第２距離画像生成手段により得られた第２の距離画像により主要被写体となるものを検出し、その主要被写体の範囲に対してのみ第１距離画像生成手段により高い精度の距離画像を生成する。これにより、必要な被写体に関して高い精度の距離画像を短時間で生成することが可能となる。また、第１距離画像生成手段と第２距離画像生成手段とでイメージセンサが共用されているため、距離画像を生成するために２つの手段が用いられることによる装置の大型化や高コスト化を抑止することができる。更に、目的の被写体として主要被写体のみの距離画像を記録媒体に記録し、又は、外部に送出することも可能であり、その場合に記録媒体に記録するデータ量や外部に送出するデータ量を低減できる。
【００１１】
請求項４に記載の距離画像生成装置は、請求項３に記載の発明において、前記第２の波長域内の光を被写体に照射する光照射手段を備え、前記第２画像取込手段は、前記光照射手段により前記第２の波長域内の光が被写体に照射し、その反射光により結像された被写体の画像を前記第２の画像として取り込むことを特徴としている。
【００１２】
本発明によれば、第２距離画像生成手段において参照する第２の画像、即ち、第２の波長域内の光により結像される被写体の画像を得るための光照射手段を本発明に係る装置が備え、第２の画像を取り込む際にその光照射手段からの第２の波長域の光を被写体に照射することができる。
【００１３】
請求項５に記載の距離画像生成装置は、請求項３、又は、４に記載の発明において、前記第１距離画像生成手段は、前記複数の第１の画像において、同一の物点に対する像点を示す対応点を検出し、該対応点の視差に基づいて前記物点までの距離を求め、該距離を示す距離データを前記対応点の画素の画素値とすることにより前記第１の距離画像を生成するステレオマッチンング法を用いた距離画像生成手段であることを特徴としている。
【００１４】
本発明によれば、第１距離画像生成手段では、異なる視線方向から同一の空間領域を撮影して得られたステレオ画像、即ち、第１の画像から、ステレオマッチング法により距離画像を生成する方法が採用されている。
【００１５】
請求項６に記載の距離画像生成装置は、請求項３、４、又は、５に記載の発明において、前記第２距離画像生成手段は、前記第２の波長域の光が被写体に照射されて前記撮像部に到達するまでの時間に応じた画素値を示す前記第２の画像に基づいて各画素を像点とする物点までの距離を求め、該距離を示す距離データを各画素の画素値とすることによって前記第２の距離画像を生成するＴＯＦ法を用いた距離画像生成手段であることを特徴としている。
【００１６】
本発明によれば、第２距離画像生成手段では、被写体に照射され、反射した第２の波長域の光が撮像部に到達するまでに要した時間を第２の画像に基づいて求めることによって、被写体の各物点までの距離を求めるＴＯＦ（Time of Flight）法により距離画像を生成する方法が採用されている。
【００１７】
請求項７に記載の距離画像生成装置は、請求項３〜６のうちのいずれか１に記載の発明において、前記第１の波長域は、可視の波長域であり、前記第２の波長域は、可視外の波長域であることを特徴としている。
【００１８】
本発明は、可視の波長域の光により結像された被写体の画像を第１の画像として取り込み、可視外の波長域の光により結像された被写体の画像を第２の画像として取り込む態様を示している。
【００１９】
請求項８に記載の距離画像生成装置は、請求項３〜７のうちのいずれか１に記載の発明において、前記第２の波長域は、赤外の波長域であることを特徴としている。
【００２０】
本発明は、赤外光により第２の画像を取り込むようにした態様を示している。
【００２１】
請求項９に記載の距離画像生成装置は、請求項３〜８のうちのいずれか１に記載の発明において、前記第１画像取込手段により前記第１の画像が取り込まれる撮像部において、前記第１の波長域の光を透過する１種類からなる第１の画素フィルター、又は、前記第１の波長域を分割した複数の波長域ごとの光を透過する複数種類からなる第１の画素フィルターが、前記イメージセンサの各受光素子に配置され、前記第１画像取込手段は、前記第１の画素フィルターが配置された受光素子によって前記第１の画像を取り込み、前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第２の波長域の光を透過する第２の画素フィルターが前記イメージセンサの各受光素子に配置され、前記第２画像取込手段は、前記第２の画素フィルターが配置された受光素子によって前記第２の画像を取り込むことを特徴としている。
【００２２】
本発明は、波長域の異なる光により第１の画像と、第２の画像とを取り込むためのイメージセンサの画素フィルターの構成に関する一形態を示している。
【００２３】
請求項１０に記載の距離画像生成装置は、請求項９に記載の発明において、前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第２の画素フィルターは、第１の画素フィルターと異なる受光素子に配置される画素フィルターであることを特徴とするであることを特徴としている。
【００２４】
本発明は、第２の画像が取り込まれる撮像部において、第１の画像を取り込むための受光素子とは別の受光素子により第２の画像を取り込むようにした態様を示している。これによれば、第１の画像と第２の画像の取込みを同時に行うことも可能である。
【００２５】
請求項１１に記載の距離画像生成装置は、請求項９、又は、１０に記載の発明において、前記第１の波長域は緑色の波長域であり、前記第１の画素フィルターは、緑色の波長域の光を透過する画素フィルターであることを特徴としている。
【００２６】
本発明は、第１の画像を緑色の画素のみによって取り込み、第２の画像を緑色の画素フィルターが配列された受光素子以外で取り込めるようにしたものである。
【００２７】
請求項１２に記載の距離画像生成装置は、請求項９、１０、又は、１１に記載の発明において、前記第２の波長域は赤外の波長域であり、前記第２の画素フィルターは、赤外の波長域の光を透過する画素フィルターであることを特徴としている。
【００２８】
本発明は、第２の画像を取り込むための第２の波長域及び第２の画素フィルターの一形態を示しており、第２の画像を赤外画像として取り込むようにしたものである。
【００２９】
請求項１３に記載の距離画像生成装置は、請求項１０、１１、又は、１２に記載の発明において、前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第１の画素フィルターと前記第２の画素フィルターとが交互に配置されることを特徴としている。
【００３０】
本発明は、画素フィルターの配列のー例を示している。
【００３１】
請求項１４に記載の距離画像生成装置は、請求項１〜１３のうちのいずれか１に記載の発明において、前記主要被写体検出手段は、前記距離データヒストグラム作成手段により作成された距離データヒストグラムにおいて、出現頻度が所定の閾値を超える距離範囲を主要被写体の距離範囲として検出すると共に、該距離範囲に属する距離データを有する画素を主要被写体の画素として検出することを特徴としている。
【００３２】
本発明は、距離データヒストグラムから主要被写体を検出する具体的一態様を示している。
【００３３】
請求項１５に記載の距離画像生成装置は、請求項１４に記載の発明において、前記主要被写体検出手段は、前記所定の閾値を複数の閾値で変更し、各閾値において検出される前記主要被写体の距離範囲に基づいて、適切な閾値を決定し、該決定した閾値に基づいて前記主要被写体の画素を検出することを特徴としている。
【００３４】
本発明によれば、主要被写体を適切に検出することができ、主要被写体の誤検出を低減することができ、距離画像精度の向上に寄与する。
【００３５】
請求項１６に記載の距離画像生成装置は、請求項１５に記載の発明において、前記主要被写体検出手段は、前記複数の閾値を所定の規定値分の差を有する値で設定し、各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値を前記適切な閾値として決定することを特徴としている。
【００３６】
本発明は、前記複数の閾値のうち適切な閾値を決定する方法の一態様を示している。
【００３７】
請求項１７に記載の距離画像生成装置は、請求項１６に記載の発明において、前記主要被写体検出手段は、前記各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値が複数存在し、且つ、前記主要被写体の距離範囲の数が最大となるときの複数の閾値が隣接する値であることを条件として該条件を満たす場合に、該条件を満たした複数の閾値のうち最も小さい値の閾値を前記適切な閾値として決定し、前記条件を満たさない場合には、前記条件を満たされるまで、前記規定値を減少させた新たな規定値によって前記複数の閾値を設定しなおすことを特徴としている。
【００３８】
本発明は、前記複数の閾値のうち適切な閾値を決定する方法の一態様を示し、初期の閾値において、適切な閾値が検出されない場合の態様も含む。
【００３９】
請求項１８に記載の距離画像生成装置は、請求項１４〜１７のうちのいずれか１に記載の発明において、前記主要被写体検出手段は、前記主要被写体の距離範囲を所定の距離範囲内に制限して検出することを特徴としている。
【００４０】
本発明は、主要被写体を検出する距離範囲を制限することによって、処理時間の低減を図るものである。
【００４１】
請求項１９に記載の距離画像生成装置は、請求項３〜１８のうちのいずれか１に記載の発明において、前記第１距離画像生成手段は、前記被写体距離検出手段により検出された主要被写体の画素及びその周辺画素からなる画像を前記主要被写体の範囲の画像として、前記主要被写体の距離画像を生成することを特徴としている。
【００４２】
本発明は、主要被写体の距離画像として求める画像の範囲の一実施の形態を示している。
【００４３】
請求項２０に記載の距離画像生成装置は、請求項３〜１９のうちのいずれか１に記載の発明において、前記第１距離画像生成手段により距離画像が生成された前記主要被写体の範囲以外の距離画像を前記第２距離画像生成手段により生成された第２の距離画像から取得し、該取得した距離画像と、前記第１距離画像生成手段により生成された前記主要被写体の距離画像とを統合した距離画像を第３の距離画像として生成する第３距離画像生成手段を備え、前記記録／送出手段は、前記第３距離画像生成手段により生成された第３の距離画像を、前記第１距離画像生成手段により生成された前記主要被写体の距離画像を含む距離画像として前記記録媒体に記録し、又は、外部に送出することを特徴としている。
【００４４】
本発明は、主要被写体の距離画像を第１距離画像生成手段により高い精度で生成し、主要被写体以外の範囲の距離画像を第１距離画像生成手段により主要被写体の距離画像を生成する以前に既に生成されている第２距離画像生成手段により生成された距離画像（第２の距離画像）により補間して第３の距離画像を生成する態様を示している。主要被写体以外の範囲の距離画像を補間するための距離画像を生成する時間を要さないため、撮影範囲全体の距離画像を高速に生成することができる。
【００４５】
請求項２１に記載の距離画像生成装置は、請求項１〜２０のうちのいずれか１に記載の発明において、前記距離データヒストグラム作成手段は、各距離ごとに各距離に属する距離データを有する画素の出現頻度を求めた後、該求めた出現頻度に所定のフィルター処理を施して得た値を前記距離データヒストグラムの値とすることを特徴としている。
【００４６】
本発明は、主要被写体が複雑な形状を有する場合に適切に主要被写体を検出できるようにした態様を示している。
【００４７】
請求項２２に記載の距離画像生成装置は、請求項２１に記載の発明において、前記フィルター処理は、前記出現頻度の平滑化を目的とした処理であることを特徴としている。
【００４８】
本発明は、距離データヒストグラムを平滑化するフィルター処理によって、主要被写体が複雑な形状を有する場合でも適切に主要被写体を検出できるようにした態様を示している。
【００４９】
請求項２３に記載の距離画像生成装置は、請求項３〜２２のうちのいずれか１に記載の発明において、前記記録／送出手段は、前記複数の撮像部のうちのいずれか１つの撮像部から取り込まれた第１の画像を前記主要被写体の距離画像と共に前記記録媒体に記録し、又は、外部に送出することを特徴としている。
【００５０】
本発明は、距離画像だけでなく通常の画像も記録するようにしたものである。
【００５１】
請求項２４に記載の距離画像生成装置は、請求項１〜２３のうちのいずれか１に記載の発明において、前記距離データは、前記撮像部の光軸方向の距離を示す距離データであることを特徴としている。
【００５２】
即ち、本発明における距離画像の距離データは、奥行き方向の距離を示してる。
【００５３】
請求項２５に記載の距離画像生成方法は、被写体の画像を結像する光学系と、該光学系により結像された被写体の画像を２次元配列の受光素子により電気信号として取り込むイメージセンサとを備えた複数の撮像部のうち、少なくとも１つの撮像から取り込まれた画像に基づいて各画素の画素値を距離データとする距離画像を生成する距離画像生成工程と、前記距離画像生成工程により生成された距離画像において、各距離ごとに各距離に属る距離データを有する画素の出現頻度を示す距離データヒストグラムを作成する距離データヒストグラム作成工程と、前記距離データヒストグラムに基づいて、主要被写体を検出する主要被写体検出工程と、前記主要被写体検出工程により検出された主要被写体の範囲の距離画像を、主要被写体の距離画像として記録媒体に記録し、又は、外部に送出する記録／送出工程と、を備えたことを特徴としている。
【００５４】
請求項２６に記載の距離画像生成方法は、請求項２５に記載の発明において、前記記録／送出工程は、前記主要被写体の距離画像と共に、前記複数の各撮像部により取り込まれた画像を前記記録媒体に記録し、又は、外部に送出することを特徴としている。
【００５５】
請求項２７に記載の距離画像生成方法は、請求項２５、又は、２６に記載の発明において、前記複数の撮像部の各々から、第１の波長域の光により結像された被写体の画像を第１の画像として取り込む第１画像取込工程と、前記複数の撮像部のうち、少なくとも１つの撮像部から、第２の波長域の光により結像された被写体の画像を第２の画像として取り込む第２画像取込工程と、前記第１画像取込手段により取り込まれた第１の画像に基づいて、各画素の画素値を距離データとする第１の距離画像を生成する第１距離画像生成工程と、を備え、前記距離画像生成工程は、前記第２画像取込工程により取り込まれた第２の画像に基づいて、各画素の画素値を距離データとする第２の距離画像を生成する第２距離画像生成工程であり、前記距離データヒストグラム作成工程は、前記第２距離画像生成工程により生成された第２の距離画像に基づいて、前記距離データヒストグラムを作成し、前記第１距離画像生成工程は、前記第１画像取込工程により取り込まれた第１の画像に基づいて、前記主要被写体検出工程により検出された主要被写体の範囲の画像の各画素を距離データとする前記主要被写体の距離画像を生成し、前記記録／送出工程は、第１距離画像生成工程により生成された前記主要被写体の距離画像を前記記録媒体に記録し、又は、外部に送出することを特徴としている。
【００５６】
請求項２８に記載の距離画像生成方法は、請求項２７に記載の発明において、前記第２画像取込工程は、前記第２の波長域内の光を被写体に照射する光照射手段により前記第２の波長域内の光を被写体に照射し、その反射光により結像された被写体の画像を前記第２の画像として取り込むことを特徴としている。
【００５７】
請求項２９に記載の距離画像生成方法は、請求項２７、又は、２８に記載の発明において、前記第１距離画像生成工程は、前記複数の第１の画像において、同一の物点に対する像点を示す対応点を検出し、該対応点の視差に基づいて前記物点までの距離を求め、該距離を示す距離データを前記対応点の画素の画素値とすることにより前記第１の距離画像を生成するステレオマッチング法を用いた距離画像生成工程であることを特徴としている。
【００５８】
請求項３０に記載の距離画像生成方法は、請求項２７、２８、又は、２９に記載の発明において、前記第２距離画像生成工程は、前記第２の波長域の光が被写体に照射されて前記撮像部に到達するまでの時間に応じた画素値を示す前記第２の画像に基づいて各画素を像点とする物点までの距離を求め、該距離を示す距離データを各画素の画素値とすることによって前記第２の距離画像を生成するＴＯＦ法を用いた距離画像生成工程であることを特徴としている。
【００５９】
請求項３１に記載の距離画像生成方法は、請求項２７〜３０のうちのいずれか１に記載の発明において、前記第１の波長域は、可視の波長域であり、前記第２の波長域は、可視外の波長域であることを特徴としている。
【００６０】
請求項３２に記載の距離画像生成方法は、請求項２７〜３１のうちのいずれか１に記載の発明において、前記第２の波長域は、赤外の波長域であることを特徴としている。
【００６１】
請求項３３に記載の距離画像生成方法は、請求項２７〜３２のうちのいずれか１に記載の発明において、前記第１画像取込工程により前記第１の画像が取り込まれる撮像部において、前記第１の波長域の光を透過する１種類からなる第１の画素フィルター、又は、前記第１の波長域を分割した複数の波長域ごとの光を透過する複数種類からなる第１の画素フィルターが、前記イメージセンサの各受光素子に配置され、前記第１画像取込工程は、前記第１の画素フィルターが配置された受光素子によって前記第１の画像を取り込み、前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第２の波長域の光を透過する第２の画素フィルターが前記イメージセンサの各受光素子に配置され、前記第２画像取込工程は、前記第２の画素フィルターが配置された受光素子によって前記第２の画像を取り込むことを特徴としている。
【００６２】
請求項３４に記載の距離画像生成方法は、請求項３３に記載の発明において、前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第２の画素フィルターは、第１の画素フィルターと異なる受光素子に配置される画素フィルターであることを特徴とするであることを特徴としている。
【００６３】
請求項３５に記載の距離画像生成方法は、請求項３３、又は、３４に記載の発明において、前記第１の波長域は緑色の波長域であり、前記第１の画素フィルターは、緑色の波長域の光を透過する画素フィルターであることを特徴としている。
【００６４】
請求項３６に記載の距離画像生成方法は、請求項３３、３４、又は、３５に記載の発明において、前記第２の波長域は赤外の波長域であり、前記第２の画素フィルターは、赤外の波長域の光を透過する画素フィルターであることを特徴としている。
【００６５】
請求項３７に記載の距離画像生成方法は、請求項３４、３５、又は、３６に記載の発明において、前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第１の画素フィルターと前記第２の画素フィルターとが交互に配置されることを特徴としている。
【００６６】
請求項３８に記載の距離画像生成方法は、請求項２５〜３７のうちのいずれか１に記載の発明において、前記主要被写体検出工程は、前記距離データヒストグラム作成工程により作成された距離データヒストグラムにおいて、出現頻度が所定の閾値を超える距離範囲を主要被写体の距離範囲として検出すると共に、該距離範囲に属する距離データを有する画素を主要被写体の画素として検出することを特徴としている。
【００６７】
請求項３９に記載の距離画像生成方法は、請求項３８に記載の発明において、前記主要被写体検出工程は、前記所定の閾値を複数の閾値値で変更し、各閾値において検出される前記主要被写体の距離範囲に基づいて、適切な閾値を決定し、該決定した閾値に基づいて前記主要被写体の画素を検出することを特徴としている。
【００６８】
請求項４０に記載の距離画像生成方法は、請求項３９に記載の発明において、前記主要被写体検出工程は、前記複数の閾値を所定の規定値分の差を有する値で設定し、各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値を前記適切な閾値として決定することを特徴としている。
【００６９】
請求項４１に記載の距離画像生成方法は、請求項４０に記載の発明において、前記主要被写体検出工程は、前記各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値が複数存在し、且つ、前記主要被写体の距離範囲の数が最大となるときの複数の閾値が隣接する値であることを条件として該条件を満たす場合に、該条件を満たした複数の閾値のうち最も小さい値の閾値を前記適切な閾値として決定し、前記条件を満たさない場合には、前記条件を満たされるまで、前記規定値を減少させた新たな規定値によって前記複数の閾値を設定しなおすことを特徴としている。
【００７０】
請求項４２に記載の距離画像生成方法は、請求項３８〜４１のうちのいずれか１に記載の発明において、前記主要被写体検出工程は、前記主要被写体の距離範囲を所定の距離範囲内に制限して検出することを特徴としている。
【００７１】
請求項４３に記載の距離画像生成方法は、請求項２７〜４２のうちのいずれか１に記載の発明において、前記第１距離画像生成工程は、前記被写体距離検出工程により検出された主要被写体の画素及びその周辺画素からなる画像を前記主要被写体の範囲の画像として、前記主要被写体の距離画像を生成することを特徴としている。
【００７２】
請求項４４に記載の距離画像生成方法は、請求項２７〜４３のうちのいずれか１に記載の発明において、前記第１距離画像生成工程により距離画像が生成された前記主要被写体の範囲以外の距離画像を前記第２距離画像生成工程により生成された第２の距離画像から取得し、該取得した距離画像と、前記第１距離画像生成工程により生成された前記主要被写体の距離画像とを統合した距離画像を第３の距離画像として生成する第３距離画像生成工程を備え、前記記録／送出工程は、前記第３距離画像生成工程により生成された第３の距離画像を、前記第１距離画像生成工程により生成された前記主要被写体の距離画像を含む距離画像として前記記録媒体に記録し、又は、外部に送出することを特徴としている。
【００７３】
請求項４５に記載の距離画像生成方法は、請求項２５〜４４のうちのいずれか１に記載の発明において、前記距離データヒストグラム作成工程は、各距離ごとに各距離に属する距離データを有する画素の出現頻度を求めた後、該求めた出現頻度に所定のフィルター処理を施して得た値を前記距離データヒストグラムの値とすることを特徴としている。
【００７４】
請求項４６に記載の距離画像生成方法は、請求項４５に記載の発明二おいて、前記フィルター処理は、前記出現頻度の平滑化を目的とした処理であることを特徴としている。
【００７５】
請求項４７に記載の距離画像生成方法は、請求項２７〜４６のうちのいずれか１に記載の発明において、前記記録／送出工程は、前記複数の撮像部のうちのいずれか１つの撮像部から取り込まれた第１の画像を前記主要被写体の距離画像と共に前記記録媒体に記録し、又は、外部に送出することを特徴としている。
【００７６】
請求項４８に記載の距離画像生成方法は、請求項２５〜４７のうちのいずれか１に記載の発明において、前記距離データは、前記撮像部の光軸方向の距離を示す距離データであることを特徴としている。
【００７７】
以上の請求項２５〜４８に記載の発明は各々、請求項１〜２４に記載の装置の発明に対応する方法の発明であり、対応する装置の発明と同様の効果を奏する。
【発明の効果】
【００７８】
本発明によれば、目的の被写体を的確に検出することができ、装置の大型化、高コスト化を招くことなく、その目的の被写体に関して精度の高い距離画像を生成できるようになると共に距離画像を短時間で生成できるようになる。
【発明を実施するための最良の形態】
【００７９】
以下、添付図面に従って本発明に係る距離画像生成方法及びその装置を実施するための最良の形態について詳説する。
【００８０】
図１は、本発明に係る被写体距離生成装置が組み込まれたカメラ（撮像装置）の外観構成を示した正面図である。同図のカメラ１０は、通常のデジタルスチルカメラと同様に可視光により結像された被写体の画像を撮像し、その画像を記録媒体等に記録する機能と、後述のようにステレオマッチング法及び赤外光によるＴＯＦ（Time of flight）法を使用して被写体の距離を各画素の画素値とする距離画像を生成し、その距離画像を記録媒体等に記録する機能とを備えている。尚、本明細書において記録画像という場合には、記録媒体に記録される可視光による通常の画像を示すものとする。
【００８１】
同図に示すようにカメラ１０の本体１２には撮像部（主撮像部）ＰＡと撮像部（副撮像部）ＰＢの２つが設けられており、それらの撮像部ＰＡ、ＰＢの各々は、被写体を結像するための撮影レンズ（撮影光学系）ＬＡ、ＬＢと、例えばＣＣＤ等の固体撮像素子からなるイメージセンサＳＡ、ＳＢ（図３において示す）とを備えている。
【００８２】
撮像部ＰＡは、１つの撮像部により可視光の画像（静止画像）を撮像する通常のデジタルスチルカメラと同様に用いられ、カメラ１０の本体１２には、通常のデジタルスチルカメラと同様にその撮像部ＰＡによって可視光の画像を撮像し記録媒体４２（図３において示す）に記録するための構成部が設けられている。詳細は省略するが、例えば、画像の取込み等を指示するシャッターボタン１４、被写体が暗い場合に可視光領域の波長の照明光を発光するストロボ１６、セルフ撮影を行なう場合にシャッターレリーズのタイミングを通知するセルフタイマーランプ１７等が設けられている。また、電子ビューファインダ等として画像を表示することができる液晶モニターや、撮像部ＰＡによって撮像された可視光の画像や後述の距離画像等のデータを記録する記録媒体（メモリーカード）４２を装着するカードスロット等がカメラ１０の本体１２の背面部や側面部等に設けられている。
【００８３】
一方、撮像部ＰＢは、距離画像を生成するために用いられ、後述のように撮像部ＰＡと異なる視線方向からの可視光の画像を取り込む。これによって、撮像部ＰＡと撮像部ＰＢによって取り込まれた２つの画像がステレオ画像としてステレオマッチング法による距離画像の生成に使用される。また、撮像部ＰＢの撮影レンズＬＢの上下には、赤外光を出射する赤外光照射部１８、１８が設けられており、これらの赤外光照射部１８、１８から被写体に照射されて反射した赤外光（赤外光を含む光）によって結像された画像が撮像部ＰＢにより取り込まれる。その赤外光により結像された画像は、赤外光を使用したＴＯＦ（Time of Flight）法による距離画像の生成に使用される。尚、ＴＯＦ法による距離画像は、後述のようにステレオマッチング法による距離画像を補間するために使用される。また、赤外光照射部１８は、２つではなく、３つ以上設けてもよいし、１つであってもよい。
【００８４】
図２は、撮像部ＰＡと撮像部ＰＢの視点と、被写体との関係を示した被写界上面図である。同図では、カメラ１０の撮像部ＰＡの視点を原点とすると共に、撮像部ＰＡの光軸をＺ軸とし、撮像部ＰＡの視点（原点）と撮像部ＰＢの視点とを結ぶ直線の方向にＸ軸をとり、Ｘ軸とＺ軸に直交する紙面垂直方向にＹ軸（図１参照）をとって被写界空間の座標が定義されている。同図のように撮像部ＰＡの視点と撮像部ＰＢの視点の位置がＸ軸方向に異なっており、被写界空間の被写体（同図では人物）Ｍの同一の物点Ｘを異なる角度で各視点からみた画像が各撮像部ＰＡ、ＰＢによって取り込まれる。そのため、各撮像部ＰＡ、ＰＢにより取り込まれた各画像上において同一の物点Ｘに対する像点の位置にずれ（視差）が生じ、その視差を求めることによって物点Ｘまでの距離が三角測量の原理により求められる。尚、撮像部ＰＡと撮像部ＰＢの各々によって撮像される画像間において、同一の物点に対する像点となる位置（画素）を対応点というものとする。また、生成する距離画像の各画素の距離データを、撮像部ＰＡの視点から各物点までの距離として求めることができるが、することもできるが、本実施の形態ではＺ軸方向（奥行き方向）の距離として求めるものとする。
【００８５】
図３は、上記カメラ１０の内部構成を示した構成図である。同図においてカメラ１０を構成する各構成部はカメラ制御部３０によって統括的に制御されており、以下に示す各構成部の動作がカメラ制御部３０の指令等に基づいて行なわれるようになっている。
【００８６】
主撮像部である上記撮像部ＰＡは、同図に示すように撮影レンズ（撮影光学系）ＬＡと、ＣＣＤ等の固体撮像素子からなるイメージセンサＳＡ等を備えている。被写体からの可視光領域の光が撮影レンズＬＡに入射すると、撮影レンズＬＡにより被写体の画像がイメージセンサＳＡの受光面に結像される。そして、その画像がイメージセンサＳＡによって撮像（光電変換）されて電気信号（画像信号）に変換される。これによって、可視光により結像された被写体の画像が撮像部ＰＡにより取り込まれる。その画像を示す画像信号は、イメージセンサＰＡから出力されてＡ／Ｄ変換器３２によりデジタル信号に変換された後、メモリー部３４に一時記憶されると共に画像処理部３６により、所要の処理、例えば、ホワイトバランス補正、ガンマ補正、輪郭補正等の画像処理が施される。
【００８７】
同図におけるモニター部・スピーカー部３８は、カメラ１０の本体１２に設けられた液晶モニター、スピーカー及びそれらの制御部を含み、その液晶モニターにスルー画像を表示させる場合は、被写体の画像が撮像部ＰＡによって連続的に取り込まれ、イメージセンサＳＡから順次出力される画像信号が画像処理部３６により連続的に処理される。そして、画像処理部３６により処理されてメモリー部３４に一時記憶されている画像信号が、モニター部・スピーカー部３８にバスを介して伝送される。これによって、撮像部ＰＡによって現在撮影されている映像が液晶モニターにスルー画像として表示される。
【００８８】
一方、カードスロットに装填された記録媒体（メモリーカード）４２に画像（可視光による画像、即ち、記録画像）を記録する場合は、同図の操作部４０に含まれるシャッターボタン１４（図１参照）が全押しされたことによって発生する撮影指令に応答して、撮像部ＰＡにより被写体の画像が取り込まれ、１コマ分の画像信号がイメージセンサＳＡから出力される。その画像信号がメモリー部３４に一時記憶されると共に画像処理部３６により処理された後、記録媒体記録部４４に伝送される。記録媒体記録部４４では、画像信号に圧縮等の処理が施されて所定フォーマットの画像データとして記録媒体４２に記録される。
【００８９】
記録媒体４２に記録された画像データの画像を液晶モニターに再生表示する場合には、所定の再生指令に応じて記録媒体４２から読み出され、記録媒体記録部４４において圧縮処理された画像データの伸張処理等が施された後、モニター部・スピーカー部３８に伝送される。これによって、記録媒体４２に記録された画像データの画像が液晶モニターに再生表示される。
【００９０】
尚、同図における操作部４０は、シャッターボタン１４以外にも電源スイッチ等の各種操作部材を含み、それらの操作がカメラ制御部３０に読み取られることによって、操作に応じた処理が実行される。また、シャッターボタン１４は、例えば２段ストロークのボタンで、半押し時にＯＮしてＡＦ（自動焦点調整）、ＡＥ（自動露出調整）等の撮影準備を行わせるスイッチと、全押し時にＯＮして画像の取り込みを行わせるスイッチとを有している。また、同図の信号出力部４６からは、液晶モニターに表示されている画像の画像信号や、記録媒体４２に記録されている画像データ等の外部機器への出力が行なえるようになっている。更に、カメラ１０にはバッテリー４８が着脱可能に装填されるようになっており、電源部５０からそのバッテリー４８の電力が各構成部に供給されている。
【００９１】
副撮像部である上記撮像部ＰＢは、同図に示すように撮像部ＰＡと同様に撮影レンズＬＢと、ＣＣＤ等の固体撮像素子からなるイメージセンサＳＢ等を備えている。また、撮像部ＰＢには、撮影レンズＬＢとイメージセンサＳＢとの間の光路に所定電圧の印加により、光の透過、非透過を制御可能な電気光学シャッター６０と、その光路に挿脱可能な赤外カットフィルター６２が配置されている。
【００９２】
電気光学シャッター６０には、例えば、印加電圧によって透過率が変化する液晶シャッターが使用され、印加電圧によって、光を透過する開状態と、光を遮断する閉状態とで切り替わるようになっている。尚、電気光学シャッター６０は、ＴＯＦ法により距離画像を生成するための画像を取り込む際に使用されるもので、開状態と閉状態とを高速で切り替えるために使用される。従って、イメージセンサＳＢにおける電子シャッターの機能で対応できる場合には、必ずしも電気光学シャッター６０は必要ではない。
【００９３】
赤外カットフィルター６２は、赤外光を遮断するフィルターであり、フィルター駆動部６４のモータ等によって、光路に挿入された位置と、光路から退避した位置とで移動するようになっている。赤外カットフィルター６２が光路に挿入されている場合には、撮影レンズＬＢを通過した光のうち、赤外光が取り除かれ、可視光のみがイメージセンサＬＢに入射する。
【００９４】
撮像部ＰＢによる画像の取込みは、シャッターボタン１４の１回の全押しによる撮影指令に対応して複数コマ分の画像の取込みが行われるようになっている。１コマ分の画像の取込みは、赤外カットフィルター６２が光路に挿入された状態で行われる。尚、このとき電気光学シャッター６０は開状態に設定され、赤外光照射部１８からの赤外光の照射は行われない。この画像の取込み時には、撮影レンズＬＢに入射した被写体からの光は、赤外カットフィルター６２によって赤外光が取り除かれるため、可視光のみによって被写体の画像がイメージセンサＳＢの受光面に結像される。そして、その画像はイメージセンサＳＢにより撮像（光電変換）されて電気信号（画像信号）に変換される。これによって可視光による被写体の画像が撮像部ＰＢによって取り込まれる。その画像を示す画像信号は、イメージセンサＳＢから出力されてＡ／Ｄ変換器６６によりデジタル信号に変換された後、メモリー部３４に一時記憶されると共に画像処理部６８により、ホワイトバランス補正、ガンマ補正、輪郭補正等の所要の処理が施される。このようにして撮像部ＰＢにより取り込まれた画像は、撮像部ＰＡにより取り込まれた画像と共に、同一の被写体を異なる視線方向から撮影したステレオ画像を構成する２つの画像としてステレオマッチング距離画像生成部７０に取り込まれる。そして、ステレオマッチング距離画像生成部７０において、ステレオマッチング法により被写体の各物点までの距離を各画素の画素値とした距離画像が生成される。
【００９５】
一方、撮像部ＰＢでの他の画像の取込みは、赤外カットフィルター６２が光路から退避した状態で電気光学シャッター６０を制御（開状態と閉状態の切替え）することによって行われる。また、このとき、赤外光照射部１８から赤外光が出射される。この画像の取込み時には、撮影レンズＬＢに入射した被写体からの光の中に、赤外光照射部１８から被写体に照射されて反射した赤外光が含まれる。そして、撮影レンズＬＢに入射した被写体からの光は、赤外光を含んだ状態で被写体の画像を結像する。この赤外光を含む光により結像された画像は、イメージセンサＳＢにより撮像されて電気信号（画像信号）に変換される。これによって、赤外光照射部１８から照射された赤外光を含む光により結像された被写体の画像（以下、赤外光を含む光により結像された本画像を赤外画像というものとする）が撮像部ＰＢにより取込まれる。その赤外画像を示す画像信号は、イメージセンサＳＢから出力されてＡ／Ｄ変換器６６によりデジタル信号に変換された後、ＴＯＦ距離画像生成部７２に取り込まれる。そして、そのＴＯＦ距離画像生成部７２において、ＴＯＦ法により被写体の各物点までの距離を各画素の画素値とした距離画像が生成される。
【００９６】
ここで、各撮像部ＰＡ、ＰＢにおけるイメージセンサＳＡ、ＳＢの画素フィルター配列を図４及び図５に示す。図４は撮像部ＰＡにおけるイメージセンサＳＡの各画素の受光素子に配置される画素フィルター配列を示しており、Ｒ、Ｇ、Ｂで示す画素フィルターはそれぞれ赤色、緑色、青色の波長域の光を透過する画素フィルターを示している。図５は、撮像部ＰＢにおけるイメージセンサＳＢの画素フィルター配列を示しており、Ｒ′、Ｇ、Ｂで示す画素フィルターはそれぞれ赤色、緑色、青色の波長域の光を透過する画素フィルターを示している。
【００９７】
イメージセンサＳＡとイメージセンサＳＢは、同等の特性を有する撮像素子が使用されており、画素ピッチ、画素数、基本的な画素フィルター配列なども一致している。
【００９８】
一方、イメージセンサＳＡのＲの画素フィルターとイメージセンサＳＢのＲ′の画素フィルターとではフィルター特性が相違している。図６は、Ｒ、Ｇ、Ｂ、Ｒ′の画素フィルターの波長特性を示している。イメージセンサＳＡのＧとＢの画素フィルターと、イメージセンサＲＢのＧとＢの画素フィルターとは、それぞれ同一の特性を有しており、同図に示すように、Ｇの画素フィルターは、グラフＦＧで示すように緑色の波長域の所定波長において透過率が最大となる波長ピークを有し、その波長ピークにおいてＧの画素フィルターが配置された受光素子（Ｇの受光素子）の受光感度が最大となる。Ｂの画素フィルターは、グラフＦＢで示すように青色の波長域の所定波長において透過率が最大となる波長ピークを有し、その波長ピークにおいてＢの画素フィルターが配置された受光素子（Ｂの受光素子）の受光感度が最大となる。これらのＧ、Ｂの画素フィルターは、通常のイメージセンサに使用される緑色と青色の画素フィルターと同様の特性を有する。
【００９９】
また、イメージセンサＳＡのＲの画素フィルターは、通常のイメージセンサにおいて使用される赤色の画素フィルターと同様の特性を有し、グラフＦＲ（破線）で示すように赤色の波長域の所定波長において透過率が最大となる波長ピークを有し、その波長ピークにおいてＲの画素フィルターが配置された受光素子（Ｒの受光素子）の受光感度が最大となる。
【０１００】
一方、イメージセンサＳＢのＲ′の画素フィルターは、グラフＦＲ′で示すようにＲの画素フィルターの波長ピークと略同じ波長を波長ピークとし、Ｒの画素フィルターと同様に赤色の波長域の光を透過するが、更に、長波長側の赤外の波長域の光も透過する特性を有している。従って、このＲ′の画素フィルターが配置された受光素子（Ｒ′の受光素子）では赤外光に対しても大きな受光感度を有している。
【０１０１】
また、同図において、上記赤外光照射部１８から出射される赤外光の波長領域がグラフＦＳで示されており、撮像部ＰＢの赤外カットフィルター６２のフィルター特性がグラフＦＩＲで示されている。
【０１０２】
上記のようにステレオマッチング距離画像生成部７０における距離画像の生成のための画像を撮像部ＰＢにより取り込む場合には、赤外カットフィルター６２が光路に挿入された状態で画像の取込みが行われる。このとき、被写体からの光は、赤外カットフィルター６２とＲ′の画素フィルターを通過してＲ′の受光素子に入射する。そのため、Ｒ′の受光素子の受光感度は、イメージセンサＳＡのＲの受光素子と同様に赤色の波長域に制限される。即ち、Ｒ′の受光素子は、赤外カットフィルター６２の特性とＲ′の画素フィルターの特性とを重畳した特性を有するフィルターを備えているものと同等となり、その特性は、Ｒの画素フィルターに類似したものとなる。これに対してイメージセンサＳＢのＧとＢの受光素子では、赤外カットフィルター６２の影響を殆ど受けない。従って、赤外カットフィルター６２を光路に挿入した状態で画像の取込みを行うと、イメージセンサＳＡと同等の特性によって撮像された可視光による画像がイメージセンサＳＢによって得られる。
【０１０３】
一方、上記のようにＴＯＦ距離画像生成部７２における距離画像の生成のための画像を撮像部ＰＢにより取り込む場合には、赤外カットフィルター６２が光路から退避した状態で画像の取込みが行われる。このとき、イメージセンサＳＢのＲ′の画素フィルターの特性がそのまま反映される。そして、このとき赤外光照射部１８から赤外光が被写体に照射されるが、Ｒ′の画素フィルターはその赤外の波長域の光を透過する特性を有するため、イメージセンサＳＢのＲ′の受光素子では、赤外光照射部１８から照射されて被写体で反射した赤外光を受光する。従って、赤外カットフィルター６２を光路から退避させた状態で赤外光照射部１８から赤外光を照射した状態で画像の取込みを行うと、その赤外光を含む光によって結像された画像（赤外画像）がイメージセンサＳＢによって得られる。尚、このとき取り込む赤外画像はＲ′の受光素子から得られる画像のみとする。
【０１０４】
次に、図７のフローチャートを用いて上記カメラ１０における距離画像生成の処理手順について説明する。まず、所定の電源スイッチの操作に従ってカメラ１０の電源をオンすると（ステップＳ１０）、撮像部ＰＢにおける赤外カットフィルター６２を光路に挿入する（赤外カットフィルター６２のオン）（ステップＳ１２）。続いてシャッターボタン１４が全押しされたか否かを判定する（ステップＳ１４）。ＮＯと判定している間は、この判定処理を繰り返す。
【０１０５】
一方、ステップＳ１４の判定処理においてＹＥＳと判定した場合、ＡＥ及びＡＦの処理を実行する（ステップＳ１６）。続いて、撮像部ＰＡのイメージセンサＳＡ及び撮像部ＰＢのイメージセンサＳＢにより画像を取り込み、それらの画像をメモリー部３４に記憶する（ステップＳ１８）。ここで、このとき撮像部ＰＡのイメージセンサＳＡにより取り込んだ画像を画像１、撮像部ＰＢのイメージセンサＳＢにより取り込んだ画像を画像２とする。
【０１０６】
次に、赤外カットフィルター６２を光路から退避させて（赤外カットフィルター６２のオフ）、赤外光照射部１８から赤外光を被写体に照射する（ステップＳ２０）。そして、電気光学シャッター６０を駆動し、イメージセンサＳＢの所定の露光制御を実行する（ステップＳ２２）。これによって、イメージセンサＳＢのＲ′の受光素子のみから画像（赤外画像）を取り込み、その画像をＴＯＦ距離画像生成部７２内のメモリー部に記憶する（ステップＳ２４）。このとき撮像部ＰＢにより取り込んだ赤外画像を画像３とする。尚、画像３も、画像１、２と同様にメモリー部３４に記憶するようにしてもよい。
【０１０７】
次に、メモリー部３４に記憶した画像１及び画像２をステレオマッチング距離画像生成部７０に取り込み、それらの画像１、画像２に基づいて、ステレオマッチング法により距離画像Ａを生成する（ステップＳ２６）。
【０１０８】
ここで、ステレオマッチング距離画像生成部７０では、例えば、画像１と画像２において同一の物点に対する像点の位置となる対応点が検出され、画像１と画像２における対応点の位置のずれ（視差）が求められる。そして、その視差から三角測量の原理によりその物点のまでの距離が算出される。このようなステレオマッチング処理が画像１の各画素に対して行われ、画像１の各画素の画素値を、算出した距離の値（距離データ）とすることによって距離画像Ａが生成される。
【０１０９】
一方、ＴＯＦ距離画像生成部７２は、画像３の画素値に基づいて、その画素を像点する被写体の物点までの距離をＴＯＦ法の原理に基づいて算出し、算出した距離の値（距離データ）を画素値とする距離画像Ｂを生成する（ステップＳ２８）。例えば、イメージセンサＳＢの各受光素子において入射した光に対して有効に電荷を蓄積するタイミングを制御し（電気光学シャッター６０又は電子シャッターの制御）、赤外光照射部１８を所定周期で発光させると共に、その発光のタイミングに合わせてイメージセンサＳＢの各受光素子で有効に電荷を蓄積する。各受光素子に蓄積される電荷量は、赤外光照射部１８から出射された赤外光が、出射されてから被写体で反射して各受光素子に入射するまでに要した飛行時間に応じた大きさとなる。従って、イメージセンサＳＢの各受光素子（Ｒ′の受光素子）により得られた画像３の各画素の画素値によって各画素を像点とする物点までの距離を算出することができる。
【０１１０】
尚、ＴＯＦ法により距離画像Ｂを生成する方法として、赤外光照射部１８からパルス光を発光し、そのパルス光の発光のタイミングに合わせてイメージセンサＳＢの各受光素子で有効に電荷を蓄積する露光のタイミングを制御する方法が知られている。この場合、赤外光照射部１８から被写体に照射されて、その反射光がイメージセンサＳＢの各受光素子に到達するまでの時間に応じた量の電荷が各受光素子で蓄積される。即ち、各受光素子の蓄積電荷が近距離では多く、遠距離では少なくなる。従って、これによって得られた画像３の各画素の画素値に基づいて各画素を像点とする物点までの距離を算出することができる。赤外光照射部１８でのパルス光の発光と、それに対するイメージセンサＳＢの露光は、３、４回程度繰り返し行われる。
【０１１１】
ＴＯＦ法により距離画像Ｂを生成する他の方法として、赤外光照射部１８からサイン波変調光（照射サイン波）を発光し、そのパルス光の発光のタイミングに合わせてイメージセンサＳＢの各受光素子での露光を複数回（例えば４回）繰り返す方法が知られている。この場合、画像３として複数コマ分の画像が得られ、得られた各画像の画素値に基づいて、照射サイン波に対して各受光素子で受光された受光サイン波が復調される。これによって、照射サイン波と受光サイン波の位相ずれを検出することができ、その位相ずれに基づいて各画素を像点とする物点までの距離を算出することができる。このような方法において得られる画像３の各画素の画素値は、赤外光照射部１８から被写体に照射された光が被写体で反射されてイメージセンサＳＢに到達するまでの時間に応じた値を示すもので、この方法も本明細書ではＴＯＦ法の一形態に含まれるものとする。
【０１１２】
次に、ステレオマッチング距離画像生成部７０は、ステップＳ２６における距離画像Ａの生成において距離を算出することができなかった画素についての距離データをＴＯＦ距離画像生成部７２において生成された距離画像Ｂの対応する画素から取得する。そして、その距離画像Ｂから取得した距離データを距離画像Ａに適用して距離画像Ｃを生成する（ステップＳ３０）。
【０１１３】
以上の処理が終了すると、撮像部ＰＡにより取り込まれた画像１と、距離画像Ｃとを記録媒体４２に記録し（ステップＳ３２）、ステップＳ１２に戻る。
【０１１４】
尚、画像１と距離画像Ｃとは、別個のファイルとして対応付けして記録してもよいし、１つのファイル内のデータとして記録してもよい。更に画像２、画像３も記録してもよい。
【０１１５】
また、以下の説明において、上記のようにステレオマッチング距離画像生成部７０において距離画像Ａを生成するために撮像部ＰＡにより取り込まれる画像を画像１、撮像部ＰＢにより取り込まれる画像を画像２とし、ＴＯＦ距離画像生成部７２において距離画像Ｂを生成するために撮像部ＰＢにより取り込まれる画像を画像３と記す。
【０１１６】
次に、図７のステップＳ３０において距離画像Ｃを生成するための具体的な生成方法について説明する。上記ステレオマッチング距離画像生成部７０において生成される距離画像Ａは、記録媒体４２に記録される可視光の記録画像、即ち、上記画像１の各画素の画素値を距離データとしたものである。一方、撮像部ＰＡと撮像部ＰＢとは視点が異なるため、ＴＯＦ距離画像生成部７２において撮像部ＰＢにより取り込まれた上記画像３により生成された距離画像Ｂと、上記距離画像Ａとの間での対応点となる画素の各画像上での位置が異なる。
【０１１７】
そこで、ステレオマッチング距離画像生成部７０において距離画像Ａを生成する際に画像１と画像２の間で求めた対応点を利用する。図８は、ステレオマッチング距離画像生成部７０において生成された距離画像Ａと、ＴＯＦ距離画像生成部７２において生成された距離画像Ｂの各々において画像全体のうちの同一範囲内の画素を抜き出して示した図である。同図において距離画像Ａの各画素は画像１の画素に対応しており、Ｒ、Ｇ、Ｂで示されている各画素（Ｒの画素、Ｇの画素、Ｂの画素）は、それぞれ図４に示した撮像部ＰＡのイメージセンサＳＡの画素フィルター配列においてＲ、Ｇ、Ｂの画素フィルターが配置された受光素子に対応する画素を示している。一方、距離画像Ｂの各画素は画像２の画素に対応しており、Ｒ′、Ｇ、Ｂで示されている各画素（Ｒ′の画素、Ｇの画素、Ｂの画素）は、それぞれ図５に示した撮像部ＰＢのイメージセンサＳＢの画素フィルター配列においてＲ′、Ｇ、Ｂの画素フィルターが配置された受光素子に対応する画素を示している。
【０１１８】
例えば、ステレオマッチング距離画像生成部７０において検出された対応点（対応画素）が、同図において距離画像Ａと距離画像ＢのＧの画素ｍであったとする。このとき、その対応画素ｍの周辺の画素は、相対的にずれが少ない。そこで距離画像Ｂの対応画素ｍの周辺のＲ′の画素ｎの距離データを、距離画像Ａの対応画素ｍの周辺のＲの画素ｐに対応させて距離画像Ａの距離データでとして不足する部分を補間する。この処理を各対応点ごとに繰り返して補間を行うことによって、画素ずれの少ない適切な距離画像Ｃが生成される。
【０１１９】
尚、図８では、対応画素ｍの周辺６画素分を補間しているが、その範囲は適宜設定できるものとしてもよい。
【０１２０】
次に、ＴＯＦ距離画像生成部７２での距離画像Ｂの生成における距離算出精度の向上を図るための実施の形態について図９のフローチャートを用いて説明する。図９のフローチャートにおいて図７のフローチャートと同一ステップ番号を付している処理は図７で説明した処理内容と一致している。図９において、図７と同一処理が行われるステップＳ１０〜Ｓ２４までの処理の説明を省略すると、ステップＳ２４において撮像部ＰＢから画像３（赤外画像）を取り込んだ後のステップＳ４０の処理が追加されている。
【０１２１】
ステップＳ４０では画像３の各画素の画素値から赤色の波長域の光が寄与した分の値を除去する処理が行われる。即ち、撮像部ＰＢにより取り込まれた画像３は、イメージセンサＳＢのＲ′の受光素子により得られた画素（Ｒ′の画素）によって構成されている。図４〜図６を用いたＲ′の画素フィルターのフィルター特性の説明で示したように、Ｒ′の画素フィルターが配置された受光素子は、赤外光照射部１８から出射される赤外光と、赤色の波長域の光とに対して受光感度を有している。従って、Ｒ′の画素の画素値は、赤外光によるものだけでなく、赤色の波長域の光による値が重畳されており、赤外光を参照光としてＴＯＦ法により距離を算出する場合に、赤色の波長域の光が距離算出精度の低下を招くおそれがある。
【０１２２】
一方、撮像部ＰＢにおいて赤外カットフィルター６２を光路に挿入した状態で取り込まれた画像２の場合、Ｒ′の画素の画素値は、赤外光が取り除かれた赤色の波長域の光による値である。そこで、画像３の各Ｒ′の画素と画像２の各Ｒ′の画素の対応する画素間において、画像３の各Ｒ′の画素の画素値Ｒ３ｎから、画像２の各Ｒ′の画素の画素値Ｒ２ｎに規定値Ｋを乗じた値を減算する。即ち、
Ｒ４ｎ＝Ｒ３ｎ−Ｋ＊Ｒ２ｎ
の式により、Ｒ４ｎを求め、そのＲ４ｎの値で画像３のＲ′の画像の画素値を置き換える。これによって生成された画像は、赤色の波長域の光による影響が取り除かれた赤外光による画像を示している。尚、この画像を画像４とする。また、上記規定値Ｋは、画像２の撮影時の露光量と、画像３の撮影時の露光量との比に基づいて決定する。但し、画像２の撮影時の露光時間Ｔ２と画像３の撮影時の露光時間Ｔ３との比、即ち、
Ｋ＝Ｔ３／Ｔ２
としてもよい。
【０１２３】
以上のように図９のステップＳ４０において画像４を生成すると、ステップＳ２８′において画像３から距離画像Ｂを生成する代わりに画像４から距離画像Ｂを生成する。ステップＳ４０の処理以後のステップＳ２６、Ｓ３０、３２は、図７の処理と一致しており、画像４から生成された距離画像Ｂを使用して距離画像Ｃが求められる。
【０１２４】
次に、撮像部ＰＢにおけるイメージセンサＳＢの画素フィルターに関する他の実施の形態について説明する。上記実施の形態では撮像部ＰＢにより取り込まれた画像３により生成される距離画像Ｂは、図５においてイメージセンサＳＢのＲ′の画素フィルターが配置された受光素子（Ｒ′の受光素子）により得られたＲ′の画素のみによるものである。そのため、距離画像Ｂの解像度が全画素の１／４となっている。そこで、イメージセンサＳＢの画素フィルターとして以下のようなフィルター特性を有するものを使用する。それによって、イメージセンサＳＢの全ての受光素子により得られた画像の全ての画素を使用して距離画像Ｂを生成することができるようになり、距離画像Ｂの解像度を向上させることが可能となる。
【０１２５】
本実施の形態での撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を図１０に示す。同図においてｒ、ｇ、ｂで示す画素フィルターは各々、赤色、緑色、青色の波長域の光を透過する画素フィルターを示している。ｒ、ｇ、ｂの各画素フィルターの配列を、図４に示したイメージセンサＳＡのＲ、Ｇ、Ｂの画素フィルターと比較すると、ｒの画素フィルターは、Ｒの画素フィルターに対応し、ｇの画素フィルターは、Ｇの画素フィルターに対応し、ｂの画素フィルターは、Ｂの画素フィルターに対応している。そして、ｒ、ｇ、ｂの画素フィルターの配列は、Ｒ、Ｇ、Ｂの画素フィルターの配列と一致している。
【０１２６】
一方、ｒ、ｇ、ｂの各画素フィルターのフィルター特性は、イメージセンサＳＡのＲ、Ｇ、Ｂの画素フィルターのフィルター特性と異なる。
【０１２７】
図１１（Ａ）、（Ｂ）、（Ｃ）にｒ、ｇ、ｂの各々の画素フィルターの波長特性を示す（同図（Ａ）、（Ｂ）、（Ｃ）の順にｂ、ｇ、ｒの特性を示している）。これらの図に示すように、ｒ、ｇ、ｂの各画素フィルターは、イメージセンサＳＡのＲ、Ｇ、Ｂの画素フィルターと同じようにそれぞれグラフＦＲ、ＦＧ、ＦＢで示す赤色、緑色、青色の各々の波長域において所定波長の光の透過率が最大となる波長ピークを有している。一方、ｒ、ｇ、ｂの各画素フィルターは、各図のＦＤで示す赤外の波長域において所定波長の光の透過率が最大となる波長ピークを有し、各画素フィルターは、それぞれ、赤色、緑色、青色の波長域と、赤外の波長域とで２つの波長ピークを有している。これによって、ｒ、ｇ、ｂの各画素フィルターは、赤外光照射部１８から出射される赤外光も透過する特性を有している。
【０１２８】
このような画素フィルターを図１０のような配列でイメージセンサＳＢの各受光素子に配置することによって次のような画像が撮像部ＰＢにより得られる。撮像部ＰＢの光路に赤外カットフィルター６２を挿入した状態で画像の取込みを行った場合、赤外カットフィルター６２によって赤外光が遮断されるため、撮像部ＰＢが撮像部ＰＡと同様の特性となる。従って、撮像部ＰＢにより可視光の画像が取り込まれるため、この画像を上記実施の形態においてステレオマッチング距離画像生成部７０での距離画像Ａの生成に使用する画像２とすることができる。
【０１２９】
一方、撮像部ＰＢの光路から赤外カットフィルター６２を退避させた状態で赤外光照射部１８から赤外光を被写体に照射して画像の取込みを行うと、イメージセンサＳＢのｒ、ｇ、ｂの画素フィルターが配置された全ての受光素子（ｒ、ｇ、ｂの受光素子）において、赤外光照射部１８から照射された赤外光が受光される。従って、イメージセンサＳＢの全ての受光素子により得られた画像（ｒ、ｇ、ｂの画素）を、上記実施の形態においてＴＯＦ距離画像生成部７２での距離画像Ｂの生成に使用する画像３とすることができる。
【０１３０】
これによってイメージセンサＳＢの全ての受光素子から得られた画像の全ての画素により距離画像Ｂを生成することができるため、距離画像Ｂの解像度を上げることが可能となる。
【０１３１】
尚、図９で示したステップＳ４０の処理と同様に画像３の各画素の画素値から可視光の影響を除去する場合には、図９のステップＳ４０の代わりに図１２のステップＳ４０′に示すように、ｒの画素のみでなく、ｇ、ｂの画素についても、それらの画素値から、画像２の各画素の画素値に規定値Ｋを乗じた値を減算することによって画像４を求める。
【０１３２】
以上、上記実施の形態において、ステレオマッチング距離画像生成部７０によって距離画像を生成するために取り込む画像を第１の画像、その画像を結像させる被写体光の波長域を第１の波長域、撮像部ＰＡ、ＰＢのイメージセンサＳＡ、ＳＢにおいて第１の画像を取り込む受光素子に配置される画素フィルターを第１の画素フィルターというものとし、ＴＯＦ距離画像生成部７２により距離画像を生成するために取り込む画像を第２の画像、その画像を結像させる被写体光の波長域を第２の波長域、撮像部ＰＢのイメージセンサＳＢにおいて第２の画像を取り込む受光素子に配置される画素フィルターを第２の画素フィルターというものとする。この場合に、上記実施の形態では、第１の波長域を可視の波長域、第１の画素フィルターを赤色、緑色、青色の波長域の光を透過する画素フィルター、第２の波長域を赤外の波長域とした場合を示している。一方、第２の画素フィルターについては、図５のイメージセンサＳＢの形態では、第１の画素フィルターでもある赤色の波長域を透過する画素フィルターに赤外の波長域の光を透過する特性をもたせたＲ′の画素フィルターを第２の画素フィルターとした場合を示し、図９のイメージセンサＳＢの形態では、第１の画素フィルターの全ての種類（赤色、緑色、青色の画素フィルターの全て）に赤外の波長域の光を透過する特性を持たせたｒ、ｇ、ｂの画素フィルターを第２の画素フィルターとした場合を示している。
【０１３３】
上記で説明したこれらの形態に対して、他の形態を実施することも可能である。まず、第１の波長域は、可視以外の波長域であってもよいし、可視の波長域内の更に限られた波長域であってもよい。そして、第２の波長域は、第１の波長域以外であればよい。例えば、第１の波長域を赤外の波長域とし、第２の波長域を可視の波長域とすることもできる。また、第１の画素フィルターは、第１の波長域の光を透過する特性を有する画素フィルターであるが、上記実施の形態のように透過する波長域が異なる複数種類の画素フィルターの配列によって、第１の波長域の光を透過させ、それらの画素フィルターが配置された受光素子によって第１の画像を取り込めるようにしてもよいし、第１の波長域の光を透過させる単一種の画素フィルターを第１の画素フィルターとしてもよい。
【０１３４】
一方、撮像部ＰＢのイメージセンサＳＢにおける第２の画素フィルターは、第１の画素フィルターが上記のように複数種類からなる場合には、それらのうちの少なくとも１種類の画素フィルターに第２の波長域の光を透過する特性をもたせることによって第１の画素フィルターを第２の画素フィルターとして共用することができる。第１の画素フィルターが１種類である場合には、その第１の画素フィルターに第２の波長域の光を透過する特性を持たせた画素フィルターが第２の画素フィルターとなる。
【０１３５】
また、上記実施の形態では、撮像部ＰＢから上記画像１を取り込む際に、赤外光を遮断する赤外カットフィルター６２を光路に挿入するようにしたが、これと同様に、撮像部ＰＢから上記第１の画像を取り込む際に、第２の波長域の光を遮断するフィルターを光路に挿入すれば、第２の画素フィルターとしても共用される第１の画素フィルターが配置された受光素子からも第１の画像を構成する画素を適切に取得することができる。また、上記実施の形態では採用していないが、撮像部ＰＢから上記第２の画像を取り込む際には、第１の波長域の光を遮断するフィルターを光路に挿入するようにしてもよい。
【０１３６】
また、上記実施の形態では、２つの撮像部ＰＡ、ＰＢから、ステレオマッチング距離画像生成部７０により距離画像Ａを生成するための２つの第１の画像を取り込み、そのうちの１つの撮像部ＰＢから、ＴＯＦ距離画像生成部７２により距離画像Ｂを生成するための１つの第２の画像を取り込むようにしたが、２つの撮像部ＰＡ、ＰＢに限らず、更に多くの撮像部を設け、それらの撮像部から第１の画像を取り込んで、ステレオマッチング距離画像生成部７０により距離画像Ａを生成し、そのうちの少なくとも１つの撮像部から第２の画像を取り込み、ＴＯＦ距離画像生成部７２により距離画像Ｂを生成するようにしてもよい。
【０１３７】
次に、撮像部ＰＢにおいて上記赤外カットフィルター６２を使用せずに上記画像２及び画像３を取り込めるようにした実施の形態について説明する。図１３は、本実施の形態における撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を示し、図１４は、イメージセンサＳＢの各画素フィルターのフィルター特性を示している。図１３に示すように、本実施の形態における画素フィルター配列は、Ｇで示す画素フィルターとＤで示す画素フィルターの２種類によって構成される。Ｇの画素フィルターは、図４に示した撮像部ＰＡのイメージセンサＳＡにおけるＧの画素フィルターと同じフィルター特性を有し、図１４のグラフＦＧに示すように緑色の波長域の光を透過する特性を有している。また、イメージセンサＳＢにおけるＧの画素フィルターは、撮像部ＰＡのイメージセンサＳＡにおけるＧの画素フィルターが配置される受光素子に対応する位置（イメージセンサ内で同じ位置）の受光素子に配置される。
【０１３８】
一方、撮像部ＰＢのイメージセンサＳＢにおけるＤの画素フィルターは、赤外の波長域の光を透過する特性を有し、赤外光照射部１８から出射される赤外光を透過する。また、図４に示した撮像部ＰＡのイメージセンサＳＡにおけるＲ及びＢの画素センサーが配置される受光素子に対応する位置（同じ位置）の受光素子に配置される。
【０１３９】
このようなＧとＤの画素フィルターが配置されたイメージセンサＳＢを使用した場合において、ステレオマッチング距離画像生成部７０が距離画像Ａを生成するために撮像部ＰＢから取り込む画像２については、イメージセンサＳＢのＧの画素フィルターが配置された受光素子により得られたＧの画素からなる画像を使用する。撮像部ＰＡと撮像部ＰＢの両方のイメージセンサＳＡ、ＳＢにおけるＧの受光素子の特性は同等であるため、ステレオマッチング距離画像生成部７０での距離算出処理において高い精度が得られる。
【０１４０】
一方、ＴＯＦ距離画像生成部７２が距離画像Ｂを生成するために撮像部ＰＢから取り込む画像３については、イメージセンサＳＢのＤの画素フィルターが配置された受光素子により得られたＤの画素からなる画像を使用する。これによれば、画像２と画像３を図３に示した赤外カットフィルター６２を使用することなく取り込むことができる。本実施の形態におけるカメラ１０の構成を図１５に示す。同図において図３の構成と異なるところは、図３において撮像部ＰＢに設けられていた赤外カットフィルター６２と赤外カットフィルター６２を駆動するフィルター駆動部６４が図１５では設けられていない点である。その他は図３と同様に構成されている。
【０１４１】
本実施の形態のカメラでの距離画像生成の処理手順を図１６のフローチャートに示す。同図のフローチャートにおいて、図７のフローチャートと同様の処理ブロックには図７と同一ステップ番号を付している。本実施の形態における図１６のフローチャートの処理手順によれば、赤外カットフィルター６２の制御が不要となっている点で図７のフローチャートの処理手順と相違している。即ち、図７のフローチャートのステップＳ１２、ステップＳ２０における赤外カットフィルター６２の制御が不要となっている。それ以外の処理は基本的に同様の手順で行われる。ただし、ステレオマッチング距離画像生成部７０により距離画像Ａを生成するために取り込まれる画像１及び画像２として、ステップＳ１８のようにＧの画素フィルターが配置された受光素子によって得られたＧの画素からなる画像が用いられる。また、ＴＯＦ距離画像生成部７２により距離画像を生成するために取り込まれる画像３として、ステップＳ２４のようにイメージセンサＳＢのＤの画素フィルターが配置された受光素子によって得られたＤの画素からなる画像が用いられる。
【０１４２】
次に、図１３に示した画素フィルター配列のイメージセンサＳＢを使用して、ステレオマッチング距離画像生成部７０による距離画像Ａの生成に使用する画像２と、ＴＯＦ距離画像生成部７２による距離画像Ｂの生成に使用する画像３とを、イメージセンサＳＢからの１回の読み出しで取得できるようにした実施の形態について説明する。図１６のフローチャートの処理手順では画像２と画像３とを時間をずらして撮像部ＰＢのイメージセンサＳＢから取り込む（読み出す）ため、動体に対しては、時間的なずれが発生しやすい。また、動画撮影等の連続撮影でのフレームレートが低下する要因となる。
【０１４３】
そこで、イメージセンサＳＢからの１回の読み出しによって、Ｇの画素からなる画像２とＤの画素からなる画像３とを取得することができるようにしたイメージセンサＳＢの構成を図１７に示す。同図において、Ｇ、Ｄで示す受光素子は、それぞれＧの画素フィルターとＤの画素フィルターが配置されている受光素子を示している。各受光素子は、電気的スイッチＳＷＧ、ＳＷＤにより、一方は垂直転送路ＶＳに、他方はドレインＤＳ側に切替え可能に接続されている。Ｇの受光素子の電気的スイッチＳＷＧは、Ｇ画素シャッター制御用ラインＧＣに接続され、Ｄの受光素子の電気的スイッチＳＷＤは、Ｄ画素シャッター制御用ラインＤＣに接続されている。
【０１４４】
ここで、各受光素子が電気的スイッチＳＷＧ、ＳＷＤによって垂直転送路ＶＳ側に接続されている間が、露光時間となる。ドレインＤＳ側は受光素子の電荷を排出する機能を有する。尚、電気的スイッチＳＷＧ、ＳＷＤはＭＯＳスイッチ型又はＣＣＤ転送ゲート型などで行なうことができる。更に垂直転送路ＶＳも、ＣＭＯＳセンサーの如くマトリックス配線により読み出すようにしてもよい。
【０１４５】
このようなイメージセンサＳＢを使用することにより、Ｇの受光素子で撮像されるＧの画素からなる画像２のシャッター時間と、Ｄの受光素子により撮像されるＤの画素からなる画像３のシャッター時間とを個々に制御することができ、イメージセンサＳＢからの蓄積電荷の１回の読み出し（転送）で画像２と画像３の両画像のデータを取得することができる。また、動画等の連続撮影への適用も可能となる。
【０１４６】
上記イメージセンサＳＢを制御する際の好ましいシャッター制御のタイミングを図１８に示す。同図に示すように１フレーム期間において、所定の時間ＴＳを設定し、ＴＳまでの期間でＤの受光素子の電気的スイッチＳＷＤを制御するＤ画素シャッター制御を行い、ＴＳからＴＦまでの期間でＧの受光素子の電気的スイッチＳＷＧを制御するＧ画素シャッター制御を行う。
【０１４７】
ＴＳまでの期間では赤外光照射部１８から所定時間幅のパルス状の赤外光を所定周期で繰り返し発光させる。この間のＤ画素シャッター制御において、その赤外光の発光に同期して電気的スイッチＳＷＤをドレインＤＳ側に接続している状態（ローレベルで示す状態）から垂直転送路ＶＳに接続した状態（ハイレベルで示す状態）に切り替える。そして、所定時間が経過すると、ドレインＤＳ側に接続を切り替える。この制御を赤外光の発光に合わせて繰り返し行う。電気スイッチＳＷＤを垂直転送路ＶＳに接続している期間においてＤの受光素子で光電変換された電荷が、垂直転送路ＶＳの転送素子に蓄積される。
【０１４８】
一方、ＴＳからＴＦの期間は赤外光照射部１８における赤外光の発光を停止させる。この間のＧ画素シャッター制御において、電気的スイッチＳＷＧをドレインＤＳ側に接続している状態（ローレベルで示す状態）から垂直転送路ＶＳに接続した状態（ハイレベルで示す状態）に切り替える。そして、適切な露光時間が経過すると、ドレインＤＳ側に接続を切り替える。電気的スイッチＳＷＧを垂直転送路ＶＳに接続している期間においてＧの受光素子で光電変換された電荷が垂直転送路ＶＳの転送素子に蓄積される。
【０１４９】
以上の１フレーム期間が経過すると、垂直転送路の転送素子に蓄積された電荷が読み出される。これによって、イメージセンサＳＢからの蓄積電荷の１回の読み出しによって画像２と画像３の両画像のデータを同時に取得することができる。このような制御によれば、赤外光照射部１８から照射された赤外光の被写体からの反射光の到達遅延分も考慮してＴＳを設定することによって、Ｇの画素からなる画像２を取得する際の不要な赤外光の入射を防ぐことができる。また、画像２と画像３の撮像に対する消費電力の重なりが回避されるため、瞬時的な消費電力の増大によるノイズの発生が防止されており、両画像２、３への電気的なノイズの混入も抑制できる効果がある。
【０１５０】
以上、赤外カットフィルター６２を不要にした実施の形態において、ステレオマッチング距離画像生成部７０によって距離画像を生成するために取り込む画像を第１の画像、その画像を結像させる被写体光の波長域を第１の波長域、撮像部ＰＡ、ＰＢのイメージセンサＳＡ、ＳＢにおいて第１の画像を取り込む受光素子に配置される画素フィルターを第１の画素フィルターというものとし、ＴＯＦ距離画像生成部７２により距離画像を生成するために取り込む画像を第２の画像、その画像を結像させる被写体光の波長域を第２の波長域、撮像部ＰＢのイメージセンサＳＢにおいて第２の画像を取り込む受光素子に配置される画素フィルターを第２の画素フィルターというものとする。この場合に、上記実施の形態では、第１の波長域を緑色の波長域、第１の画素フィルターを緑色の波長域の光を透過する画素フィルター、第２の波長域を赤外の波長域、第２の画素フィルターを赤外の波長域の光を透過する画素フィルターとして場合を示している。
【０１５１】
このような実施の形態に対して以下のような形態を実施することも可能である。まず、第１の波長域は、緑色以外の波長域であってもよく、第２の波長域は、第１の波長域以外であればよい。また、第１の画素フィルターは、第１の波長域の光を透過する特性を有する画素フィルターであるが、上記実施の形態のように単一種の画素フィルターではなく、透過する波長域が異なる複数種類の画素フィルターの配列によって、第１の波長域の光を透過させ、それらの画素フィルターが配置された受光素子によって第１の画像を取り込めるようにしてもよいし、上記の実施の形態のように第１の波長域の光を透過させる単一種の画素フィルターを第１の画素フィルターとしてもよい。撮像部ＰＢのイメージセンサＳＢにおける第２の画素フィルターは、第１の画素フィルターとは別に配置される第２の波長域の光を透過する画素フィルターであって、第１の画素フィルターが配置されていない受光素子に配置すればよい。これによれば、赤外カットフィルター６２のような第２の波長域の光を遮断するフィルターを使用することなく、撮像部ＰＢから第１の画像（画像２）と第２の画像（画像３）を取り込むことができる。また、第１の画像と第２の画像を同時に撮像することも可能であるし、上記実施の形態のようにずれして撮像することもできる。
【０１５２】
また、上記実施の形態では、２つの撮像部ＰＡ、ＰＢから、ステレオマッチング距離画像生成部７０により距離画像Ａを生成するための２つの第１の画像を取り込み、そのうちの１つの撮像部ＰＢから、ＴＯＦ距離画像生成部７２により距離画像Ｂを生成するための１つの第２の画像を取り込むようにしたが、２つの撮像部ＰＡ、ＰＢに限らず、更に多くの撮像部を設け、それらの撮像部から第１の画像を取り込んで、ステレオマッチング距離画像生成部７０により距離画像Ａを生成し、そのうちの少なくとも１つの撮像部から第２の画像を取り込み、ＴＯＦ距離画像生成部７２により距離画像Ｂを生成するようにしてもよい。
【０１５３】
以上、上記実施の形態では、１台のカメラに２つの撮像部ＰＡ、ＰＢを設け、通常の可視光による画像（画像１）の記録と、距離画像の生成及び記録を可能にした態様について説明したが、撮像部ＰＡと撮像部ＰＢとを分離できるようにしてもよい。
【０１５４】
例えば、図１９に本形態の構成を示し、図３に示したカメラ１０の構成において、同一又は類似の作用の構成部には図１と同一符号を付す。図１９において、撮像部ＰＡを備えた主カメラ１００と撮像部ＰＢを備えた副カメラ１０２が機械的及び電気的に着脱可能となっており、主カメラ１００と副カメラ１０２を分離することができるようになっている。
【０１５５】
主カメラ１００は、その撮像部ＰＡにより、通常の可視光による画像を撮像し、その画像を記録媒体４０に記録する機能を備えている。これによって主カメラ１００を単体で通常のカメラとして使用することができる。
【０１５６】
一方、副カメラ１０２は、距離画像生成に関する機能を備えている。例えば、図３に示した赤外光照射部１８、ステレオマッチング距離画像生成部７０、ＴＯＦ距離画像生成部７２等の回路を搭載している。そして、主カメラ１００に副カメラ１０２を所定の装着機構によって機械的に装着した場合に、例えば、主カメラ１００の電気コネクタ１００Ａと副カメラ１０２の電気コネクタ１０２Ａとが接続され、主カメラ１００と副カメラの所要の構成部間において信号伝送できるようになっている。尚、主カメラ１００と副カメラ１０２との間での信号伝送は無線を利用することも可能である。
【０１５７】
これによって、主カメラ１００と副カメラ１０２を装着すると、図３に示した構成のカメラ１０と同様の処理が行えるようになり、可視光による画像の記録と、距離画像の生成及び記録が可能となる。
【０１５８】
以上、上記実施の形態において、ステレオマッチング距離画像生成部７０、ＴＯＦ距離画像生成部７２における距離画像生成のための処理内容、手順等は、必ずしも上記実施の形態で示したものである必要ない。
【０１５９】
また、上記実施の形態では、距離画像だけでなく通常のカメラとして通常の画像を撮影し記録する機能を備えていたが、距離画像を生成するのみであってもよい。
【０１６０】
次に、上記実施の形態における距離画像生成装置が組み込まれたカメラの構成を利用した他の実施の形態について説明する。
【０１６１】
本実施の形態では、撮影画角内の所定の主要被写体に着目して、その主要被写体に対して精度良い距離画像を生成することで、ステレオマッチング法における対応点の誤検出の低減と処理時間の短縮を図ることを主目的とし、更に、主要被写体のみの距離画像を記録できるようにすることで、記録媒体等に記録するデータ量の低減を図ると共に、データ伝送時における伝送時間の短縮を可能にする。
【０１６２】
本実施の形態におけるカメラの構成は、上記実施の形態において、撮像部ＰＢの赤外カットフィルター６２を不要にしたカメラと同様であり、外観構成は図１に示したもの、内部構成は図１５に示したもの、撮像部ＰＡのイメージセンサＳＡにおける画素フィルター配列は図４に示したもの、撮像部ＰＢのイメージセンサＳＢにおける画素フィルター配列は図１３に示したものと一致している。
【０１６３】
本実施の形態における距離画像生成の処理を図２０のフローチャートに従って説明する。尚、本フローチャートにおいて、上記実施の形態において赤外カットフィルター６２を不要にした場合の距離画像生成の処理手順を示した図１６のフローチャートと同様の処理ブロックには同一ステップ番号を付している。
【０１６４】
本フローチャートにおいて、ステップＳ１０〜ステップＳ２４の画像１、画像２、画像３を取り込むまでの処理は、図１６のフローチャートでの処理と同様に行われる。
【０１６５】
ステップＳ２４までの処理が終了すると、続いて、ＴＯＦ距離画像生成部７２は、画像３に基づいて距離画像Ｂを生成する（ステップＳ２８）。図１６のフローチャートでは、ステップＳ２８の前のステップＳ２６においてパターンマッチング距離画像生成部７０による距離画像Ａの生成が行われるが、本実施の形態ではステップＳ２８の前には行われない。
【０１６６】
次に、ＴＯＦ距離画像生成部７２は、Ｚ軸方向（図２参照）に対する距離を所定長さ単位の距離区分に分け、距離画像Ｂの各画素の距離データがどの距離区分に属するかを判定しながら、各距離区分に距離データが属すると判定した画素の数（出現頻度）を算出する。即ち、距離データヒストグラムを作成する（ステップＳ６０）。距離区分は、その区分長を測定精度の最小単位（１ｃｍ単位等）としたものであってもよいし、最小単位の所定倍（１ｃｍ×５倍＝５ｃｍ等）としたものであってもよい。尚、本処理は、ステレオマッチング距離画像生成部７０で行ってもよく、また、他の処理部で行っても良い。
【０１６７】
ここで、図２１に示すように撮影画角内の被写界空間に３つの被写体Ａ、Ｂ、Ｃが存在すると仮定した場合、図２２のような距離データヒストグラムが距離画像Ｂから作成される。
【０１６８】
図２２の距離データヒストグラムにおいて、横軸の距離に対して近距離側から遠距離側に向けて出現頻度の参照点を変更していった場合に、出現頻度が０から増加する距離Ｚ１、Ｚ３、Ｚ５の各々の距離と、出現頻度が減少して０になる距離Ｚ２、Ｚ４、Ｚ６の各々の距離との間に上記被写体Ａ、Ｂ、Ｃが存在している。このように、距離データヒストグラムにおいて、出現頻度が０から増加する距離と、出現頻度が減少して０になる距離の間に、周辺部分と独立した被写体が存在する可能性が高い。
【０１６９】
そこで、距離データヒストグラムにおいて出現頻度が０から増加する距離と、出現頻度が減少して０になる距離の間に存在する被写体を主要被写体とし、図２０のステップＳ６０において、距離データヒストグラムを作成すると、まず、出現頻度が０から増加する距離を前側分離点として検出すると共に、出現頻度が減少して０になる距離を後側分離点として検出する（図２０のステップＳ６０）。これによって、前側分離点と後側分離点に挟まれた距離範囲に主要被写体が存在すると判断される。尚、図２１及び図２２の例では、距離Ｚ１、Ｚ３、Ｚ５が前側分離点として検出され、距離Ｚ２、Ｚ４、Ｚ６が後側分離点として検出される。また、横軸の距離に対して近距離側から遠距離側に向けて出現頻度の参照点を変更していった場合に、出現頻度が０から増加する距離と、出現頻度が減少して０になる距離を分離点とするのではなく、所定の閾値に対して、出現頻度が閾値未満の値から閾値以上の値となった距離を前側分離点、出現頻度が閾値以上の値から閾値未満の値となった距離を後側分離点とし、主要被写体が存在する距離範囲を検出するようにしてもよい。更に、主要被写体を検出する距離範囲、即ち、前側分離点と後側分離点とを検出する距離範囲を一定範囲に制限するようにしてもよい。
【０１７０】
ステップＳ６０において、分離点（前側分離点及び後側分離点）を検出すると、続いて、所定の１つ（例えば最も近い距離）の前側分離点と、それよりも遠距離側にある後側分離点のうちの最も近いものとで挟まれる距離範囲を、第１の距離範囲として、その第１の距離範囲の距離データを有する画素を距離画像Ｂから検出する。そして、イメージセンサＳＢにおいて、その検出した画素に対応する位置（同じ位置）のＤの受光素子を中心とする３×３の受光素子の範囲を距離算出対象範囲とする。
【０１７１】
即ち、図２３に示すイメージセンサＳＢの受光素子において、主要被写体の距離範囲に属するとして検出された距離画像Ｂの所定画素に対応する受光素子を受光素子１００とする。このとき、その受光素子１００の上下左右のＧの受光素子１０２、１０２、１０２、１０２を含む縦３×横３の受光素子の範囲を距離算出対象範囲とする。そして、イメージセンサＳＢから得られる画像のうちの、距離算出対象範囲の受光素子により得られた画素（以下、距離算出対象範囲の画素という）を抽出する。距離算出対象範囲のＧの受光素子に対しては画像２から抽出し、距離算出対象範囲のＤの受光素子に対しては画像３から抽出する（図２０のステップＳ６２）。
【０１７２】
距離算出対象範囲の画素を抽出すると、次に、ステレオマッチング距離画像生成部７０は、その距離算出対象範囲の各画素と画像１とを用いてステレオマッチング法により第１の距離範囲の主要被写体に対する距離画像Ａ１を求める（ステップＳ６４）。そこで、まず、距離算出対象範囲の各画素と画像１との間での対応点を検出する。尚、距離算出対象範囲の画素は、所定の距離範囲（第１の距離範囲）に属する物点に対する像点であることが分かっているため、それらの画素の対応点として検出する画像１の画素範囲を一定範囲内に限定することが可能であり、高速に対応点を見つけることができる。但し、画像１の全体から対応点を検出してもよい。対応点を検出すると、上記のように対応点の視差を求めて各画素を像点とする物点までの距離を三角測量の原理により求め、求めた距離のデータを各画素の画素値とする距離画像Ａ１を生成する。
【０１７３】
ステップＳ６２及びステップＳ６４において、第１の距離範囲に対して行った処理を、所定の前側分離点と後側分離点とで挟まれる他の距離範囲（第２〜第ｎの距離範囲）に対しても行い、各々の距離範囲の主要被写体に対する距離画像Ａ２〜Ａｎを生成する（ステップＳ６６）。
【０１７４】
次に、記録媒体４２に記録する距離画像の種類に関して、ユーザによって設定されている状態を確認する（ステップＳ６８）。記録する距離画像の種類としてはフル画像と部分画像の２種類があり、ユーザは、距離画像として記録する距離画像の種類をそれらのうちの所望の種類に設定することができるようになっている。
【０１７５】
フル画像の記録が設定されている状態の場合、撮像部ＰＡにより取り込まれる画像１の各画素のうち、距離画像Ａ１〜Ａｎのいずれかによって距離データが生成されている画素は、その距離データを画素値とする。一方、それ以外の画素については、距離画像Ｂの距離データで補間できる場合には、その距離データを画素値とする。これによって、距離画像Ｃを生成する（ステップＳ７０）。そして、図１６のフローチャートと同様にその距離画像Ｃを画像１と共に記録媒体４２に記録する（ステップＳ３２）。
【０１７６】
ステップＳ６８において、部分画像の記録が設定されている場状態の場合、距離画像Ａ１〜Ａｎを統合して距離画像Ｃを生成する。即ち、撮像部ＰＡにより取り込まれる画像１の各画素のうち、距離画像Ａ１〜Ａｎのいずれかによって距離データが生成されている画素は、その距離データを画素値とする。それ以外の画素には距離データを割り当てることなく、距離画像Ａ１〜Ａｎの距離データによって画素値が得られた画素のみからなる距離画像を距離画像Ｃとして生成する（ステップＳ７２）。そして、その距離画像Ｃを画像１と共に記録媒体４２に記録する（ステップＳ３２）。
【０１７７】
尚、記録媒体４２に記録するデータにはデータ圧縮を施しても良い。また、カメラ本体での距離画像生成に時間が係る場合には、画像１、２、３を全て記録媒体４２に記録しておき、後処理としてカメラ本体や他の機器（ＰＣ等）で距離画像を生成するようにしてもよい。
【０１７８】
次に、上記距離データヒストグラムから主要被写体の距離範囲（分離点）を検出する際に閾値（０以外の閾値）を使用する場合の処理手順について図２４のフローチャートを用いて説明する。尚、本実施の形態において、図２０に示したステップＳ１０〜ステップＳ２４の画像１、画像２、画像３を取り込むまでの処理が一致しているため、図２４のフローチャートでは、ステップＳ１０〜ステップＳ２４の処理を省略し、図２０に示したステップＳ２８以降の処理のみが示されている。
【０１７９】
ステップＳ２４までの処理が終了すると、続いて、ＴＯＦ距離画像生成部７２は、画像３に基づいて距離画像Ｂを生成する（ステップＳ２８）。
【０１８０】
次に、ＴＯＦ距離画像生成部７２は、上記実施の形態と同様に距離データヒストグラムを作成する（ステップＳ６０′）。
【０１８１】
続いて、所定の閾値Ｌ１を設定し、距離データヒストグラムにおいて出現頻度が閾値Ｌ１未満の値から閾値Ｌ１以上になる距離を前側分離点とし、出現頻度が閾値Ｌ１以上の値から閾値Ｌ１未満になる距離を後側分離点として、近距離側から遠距離側に順に検索する。検出した前側分離点をｚｕ１〜ｚｕｎ、後側分離点をｚｄ１〜ｚｄｎとする（ステップＳ８０）。
【０１８２】
ここで、図２１に示したように撮影画角内の被写界空間に３つの被写体Ａ、Ｂ、Ｃが存在すると仮定した場合に、図２２と同様に図２５のような距離データヒストグラムが得られたとする。このとき、閾値Ｌ１を設定して、上記のように分離点を検出すると、前側分離点は距離ｚｕ１〜ｚｕ３で検出され、後側分離点は距離ｚｄ１〜ｚｄ３で検出される。
【０１８３】
次に、検出した前側分離点ｚｕ１〜ｚｕｎと後側分離点ｚｄ１〜ｚｄｎとから、主要被写体が存在する距離範囲ｚｕ１〜ｚｄ１、ｚｕ２〜ｚｄｎ、…、ｚｄ１〜ｚｄｎを設定する（ステップＳ８２）。即ち、所定の１つの前側分離点と、その前側分離点よりも遠距離側にある後側分離点のうちの最も近い後側分離点とで挟まれる距離範囲を主要被写体が存在する距離範囲として設定する。図２５の距離データヒストグラムでは、距離範囲ｚｕ１〜ｚｄ１、ｚｕ２〜ｚｄ２、ｚｕｎ〜ｚｄｎの各々が主要被写体Ａ、Ｂ、Ｃが存在する距離範囲として設定される。
【０１８４】
続いて、主要被写体が存在する各距離範囲ごとに、上記実施の形態と同様に、その距離範囲に距離データを有する画素を距離画像Ｂから検出する。そして、上記実施の形態と同様に、その検出した各画素に対応する距離算出対象範囲の画素を画素２及び画像３から抽出する（ステップＳ８４）。
【０１８５】
次に、各距離範囲ごとに、距離算出対象範囲として抽出された各画素と、画像１とを用いてステレオマッチング法により各距離範囲の主要被写体に対する距離画像Ａ１〜Ａｎを生成する（ステップＳ８６）。
【０１８６】
続いて、距離画像Ａ１〜Ａｎのいずれかによって距離データが生成されている画素は、その距離データを画素値とする。一方、それ以外の画素については、距離画像Ｂの距離データで補間できる場合には、その距離データを画素値とする。これによって、距離画像Ｃを生成する（ステップＳ８８）。そして、図２０のフローチャートのステップＳ３２と同様にその距離画像Ｃを画像１と共に記録媒体４２に記録する。
【０１８７】
尚、本フローチャートでは、距離画像Ｃとしてフル画像のみを記録する場合を示したが、図２０のフローチャートと同様に、フル画像と部分画像のいずれの種類の距離画像Ｃを生成し、記録するかをユーザの選択に従って行うようにしてもよい。
【０１８８】
続いて、上記図２４のフローチャートで示した実施の形態における閾値Ｌ１を適切な値に設定することによって主要被写体の距離範囲の検出精度を向上させる方法について説明する。
【０１８９】
図２６は、適切な閾値を設定するめの処理手順を示したフローチャートである。尚、本実施の形態において、図２０に示したステップＳ１０〜ステップＳ２４の画像１、画像２、画像３を取り込むまでの処理が一致しているため、図２６のフローチャートでは、ステップＳ１０〜ステップＳ２４の処理を省略し、図２０に示したステップＳ２８以降の処理のみが示されている。
【０１９０】
ステップＳ２４までの処理が終了すると、続いて、ＴＯＦ距離画像生成部７２は、画像３に基づいて距離画像Ｂを生成する（ステップＳ２８）。
【０１９１】
次に、ＴＯＦ距離画像生成部７２は、上記実施の形態と同様に距離データヒストグラムを作成する（ステップＳ６０′）。
【０１９２】
続いて、距離データヒストグラムの出現頻度に対する複数の閾値Ｌ１〜Ｌｎを所定既定可変値Ｓを想定して決定する（ステップＳ１００）。
【０１９３】
ここで、図２１に示したように撮影画角内の被写界空間に３つの被写体Ａ、Ｂ、Ｃが存在すると仮定した場合に、図２２と同様に図２７のような距離データヒストグラムが得られたとする。このとき、所定の最小閾値Ｌ１に対して所定の出現頻度数（既定可変値）Ｓを順次加算して得られた値を順に閾値Ｌ２、Ｌ３、…Ｌｎとして求める。最大閾値Ｌｎは、例えば、距離データヒストグラムの最大出現頻度を初めて超えたときの閾値とする。これによって、閾値Ｌ１〜Ｌｎを決定する。同図では、ｎ＝５のときの閾値Ｌ５が距離データヒストグラムの最大出現頻度を初めて超えたためその閾値Ｌ５が最大閾値となり、閾値Ｌ１から閾値Ｌ５までの閾値が決定される。
【０１９４】
ステップＳ１００において閾値Ｌ１〜Ｌｎを決定すると、まず、閾値Ｌ１を設定し、距離データヒストグラムにおいて出現頻度が閾値Ｌ１未満の値から閾値Ｌ１以上になる距離を前側分離点とし、出現頻度が閾値Ｌ１以上の値から閾値Ｌ１未満になる距離を後側分離点として、これらの分離点を近距離側から遠距離側に順に検索する。検出した前側分離点をｚｕ１〜ｚｕｎ、後側分離点をｚｄ１〜ｚｄｎとする。尚、このとき分離点を検索する距離範囲を主要被写体として存在すると考えられる一定範囲に制限してもよい。そして、所定の１つの前側分離点と、その前側分離点よりも遠距離側にある後側分離点のうちの最も近い後側分離点とで挟まれる距離範囲ｚｗの数（距離範囲数）をカウントする。閾値Ｌ１のときのその距離範囲数をＬ１ｚｗとする（ステップＳ１０２）。
【０１９５】
図２７の距離データヒストグラムでは、２つの前側分離点ｚｕ１、ｚｕ２と、１つの後側分離点ｚｄ１が検出され、前側分離点ｚｕ１に対しては後側分離点ｚｄ１がその前側分離点ｚｕ１とで距離範囲ｚｗ１を挟む後側分離点として存在する。一方、前側分離点ｚｕ２に対してはその前側分離点ｚｕ１とで距離範囲を挟む後側分離点が存在しない。従って、閾値Ｌ１のときに前側分離点と後側分離点とで挟まれる距離範囲数Ｌ１ｚｗは１となる。
【０１９６】
ステップＳ１０２と同様の処理により他の閾値Ｌ２〜Ｌｎの各々に対しても前側分離点と後側分離点の検出を行い、前側分離点と後側分離点とで挟まれる距離範囲数Ｌ２ｚｗ、Ｌ３ｚｗ、…、Ｌｎｚｗを求める（ステップＳ１０４）。図２７の距離データヒストグラムで示した例では、閾値Ｌ２のときには前側分離点と後側分離点とで挟まれる距離範囲がｚｗ１、ｚｗ２、ｚｗ３となるためその距離範囲数Ｌ２ｚｗが３となる。閾値Ｌ３のときも距離範囲数Ｌ３ｚｗが３となる。閾値Ｌ４のときには距離範囲数Ｌ４ｚｗが１となり、閾値Ｌ５のときには距離範囲数Ｌ５ｚｗが０となる。
【０１９７】
次に、ステップＳ１０２、１０４で求めた距離範囲数Ｌ１ｚｗ〜Ｌｎｚｗのうちの最大値を求める（ステップＳ１０６）。図２７の距離データヒストグラムで示した例では最大値が３となる。
【０１９８】
続いて、距離範囲数Ｌ１ｚｗ〜Ｌｎｚｗのうちで、距離範囲数の最大値と等しい値となるものが、２つ以上存在し、且つ、それらが得られたときの閾値が連続した（隣接した）レベルか否かを判定する（ステップＳ１０８）。図２７の距離データヒストグラムで示した例では、距離範囲数の最大値３に等しい距離範囲数がＬ２ｚｗとＬ３ｚｗとで２つ存在し、かつ、それらが得られたときの閾値Ｌ２、Ｌ３が連続したレベルであるため、ステップＳ１０８においてＹＥＳと判定される。
【０１９９】
このようにステップＳ１０８においてＹＥＳと判定すると、続いて、距離範囲数の最大値が得られたときの閾値のうち、最も低い（最小）の閾値を主要被写体を検出するための最適な閾値として設定する（ステップＳ１１０）。図２７の距離データヒストグラムで示した例では閾値Ｌ２が主要被写体を検出するための最適な閾値として設定される。
【０２００】
主要被写体を検出するための最適な閾値を設定すると、図２４のフローチャートで説明したステップＳ８０及びステップＳ８２と同様にその閾値を使用して主要被写体の距離範囲を求める（ステップＳ１１２）。以後の処理は、図２４のフローチャートで説明したステップＳ８６以降の処理と同様に行い、距離画像Ｃを生成し、記録媒体４２に記録する。
【０２０１】
一方、ステップＳ１０８において、ＮＯと判定した場合には、閾値Ｌ１〜Ｌｎを決定する際の既定可変値Ｓを規定量αで減算した値Ｓ−αを新たな規定可変値Ｓとし、その新たな規定可変値Ｓにより閾値Ｌ１〜Ｌｎを決定する（ステップＳ１１０）。そして、ステップＳ１０８においてＹＥＳと判定されるまで、ステップＳ１０２からの処理を繰り返す。
【０２０２】
次に、上記距離データヒストグラムから主要被写体の距離範囲（分離点）の検出に関する他の実施の形態について図２８のフローチャートを用いて説明する。尚、本実施の形態において、図２４のフローチャートで示した実施の形態のステップＳ８０以外の処理は同様に行われるため、図２８では、ステップＳ８０に代わるステップＳ１５０、ステップＳ１５２と、図２４と同様に行われるステップＳ２８及びステップＳ６０′の処理のみが示されている。
【０２０３】
本実施の形態は、主要被写体が複雑な形状をしている場合を考慮したもので、同一物体であるが、何かの陰に隠れて見えない箇所がある主要被写体、即ち、オクルージョンが発生した主要被写体の距離範囲を適切に検出できるようにしたものである。
【０２０４】
本実施の形態において、図２４のフローチャートで示した実施の形態と同様に、各撮像部ＰＡ、ＰＢにより画像１、画像２、画像３を取り込みが終了し、画像３より距離画像Ｂを生成すると共に（ステップＳ２８）、距離画像Ｂにより距離データヒストグラムを作成すると（ステップＳ６０′）、図２８のフローチャートのステップＳ１００に示すように、距離データヒストグラムのピーク検出が行われる。このピーク検出は、着目している距離に対して前後の１ステップ分の距離を含む３ステップ分の距離に対する出現頻度のうち最大の値（ピーク検出値）となるものを、着目している距離の出現頻度とするフィルター処理である。
【０２０５】
図２９はオクルージョンが生じている場合の距離データヒストグラムを例示したものである。同図に示すように、特定の距離において出現頻度が０となる部分が発生する。そこで、距離データヒストグラムに上記フィルター処理を施して、被写体の連続性を維持する。即ち、上記のように横軸の距離に対して所定距離を１ステップとした３ステップ分の３つの距離における出現頻度のピークを検出し、そのピークの値（ピーク検出値）を３ステップ分の距離の中央の距離に対する出現頻度の値とする。これによって、距離データヒストグラムは、図２９の破線で示すようにグラフに変換される。
【０２０６】
次に、ステップＳ１５２において、距離データヒストグラムに対して所定の閾値Ｌ１を設定し、ステップＳ１５０で検出したピーク検出値が閾値Ｌ１未満の値から閾値Ｌ１以上の値に変化する距離を前側分離点とし、ピーク検出値が閾値Ｌ１以上の値から閾値Ｌ１未満の値に変化する距離を後側分離点として、近距離側から遠距離側に順に検索する。これによって主要被写体の距離範囲が検出される。そして、検出した前側分離点をｚｕ１〜ｚｕｎ、後側分離点をｚｄ１〜ｚｄｎとする（ステップＳ１５２）。以後の処理は、図２４のフローチャートで示したステップＳ８２からの処理と同様に行われる。
【０２０７】
尚、ステップＳ１５０におけるフィルター処理は、上記の場合に限らず、移動平均等の平滑化するフィルター処理であればよい。また、フィルター処理を行うステップ間隔を適宜変更して処理を行うことでより精度を向上させることができる。
【０２０８】
以上、図２０以降で示した実施の形態において、それ以前に説明した画像１、２、３の取込みや、距離画像Ａ、Ｂの生成等に関す各種実施の形態の内容を同様に適用できる。
【０２０９】
また、全ての実施の形態において、距離画像Ｃ等の記録媒体４２に記録したデータは、記録媒体４２に記録すると共に、又は、記録媒体４２に記録することなく、外部の機器に送出するようにしてもよい。また、記録媒体４２や外部の機器に距離画像Ｃを生成するための元画像（画像１〜３）、又は、所定の処理によって得られた中間画像を、記録媒体４２に記録し、又は、外部の機器に送出し、距離画像Ｃの生成は、撮影後の後処理として行うカメラ内又は外部の機器において行うようにしてもよい。
【図面の簡単な説明】
【０２１０】
【図１】本発明に係る被写体距離生成装置が組み込まれたカメラ（撮像装置）の外観構成を示した正面図。
【図２】図１のカメラにおける２つの撮像部ＰＡ、ＰＢの視点と、被写体との関係を示した被写界上面図。
【図３】図１のカメラの内部構成を示したブロック図。
【図４】撮像部ＰＡのイメージセンサＳＡの画素フィルター配列を示した図。
【図５】撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を示した図。
【図６】画素フィルターの波長特性を示した図。
【図７】図１のカメラにおける距離画像生成の処理手順を示したフローチャート。
【図８】ステレオマッチング距離画像生成部において生成された距離画像Ａと、ＴＯＦ距離画像生成部において生成された距離画像Ｂの各々において画像全体のうちの同一範囲内の画素を抜き出して示した図。
【図９】図７のフローチャートにおいて示した距離画像生成の処理手順において、ＴＯＦ距離画像生成部での距離画像Ｂの生成における距離算出精度の向上させた場合の処理手順を示したフローチャート。
【図１０】他の実施の形態における撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を示した図。
【図１１】図１０の各々の画素フィルターの波長特性を示した図。
【図１２】図１０の画素フィルター配列のイメージセンサＳＢを使用した場合において図９のステップＳ４０の処理に相当する処理を適用した場合の説明に使用した説明図。
【図１３】撮像部ＰＢの赤外カットフィルターを不要にする場合における撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を示した図。
【図１４】イメージセンサＳＢの各画素フィルターのフィルター特性を示した図。
【図１５】撮像部ＰＢの赤外カットフィルターを不要にした場合におけるカメラの内部構成を示したブロック図。
【図１６】撮像部ＰＢの赤外カットフィルターを不要にした場合のカメラにおける距離画像生成の処理手順を示したフローチャート。
【図１７】撮像部ＰＢの赤外カットフィルターを不要にし、かつ、ステレオマッチング距離画像生成部とＴＯＦ距離画像生成部で使用する画像を同時に取り込むことを可能にしたイメージセンサＳＢの構成図。
【図１８】図１７のイメージセンサＳＢの制御の一形態を示した図。
【図１９】図１のカメラにおける２つの撮像部ＰＡ、ＰＢを分離可能にした場合の構成を示した図。
【図２０】主要被写体のみステレオマッチング法を用いて距離画像を生成するカメラでの距離画像生成の処理手順を示したフローチャート。
【図２１】カメラの撮影画角内の被写界空間に３つの被写体Ａ、Ｂ、Ｃが存在する様子を示した図。
【図２２】図２１の被写体界空間に対して得られる距離データヒストグラムを示した図。
【図２３】イメージセンサＳＢの受光素子において設定される距離算出対象範囲の説明に使用した説明図。
【図２４】距離データヒストグラムから主要被写体の距離範囲（分離点）を検出する際に閾値を使用する場合の距離画像生成の処理手順を示したフローチャート。
【図２５】距離データヒストグラムに対して主要被写体の検出のために設定される閾値の説明に使用した説明図。
【図２６】距離データヒストグラムに基づいて主要被写体の距離範囲を検出する際の適切な閾値を設定するための処理手順を示したフローチャート。
【図２７】図２６の処理手順において設定される閾値の説明に使用した距離データヒストグラムの図。
【図２８】主要被写体が複雑な形状の場合に対応した実施の形態における距離画像生成の処理手順を示したフローチャート。
【図２９】フィルター処理を施した距離データヒストグラムを例示した図。
【符号の説明】
【０２１１】
１０…カメラ、１２…本体、１４…シャッターボタン、１８…赤外光照射部、３０…カメラ制御部、３４…メモリー部、３６…画像処理部、４２…記録媒体、６０…電気光学シャッター、６２…赤外カットフィルター、７０…ステレオマッチング距離画像生成部、７２…ＴＯＦ距離画像生成部、ＰＡ、ＰＢ…撮像部、ＬＡ、ＬＢ…撮影レンズ、ＳＡ、ＳＢ…イメージセンサ
【図１】
2008116309.tif 000003
【図２】
2008116309.tif 000004
【図３】
2008116309.tif 000005
【図４】
2008116309.tif 000006
【図５】
2008116309.tif 000007
【図６】
2008116309.tif 000008
【図７】
2008116309.tif 000009
【図８】
2008116309.tif 000010
【図９】
2008116309.tif 000011
【図１０】
2008116309.tif 000012
【図１１】
2008116309.tif 000013
【図１２】
2008116309.tif 000014
【図１３】
2008116309.tif 000015
【図１４】
2008116309.tif 000016
【図１５】
2008116309.tif 000017
【図１６】
2008116309.tif 000018
【図１７】
2008116309.tif 000019
【図１８】
2008116309.tif 000020
【図１９】
2008116309.tif 000021
【図２０】
2008116309.tif 000022
【図２１】
2008116309.tif 000023
【図２２】
2008116309.tif 000024
【図２３】
2008116309.tif 000025
【図２４】
2008116309.tif 000026
【図２５】
2008116309.tif 000027
【図２６】
2008116309.tif 000028
【図２７】
2008116309.tif 000029
【図２８】
2008116309.tif 000030
【図２９】
2008116309.tif 000031