(57)【特許請求の範囲】
【請求項１】
被写体の視差画像を撮像し、前記被写体を照明する光の光源に関する情報を獲得する視差画像撮像装置であって、
前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を順次撮像させる制御部と、
前記制御部による前記視点の移動量に対して、前記視差画像上の位置の変化量が比例しない、前記被写体の特定領域を検出する曲線成分検出部と、
前記曲線成分検出部が検出した前記特定領域の画素データから前記光源の色又はスペクトルを抽出する光源情報抽出部と
を備え、
前記曲線成分検出部は、前記視点の移動方向と略同一の方向を有する前記複数の視差画像の一次元領域を、前記視点の移動量に比例するように前記視点の移動の順に並べた二次元画像を作成し、前記二次元画像において連続する所定の長さの線分を抽出し、抽出された連続する線分のうちで所定の閾値以上の曲率の曲線成分を有する連続線分を検出し、検出された連続線分上の前記被写体の領域を前記特定領域として検出することを特徴とする視差画像撮像装置。
【請求項２】
被写体の視差画像を撮像し、前記被写体を照明する光の光源に関する情報を獲得する視差画像撮像装置であって、
前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を順次撮像させる制御部と、
前記制御部による前記視点の移動量に対して、前記視差画像上の位置の変化量が比例しない、前記被写体の特定領域を検出する曲線成分検出部と、
前記曲線成分検出部が検出した前記特定領域の画素データから前記光源の色又はスペクトルを抽出する光源情報抽出部と
を備え、
前記曲線成分検出部は、前記複数の視差画像のうちの１つを基準画像とし、他を参照画像とし、前記基準画像の特定画素を基準点とした場合、前記基準点に対応する前記参照画像の中の参照点を検出することにより、前記複数の視差画像における前記視点の移動方向の位置成分と前記視点の移動量との関係を示した視差ラインを抽出し、抽出された視差ラインのうちで所定の閾値以上の曲率の曲線成分を有する視差ラインを検出し、検出された視差ライン上の前記被写体の領域を前記特定領域として検出することを特徴とする視差画像撮像装置。
【請求項３】
前記曲線成分検出部が検出した前記特定領域の内、前記特定領域の画素データの明度及び彩度の少なくとも一つに関する条件を満たす前記特定領域を検出する明度彩度検出部
をさらに備え、
前記光源情報抽出部は、前記明度彩度検出部が検出した前記特定領域の画素データから前記光源の色又はスペクトルを抽出することを特徴とする請求項１又は２に記載の視差画像撮像装置。
【請求項４】
前記被写体を結像する第１光学結像部と、
複数の受光素子が配置され、前記第１光学結像部により前記被写体の前記複数の視差画像が撮像される第１受光部と、
前記第１光学結像部を移動させる駆動部と
をさらに備え、
前記制御部が前記視点の移動方向及び移動量を指定し、前記駆動部は前記移動方向及び前記移動量に基づいて前記第１光学結像部を略直線上に移動させることを特徴とする請求項１乃至３のいずれかに記載の視差画像撮像装置。
【請求項５】
前記被写体を結像する第２光学結像部と、
前記第２光学結像部により前記被写体の画像が撮像される第２受光部と、
前記第２受光部に撮像された画像の色を補正する色補正部と
をさらに備え、
前記制御部が、前記光源情報抽出部が抽出した前記光源の色又はスペクトルに基づいて、前記色補正部のホワイトバランスを制御することを特徴とする請求項４に記載の視差画像撮像装置。
【請求項６】
前記第１光学結像部により前記被写体の画像が撮像される第２受光部と、
前記第２受光部に撮像された画像の色を補正する色補正部と
をさらに備え、
前記制御部が、前記光源情報抽出部が抽出した前記光源の色又はスペクトルに基づいて、前記色補正部のホワイトバランスを制御することを特徴とする請求項４に記載の視差画像撮像装置。
【請求項７】
前記第１受光部に撮像された前記複数の視差画像、前記光源情報抽出部が抽出した前記光源の色又はスペクトル、及び前記第２受光部に撮像された前記被写体の画像の少なくとも一つを記録する記録部
をさらに備えることを特徴とする請求項５又は６に記載の視差画像撮像装置。
【請求項８】
被写体の視差画像に基づいて、前記被写体を照明する光の光源に関する情報を算出する視差画像処理装置であって、
前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力する視差画像入力部と、
前記被写体の画像及び前記複数の視差画像を記憶する視差画像記憶部と、
前記視点の移動量に対して、前記視差画像上の位置の変化量が比例しない、前記被写体の特定領域を検出する曲線成分検出部と、
前記曲線成分検出部が検出した前記特定領域上の画素データから前記光源の色又はスペクトルを抽出する光源情報抽出部と、
前記光源情報抽出部が抽出した前記光源の色又はスペクトルに基づいて、前記被写体の前記画像を処理する画像処理部と、
前記画像処理部が作成して得られた画像を出力する画像出力部と
を備え、
前記曲線成分検出部は、前記視点の移動方向と略同一の方向を有する前記複数の視差画像の一次元領域を、前記視点の移動量に比例するように前記視点の移動の順に並べた二次元画像を作成し、前記二次元画像において連続する所定の長さの線分を抽出し、抽出された連続する線分のうちで所定の閾値以上の曲率の曲線成分を有する連続線分を検出し、検出された連続線分上の前記被写体の領域を前記特定領域として検出することを特徴とする視差画像処理装置。
【請求項９】
被写体の視差画像に基づいて、前記被写体を照明する光の光源に関する情報を算出する視差画像処理装置であって、
前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力する視差画像入力部と、
前記被写体の画像及び前記複数の視差画像を記憶する視差画像記憶部と、
前記視点の移動量に対して、前記視差画像上の位置の変化量が比例しない、前記被写体の特定領域を検出する曲線成分検出部と、
前記曲線成分検出部が検出した前記特定領域上の画素データから前記光源の色又はスペクトルを抽出する光源情報抽出部と、
前記光源情報抽出部が抽出した前記光源の色又はスペクトルに基づいて、前記被写体の前記画像を処理する画像処理部と、
前記画像処理部が作成して得られた画像を出力する画像出力部と
を備え、
前記曲線成分検出部は、前記複数の視差画像のうちの１つを基準画像とし、他を参照画像とし、前記基準画像の特定画素を基準点とした場合、前記基準点に対応する前記参照画像の中の参照点を検出することにより、前記複数の視差画像における前記視点の移動方向の位置成分と前記視点の移動量との関係を示した視差ラインを抽出し、抽出された視差ラインのうちで所定の閾値以上の曲率の曲線成分を有する視差ラインを検出し、検出された視差ライン上の前記被写体の領域を前記特定領域として検出することを特徴とする視差画像処理装置。
【請求項１０】
前記曲線成分検出部が検出した前記特定領域の内、前記特定領域の画素データの明度及び彩度の少なくとも一つに関する条件を満たす前記特定領域を検出する明度彩度検出部
をさらに備え、
前記光源情報抽出部は、前記明度彩度検出部が検出した前記特定領域の画素データから前記光源の色又はスペクトルを抽出することを特徴とする請求項８又は９に記載の視差画像処理装置。
【請求項１１】
被写体の視差画像に基づいて、前記被写体を照明する光の光源に関する情報を獲得するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、
前記コンピュータに働きかけて、前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力させる視差画像入力モジュールと、
前記コンピュータに働きかけて、前記被写体の画像及び前記複数の視差画像を記憶させる視差画像記憶モジュールと、
前記コンピュータに働きかけて、前記視点の移動量に対して、前記視差画像上の位置の変化量が比例しない、前記被写体の特定領域を検出させる曲線成分検出モジュールと、
前記コンピュータに働きかけて、前記曲線成分検出モジュールが検出した前記特定領域上の画素データから前記光源の色又はスペクトルを抽出させる光源情報抽出モジュールと、
前記コンピュータに働きかけて、抽出された前記光源の色又はスペクトルに基づいて、前記被写体の前記画像を処理させる画像処理モジュールと、
前記コンピュータに働きかけて、前記画像処理モジュールが作成して得られた画像を出力させる画像出力モジュールと
を備え、
前記曲線成分検出モジュールは、前記視点の移動方向と略同一の方向を有する前記複数の視差画像の一次元領域を、前記視点の移動量に比例するように前記視点の移動の順に並べた二次元画像を作成させ、前記二次元画像において連続する所定の長さの線分を抽出させ、抽出された連続する線分のうちで所定の閾値以上の曲率の曲線成分を有する連続線分を検出させ、検出された連続線分上の前記被写体の領域を前記特定領域として検出させることを特徴とする記録媒体。
【請求項１２】
被写体の視差画像に基づいて、前記被写体を照明する光の光源に関する情報を獲得するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、
前記コンピュータに働きかけて、前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力させる視差画像入力モジュールと、
前記コンピュータに働きかけて、前記被写体の画像及び前記複数の視差画像を記憶させる視差画像記憶モジュールと、
前記コンピュータに働きかけて、前記視点の移動量に対して、前記視差画像上の位置の変化量が比例しない、前記被写体の特定領域を検出させる曲線成分検出モジュールと、
前記コンピュータに働きかけて、前記曲線成分検出モジュールが検出した前記特定領域上の画素データから前記光源の色又はスペクトルを抽出させる光源情報抽出モジュールと、
前記コンピュータに働きかけて、抽出された前記光源の色又はスペクトルに基づいて、前記被写体の前記画像を処理させる画像処理モジュールと、
前記コンピュータに働きかけて、前記画像処理モジュールが作成して得られた画像を出力させる画像出力モジュールと
を備え、
前記曲線成分検出モジュールは、前記複数の視差画像のうちの１つを基準画像とさせ、他を参照画像とさせ、前記基準画像の特定画素を基準点とした場合、前記基準点に対応する前記参照画像の中の参照点を検出させることにより、前記複数の視差画像における前記視点の移動方向の位置成分と前記視点の移動量との関係を示した視差ラインを抽出させ、抽出された視差ラインのうちで所定の閾値以上の曲率の曲線成分を有する視差ラインを検出させ、検出された視差ライン上の前記被写体の領域を前記特定領域として検出させることを特徴とする記録媒体。
【請求項１３】
前記プログラムが、前記コンピュータに働きかけて、検出された前記特定領域の内、前記特定領域の画素データの明度及び彩度の少なくとも一つに関する条件を満たす前記特定領域を検出させる明度彩度検出モジュール
をさらに備え、
前記光源情報抽出モジュールは、前記明度彩度検出モジュールが検出した前記特定領域の画素データから前記光源の色又はスペクトルを抽出することを特徴とする請求項１１又は１２に記載の記録媒体。
【請求項１４】
被写体の視差画像に基づいて、光源に関する情報を算出する視差画像処理方法であって、
前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力する段階と、
前記視点の移動量に対して、前記視差画像上の位置の変化量が比例しない、前記被写体の特定領域を検出する段階と、
前記被写体の前記特定領域上の画素データから前記光源の色又はスペクトルを抽出する段階と
を備え、
前記特定領域を検出する段階は、前記視点の移動方向と略同一の方向を有する前記複数の視差画像の一次元領域を、前記視点の移動量に比例するように前記視点の移動の順に並べた二次元画像を作成し、前記二次元画像において連続する所定の長さの線分を抽出し、抽出された連続する線分のうちで所定の閾値以上の曲率の曲線成分を有する連続線分を検出し、検出された連続線分上の前記被写体の領域を前記特定領域として検出することを特徴とする視差画像処理方法。
【請求項１５】
被写体の視差画像に基づいて、光源に関する情報を算出する視差画像処理方法であって、
前記被写体の画像及び前記被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力する段階と、
前記視点の移動量に対して、前記視差画像上の位置の変化量が比例しない、前記被写体の特定領域を検出する段階と、
前記被写体の前記特定領域上の画素データから前記光源の色又はスペクトルを抽出する段階と
を備え、
前記特定領域を検出する段階は、前記複数の視差画像のうちの１つを基準画像とし、他を参照画像とし、前記基準画像の特定画素を基準点とした場合、前記基準点に対応する前記参照画像の中の参照点を検出することにより、前記複数の視差画像における前記視点の移動方向の位置成分と前記視点の移動量との関係を示した視差ラインを抽出し、抽出された視差ラインのうちで所定の閾値以上の曲率の曲線成分を有する視差ラインを検出し、検出された視差ライン上の前記被写体の領域を前記特定領域として検出することを特徴とする視差画像処理方法。
【請求項１６】
検出された前記特定領域の内、前記特定領域の画素データの明度及び彩度の少なくとも一つに関する条件を満たす前記特定領域を検出する段階
をさらに備え、
前記光源の色又はスペクトルを抽出する段階は、検出された前記特定領域の画素データから前記光源の色又はスペクトルを抽出することを特徴とする請求項１４又は１５に記載の視差画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、異なる視点から被写体を見た場合に得られる複数の視差画像に基づいて、光源に関する情報を獲得する視差画像撮像装置、視差画像処理装置、及び視差画像処理方法に関する。
【０００２】
【従来の技術】
被写体の撮影画像から、被写体を照明している光源に関する色温度、スペクトルなどの情報を推定する方法があり、スキャナーやカメラのオートホワイトバランス装置に用いられている。
【０００３】
従来のオートホワイトバランス装置においては、標準白色光で照らされた自然画像は、画像全体で色彩の平均値を求めると、無彩色になるという、グレイワールド仮説と呼ばれる仮定の下に、光源の色温度を画像全体の平均値から推定し、ホワイトバランスの調整を行っていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、被写体によっては上述の仮定に反し、画像全体の色彩の平均値が無彩色にならないケースが少なくない。このような場合、従来の方法では、光源の色温度を正確に推定することができない。そのため、ホワイトバランスを適正に調整することができず、被写体を撮影した画像は不自然な着色になるという問題が生じていた。
【０００５】
そこで本発明は、上記の課題を解決するために、被写体の複数の視差画像に基づいて、光源に関する正確な情報を獲得することのできる視差画像撮像装置、視差画像処理装置、及び視差画像処理方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００６】
【課題を解決するための手段】
即ち、本発明の第１の形態における視差画像撮像装置は、被写体の視差画像を撮像し、被写体を照明する光の光源に関する情報を獲得する視差画像撮像装置であって、被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を順次撮像させる制御部と、制御部による視点の移動量に対して、視差画像上の位置の変化量が比例しない、被写体の特定領域を検出する曲線成分検出部と、曲線成分検出部が検出した特定領域の画素データから光源の情報を抽出する光源情報抽出部とを備えたことを特徴とする。
【０００７】
曲線成分検出部は、複数の視差画像における視点の移動方向と略同一の方向の一次元領域を視点の移動量に比例するように並べた二次元画像において、曲線成分を有する連続線分を検出し、連続線分上に撮像された、被写体の特定領域を検出してもよい。
【０００８】
曲線成分検出部は、被写体の特定の部分であって、複数の視差画像における視点の移動方向の位置成分と視点の移動量との関係を示した視差ラインが、曲線成分を有する特定の部分を検出し、特定の部分を被写体の特定領域として検出してもよい。
【０００９】
曲線成分検出部が検出した特定領域の内、特定領域の画素データの明度及び彩度の少なくとも一つに関する条件を満たす特定領域を検出する明度彩度検出部をさらに備え、光源情報抽出部は、明度彩度検出部が検出した特定領域の画素データから光源の情報を抽出してもよい。
【００１０】
被写体を結像する第１の光学結像部と、複数の受光素子が配置され、第１の光学結像部により被写体の複数の視差画像が撮像される第１の受光部と、第１の光学結像部を移動させる駆動部とをさらに備え、制御部が視点の移動方向及び移動量を指定し、駆動部は移動方向及び移動量に基づいて第１の光学結像部を略直線上に移動させてもよい。
【００１１】
被写体を結像する第２の光学結像部と、第２の光学結像部により被写体の画像が撮像される第２の受光部と、第２の受光部に撮像された画像の色を補正する色補正部とをさらに備え、制御部が、光源情報抽出部が抽出した光源の情報に基づいて、色補正部のホワイトバランスを制御してもよい。
【００１２】
第１の光学結像部により被写体の画像が撮像される第２の受光部と、第２の受光部に撮像された画像の色を補正する色補正部とをさらに備え、制御部が、光源情報抽出部が抽出した光源の情報に基づいて、色補正部のホワイトバランスを制御してもよい。
【００１３】
第１の受光部に撮像された複数の視差画像、光源情報抽出部が抽出した光源の情報、及び第２の受光部に撮像された被写体の画像の少なくとも一つを記録する記録部をさらに備えてもよい。
【００１４】
本発明の第２の形態における視差画像処理装置は、被写体の視差画像に基づいて、被写体を照明する光の光源に関する情報を算出する視差画像処理装置であって、被写体の画像及び被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力する視差画像入力部と、被写体の画像及び複数の視差画像を記憶する視差画像記憶部と、視点の移動量に対して、視差画像上の位置の変化量が比例しない、被写体の特定領域を検出する曲線成分検出部と、曲線成分検出部が検出した特定領域上の画素データから光源の情報を抽出する光源情報抽出部と、光源情報抽出部が抽出した光源の情報に基づいて、被写体の画像を処理する画像処理部と、画像処理部が作成して得られた画像を出力する画像出力部とを備えたことを特徴とする。
【００１５】
曲線成分検出部が、視点の移動方向と略同一の方向を有する複数の視差画像の一次元領域を視点の移動量に比例するように並べた二次元画像において、曲線成分を有する連続線分を検出し、連続線分上に撮像された、被写体の特定領域を検出してもよい。
【００１６】
曲線成分検出部は、被写体の特定の部分であって、複数の視差画像における視点の移動方向の位置成分と視点の移動量との関係を示した視差ラインが、曲線成分を有する特定の部分を検出し、特定の部分を被写体の特定領域として検出してもよい。
【００１７】
曲線成分検出部が検出した特定領域の内、特定領域の画素データの明度及び彩度の少なくとも一つに関する条件を満たす特定領域を検出する明度彩度検出部をさらに備え、光源情報抽出部は、明度彩度検出部が検出した特定領域の画素データから光源の情報を抽出してもよい。
【００１８】
本発明の第３の形態における記録媒体は、被写体の視差画像に基づいて、被写体を照明する光の光源に関する情報を獲得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、コンピュータに働きかけて、被写体の画像及び被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力させる視差画像入力モジュールと、コンピュータに働きかけて、被写体の画像及び複数の視差画像を記憶させる視差画像記憶モジュールと、コンピュータに働きかけて、視点の移動量に対して、視差画像上の位置の変化量が比例しない、被写体の特定領域を検出させる曲線成分検出モジュールと、コンピュータに働きかけて、曲線成分検出モジュールが検出した特定領域上の画素データから光源の情報を抽出させる光源情報抽出モジュールと、コンピュータに働きかけて、光源情報抽出部が抽出した光源の情報に基づいて、被写体の画像を処理させる画像処理モジュールと、コンピュータに働きかけて、画像処理モジュールが作成して得られた画像を出力させる画像出力モジュールとを備えたことを特徴とする。
【００１９】
曲線成分検出モジュールが、視点の移動方向と略同一の方向を有する複数の視差画像の一次元領域を視点の移動量に比例するように並べた二次元画像において、曲線成分を有する連続線分を検出し、連続線分上に撮像された、被写体の特定領域を検出してもよい。
【００２０】
曲線成分検出モジュールは、被写体の特定の部分であって、複数の視差画像における視点の移動方向の位置成分と視点の移動量との関係を示した視差ラインが、曲線成分を有する特定の部分を検出し、特定の部分を被写体の特定領域として検出してもよい。
【００２１】
プログラムが、コンピュータに働きかけて、曲線成分検出部が検出した特定領域の内、特定領域の画素データの明度及び彩度の少なくとも一つに関する条件を満たす特定領域を検出させる明度彩度検出モジュールをさらに備え、光源情報抽出モジュールは、明度彩度検出モジュールが検出した特定領域の画素データから光源の情報を抽出してもよい。
【００２２】
本発明の第４の形態における視差画像処理方法は、被写体の視差画像に基づいて、光源に関する情報を算出する視差画像処理方法であって、被写体の画像及び被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を入力し、視点の移動量に対して、視差画像上の位置の変化量が比例しない、被写体の特定領域を検出し、被写体の特定領域上の画素データから光源の情報を抽出することを特徴とする。
【００２３】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２４】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２５】
（実施形態１）
図１は、本発明の第１の実施形態に係る視差画像撮像装置の一例としてのカメラの構成図である。本実施形態のカメラは、光学結像部１２と、カラーフィルター１９と、受光部２０と、レンズ５２と、絞り５４と、シャッター５６と、カラーフィルター５８と、ＣＣＤ（電荷結合素子）６０と、マルチプレクサー３２と、Ａ／Ｄ変換部３４と、色補正部３５と、メモリ３６と、光源推定部３８と、制御部３９と、記録部４０と、駆動部４２とを有する。
【００２６】
レンズ５２は被写体を結像し、絞り５４は絞り量を調整し、シャッター５６は露光時間を調整する。カラーフィルター５８はレンズ５２を通して受光される光のＲＧＢ成分を分解する。ＣＣＤ６０はレンズ５２によって結像された被写体の画像を受光して、電気信号に変換し、マルチプレクサー３２に出力する。
【００２７】
光学結像部１２は被写体の視差画像を結像する。カラーフィルター１９は光学結像部１２を通して受光される光のＲＧＢ成分を分解する。受光部２０は光学結像部１２によって結像された被写体の画像を受光して、電気信号に変換し、マルチプレクサー３２に出力する。
【００２８】
受光部２０は、複数の受光素子がマトリックス状に配置され、光学結像部により被写体が結像される。カラーフィルター１９は受光部２０の表面を覆い、光のＲＧＢ成分を透過させ、受光部２０の受光素子に受光させる。受光部２０の受光素子は、たとえばＣＣＤ（電荷結合素子）のような光電変換素子であってもよく、受光部２０は、複数のＣＣＤが配列された光電変換撮像体であってもよい。
【００２９】
駆動部４２は、制御部３９によって指定された視点の移動方向及び移動量に基づいて、光学結像部１２を略直線上に移動させる。これにより、光学結像部１２は、被写体を見る視点を略直線上に移動させた場合に得られる複数の視差画像を受光部２０に結像させる。
【００３０】
マルチプレクサー３２は、受光部２０またはＣＣＤ６０の出力信号のどちらかを選択し、Ａ／Ｄ変換部３４に出力する。Ａ／Ｄ変換部３４は入力されたアナログ信号をデジタル信号に変換し、色補正部３５に出力する。
【００３１】
色補正部３５は、Ａ／Ｄ変換部３４によってデジタル信号に変換された、受光部２０またはＣＣＤ６０の出力信号の色成分のゲインを調整し、色彩の補正を行う。本実施形態では、色補正部３５は、Ａ／Ｄ変換部３４が出力したデジタル信号を処理したが、実施形態はこれに限られない。たとえば、色補正部３５を、受光部２０またはＣＣＤ６０と、Ａ／Ｄ変換部３４との間に設置し、受光部２０またはＣＣＤ６０のアナログ出力信号の色成分のゲインを調整し、色彩の補正を行ってもよい。色補正部３５は補正された信号をメモリ３６に出力する。
【００３２】
メモリ３６は入力されたデジタル信号を格納する。メモリ３６は、レンズ５２がＣＣＤ６０に撮像した被写体の画像、及び光学結像部１２が撮像した被写体の視差画像を記憶する。
【００３３】
光源推定部３８はメモリ３６から複数の視差画像を読み出す。光源推定部３８は、制御部３９による視点の移動量に対して、複数の視差画像上の位置の変化量が比例しない、被写体の特定領域を検出することによって、被写体の鏡面反射成分を抽出する。光源推定部３８は、鏡面反射成分を有する画素データから被写体を照明する光源に関する情報を抽出する。光源に関する情報には、光源の色温度、スペクトル分布などがある。
【００３４】
制御部３９は、視点の移動方向及び移動量を指定して、駆動部４２を制御し、被写体の視差画像を順次撮像させる。
【００３５】
制御部３９は、光源推定部３８が出力した光源に関する情報に基づいて、色補正部３５を制御し、ホワイトバランスを適正に制御する。また制御部３９は、メモリ３６から読み出した被写体の画像の色情報、明度、彩度に基づいて、レンズ５２のフォーカス、絞り５４の絞り量及びシャッター５６の露光時間の少なくとも一つを制御する。
【００３６】
記録部４０は、メモリ３６から読み出した被写体の画像、被写体の視差画像及び光源推定部３８が出力した光源情報を記録する。記録部４０はフロッピィディスクのような磁気記録媒体やフラッシュメモリのような不揮発性メモリであってもよい。
【００３７】
本実施形態のカメラは、被写体の連続視差画像の一次元領域を視点の移動の順に並べた二次元画像において、曲線成分を有する鏡面反射成分を検出し、鏡面反射成分から光源情報を抽出する。したがって、光源の正確な情報を獲得し、ホワイトバランスを適正に調整して、被写体を撮影することができる。
【００３８】
尚、本実施形態のカメラでは、被写体を撮像する光学系と、視差画像を撮像する光学系を有するが、実施形態はこれに限られない。レンズ５２、カラーフィルター５８、ＣＣＤ６０に、それぞれ光学結像部１２、カラーフィルター１９、受光部２０の機能を兼ねさせ、被写体を撮像する光学系と、視差画像を撮像する光学系を共通にし、同一の光学系を用いて、被写体の撮像と視差画像の撮像を行ってもよい。
【００３９】
図２は、物体を照明する光の反射光の説明図である。光源１からの光が物体５を照明したとき、反射される光は、一般に、光源１からの入射光が物体５の表面で直接反射した鏡面反射成分７と、光源１からの入射光が物体５の表面に吸収され、入射角とは無関係に拡散された拡散反射成分９とを有する。
【００４０】
鏡面反射成分７は、物体５の表面において入射光が直接反射した光であるから、光源光と同じスペクトル分布を持つ。一方、拡散反射成分９は、物体５の表面にいったん吸収された後、特定の波長で放出された光であるから、物体５の材質に固有のスペクトル分布を持つ。したがって、反射光を受光したカメラ３が、反射光から鏡面反射成分７だけを分離することができれば、鏡面反射成分７から、光源１の種類や色などの情報を推定することができる。
【００４１】
図３は、本実施形態のカメラの光学結像部１２を移動させた場合に撮像される視差画像の説明図である。本実施形態のカメラでは、鏡面反射成分を分離して取り出すために、被写体の視差画像を利用する。光学結像部１２を移動面２に沿って移動させた場合に、結像面４には、被写体の視差画像が撮像される。
【００４２】
図３において、物体８は、被写体の一例である。物体８の前面は、図３に示すように、平面部と球面部を交互に有する。物体８の点８１及び８３は物体８の平面部上に、点８５は物体８の球面部上に、点８７及び８９は物体８の平面上にそれぞれある。
【００４３】
光源１が物体８から十分遠い位置にあるとすると、光源１からの光が物体８の点８１において鏡面反射した光１５ａと、光源１からの光が物体８の点８３において鏡面反射した光１５ｂはほぼ平行になる。
【００４４】
光学結像部１２が１２ａの位置にあるとき、物体８の点８１の鏡面反射による像は、結像面４の８１ａの位置に撮像される。光学結像部１２が１２ｂの位置にあるとき、物体８の点８３の鏡面反射による像は、結像面４の８３ｂの位置に撮像される。
【００４５】
鏡面反射による光１５ａ及び１５ｂがほぼ平行であるため、物体８の点８１及び８３の結像面４での像８１ａ及び８３ｂは、光学結像部１２が異なる位置にあるにもかかわらず、結像面４においてほぼ同じ位置に撮像される。
【００４６】
物体８の平面部上にある点８７及び８９の鏡面反射による像についても同様である。鏡面反射による光１５ｄ及び１５ｅがほぼ平行であるため、物体８の点８７及び８９の結像面４での像８７ｄ及び８９ｅは、光学結像部１２が異なる位置にあるにもかかわらず、結像面４においてほぼ同じ位置に撮像される。
【００４７】
図４は、図３に示した光学結像部１２を移動面２に沿って移動しながら、物体８を撮像した場合に、物体８の結像面における像が視差画像上で移動した軌跡、すなわち視差ラインを示すグラフである。グラフの横軸は結像位置を示し、縦軸は光学結像部１２の移動量を示す。
【００４８】
物体８の点８１、８３、８５、８７及び８９における拡散反射による像の位置のずれ、すなわち視差量は、光学結像部１２の移動量に比例する。したがって、拡散反射による像が視差画像上で移動した軌跡は、それぞれ図４に示す直線９１、９３、９５、９７及び９９のようになる。
【００４９】
このように、光学結像部１２を直線上に移動させて視差画像を撮像した場合、拡散反射による物体８の像についての視差ラインは直線になる。
【００５０】
一方、物体８の点８１、８３、８５、８７及び８９における鏡面反射による像の位置のずれは、光学結像部１２の移動量に対して比例しない。なぜなら、図３で説明したように、鏡面反射による光１５ａ及び１５ｂは平行であるため、光学結像部１２の移動にかかわらず、鏡面反射による像８１ａ及び８３ｂの結像位置は変化しないからである。したがって、鏡面反射による像の視差ラインは、図４の８１ａと８３ｂを結ぶ線になる。
【００５１】
同様に、鏡面反射による光１５ｄ及び１５ｅはほぼ平行であるため、光学結像部１２の移動にかかわらず、鏡面反射による像８７ｄ及び８９ｅの結像位置は変化しない。したがって、鏡面反射による像の視差ラインは、図４の８７ｄと８９ｅを結ぶ線になる。
【００５２】
また物体８の球面部においては、物体８の表面に映された光源の光が、視点の移動に伴って、物体８の表面の球面上を移動する。たとえば、物体８の球面部にある点８５の像は図４の８５ｃに撮像される。
【００５３】
したがって、鏡面反射による像についての視差ラインは、図４の線９０（点８１ａ、８３ｂ、８５ｃ、８７ｄ及び８９ｅを結ぶ線）のように、屈折した線になる。このように物体を見る視点が直線上を移動した場合であっても、鏡面反射による像は、視差画像上を直線移動することはない。一般に、物体の表面がより複雑である場合には、視差ラインは曲線成分を有する。
【００５４】
以上述べたように、一般に被写体の表面が鏡面反射面を有する場合、反射光には拡散反射成分と鏡面反射成分の両方が含まれる。さらに被写体の表面が複雑な曲面を有する場合、鏡面反射によって撮像された被写体の点については、視差ラインは曲線成分を有する。
【００５５】
本実施形態のカメラは、視点を直線上に移動させた場合に得られる視差画像に基づいて、鏡面反射成分による被写体の像を抽出し、光源の情報を獲得する。以下、本実施形態のカメラが視差画像に基づいて、光源情報を獲得する方法を説明する。
【００５６】
図５は、図１に示した本実施形態のカメラのメモリ３６及び光源推定部３８の構成図である。図５を参照しながら、本実施形態のメモリ３６及び光源推定部３８が、複数の視差画像から被写体を照明する光源に関する情報を抽出する動作を説明する。図５では、マルチプレクサー３２とＡ／Ｄ変換部３４を省略するが、実際の動作では、受光部２０に撮像された画像は、マルチプレクサー３２を介してＡ／Ｄ変換部３４に送られ、デジタル信号に変換されてからメモリ３６に格納される。
【００５７】
メモリ３６は、受光部２０に撮像された被写体の複数の視差画像３７を格納する。光源推定部３８は、曲線成分検出部２２と、明度彩度検出部２４と、光源情報抽出部２８と、色バランスゲイン算出部３０とを有する。
【００５８】
以下、一例として、図５に示した被写体Ａ及びＢの視差画像を撮像した場合について、メモリ３６、曲線成分検出部２２、明度彩度検出部２４、光源情報抽出部２８、及び色バランスゲイン算出部３０の動作を説明する。
【００５９】
被写体Ａは、表面が複雑な形状の鏡面反射面を有する物体であり、反射光は拡散反射成分以外に、鏡面反射成分を有する。被写体Ｂは、表面が鏡面反射面ではない物体であり、反射光は拡散反射成分を有するが、鏡面反射成分は有しない。メモリ３６は、光学結像部１２を移動させた時に受光部２０に撮像される被写体Ａ及びＢの複数の視差画像３７を格納する。
【００６０】
曲線成分検出部２２は、メモリ３６から複数の視差画像３７を読み出す。曲線成分検出部２２は、視点の移動方向と略同一の方向を有する複数の視差画像３７の一次元領域を選択し、その一次元領域を視点の移動量に比例するように並べた二次元画像において、連続する所定の長さの線分を抽出する。さらに、その連続線分が所定の閾値以上の曲率の曲線成分を有するかどうかを判定し、そうであれば、その連続線分を曲線成分として検出する。
【００６１】
曲線成分検出部２２は、被写体Ａ及びＢが撮像された領域内のすべての一次元領域について、上述のように二次元画像における曲線成分を検出する。被写体Ａの反射光は鏡面反射成分を有するため、被写体Ａが撮像されている領域からは曲線成分が検出される。被写体Ｂの反射光は鏡面反射成分を有しないため、曲線成分は検出されない。
【００６２】
明度彩度検出部２４は、曲線成分検出部２２が検出した曲線成分上の画素の彩度及び明度を検出し、彩度が所定の閾値以上又は明度が所定の閾値以下である場合は、その曲線成分を破棄し、そうでない場合曲線成分はすべて光源情報抽出部２８に出力する。
【００６３】
光源情報抽出部２８は、明度彩度検出部２４が出力したすべての曲線成分上の画素データを収集し、画素データから光源の色温度やスペクトル分布などの情報を抽出する。
【００６４】
色バランスゲイン算出部３０は、光源情報抽出部２８が抽出した光源情報に基づいて、画像のホワイトバランスを補正するための色バランスのゲインを計算し、制御部３９へ出力する。
【００６５】
曲線成分検出部２２は、視差画像の二次元画像において、曲線成分を有する連続線分を検出する。明度彩度検出部２４は曲線成分の内、彩度が低く、かつ明度が高い曲線成分を検出する。彩度が低く、かつ明度が高い曲線成分は、反射光の内、鏡面反射成分である可能性がきわめて高い。したがってその曲線成分は光源の種類と色を推定するために用いることができ、正確な光源情報を獲得することができる。
【００６６】
本実施形態では、被写体全体を撮像した視差画像を用いて、曲線成分を検出したが、実施形態はこれに限られない。制御部３９が被写体の特定の部分を撮像した視差画像を順次撮像させ、その特定の部分の視差画像について、曲線成分検出部２２が、曲線成分を検出してもよい。
【００６７】
図６は、本実施形態の光源推定部３８の処理のフローチャートである。図６を参照しながら、本実施形態の光源推定部３８が複数の視差画像から光源情報を抽出する処理を説明する。
【００６８】
曲線成分検出部２２及び明度彩度検出部２４は、Ｓ１００からＳ１１４までの処理を行う。複数の視差画像を入力し（Ｓ１００）、視点の移動方向と略同一の方向を有する複数の視差画像の一次元領域を選択し（Ｓ１０２）、その一次元領域を視点の移動の順に並べた二次元画像を作成する（Ｓ１０４）。
【００６９】
二次元画像内の連続する所定の長さの線分を抽出する（Ｓ１０６）。その連続線分が所定の閾値以上の曲率の曲線成分を有するかどうかを判定し（Ｓ１０８）、そうであれば、Ｓ１１０の処理に進み、そうでないならＳ１１４の処理に進む。さらに連続する線分上の画素について、彩度が所定の閾値以下で、かつ明度が所定の閾値以上であるなら（Ｓ１１０）、曲線成分として登録し（Ｓ１１２）、そうでないなら、Ｓ１１４に進む。
【００７０】
二次元画像におけるすべての連続する線分を調べたなら（Ｓ１１４）、Ｓ１１５の処理に進み、そうでないならＳ１０６の処理に戻り、他の連続する線分を抽出し、Ｓ１０８からＳ１１２までの処理を繰り返す。
【００７１】
視差画像におけるすべての一次元領域を調べたなら（Ｓ１１５）、Ｓ１１６の処理に進み、そうでないならＳ１０２の処理に戻り、他の一次元領域を選択し、Ｓ１０４からＳ１１４までの処理を繰り返す。
【００７２】
光源情報抽出部２８は、登録された曲線成分上の画素データを抽出し（Ｓ１１６）、その画素データから光源に関する情報を推定する（Ｓ１１８）。色バランスゲイン算出部３０は、推定された光源情報に基づいて、適正なホワイトバランスを行うための色バランスのゲインを計算する（Ｓ１２０）。
【００７３】
一般に、被写体の画像の中で、彩度が低く、明度が高い画素があっても、それが直ちに鏡面反射成分であると考えることはできない。しかし、彩度が低く、明度が高い画素が、視差画像の一次元領域を視点の移動の順に並べた二次元画像において曲線成分上にあるならば、鏡面反射成分である可能性がきわめて高い。本実施形態のカメラは、彩度が低く、かつ明度が高い、曲線成分を検出するため、鏡面反射成分を高い精度で抽出することができ、正確な光源の情報を得ることができる。
【００７４】
（実施形態２）
本発明の第２の実施形態に係る視差画像撮像装置の一例としてのカメラは、図１及び図５に示した第１の実施形態のカメラと同じ構成であり、光源推定部３８の処理だけが異なる。第１の実施形態と共通部分の説明は省略し、異なる部分だけを説明する。
【００７５】
第１の実施形態のカメラでは、曲線成分検出部２２が、視差画像の一次元領域を視点の移動の順に並べた二次元画像において、曲線成分を抽出したが、本実施形態のカメラでは、視差画像の特定画素が視差画像上を移動した軌跡を表す視差ラインの内、曲線成分を有する視差ラインを抽出する。
【００７６】
複数の視差画像の内、一つを基準画像とし、他を参照画像とする。曲線成分検出部２２は、基準画像のある特定画素を基準点とした場合、その基準点に対応する参照画像中の参照点を検出する。参照点の検出には、従来の対応点決定（マッチング）処理を用いる。基準点と複数の参照点が検出されると、基準画像の参照点が画像上で移動した軌跡を表す視差ラインを抽出することができる。
【００７７】
曲線成分検出部２２は、抽出された視差ラインが、所定の閾値以上の曲率の曲線成分を有するかどうかを判定する。曲率が所定の閾値以上である曲線成分を有するなら、その視差ラインを曲線成分として検出し、そうでないなら、その視差ラインを破棄する。
【００７８】
曲線成分検出部２２は、制御部３９が駆動部４２に対して指定した視点の移動方向及び移動量を用いて、視点の移動方向と略同一の方向に、視点の移動量の長さだけ、視差ラインを抽出してもよい。
【００７９】
明度彩度検出部２４、光源情報抽出部２８、及び色バランスゲイン算出部３０の動作は第１の実施形態と同じであるから説明を省略する。
【００８０】
本実施形態の曲線成分検出部２２は、曲線成分を有する視差ラインを検出し、明度彩度検出部２４が曲線成分を有する視差ラインの内、彩度が低く、かつ明度の高い視差ラインを検出する。そのような視差ラインを形成する画素は鏡面反射成分である可能性がきわめて高い。したがってその視差ライン上の画素データは、光源の種類と色を推定するために用いることができ、正確な光源情報を獲得することができる。
【００８１】
図７は、本実施形態のカメラにおける光源推定部３８の処理のフローチャートである。図７を参照しながら、本実施形態の光源推定部３８が複数の視差画像から光源情報を抽出する処理を説明する。
【００８２】
曲線成分検出部２２及び明度彩度検出部２４は、Ｓ２００からＳ２１６までの処理を行う。複数の視差画像を入力し、いずれか一つの視差画像を基準画像、他の視差画像を参照画像とする（Ｓ２００）。基準画像の特定領域を選択し（Ｓ２０２）、特定領域内の特定画素を基準点として選択する（Ｓ２０４）。
【００８３】
参照画像内に基準点に対応する参照点を検出し（Ｓ２０６）、基準点と参照点を結ぶ視差ラインを抽出する（Ｓ２０８）。抽出された視差ラインが、所定の閾値以上の曲率の曲線成分を有するかどうかを判定し（Ｓ２１０）、そうであるなら、Ｓ２１２の処理に進み、そうでないなら、Ｓ２１６の処理に進む。視差ライン上の画素について、彩度が所定の閾値以下で、かつ明度が所定の閾値以上であるなら（Ｓ２１２）、曲線成分として登録し（Ｓ２１４）、そうでないなら、Ｓ２１６に進む。
【００８４】
特定領域内のすべての画素について調べたなら（Ｓ２１６）、Ｓ２１８の処理に進み、そうでないならＳ２０４の処理に戻り、特定領域の他の特定画素をセンタ選択し、Ｓ２０６からＳ２１４までの処理を繰り返す。
【００８５】
光源情報抽出部２８は、登録された曲線成分上の画素データを抽出し（Ｓ２１８）、その画素データから光源に関する情報を推定する（Ｓ２２０）。色バランスゲイン算出部３０は、推定された光源情報に基づいて、適正なホワイトバランスを行うための色バランスのゲインを計算する（Ｓ２２２）。
【００８６】
一般に、被写体の画像の中で、彩度が低く、明度が高い画素があっても、それが直ちに鏡面反射成分であると考えることはできない。しかし、彩度が低く、明度が高い画素が、曲線成分を有する視差ライン上にあるならば、鏡面反射成分である可能性がきわめて高い。本実施形態のカメラは、彩度が低く、かつ明度が高い、曲線成分を検出するため、鏡面反射成分を高い精度で抽出することができ、正確な光源の情報を得ることができる。
【００８７】
（実施形態３）
図８は、本発明の第３の実施形態に係る視差画像処理装置の一例としてのデジタルラボシステムの構成図である。本実施形態のデジタルラボシステムは、視差画像入力部６４と、視差画像記憶部６６と、曲線成分検出部６８と、明度彩度検出部７０と、光源情報抽出部７２と、画像処理部７４と、画像出力部７６とを有する。
【００８８】
視差画像入力部６４は、被写体の画像及び被写体を見る視点を移動した場合に得られる複数の視差画像を入力する。視差画像入力部６４は写真又は感光フィルムを読みとりデジタル信号に置き換えるスキャナ、又はビデオテープ、ＣＤ−ＲＯＭ、ＤＶＤなどの記録媒体から画像データを読みとる読み込み装置であってもよい。
【００８９】
視差画像記憶部６８は、視差画像入力部６４が入力した被写体の画像及び被写体の複数の視差画像を記憶する。
【００９０】
曲線成分検出部６８、明度彩度検出部７０及び光源情報抽出部７２は、それぞれ第１又は第２の実施形態のカメラの曲線成分検出部２２、明度彩度検出部２４及び光源情報抽出部２８と同じ動作をするので、説明を省略する。
【００９１】
画像処理部７４は、光源情報抽出部７２が出力した光源情報を用いて、被写体の画像を処理する。
【００９２】
画像出力部７６は、画像処理部７４が作成して得られた画像を出力する。画像出力部７６は、現像機又はプリンタであってもよい。
【００９３】
本実施形態のデジタルラボシステムは、被写体の複数の視差画像を用いて、被写体を照明する光源に関する情報を獲得する。得られた光源情報を利用して、被写体を撮像したネガフィルムや写真に対して、被写体の画像のホワイトバランスを調整したり、光源色あるいは物体色のみを変更した画像の編集をすることができ、より美しい被写体の画像を再構成することができる。
【００９４】
（実施形態４）
図９は、本発明の第４の実施形態に係るコンピュータ用のプログラムの機能構成図である。図９において、コンピュータ１８０は、視差画像入力モジュール１８４と、視差画像記憶モジュール１８６と、曲線成分検出モジュール１８８と、明度彩度検出モジュール１９０と、光源情報抽出モジュール１９２と、画像処理モジュール１９４と、画像出力モジュール１９６とを有する。これらの機能構成は、記録媒体１８２に格納されたプログラムによってソフトウエアとして提供されてもよい。
【００９５】
視差画像入力モジュール１８４は、被写体の画像及び被写体を異なる視点から見た場合に得られる複数の視差画像を入力する。視差画像入力モジュール１８４は、スキャナなどの画像読み取り装置や、ＣＤ−ＲＯＭなどの記憶デバイスから画像を読み込んでもよい。視差画像記憶モジュール１８６は、被写体の画像及び複数の視差画像を記憶する。
【００９６】
曲線成分検出モジュール１８８、明度彩度検出モジュール１９０、及び光源情報抽出モジュール１９２は、それぞれ第１又は第２の実施形態のカメラの曲線成分検出部２２、明度彩度検出部２４及び光源情報抽出部２８と同じ動作をするので、説明を省略する。
【００９７】
画像処理モジュール１９４は、光源情報抽出モジュール１９２が出力した光源情報を用いて、被写体の画像に対して画像処理を行う。
【００９８】
画像出力モジュール１９６は、画像処理モジュール１９４が作成した画像をコンピュータに接続されたディスプレイに出力する。画像出力モジュール１９６は、画像処理モジュール１９４が作成した画像をプリンタに出力してもよい。
【００９９】
本実施形態の記録媒体に格納されたプログラムによれば、被写体の複数の視差画像に基づいて、被写体を照明する光源に関する情報を獲得する。得られた光源情報を利用して、被写体を撮像した画像に対して、被写体の画像のホワイトバランスを調整したり、光源色あるいは物体色のみを変更した画像の編集をすることができ、より高度な画像処理を行うことができる。
【０１００】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０１】
【発明の効果】
上記説明から明らかなように、本発明によれば、被写体の複数の視差画像から、被写体を照明する光源に関する情報を正確に求めることができる。
【図面の簡単な説明】
【図１】  本発明の第１の実施形態のカメラの構成図
【図２】  物体を照明する光の反射光の説明図
【図３】  光学結像部を移動させた場合に撮像される視差画像の説明図
【図４】  被写体の像の視差画像上での軌跡を示すグラフ
【図５】  メモリ及び光源推定部の構成図
【図６】  光源推定部の処理のフローチャート
【図７】  本発明の第２の実施形態のカメラにおける光源推定部の処理のフローチャート
【図８】  本発明の第３の実施形態のデジタルラボシステムの構成図
【図９】  本発明の第４の実施形態のコンピュータ用のプログラムの構成図
【符号の説明】
１２  光学結像部                  １９  カラーフィルター
２０  受光部                      ２２  曲線成分検出部
２４  明度彩度検出部              ２８  光源情報抽出部
３０  色バランスゲイン算出部      ３２  マルチプレクサー
３４  Ａ／Ｄ変換部                ３５  色補正部
３６  メモリ                      ３８  光源推定部
３９  制御部                      ４０  記録部
４２  駆動部                      ５２  レンズ
５４  絞り                        ５６  シャッター
５８  カラーフィルター            ６０  ＣＣＤ
【図１】
0003943288.tif 000002
【図２】
0003943288.tif 000003
【図３】
0003943288.tif 000004
【図４】
0003943288.tif 000005
【図５】
0003943288.tif 000006
【図６】
0003943288.tif 000007
【図７】
0003943288.tif 000008
【図８】
0003943288.tif 000009
【図９】
0003943288.tif 000010