(57)【特許請求の範囲】
【請求項１】
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、
取得した前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、
前記人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、
前記照明がタングステン光源であると判定したとき、前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行い、
前記照明がタングステン光源ではないと判定したとき、前記Ｇ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像の検出を行う
ことを特徴とする顔検出方法。
【請求項２】
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、
取得した前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、
前記原画像の輝度信号に基づいて前記人物被写体を撮影したときの明るさを判定し、
判定した前記明るさが所定のしきい値よりも小さいとき、前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行い、
前記判定した明るさが所定のしきい値以上であるとき、前記Ｇ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像の検出を行う
ことを特徴とする顔検出方法。
【請求項３】
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、
取得した前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、ホワイト信号を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、
前記人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、
前記照明がタングステン光源であると判定したとき、前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行い、
前記照明がタングステン光源ではないと判定したとき、前記輝度近似画像から前記顔画像を検出することにより前記原画像内の前記顔画像の検出を行う
ことを特徴とする顔検出方法。
【請求項４】
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、
取得した前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、ホワイト信号を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、
前記原画像の輝度信号に基づいて前記人物被写体を撮影したときの明るさを判定し、
判定した前記明るさが所定のしきい値よりも小さいとき、前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行い、
前判定した明るさが所定のしきい値以上であるとき、前記輝度近似画像から顔画像を検出することにより前記原画像内の前記顔画像の検出を行う
ことを特徴とする顔検出方法。
【請求項５】
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成する画像生成手段と、
該撮像手段が前記人物被写体を撮影したときの照明がタングステン光源であるか否かを判定する照明判定手段と、
該照明判定手段において前記照明がタングステン光源であると判定されたとき前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像を検出し、前記照明がタングステン光源ではないと判定したとき、前記Ｇ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出する顔検出手段と
を備えたことを特徴とする撮影装置。
【請求項６】
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数の画素データを用いて前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成する画像生成手段と、
前記原画像の輝度信号に基づいて前記人物被写体を撮影したときの明るさを判定する明るさ判定手段と、
該明るさ判定手段において前記明るさが所定のしきい値よりも小さいときと判定されたとき前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像を検出し、前記判定した明るさが所定のしきい値以上であると判定されたとき前記Ｇ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出する顔検出手段と
を備えたことを特徴とする撮影装置。
【請求項７】
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、ホワイト信号を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成する画像生成手段と、
撮影時に用いられた照明がタングステン光源であるか否かを判定する照明判定手段と、
該照明判定手段において前記照明がタングステン光源であると判定されたとき前記Ｒ信号画像から顔画像を検出することにより前記原画像内の前記顔画像を検出し、前記照明がタングステン光源ではないと判定したとき前記輝度近似画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出する顔検出手段と
を備えたことを特徴とする撮影装置。
【請求項８】
人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、
該撮像手段により取得された前記複数の画素データを用いた前記人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、ホワイト信号を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成する画像生成手段と、
前記原画像の輝度信号に基づいて前記人物被写体を撮影したときの明るさを判定する明るさ判定手段と、
該明るさ判定手段において明るさが設定しきい値よりも小さいと判定されたとき前記Ｒ信号画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出し、明るさが設定しきい値以上であると判定されたとき前記輝度近似画像から前記顔画像を検出することにより前記原画像内の前記顔画像を検出する顔検出手段と
を備えたことを特徴とする撮影装置。
【請求項９】
前記顔検出手段が、
前記画像もしくは前記輝度近似画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記複数の部分画像のうち顔である該部分画像を検出する顔検出手段と
を有し、
該顔検出手段が、複数の弱判別器による複数の判別結果を用いて前記部分画像が顔であるか否かを判別する顔判別器を備えたものであることを特徴とする請求項５から８のいずれか１項記載の撮影装置。
【請求項１０】
前記複数の弱判別器がカスケードを構成し、上流側の前記弱判別器が顔であると判別した前記部分画像について下流側の前記弱判別器が判別を行うものであることを特徴とする請求項５から９のいずれか１項記載の撮影装置。
【請求項１１】
前記顔検出手段が、前記部分画像生成手段により生成された前記部分画像が顔であるか否かを判別し、顔の可能性のある前記部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、前記候補判別器により判別された前記部分画像について顔であるか否かを判別するものであることを特徴とする請求項９または請求項１０記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の人物被写体の顔を検出する顔検出方法およびこれを用いた撮影装置に関するものである。
【背景技術】
【０００２】
顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている（たとえば特許文献１参照）。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法である。
【０００３】
特に、ブースティングによる顔検出処理の高速化を図るために、複数の弱判別器でカスケードを構成する判別器が提案されている（たとえば特許文献２参照）。この判別器では、顔もしくは非顔の判別において、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている。
【特許文献１】特開平８−３２９０３１号公報
【特許文献２】米国特許出願公開２００２／１０２０２４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に示すようなブースティングアルゴリズムによる顔検出においては、通常、画像の輝度情報（Ｙ信号）が用いられる。一方、デジタルカメラ等により取得された画像のデータはＲＧＢ信号からなる場合が多い。したがって、デジタルカメラ等により取得された画像に対し顔検出処理を行うとき、ＲＧＢ信号からＹ信号を生成することが必要になってしまい、情報処理量の増加が顔検出の高速化を妨げる原因になってしまう。特に、デジタルカメラに撮影装置を実装し、取得した画像に直ぐ顔検出処理を施すような場合、Ｙ信号の生成処理が高速化を阻害する大きな要因となってしまう。
【０００５】
また、デジタルカメラ等の撮影装置を用いて撮影する場合、太陽光線やフラッシュを照明として用いることが多いが、建築写真、夜景、商品撮影等を撮影する時の照明としてタングステン光源が用いられる場合がある。しかし、タングステン光源は一般的な光源に比べてＲ信号成分を多く含んでいるという特性を有しているため、太陽光線等を照明光源として取得された画像と同一の手法により顔検出した場合、顔が検出できないことがあるという問題がある。
【０００６】
さらに、撮影時の明るさが低い（暗い）場合、取得される画像の輝度が足りず上述したブースティングアルゴリズムでは顔が検出できない場合が生じてしまうという問題がある。
【０００７】
そこで、本発明は、撮影時の明るさもしくは照明の種類による顔検出性能の劣化を防止しながら効率的に顔を検出することができる顔検出方法およびこれを用いた撮影装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、照明がタングステン光源であると判定したとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、照明がタングステン光源ではないと判定したとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行うことを特徴とするものである。
【０００９】
本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成する画像生成手段と、撮像手段が人物被写体を撮影したときの照明がタングステン光源であるか否かを判定する照明判定手段と、照明判定手段において照明がタングステン光源であると判定されたときＲ信号画像から顔画像を検出することにより原画像内の顔画像を検出し、照明がタングステン光源ではないと判定したとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。
【００１０】
本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、人物被写体を撮影したときの明るさを判定し、判定した明るさが所定のしきい値よりも小さいとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、判定した明るさが所定のしきい値以上であるとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行うことを特徴とするものである。
【００１１】
本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いて人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成する画像生成手段と、人物被写体を撮影したときの明るさを判定する明るさ判定手段と、明るさ判定手段において明るさが所定のしきい値よりも小さいときと判定されたときＲ信号画像から顔画像を検出することにより原画像内の顔画像を検出し、判定した明るさが所定のしきい値以上であると判定されたときＧ信号画像から顔画像を検出することにより原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。
【００１２】
本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、照明がタングステン光源であると判定したとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、照明がタングステン光源ではないと判定したとき、輝度近似画像から顔画像を検出することにより原画像内の顔画像の検出を行うことを特徴とするものである。
【００１３】
本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成する画像生成手段と、撮影時に用いられた照明がタングステン光源であるか否かを判定する照明判定手段と、照明判定手段において照明がタングステン光源であると判定されたときＲ信号画像から顔画像を検出することにより原画像内の顔画像を検出し、照明がタングステン光源ではないと判定したとき輝度近似画像から顔画像を検出することにより原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。
【００１４】
本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、人物被写体を撮影したときの明るさを判定し、判定した明るさが所定のしきい値よりも小さいとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、判定した明るさが所定のしきい値以上であるとき、輝度近似画像から顔画像を検出することにより原画像内の顔画像の検出を行うことを特徴とするものである。
【００１５】
本発明の撮影装置は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得する撮像手段と、撮像手段により取得された複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成する画像生成手段と、人物被写体を撮影したときの明るさを判定する明るさ判定手段と、明るさ判定手段において明るさが設定しきい値よりも小さいと判定されたときＲ信号画像から顔画像を検出することにより原画像内の顔画像を検出し、明るさが設定しきい値以上であると判定されたとき輝度近似画像から顔画像を検出することにより原画像内の顔画像を検出する顔検出手段とを備えたことを特徴とするものである。
【００１６】
ここで、輝度近似画像は、撮像素子から直接的に取得することができ、輝度情報ではないが輝度情報に近い明度を有する色からなる画像であればどのようなものであってもよく、たとえばホワイト信号からなる画像等が挙げられる。
【００１７】
また、顔検出手段は、いかなる顔の検出方法も用いることができ、たとえば輝度近似画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであってもよい。
【００１８】
このとき、複数の弱判別器は、どのような構成を有するものであってもよく、たとえば複数の弱判別器でカスケードを構成し、上流側の弱判別器が顔であると判別した部分画像について下流側の弱判別器が判別を行うものであってもよい。
【００１９】
さらに、顔検出手段が、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔の可能性のある部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、候補判別器により判別された部分画像について顔であるか否かを判別するものであってもよい。
【００２０】
また、顔検出手段が、輝度近似画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。
【００２１】
さらに、顔検出手段が、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔である可能性のある部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、候補判別器により判別された部分画像について顔であるか否かを判別するものであれば、顔判別器が検出すべき部分画像の数を低減することができるため、判別作業の高速化を図ることができる。
【発明の効果】
【００２２】
本発明の顔検出方法およびこれを用いた撮影装置によれば、本発明の顔検出方法は、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、照明がタングステン光源であると判定したとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、照明がタングステン光源ではないと判定したとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行うことにより、タングステン光源の波長特性に合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像もしくはＧ信号画像を直接用いて顔検出を行うため、顔検出処理の高速化を図ることができる。
【００２３】
また、本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、緑成分の光を受光し取得した複数のＧ画素データを用いてＧ信号画像とを生成し、人物被写体を撮影したときの明るさを判定し、判定した明るさが所定のしきい値よりも小さいとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、判定した明るさが所定のしきい値以上であるとき、Ｇ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行うことにより、撮影時の明るさに合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像もしくはＧ信号画像を用いて顔検出を行うため、顔検出処理の高速化を図ることができる。
【００２４】
本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、人物被写体を撮影したときの明るさを判定し、判定した明るさが所定のしきい値よりも小さいとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、判定した明るさが所定のしきい値以上であるとき、輝度近似画像から顔画像を検出することにより原画像内の顔画像の検出を行うことにより、タングステン光源の波長特性に合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像もしくは輝度近似画像を用いて顔検出を行うため、顔検出処理の高速化を図ることができる。
【００２５】
本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を複数の色成分毎に受光することにより複数の画素データを取得し、取得した複数の画素データを用いた人物被写体の原画像と、赤成分の光を受光し取得した複数のＲ画素データを用いたＲ信号画像と、輝度情報に近い明度を有する色を受光し取得した複数の輝度近似画素データを用いた輝度近似画像とを生成し、人物被写体を撮影したときの照明がタングステン光源であるか否かを判定し、照明がタングステン光源であると判定したとき、Ｒ信号画像から顔画像を検出することにより原画像内の顔画像の検出を行い、照明がタングステン光源ではないと判定したとき、輝度近似画像から顔画像を検出することにより原画像内の顔画像の検出を行うことにより、撮影時の明るさに合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像もしくは輝度近似画像を用いて顔検出を行うため、顔検出処理の高速化を図ることができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の撮影装置の実施の形態を詳細に説明する。図１は本発明の撮影装置の好ましい実施の形態を示すブロック図である。撮影装置１はたとえばデジタルカメラ等であって、人物被写体からの入射光を複数の受光素子２ａを用いて複数の色成分毎に受光することにより複数の画素データを取得する撮像手段２と、複数の画素データを用いて人物被写体の原画像ＰとＧ信号画像Ｐを生成する画像生成手段３と、撮影時の照明がタングステン光源であるか否かを判定する照明判定手段４と、取得された画像から顔を検出する顔検出手段１０とを備えている。
【００２７】
撮像手段２は、図２（Ａ）に示すように、人物被写体からの入射光を各色成分（たとえばＲＧＢ）毎に受光する複数の受光素子２ａを有しており、各受光素子２ａは各色成分毎の光を受光し光電変換することにより各色成分毎の複数の画素データを取得するようになっている。ここで、図２（Ａ）のようないわゆるベイヤー方式でＲＧＢの受光画素が配列されている場合、緑成分の光を受光する受光画素２ａは、所定のピッチで配列されることになり、いわゆる間引いたＧ画素データを取得すると言うことができる。なお、撮像手段２の配列方式として図２（Ｂ）のようなストライプ方式であってもよい。さらには、受光画素の形状としていわゆるハニカム形状を有するものであってもよい。
【００２８】
画像生成手段３は、撮像手段２により取得された画素データを用いて画像を生成するものであって、ＲＧＢ成分の複数の画素データを用いたカラー画像である原画像Ｐと、赤成分の光を受光して取得された複数の画素データのみを用いたＲ信号画像ＰＲと、緑成分の光を受光して取得された複数の画素データのみを用いたＧ信号画像ＰＧとを生成する機能を有している。なお、赤成分もしくは緑成分を受光する受光素子２ａは図２に示すように受光面上に所定の配列で設けられているため、画像生成手段３は２次元のＲ信号画像ＰＲもしくはＧ信号画像ＰＧを生成することができる。
【００２９】
照明判定手段４は、たとえばデジタルカメラの光源選択メニューによりタングステン光源が選択されているか否かを判定することにより、撮影時に用いられた光源がタングステン光源であるか否かを判定するようになっている。なお、タングステン光源が赤色波長域の方が青色波長域よりも高くなる特性を利用し、照明判定手段４が撮像手段２により取得された画像の色を解析し、画像がタングステン光源の場合の特性が出現しているか否かにより、照明がタングステン光源であるか否かを判定するようにしてもよい。そして、照明判定手段４は、光源がタングステン光源であると判定したとき顔検出手段１０側に原画像ＰとＲ信号画像ＰＲとを出力し、光源がタングステン光源ではないと判定したとき顔検出手段１０側に原画像ＰとＧ信号画像ＰＧとを出力する。
【００３０】
顔検出手段１０は、照明判定手段４から出力されるＲ信号画像ＰＲもしくはＧ信号画像ＰＧにアダブーストアルゴリズム等による顔検出処理を施すものであって、Ｒ信号画像ＰＲもしくはＧ信号画像ＰＧ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、横顔である部分画像を検出する横顔検出手段２０と、正面顔である部分画像を検出する正面顔検出手段３０とを有している。
【００３１】
部分画像生成手段１１に入力されるＲ信号画像ＰＲもしくはＧ信号画像ＰＧには前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、ＣＣＤからのＲＧＢ信号が光量に比例した信号であることに伴い、人間のコントラスト感に近づける処理としてガンマ変換を行うようになっている。具体的には、前処理手段１０ａは例えばＧ信号値=log(Ｇ)（Ｒ信号値=log(Ｒ)）、または、Ｇ信号値=Ｇ2.2（Ｒ信号値=Ｒ2.2）、またはＬＵＴによる変換等のガンマ変換後のＲ信号画像ＰＲもしくはＧ信号画像ＰＧを生成する。さらに、前処理手段１０ａは、Ｒ信号画像ＰＲもしくはＧ信号画像ＰＧに対し図３（Ａ）〜（Ｄ）に示すように、多重解像度化して解像度の異なる複数のＲ信号画像ＰＲもしくはＧ信号画像ＰＧを生成する機能を有している。さらに、前処理手段１０ａは、生成した複数のＲ信号画像ＰＲもしくはＧ信号画像ＰＧに対して、局所的な領域におけるコントラストのばらつきを抑制し全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。
【００３２】
部分画像生成手段１１は、図３（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷをＲ信号画像ＰＲもしくはＧ信号画像ＰＧ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。
【００３３】
なお、部分画像生成手段１１は、図３（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、Ｒ信号画像ＰＲもしくはＧ信号画像ＰＧにおいてサブウィンドウＷ内に正面顔もしくは横顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。
【００３４】
横顔検出手段２０は、複数の部分画像ＰＰの中から横顔である部分画像を検出するものであって、複数の部分画像ＰＰについて横顔であるか否かを判別し、横顔である可能性のある部分画像ＰＰを候補画像として判別する横顔候補判別手段２１と、横顔候補判別手段２１により検出された候補画像が横顔であるか否かを判別する横顔判別手段２２とを有している。
【００３５】
横顔候補判別手段２１は、部分画像ＰＰが横顔であるか否かの２値判別を行う機能を有し、図４に示すような複数の弱判別器を有する横顔候補判別器からなっている。横顔候補判別器２１は、アダブーストアルゴリズム（Ａｄａｂｏｏｓｔ  Ａｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、横顔候補判別器２１は弱判別器ＣＦ１〜ＣＦＭおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。
【００３６】
具体的には、図５に示すように各弱判別器ＣＦ１〜ＣＦＭは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおけるＧ信号値もしくはＲ信号値を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおけるＧ信号値もしくはＲ信号値をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせたＧ信号値もしくはＲ信号値の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ１では座標Ｐ１ａ、Ｐ１ｃにおけるＧ信号値もしくはＲ信号値の差分を特徴量として用い、弱判別器ＣＦ２では座標Ｐ２ａ、Ｐ２ｂにおけるＧ信号値もしくはＲ信号値の差分を特徴量として用いるようになっている。
【００３７】
なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。
【００３８】
各弱判別器ＣＦ１〜ＣＦＭは図６に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力する。さらに、各弱判別器ＣＦ１〜ＣＦＭは判別性能を示す信頼度β１〜βＭを有している。各弱判別器ＣＦ１〜ＣＦＭは、スコアｆ１（ｘ）〜ｆＭ（ｘ）と信頼度β１〜βｍとを用いて判定スコアβｍ・ｆｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。
【００３９】
また、横顔候補判別器２１の各弱判別器ＣＦ１〜ＣＦＭはカスケード構造を有しており、各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。つまり、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。
【００４０】
なお、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に設定しきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが設定しきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σｒ=1ｍβｒ・ｆｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。
【００４１】
図１の横顔判別手段２２は、画像内の顔の向き（角度）が９０°の顔、すなわち正面顔を判別する９０°横顔判別器２２−１、６０°の顔画像を判別する６０°横顔判別器２２−２等を備えたものであって、−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器２２−１〜２２−７を有している。また、たとえば０°横顔判別器２２−１は回転角度が０°を中心に−１５°〜＋１５°の範囲内にある顔を判別できるようになっている。なお各横顔判別器２２−１〜２２−７は上述した横顔候補判別器２１と同様にアダブーストアルゴリズムを用いて学習された複数の弱判別器を有しており（図４参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。
【００４２】
次に、正面顔検出手段３０について説明する。正面顔検出手段３０は、複数の部分画像ＰＰの中から正面顔である部分画像ＰＰを検出するものであって、複数の部分画像ＰＰについて正面顔であるか否かを判別し、正面顔である可能性のある部分画像ＰＰを候補画像ＣＰとして判別する正面顔候補判別手段３１と、正面顔候補判別手段３１により検出された候補画像が正面顔であるか否かを判別する正面顔判別手段３２とを有している。
【００４３】
正面顔候補判別手段３１は、部分画像ＰＰが正面顔であるか非顔かの２値判別を行う機能を有し、上記横顔候補検出器２１と同様、アダブーストアルゴリズムにより学習された複数の弱判別器を有する候補判別器からなっている（図４参照）。
【００４４】
正面顔判別手段３２は、画像の縦方向と顔の中心線との角度が０°の顔を判別する０°正面顔判別器３２−１、３０°の顔画像を判別する３０°正面顔判別器３２−２等を備えたものであって、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器３２−１〜３２−１２を有している。なお、たとえば０°正面顔判別器３２−１は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。そして、原画像ＰとＲ信号画像ＰＲもしくはＧ信号画像ＰＧとは同一の被写体を撮影するものであるため、原画像ＰにおいてＲ信号画像ＰＲもしくはＧ信号画像ＰＧと同じ領域に顔が存在する。よって、顔検出手段１０はＲ信号画像ＰＲもしくはＧ信号画像ＰＧから顔画像ＦＰを検出することにより、原画像Ｐ内から顔画像ＦＰを検出することができる。
【００４５】
なお、複数の正面顔判別器３２−１〜３２−１２は、上述した横顔候補判別手段２１のように、それぞれアダブーストアルゴリズムにより学習された複数の弱判別器を有しており（図４参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。
【００４６】
このように、撮影時の照明の種類に合わせて顔検出において用いる信号の種類を変えることにより顔検出の精度を高めることができる。タングステン光源は太陽光等の光源に比べ色温度の低い光源であって、青色光のエネルギーが赤色光のエネルギーよりも相対的に低いという特性を有しており、太陽光等と同一の検出手法により検出しようとすると顔検出の精度が落ちてしまう。そこで、上述したように照明がタングステン光源である場合、Ｒ信号画像ＰＲを用いて顔検出を行い、タングステン光源ではない場合にはＧ信号画像ＰＧを用いて顔検出を行う。これにより、光源の種類によらず高精度な顔検出を実現することができる。
【００４７】
また、従来のように輝度情報（Ｙ信号）を用いて顔の判別を行うのではなく、Ｒ信号画像ＰＲもしくはＧ信号画像ＰＧを用いて顔の判別を行うものである。顔の判別に用いる信号として輝度情報を用いた場合、肌の色の違い等の個人差による顔検出のブレをなくすことができるが、ＲＧＢ信号からなる原画像Ｐから輝度情報を抽出する際には、輝度Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂという人間の比視感度に基づく変換式によりデータ変換しなければならない。一方、図７に示すように、部分画像ＰＰにおける輝度情報を最も多く含んでいるのは、通常の光源であればＲＧＢ信号のうちＧ信号であり、タングステン光源であればＲ信号である。この点に着目し、顔検出手段１０においてＲ信号画像ＰＲもしくはＧ信号画像ＰＧを用いる。すると、従来の輝度情報を用いたときの検出性能をほぼ維持しつつ、ＲＧＢ信号から輝度情報への変換処理が不要となり、顔検出の高速化を図ることができる。
【００４８】
図８は本発明の顔判別方法の好ましい実施の形態を示すフローチャートであり、図１から図８を参照して顔判別方法について説明する。まず、撮像手段２により画像Ｐが取得されるとともに（ステップＳＴ１）、照明判定手段４により照明がタングステン光源であるか否かが判断される（ステップＳＴ２）。そして、照明がタングステン光源であると判定された場合、Ｒ信号画像ＰＲに基づいて顔の検出が行われる（ステップＳＴ３）。一方、照明がタングステン光源ではないと判定された場合、Ｇ信号画像ＰＧのＧ信号に基づいて顔の検出が行われる（ステップＳＴ４）。これにより、原画像Ｐの中から正面顔もしくは横顔からなる顔画像ＦＰが判別される。
【００４９】
図９は本発明の撮影装置の第２の実施の形態を示すブロック図であり、図９を参照して撮影装置１００について説明する。なお、図９の撮影装置１００において図１の撮影装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。
【００５０】
図９の撮影装置が図１の撮影装置１と異なる点は、撮影手段の構成および照明がタングステン光源であったときの顔検出の方法である。具体的には、撮影手段１２０は、図１０（Ａ）に示すように、いわゆるハニカムプラス構造を有しており、複数の第１受光素子１２０ａと、第１受光素子１２０ａよりも受光面積の小さい複数の第２受光素子１２０ｂとを備えており、複数の第１受光素子１２０ａと複数の第２受光素子１２０ｂとは同じ人物被写体を撮影するようになっている。ここで、複数の第１受光素子１２０ａは入射する光を受光し光電変換することによりＲＧＢからなる画素データを取得するものである。一方、複数の第２受光素子１２０ｂは、入射する光のうち輝度近似信号であるホワイト信号を受光し輝度近似画素データを取得するようになっている。輝度近似画素データとは、輝度情報（Ｙ信号）ではないが、第２受光素子から直接的に取得することができる輝度情報（Ｙ信号）に近い信号からなる画像を意味し、たとえば上述したホワイト信号が挙げられる。このホワイト信号は図１１に示すように、波長帯域によらず輝度情報（Ｙ信号）に比例して大きくなるものであって、ＲＧＢの各波長帯域に輝度情報（Ｙ信号）の強度が依存するものとは異なる点に特徴がある（図７参照）。
【００５１】
なお、撮影手段２の構造として、図１０（Ｂ）に示すような第１受光素子１２０ａと第１受光素子１２０ａよりも受光面積の小さい第２受光素子１２０ｂとにより１つのハニカム形状を形成したいわゆるダブルハニカム構造を用いるようにしてもよい。
【００５２】
画像生成手段３は、第１受光素子１２０ａにおいて取得された画素データから原画像Ｐを生成するとともに、第２受光素子１２０ｂから取得された輝度近似画素データから輝度近似画像Ｐ１０を生成するようになっている。
【００５３】
そして、照明判定手段４は照明がタングステン光源であると判定した場合、Ｒ信号画像ＰＲを顔検出手段１０側に出力し、顔検出手段１０はこのＲ信号画像ＰＲを用いて顔検出を行う。一方、照明判定手段４は照明がタングステン光源ではないと判定した場合、輝度近似信号画像Ｐ１０を顔検出手段１０側に出力し、顔検出手段１０はこの輝度近似画像Ｐ１０を用いて顔検出を行う。
【００５４】
これにより、上述のようにＲＧＢ信号から輝度情報（Ｙ信号）を抽出するための信号処理を行う必要がないため顔検出の高速化を図ることができるとともに、より輝度に近い情報に基づいて顔検出を行うことができるため検出精度の低下を低減することができる。
【００５５】
図１２は本発明の撮影装置の第３の実施の形態を示すブロック図であり、図１２を参照して撮影装置２００について説明する。なお、図１２の撮影装置２００において図１および図の撮影装置１、１００と同一の構成を有する部位には同一の符号を付してその説明を省略する。
【００５６】
図１２の撮影装置２００が図の撮影装置と異なる点は、照明の種類ではなく撮影時の明るさを判定することにより顔検出に用いる信号の種類を変えることである。すなわち、撮影装置２００は照明判定手段の代わりに明るさ判定手段２３０を有しており、この明るさ判定手段２３０における判定結果に基づいて顔検出に用いられる信号の種類が決定されるようになっている。ここで、明るさ判定手段２３０は、たとえば撮影装置におけるモード設定、フラッシュの有無等を参照して明るさを判定してもよい。そして、明るさ判定手段２３０は明るさが所定のしきい値より小さいと判定した場合、原画像ＰおよびＲ信号画像ＰＲを顔検出手段１０側に出力し、顔検出手段１０はＲ信号画像ＰＲを用いて原画像Ｐからの顔検出を行う。一方、明るさ判定手段２３０は明るさが所定のしきい値以上であると判定した場合と判定した場合、原画像Ｐおよび輝度近似画像Ｐ１０を顔検出手段１０側に出力し、顔検出手段１０は輝度近似画像Ｐ１０を用いて原画像Ｐからの顔検出を行うようになっている。
【００５７】
なお、図１２において輝度近似画像Ｐ１０を用いる場合について例示しているが、第１の実施の形態にように輝度近似画像Ｐ１０の代わりにＧ信号画像ＰＧを用いるようにしてもよい。この場合であっても、撮影時の明るさに合わせて顔検出において用いる信号の種類を変えることにより顔検出の精度を高めることができる。つまり、図７に示すように、輝度情報（Ｙ信号）はその値が小さいときにはＲ信号値への依存が大きくなり、大きいときにはＧ信号値への依存が大きくなる。そこで、上述したように明るさが所定のしきい値より小さい場合、画像のＲ信号画像ＰＲを用いて顔検出を行い、所定のしきい値以上である場合には画像のＧ信号画像ＰＧを用いて顔検出を行う。これにより、いずれの明るさであっても高精度な顔検出を実現することができる。この場合、図１２のような第２受光素子１２０ｂを備えた撮像手段を用いる必要はなく通常のＣＣＤ等を用いることができる。
【００５８】
上記実施の形態によれば、照明の種類もしくは撮影時の明るさに合わせて顔検出に用いる信号の種類を変えることができるため、照明がタングステン光源のときの顔検出性能の低下を防止するとともに、原画像から輝度情報を算出するのではなくＲ信号画像ＰＲまたはＧ信号画像ＰＧもしくは輝度近似画像Ｐ１０を用いて顔検出を行うため、顔検出処理の高速化を図ることができる。
【００５９】
なお、複数の弱判別器ＣＦ１〜ＣＦＭがカスケード構造を有し、上流側の弱判別器ＣＦ１〜ＣＦＭが顔であると判別した部分画像ＰＰについて下流側の弱判別器が判別を行うものであれば、下流側の弱判別器が判別すべき部分画像の数を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。
【００６０】
さらに、顔検出手段１０が、部分画像生成手段１１により生成された部分画像が顔であるか否かを判別し、顔である可能性のある部分画像ＰＰを候補画像ＣＰとして検出する候補検出手段２１、３１をさらに有し、顔判別器２２、３２が、候補判別器２１、３１により判別された部分画像ＰＰについて顔であるか否かを判別するものであれば、顔判別器２２、３２が検出すべき部分画像の数を低減することができるため、判別作業の高速化を図ることができる。
【００６１】
本発明の実施の形態は、上記実施の形態に限定されない。たとえば、図１において各候補検出手段２１、３１を有している場合について例示しているが、部分画像ＰＰについて直接各顔検出手段２２、３２による顔検出が行われるようにしても良い。
【図面の簡単な説明】
【００６２】
【図１】本発明の撮影装置の好ましい実施の形態を示すブロック図
【図２】図１の撮影手段の一例を示す模式図
【図３】図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図
【図４】図１の候補検出手段の候補判別器の一例を示すブロック図
【図５】図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図
【図６】図１の弱判別器が有するヒストグラムの一例を示すグラフ図
【図７】輝度情報とＲＧＢ信号との相関関係を示すグラフ
【図８】本発明の顔検出方法の好ましい実施の形態を示すフローチャート
【図９】本発明の撮影装置の第２の実施の形態を示すブロック図
【図１０】図８の撮影装置における第１受光素子および第２受光素子の一例を示す模式図
【図１１】輝度情報と輝度近似信号との相関関係を示すグラフ
【図１２】本発明の撮影装置の第３の実施の形態を示すブロック図
【符号の説明】
【００６３】
１、１００、２００    撮影装置
２、１２０     撮影手段
２ａ、１２０ａ 第１受光素子
１２０ｂ       第２受光素子
３     照明判定手段
１０   顔検出手段
１１   部分画像生成手段
２３０ 明るさ判定手段
ＣＦ１〜ＣＦｍ   弱判別器
ＣＦｍ  弱判別器
Ｐ     原画像
ＰＲ   Ｒ信号画像
ＰＧ   Ｇ信号画像
Ｐ１０ 輝度近似画像
【図１】
0004782600.tif 000002
【図２】
0004782600.tif 000003
【図３】
0004782600.tif 000004
【図４】
0004782600.tif 000005
【図５】
0004782600.tif 000006
【図６】
0004782600.tif 000007
【図７】
0004782600.tif 000008
【図８】
0004782600.tif 000009
【図９】
0004782600.tif 000010
【図１０】
0004782600.tif 000011
【図１１】
0004782600.tif 000012
【図１２】
0004782600.tif 000013