(57)【要約】【課題】照度比にばらつきが生じている場合でも、肌領域を精度良く検出する。【解決手段】LED２３−１は、第１の波長の光を検出対象物４１に照射し、LED２３−２は、第２の波長の光を被写体に照射する。そして、撮像部２４は、第１の波長の光が被写体に照射されているときに入射される被写体からの反射光に基づいて第１の画像を生成するとともに、第２の波長の光が被写体に照射されているときに入射される被写体からの反射光に基づいて第２の画像を生成する。画像処理部２７は、補正する際に用いる補正値を用いて、第１の画像の輝度値又は第２の画像の輝度値、若しくは第１の画像と第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正し、差分と閾値との比較結果に基づいて、肌領域を検出する。本発明は、例えば、人の手の動き等を検出する検出装置に適用できる。【選択図】図１
2012002541.tif 000002
【特許請求の範囲】
【請求項１】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
第１の波長の光を被写体に照射する第１の照射手段と、
前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、
前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、
補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正する補正手段と、
前記差分と前記閾値との比較結果に基づいて、前記肌領域を検出する検出手段と
を含む画像処理装置。
【請求項２】
前記補正手段は、前記第１又は第２の画像上に存在する画素の座標毎に、対応する前記輝度値若しくは前記閾値の少なくとも一方を補正する
請求項１に記載の画像処理装置。
【請求項３】
前記被写体までの距離を算出する算出手段をさらに含み、
前記補正手段は、異なる距離毎に対応付けられている複数の補正値のうち、前記被写体までの距離に対応する補正値を用いて、前記輝度値又は前記閾値の少なくとも一方を補正する
請求項１又は２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記補正値を加算又は減算して前記輝度値又は前記閾値の少なくとも一方を補正する
請求項１に記載の画像処理装置。
【請求項５】
前記補正手段は、前記補正値を乗算又は除算して前記輝度値又は前記閾値の少なくとも一方を補正する
請求項１に記載の画像処理装置。
【請求項６】
前記第１の波長λ１、前記第２の波長λ２は次式の関係を満たす
６３０[nm]≦λ１≦１０００[nm]
９００[nm]≦λ２≦１１００[nm]
請求項１に記載の画像処理装置。
【請求項７】
前記第１及び第２の照射手段は、前記第１の波長の光による照度と、前記第２の波長の光による照度との照度比が所定の値から３％以上ずれた状態で光を照射する
請求項１に記載の画像処理装置。
【請求項８】
画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
前記画像処理装置は、
第１の照射手段と、
第２の照射手段と、
生成手段と、
補正手段と、
検出手段と
を含み、
前記第１の照射手段が、第１の波長の光を被写体に照射し、
前記第２の照射手段が、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射し、
前記生成手段が、前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像を生成し、
前記補正手段が、補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正し、
前記検出手段が、前記差分と前記閾値との比較結果に基づいて、前記肌領域を検出する
ステップを含む画像処理方法。
【請求項９】
画像上から人間の肌を表す肌領域を検出する画像処理装置であって、
第１の波長の光を被写体に照射する第１の照射手段と、
前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、
前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と
を含む前記画像処理装置を制御するコンピュータを、
補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正する補正手段と、
前記差分と前記閾値との比較結果に基づいて、前記肌領域を検出する検出手段と
して機能させるためのプログラム。
【請求項１０】
画像上から人間の肌を表す肌領域を検出する電子機器において、
第１の波長の光を被写体に照射する第１の照射手段と、
前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、
前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、
補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正する補正手段と、
前記差分と前記閾値との比較結果に基づいて、前記肌領域を検出する検出手段と、
検出された前記肌領域に基づいて、所定の処理を実行する実行手段と
を含む電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、及び電子機器に関し、特に、撮影した画像に基づいて、例えば人の手等の肌が露出している部分を検出できるようにした画像処理装置、画像処理方法、プログラム、及び電子機器に関する。
【背景技術】
【０００２】
従来、被写体（例えば人物）を撮像して得られる撮像画像から、一定の特徴を有する領域を検出する領域検出技術が存在する。
【０００３】
この領域検出技術は、例えば、デジタルカメラやテレビジョン受像機等の各種の電子機器に応用されている。具体的には、例えば、構図決定用のスルー画から人間の顔を検出し、検出した顔が笑顔である場合にシャッタ動作を行うデジタルカメラが存在する。
【０００４】
また、例えば、撮像により得られる撮像画像から人間の顔を検出し、その検出結果に基づいて、検出した顔の領域に生じた振れ等を補正するデジタルカメラが存在する。
【０００５】
さらに、例えば、内蔵するカメラにより被写体を撮像して得られる撮像画像から、人間の身振りや手振りを検出し、その検出結果に対応して、選局を切り換えるテレビジョン受像機が存在する。
【０００６】
ここで、一定の特徴を有する領域として、人物を撮像して得られる撮像画像上から、顔や手などのように肌が露出している領域（以下、肌領域という）を検出する肌検出技術が存在する（例えば、特許文献１乃至３を参照）。
【０００７】
この肌検出技術では、波長λ１の光を出力するLED(light emitting diode)によって照射された状態の被写体（人物）を撮像した第１の画像と、波長λ１とは異なる波長λ２の光を出力するLEDによって照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像と第２の画像との輝度値の差分が所定の閾値よりも大きな領域を肌領域として検出する。
【０００８】
なお、波長λ１，λ２は、人間の肌の反射特性に依存して決定される。すなわち、波長λ１，λ２は、人の肌に照射したときの反射率が異なり、かつ、人の肌以外（例えば、髪の毛、衣服など）に照射したときの反射率がほぼ等しいものに決定されている。具体的には、例えば、波長λ１は870nm、波長λ２は950nmとされている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−４７０６７号公報
【特許文献２】特開平０６−１２３７００号公報
【特許文献３】特開平０５−３２９１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
肌検出技術では、波長λ１が照射された状態の第１の画像と、波長λ２が照射された状態の第２の画像との差分が、被写体における反射率の差に対応するものとして、所定の閾値よりも大きな領域を肌領域として検出する。
【００１１】
したがって、肌検出技術では、その差分が、被写体における反射率の差に対応するものとなるように、被写体に対する波長λ１の光による照度と、被写体に対する波長λ２の光の照度との比（照度比）が一定の値であるという要件を満たす必要がある。
【００１２】
この要件が満たされない場合、波長λ１が照射された状態の第１の画像と、波長λ２が照射された状態の第２の画像との差分が、被写体における分光反射率の差によるものなのか、それとも、波長λ１の光を照射するLEDと、波長λ２の光を照射するLEDとの照度の差によるものなのかを区別できなくなってしまい、肌領域を精度良く検出できなくなってしまう。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、波長が異なる複数の光を用いた肌検出技術において、波長が異なる複数の光による照度比にばらつきが生じている場合でも、肌領域を精度良く検出できるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面の画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、第１の波長の光を被写体に照射する第１の照射手段と、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正する補正手段と、前記差分と前記閾値との比較結果に基づいて、前記肌領域を検出する検出手段とを含む画像処理装置である。
【００１５】
前記補正手段では、前記第１又は第２の画像上に存在する画素の座標毎に、対応する前記輝度値若しくは前記閾値の少なくとも一方を補正することができる。
【００１６】
前記被写体までの距離を算出する算出手段をさらに設けることができ、前記補正手段では、異なる距離毎に対応付けられている複数の補正値のうち、前記被写体までの距離に対応する補正値を用いて、前記輝度値又は前記閾値の少なくとも一方を補正することができる。
【００１７】
前記補正手段では、前記補正値を加算又は減算して前記輝度値又は前記閾値の少なくとも一方を補正することができる。
【００１８】
前記補正手段では、前記補正値を乗算又は除算して前記輝度値又は前記閾値の少なくとも一方を補正することができる。
【００１９】
前記第１の波長λ１、前記第２の波長λ２は次式の関係を満たす
６３０[nm]≦λ１≦１０００[nm]
９００[nm]≦λ２≦１１００[nm]
ようにすることができる。
【００２０】
前記第１及び第２の照射手段では、前記第１の波長の光による照度と、前記第２の波長の光による照度との照度比が所定の値から３％以上ずれた状態で光を照射することができる。
【００２１】
本発明の第１の側面の画像処理方法は、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法であって、前記画像処理装置は、第１の照射手段と、第２の照射手段と、生成手段と、補正手段と、検出手段とを含み、前記第１の照射手段が、第１の波長の光を被写体に照射し、前記第２の照射手段が、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射し、前記生成手段が、前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像を生成し、前記補正手段が、補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正し、前記検出手段が、前記差分と前記閾値との比較結果に基づいて、前記肌領域を検出するステップを含む画像処理方法である。
【００２２】
本発明の第１の側面のプログラムは、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、第１の波長の光を被写体に照射する第１の照射手段と、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段とを含む前記画像処理装置を制御するコンピュータを、補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正する補正手段と、前記差分と前記閾値との比較結果に基づいて、前記肌領域を検出する検出手段として機能させるためのプログラムである。
【００２３】
本発明の第１の側面によれば、補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方が補正され、前記差分と前記閾値との比較結果に基づいて、前記肌領域が検出される。
【００２４】
本発明の第２の側面の電子機器は、画像上から人間の肌を表す肌領域を検出する電子機器であって、第１の波長の光を被写体に照射する第１の照射手段と、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像を生成するとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像を生成する生成手段と、補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方を補正する補正手段と、前記差分と前記閾値との比較結果に基づいて、前記肌領域を検出する検出手段と、検出された前記肌領域に基づいて、所定の処理を実行する実行手段とを含む電子機器である。
【００２５】
本発明の第２の側面によれば、第１の波長の光が被写体に照射され、前記第１の波長よりも長波長である第２の波長の光が前記被写体に照射され、前記第１の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第１の画像が生成されるとともに、前記第２の波長の光が前記被写体に照射されているときに入射される前記被写体からの反射光に基づいて第２の画像が生成される。そして、補正する際に用いる補正値を用いて、前記第１の画像の輝度値又は第２の画像の輝度値、若しくは前記第１の画像と前記第２の画像の輝度値の差分と比較される閾値の少なくとも一方が補正され、前記差分と前記閾値との比較結果に基づいて、前記肌領域が検出され、検出された前記肌領域に基づいて、所定の処理が実行される。
【発明の効果】
【００２６】
本発明によれば、照度比にばらつきが生じている場合でも、肌領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用した検出装置の構成例を示すブロック図である。
【図２】人間の肌に対する分光反射特性の一例を示す図である。
【図３】補正値による補正を行なわずに肌領域を検出する場合の一例を示す図である。
【図４】照度比のばらつきについて説明する図である。
【図５】反射率差検出信号を補正して肌領域を検出する場合の一例を示す図である。
【図６】検出装置が行なう肌検出処理を説明するためのフローチャートである。
【図７】閾値を補正して肌領域を検出する場合の一例を示す図である。
【図８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．  本実施の形態（被写体までの距離に応じた補正値を用いて照度比のばらつきを補正する場合の例）
２．  変形例
【００２９】
＜１．本実施の形態＞
［検出装置１の構成例］
図１は、本実施の形態である検出装置１の構成例を示している。この検出装置１は、照射光源であるLEDからの照射光による照度比にばらつきがある場合においても、撮像した画像から検出対象物４１となる人の肌領域（例えば、顔、手など）を精度良く検出できるようにしたものである。
【００３０】
検出装置１は、コントローラ２１、LED制御部２２、LED２３−１及びLED２３−２、撮像部２４、撮像制御部２５、セレクタ２６、画像処理部２７、並びに距離算出部２８から構成される。
【００３１】
コントローラ２１は、検出装置１の各部の動作を統括して制御する。LED制御部２２は、コントローラ２１からの制御に従い、LED２３−１及び２３−２の点灯タイミング、消灯タイミング、光出力レベルを制御する。
【００３２】
LED２３−１は、LED制御部２２からの制御に従い、発光スペクトルのピーク波長がλ１である光（以下、波長λ１の光という）を発光する。LED２３−２は、LED制御部２２の制御に従い、発光スペクトルのピーク波長がλ２である光（以下、波長λ２の光という）を発光する。なお、波長λ１，λ２の具体的な値については、図２を参照して後述する。
【００３３】
撮像部２４は、集光レンズと、CCD、CMOSなどの撮像素子とを内蔵しており、撮像制御部２５からの制御に従い、被写体からの反射光を受光して画像を生成する。LED２３−１が発光しているときに生成される画像を第１の画像I1とし、LED２３−２が発光しているときに生成される画像を第２の画像I2とする。また、LED２３−１及びLED２３−２がいずれも発光していないときに生成される画像を第３の画像Ibとする。
【００３４】
以下の説明において、第１の画像I1上の位置（x,y）に存在する画素の輝度値を、単に、第１の画像I1の輝度値I1(x,y)と表す。なお、輝度値I1(x,y)において、位置xは、第１の画像I1上の水平方向の位置を表し、位置yは、第１の画像I1上の垂直方向の位置を表す。
【００３５】
具体的には、例えば、VGA(video graphics array)の場合、第１の画像I1(x,y)は640×480画素により構成されるものとなる。この場合、輝度値I1(x,y)において、第１の画像I1上の水平方向の位置xは、1から640までの整数とされ、第１の画像I1上の垂直方向の位置yは、1から480までの整数とされる。
【００３６】
なお、以下の説明において、第２の画像I2及び第３の画像Ib、後述する反射率差検出信号S及びSK、並びに２値化肌画像I3についても同様に、輝度値を表すこととする。
【００３７】
すなわち、以下の説明では、第２の画像I2、第３の画像Ib、反射率差検出信号S、反射率差検出信号SK、及び２値化肌画像I3の輝度値を、それぞれ、単に、第２の画像I2の輝度値I2(x,y)、第３の画像Ibの輝度値Ib(x,y)、反射率差検出信号Sの輝度値S(x,y)、反射率差検出信号SKの輝度値SK(x,y)、及び２値化肌画像I3の輝度値I3(x,y)と表す。
【００３８】
撮像制御部２５は、コントローラ２１からの制御に従い、撮像部２４の撮像タイミング、輝度値増幅のゲインなどを制御する。また、撮像制御部２５は、撮像部２４により生成された第１の画像I1、第２の画像I2、及び第３の画像Ibを画像処理部２７に出力する。
【００３９】
セレクタ２６は、図示せぬ内蔵のメモリを有しており、そのメモリには、照度比のばらつきを補正するための補正値K(x,y)が、検出装置１から検出対象物４１までの距離（例えば、近距離、中距離、遠距離）に応じて、予め保持されている。なお、補正値K(x,y)は、予め行なわれた実験等により求められて保持されている。
【００４０】
セレクタ２６は、コントローラ２１からの制御に従い、内蔵するメモリに記憶されている各距離の補正値K(x,y)のうち、検出装置１から検出対象物４１までの距離に対応する補正値K(x,y)を選択して読み出し、画像処理部２７に供給する。なお、補正値K(x,y)とは、例えば、第２の画像I2上の位置(x,y)に存在する画素の輝度値I2(x,y)を補正するための値をいう。
【００４１】
画像処理部２７は、撮像制御部２５からの第１の画像I1、第２の画像I2及び第３の画像Ib、並びにセレクタ２６からの補正値K(x,y)に基づいて、例えば、反射率差検出信号Sの輝度値S(x,y)＝{I1(x,y)-K(x,y)×I2(x,y)}/{I1(x,y)-Ib(x,y)}を算出する。
【００４２】
そして、画像処理部２７は、算出により得られた各輝度値S(x,y)を有する複数の画素により構成される反射率差検出信号Sを、肌領域を検出するための２値化に用いる閾値Stと比較することにより２値化し、その結果得られる２値化肌画像I3に基づいて、肌領域を検出する。
【００４３】
また、画像処理部２７は、２値化により得られる２値化肌画像I3を、距離算出部２８に供給する。
【００４４】
距離算出部２８は、例えば、画像処理部２７からの２値化肌画像I3上の肌領域の大きさ（例えば、肌領域の面積や幅等）に基づいて、検出装置１から検出対象物４１までの距離を算出し、コントローラ２１に供給する。
【００４５】
具体的には、例えば、距離算出部２８は、被写体との距離毎に、距離に応じた肌領域の大きさを対応付けておいた距離判定用テーブルを予め保持しておく。そして、距離算出部２８は、画像処理部２７からの２値化肌画像I3上の肌領域の大きさに対応する距離を、予め保持しておいた距離判定用テーブルから読み出して、コントローラ２１に供給する。
【００４６】
これにより、コントローラ２１は、距離算出部２８からの距離に基づき、セレクタ２６を制御して、検出装置１から検出対象物４１までの距離に対応する補正値K(x,y)を選択させる。
【００４７】
なお、距離算出部２８は、画像処理部２７からの２値化肌画像I3上の肌領域の大きさに基づいて、距離を算出するようにしたが、検出装置１から検出対象物４１までの距離を算出できれば、どのような方法を用いて距離を算出するようにしてもよい。
【００４８】
具体的には、例えば、距離算出部２８は、画像処理部２７からの２値化肌画像I3に代えて、検出対象物４１にレーザを照射して距離を測定するレーザレンジファインダや、異なる視差が設けられた２台のカメラを用いて距離を測定するステレオカメラ等を用いて、距離を測定するようにしてもよい。
【００４９】
[画像処理部２７の詳細]
次に、図２乃至図５を参照して、画像処理部２７が行なう処理について説明する。
【００５０】
図２は、人間の肌に対する分光反射特性を示している。
【００５１】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【００５２】
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００５３】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、630乃至1100[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【００５４】
なお、波長λ１及びλ２の組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【００５５】
具体的には、例えば、上述した分光反射特性において、波長λ１及びλ２の組合せとして、波長λ１が630[nm]以上であって1000[nm]以下であり、波長λ２が900[nm]以上であって1100[nm]以下であり、且つ、波長λ１が波長λ２よりも短い波長（波長λ１＜波長λ２）（より好適には、波長λ１＋40[nm]＜波長λ２）となる組合せが採用される。
【００５６】
検出装置１は、反射率の差に基づいて、第１の画像I1（又は第２の画像I2）における肌領域を検出する。したがって、検出装置１は、第１の画像I1の輝度値I1(x,y)と第２の画像I2の輝度値I2(x,y)との差分{I1(x,y)−I2(x,y)}が、反射率の差に対応するものとなるように、LED２３−１とLED２３−２との照度比を一定に保つ必要がある。
【００５７】
すなわち、理想的には、波長λ１及びλ２に対して、同一の反射率を有する物体（例えば、鏡面等）に、波長λ１の光を照射した場合に得られる第１の画像I1の輝度値I1(x,y)と、波長λ２の光を照射した場合に得られる第２の画像I2の輝度値I2(x,y)どうしが同一の輝度値となるように、照度比を一定とする必要がある。
【００５８】
照度比が一定である場合、反射率差検出信号Sの輝度値S(x,y)＝{I1(x,y)-I2(x,y)}/{I1(x,y)-Ib(x,y)}は、検出対象物４１に対する、波長λ１の光における反射率と波長λ２の光における反射率との差に対応したものとなる。
【００５９】
したがって、検出装置１は、図３に示されるように、第１の画像I1の輝度値I1(x,y)、第２の画像I2の輝度値I2(x,y)、及び第３の画像Ibの輝度値Ib(x,y)に基づいて、反射率差検出信号Sの輝度値S(x,y)＝{I1(x,y)-I2(x,y)}/{I1(x,y)-Ib(x,y)}を算出し、閾値Stにより２値化を行う。具体的には、例えば、検出装置１は、S(x,y)>Stである場合、S(x,y)を輝度値０に変換し、S(x,y)≦Stである場合、S(x,y)を輝度値１に変換する２値化を行う。
【００６０】
そして、検出装置１は、２値化により得られる２値化肌画像I3の輝度値I3(x,y)のうち、輝度値０を有する各画素により構成される領域を、肌領域として検出する。
【００６１】
このように、照度比が一定である場合、図３に示されるようにして、肌領域を精度良く検出できる。
【００６２】
しかしながら、LED２３−１及びLED２３−２の構成や位置を、完全に一致させることは不可能であるため、それぞれ異なるLED２３−１及びLED２３−２から照射される光の照度比を完全に一定の値とすることはできない。
【００６３】
なお、本発明者が行なった実験によれば、照度比によるばらつきが所定の範囲内に収まる場合には、比較的精度良く肌領域を検出できることが確認されている。
【００６４】
次に、図４は、照度比によるばらつきについての一例を示している。
【００６５】
図４において、横軸は、波長λ１及びλ２の光が照射される、検出対象物４１上の位置（例えば、水平方向の位置）を示している。また、縦軸は、検出対象物４１の位置に照射される波長λ１の光の照度（照射される光の強さ）Ｅλ1と、検出対象物４１の位置に照射される波長λ２の光の照度Ｅλ2との照度比(Ｅλ1/Ｅλ2)を示している。
【００６６】
図４に示されるように、照度比(Ｅλ1/Ｅλ2)が一定の値aとなる場合には、図３に示されるようにして、精度良く肌領域を検出できる。
【００６７】
しかしながら、照度比(Ｅλ1/Ｅλ2)が一定の値aではない場合、図３に示されるようにして、肌領域を検出するときには、検出精度の低下が生じ得る。特に、例えば、本発明者が行なった実験に基づく経験則によれば、照度比(Ｅλ1/Ｅλ2)がa-Δa/2からa+Δa/2の範囲内に収まらなくなった場合には、急激に検出精度が低下することがわかっている。なお、Δaとは、aの３[%]から５[%]の値（a×3/100からa×5/100）を表す。
【００６８】
そこで、本実施の形態では、照度比によるばらつきを補正するための補正値K(x,y)を用いるようにして、肌領域を精度良く検出できるようにしている。
【００６９】
次に、図５は、画像処理部２７が行なう処理の一例を示している。
【００７０】
画像処理部２７は、図５に示されるように、撮像制御部２５からの第１の画像I1の輝度値I1(x,y)、第２の画像I2の輝度値I2(x,y)、及び第３の画像Ibの輝度値Ib(x,y)、並びにセレクタ２６からの補正値K(x,y)に基づいて、反射率差検出信号SKの輝度値SK(x,y)＝{I1(x,y)-K(x,y)×I2(x,y)}/{I1(x,y)-Ib(x,y)}を算出する。
【００７１】
そして、画像処理部２７は、算出した各輝度値SK(x,y)を有する複数の画素により構成される反射率差検出信号SKに対して、閾値Stを用いた２値化を行なう。すなわち、例えば、画像処理部２７は、反射率差検出信号SKの輝度値SK(x,y)が、閾値Stより大きい場合、０に変換し、閾値St以下である場合、１に変換する２値化を行う。
【００７２】
そして、画像処理部２７は、２値化により得られる２値化肌画像I3の輝度値I3(x,y)のうち、輝度値０を有する各画素により構成される領域を、肌領域として検出する。
【００７３】
なお、補正値K(x,y)は、反射率差検出信号SK(x,y)が、｛（波長λ１の光に対する、被写体の分光反射率）−（波長λ２の光に対する、被写体の分光反射率）｝に比例するような値とされる。
【００７４】
具体的には、以下に示すようにして、補正値K(x,y)を求めることとなる。
【００７５】
すなわち、例えば、波長λ１の分光反射率と、波長λ２の分光反射率とが同一の被写体（例えば鏡面等）を撮像して得られる第１の画像I1、第２の画像I2及び第３の画像Ibに基づいて、補正値K(x,y)を変数とする反射率差検出信号SK(x,y)を算出する。
【００７６】
そして、例えば、算出した反射率差検出信号SK(x,y)について、補正値K(x,y)を変数とする式SK(x,y)=0を、補正値K(x,y)について解くことにより、補正値K(x,y)を予め求めておくことができる。
【００７７】
具体的には、例えば、式SK(x,y)=0を満たす補正値K(x,y)は、次式（１）又は（２）により表される。
K(x,y) = I1(x,y)/I2(x,y)                                ・・・（１）
K(x,y) = (LED２３−１から照射される光の、位置（x,y）における照度)/(LED２３−２から照射される光の、位置（x,y）における照度)        ・・・（２）
【００７８】
なお、式SK(x,y)=0を、変数である補正値K(x,y)について解くことにより、補正値K(x,y)を求めるようにしたが、波長λ１の分光反射率と、波長λ２の分光反射率とが殆ど同じ被写体（例えば人間の肌以外）を撮像して得られる反射率差検出信号SK(x,y)についてのSK(x,y)≦Stを、補正値K(x,y)について解くことにより、補正値K(x,y)を求めるようにしてもよい。
【００７９】
その他、例えば、波長λ１の分光反射率と、波長λ２の分光反射率とが異なる被写体（例えば人間の肌）を撮像して得られる反射率差検出信号SK(x,y)についてのSK(x,y)＞Stを、補正値K(x,y)について解くことにより、補正値K(x,y)を求めることができる。
【００８０】
ところで、上述したように、補正値K(x,y)は、第２の画像I2の輝度値I2(x,y)と乗算されるものとしたが、その他、補正値K(x,y)を、例えば、第１の画像I1の輝度値I1(x,y)を補正するための値として用いるようにして、第１の画像I1の輝度値I1(x,y)と乗算されるように構成することが可能である。この場合、反射率差検出信号SKの輝度値SK(x,y)は、{K(x,y)×I1(x,y)-I2(x,y)}/{K(x,y)×I1(x,y)-Ib(x,y)}となる。
【００８１】
さらに、補正値K(x,y)は、第１の画像I1の輝度値I1(x,y)又は第２の画像I2の輝度値I2(x,y)の一方に乗算されるものとしたが、乗算に代えて、除算されるようにしてもよい。
【００８２】
また、例えば、反射率差検出信号SKの輝度値SK(x,y)において、補正値K(x,y)を、第１の画像I1の輝度値I1(x,y)や第２の画像I2の輝度値I2(x,y)に乗算（又は除算）するのではなく、加算又は減算するようにしてもよい。
【００８３】
その他、例えば、反射率差検出信号SKの輝度値SK(x,y)として、SK(x,y)=S(x,y)+K(x,y)や、SK(x,y)=S(x,y)-K(x,y),SK(x,y)=S(x,y)×K(x,y),SK(x,y)=S(x,y)÷K(x,y)等を採用することも可能である。いずれの輝度値SK(x,y)を採用した場合についても、上述した場合と同様にして、補正値K(x,y)が求められることとなる。
【００８４】
[検出装置１の動作説明]
次に、図６のフローチャートを参照して、検出装置１が行う肌検出処理を説明する。
【００８５】
ステップＳ１において、LED２３−１は、LED制御部２２からの制御に従い、波長λ１の光を被写体（例えば、検出対象物４１）に照射する。ステップＳ２において、撮像部２４は、撮像制御部２５からの制御に従い、入射される被写体からの反射光を光電変換することにより第１の画像I1を生成し、撮像制御部２５に供給する。
【００８６】
ステップＳ３において、LED２３−１は、LED制御部２２からの制御に従い、消灯する。また、LED２３−２は、LED制御部２２からの制御に従い、波長λ２の光を被写体に照射する。ステップＳ４において、撮像部２４は、撮像制御部２５からの制御に従い、入射される被写体からの反射光を光電変換することにより第２の画像I2を生成し、撮像制御部２５に供給する。
【００８７】
ステップＳ５において、LED２３−２は、LED制御部２２からの制御に従い、消灯する。ステップＳ６において、撮像部２４は、撮像制御部２５からの制御に従い、入射される被写体からの反射光を光電変換することにより第３の画像Ibを生成し、撮像制御部２５に供給する。
【００８８】
撮像制御部２５は、撮像部２４からの第１の画像I1、第２の画像I2及び第３の画像Ibを、画像処理部２７に供給する。
【００８９】
ステップＳ７において、距離算出部２８は、検出装置１から検出対象物４１までの距離を算出し、コントローラ２１に供給する。コントローラ２１は、例えば、距離算出部２８からの距離に応じて、セレクタ２６を制御する。セレクタ２６は、コントローラ２１からの制御に従い、内蔵するメモリに記憶されている複数の補正値K(x,y)（例えば、近距離用の補正値K(x,y)、中距離用の補正値K(x,y)、遠距離用の補正値K(x,y)）のうち、検出対象物４１までの距離に対応する補正値K(x,y)を選択する。そして、セレクタ２６は、選択した補正値K(x,y)を内蔵するメモリから読み出して、画像処理部２７に供給する。
【００９０】
ステップＳ８において、画像処理部２７は、撮像制御部２５からの第１の画像I1、第２の画像I2及び第３の画像Ib、並びにセレクタ２６からの補正値K(x,y)に基づいて、例えば、反射率差検出信号SKの輝度値SK(x,y)＝{I1(x,y)-K(x,y)×I2(x,y)}/{I1(x,y)-Ib(x,y)}を算出する。
【００９１】
ステップＳ９において、画像処理部２７は、算出した各輝度値SK(x,y)を有する複数の画素により構成される反射率差検出信号SKについて、反射率差検出信号SKの輝度値SK(x,y)を閾値Stと比較することにより２値化し、２値化された値を輝度値とする２値化肌画像I3を生成する。
【００９２】
そして、画像処理部２７は、生成した２値化肌画像I3を構成する各画素の輝度値I3(x,y)のうち、輝度値０の領域を肌領域として検出する。以上で、肌検出処理は終了される。
【００９３】
以上説明した肌検出処理によれば、検出装置１から検出対象物４１までの距離に応じて選択された補正値K(x,y)を用いて、反射率差検出信号Sを、照度比(Ｅλ1/Ｅλ2)が一定の値aである場合に得られる反射率差検出信号SKに補正するようにしたので、例えば、照度比(Ｅλ1/Ｅλ2)がa-Δa/2からa+Δa/2の範囲内に収まらなくなっている場合でも肌領域を精度良く検出することが可能となる。
【００９４】
したがって、例えば、照度比(Ｅλ1/Ｅλ2)のばらつきに起因して肌領域を検出できなかった検出対象物４１についても、精度良く肌領域を検出できるようになるため、より多くの検出対象物４１の肌領域を検出できるようになる。
【００９５】
また、照度比(Ｅλ1/Ｅλ2)によるばらつきを抑制するために、LED２３−１及びLED２３−２を、それぞれ、複数個設けるようにしたり、LED２３−１及びLED２３−２の前面に、光を均一に拡散させる拡散板を設けるようにする必要がないため、照明系（LED２３−１及びLED２３−２）の構成を簡素化することができる。
【００９６】
さらに、照度比(Ｅλ1/Ｅλ2)によるばらつきを抑制するために、LED２３−１及びLED２３−２の光学特性による選別等を行なう必要がないため、検出装置１に用いる部品の選択等に起因するコストの上昇を抑制することが可能となる。
【００９７】
また、肌検出処理によれば、反射率差検出信号Sを構成する各画素の輝度値S(x,y)を、画素単位で補正して、照度比(Ｅλ1/Ｅλ2)が一定の値aである場合に得られる輝度値SK(x,y)にしているため、１つの補正値により、反射率差検出信号Sの各輝度値S(x,y)を補正する場合と比較して、照度比(Ｅλ1/Ｅλ2)のばらつきによる影響を受けた各輝度値S(x,y)をより正確に補正することが可能となる。
【００９８】
＜２．変形例＞
本実施の形態では、補正値K(x,y)を用いて、反射率差検出信号Sを、反射率差検出信号SKに補正するようにしたが、反射率差検出信号Sに代えて、閾値Stを閾値St(x,y)に補正するようにして、照度比(Ｅλ1/Ｅλ2)のばらつきに起因する肌領域の誤検出を防止することができる。
【００９９】
次に、図７は、画像処理部２７が、補正値K(x,y)を用いて閾値Stを補正し、その結果得られる補正後の閾値St(x,y)=St×K(x,y)を用いて行なう肌検出処理の一例を示している。
【０１００】
画像処理部２７は、図７に示されるように、撮像制御部２５からの第１の画像I1、第２の画像I2及び第３の画像Ibに基づいて、反射率差検出信号Sの輝度値S(x,y)＝{I1(x,y)-I2(x,y)}/{I1(x,y)-Ib(x,y)}を算出する。
【０１０１】
また、例えば、画像処理部２７は、セレクタ２６からの補正値K(x,y)に基づいて、閾値St(x,y)=St×K(x,y)を算出する。
【０１０２】
そして、画像処理部２７は、算出した反射率差検出信号S(x,y)に対して、算出した閾値St（x,y）を用いた２値化を行なうことにより、肌領域を検出する。
【０１０３】
この場合の補正値K(x,y)は、以下のように予め求めておくことができる。
【０１０４】
すなわち、例えば、波長λ１の分光反射率と、波長λ２の分光反射率とが殆ど変わらない被写体（例えば人間の肌以外）を撮像して得られる反射率差検出信号S(x,y)についてのS(x,y)≦St(x,y)=St×K(x,y)を、補正値K(x,y)について解くことにより、補正値K(x,y)を求めることができる。
【０１０５】
また、例えば、波長λ１の分光反射率と、波長λ２の分光反射率とが同一の被写体（例えば鏡面等）を撮像して得られる反射率差検出信号S(x,y)についてのS(x,y)=St(x,y)=St×K(x,y)を、補正値K(x,y)について解くことにより、補正値K(x,y)を求めることができる。
【０１０６】
さらに、例えば、波長λ１の分光反射率と、波長λ２の分光反射率とが異なる被写体（例えば人間の肌）を撮像して得られる反射率差検出信号S(x,y)についてのS(x,y)＞St(x,y)=St×K(x,y)を、補正値K(x,y)について解くことにより、補正値K(x,y)を求めることができる。
【０１０７】
なお、閾値St(x,y)は、定数St及び変数K(x,y)により、St×K(x,y)と表されるようにしたが、閾値St(x,y)=St÷K(x,y)=St×1/K(x,y)とするようにしてもよい。その他、例えば、閾値St(x,y)=St+K(x,y)としたり、閾値St(x,y)=St-K(x,y)=St+(-K(x,y))とするようにしてもよい。これらの場合についても同様にして、補正値K(x,y)を求めることとなる。
【０１０８】
また、反射率差検出信号Sの輝度値S(x,y)に対して、閾値St(x,y)を用いる場合、波長λ１の分光反射率と、波長λ２の分光反射率とが同一の被写体を撮像して得られる第１の画像I1及び第２の画像I2を生成する。そして、生成した第１の画像I1の輝度値I1(x,y)と第２の画像I2のI2(x,y)とを用いて、補正値K(x,y)=I1(x,y)-I2(x,y)としてもよい。この場合、閾値St(x,y)=K(x,y)＋St=I1(x,y)-I2(x,y)＋Stとなる。
【０１０９】
図５及び図７を参照して行なった説明では、１つの補正値K(x,y)を採用したが、複数の補正値K(x,y)を採用することができる。
【０１１０】
具体的には、例えば、２つの補正値K1(x,y)及びK2(x,y)を採用するようにして、図５を参照して説明した反射率差検出信号SKの輝度値SK(x,y)を、輝度値SK(x,y) = {K1(x,y)×I1(x,y)-K2(x,y)×I2(x,y)}/{K1(x,y)×I1(x,y)-Ib(x,y)}として、補正値K1(x,y)及びK2(x,y)を解くようにしてもよい。
【０１１１】
また、例えば、３つの補正値K1(x,y)、K2(x,y)及びK3(x,y)を採用するようにして、輝度値SK(x,y)={K1(x,y)×I1(x,y)-K2(x,y)×I2(x,y)}/{K1(x,y)×I1(x,y)-Ib(x,y)}とし、閾値St(x,y)=St×K3(x,y)として、補正値K1(x,y)，K2(x,y)及びK3(x,y)を解くようにしてもよい。この場合、輝度値SK(x,y)と閾値St(x,y)とが比較されて、肌領域が検出されることとなる。
【０１１２】
本実施の形態では、図５及び図７に示されるいずれの場合でも、近距離用、中距離用、及び遠距離用それぞれの３つの距離について補正値K(x,y)を予め用意するようにしたが、その他、例えば、１つ、２つ、又は４つ以上の距離について補正値K(x,y)を予め用意することができる。
【０１１３】
また、本実施の形態では、反射率差検出信号Sの輝度値S(x,y)=｛I1(x,y)-I2(x,y)｝/(I1(x,y)-Ib(x,y))としたが、その他、例えば、輝度値S(x,y)として、｛I1(x,y)-I2(x,y)｝,｛I1(x,y)-I2(x,y)｝/(0.5×I1(x,y)+0.5×I2(x,y)-Ib(x,y))，{I1(x,y)-I2(x,y)}/I1(x,y)及びI1(x,y)-I2(x,y)等を採用することができる。
【０１１４】
このことは、反射率差検出信号SKの輝度値SK(x,y)についても同様であり、例えば、輝度値SK(x,y)として、｛I1(x,y)- K(x,y)×I2(x,y)｝,｛I1(x,y)-K(x,y)×I2(x,y)｝/(0.5×I1(x,y)+0.5×K(x,y)×I2(x,y)-Ib(x,y))，{I1(x,y)-K(x,y)×I2(x,y)}/I1(x,y)及びI1(x,y)-K(x,y)×I2(x,y)等を採用することができる。
【０１１５】
なお、図５及び図７では、予め求められている補正値K(x,y)を用いるようにしたが、補正値K(x,y)を用いる毎に、検出対象物４１までの距離を変数とし、その距離に応じた補正値K(x,y)を算出可能な関数等を用いて、補正値K(x,y)を求めるようにしてもよい。この場合、セレクタ２６に内蔵のメモリに、距離毎の補正値K(x,y)を予め保持しておく必要がなくなるので、メモリ容量を少なくすることが可能となる。
【０１１６】
また、本実施の形態である検出装置１は、例えば、テレビジョン受像機などの任意の電子機器に内蔵させることができる。その電子機器においては、検出された肌領域（例えば被写体の手など）の動きに応じ、所定の処理を実行するようにすることができる。
【０１１７】
次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１８】
[コンピュータの構成例]
図８は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
【０１１９】
CPU（central processing unit）６１は、ROM（read only memory）６２、または記憶部６８に記憶されているプログラムに従って各種の処理を実行する。RAM（random access memory）６３には、CPU６１が実行するプログラムやデータなどが適宜記憶される。これらのCPU６１、ROM６２、およびRAM６３は、バス６４により相互に接続されている。
【０１２０】
CPU６１にはまた、バス６４を介して入出力インタフェース６５が接続されている。入出力インタフェース６５には、キーボード、マウス、マイクロホンなどよりなる入力部６６、ディスプレイ、スピーカなどよりなる出力部６７が接続されている。CPU６１は、入力部６６から入力される指令に対応して各種の処理を実行する。そして、CPU６１は、処理の結果を出力部６７に出力する。
【０１２１】
入出力インタフェース６５に接続されている記憶部６８は、例えばハードディスクからなり、CPU６１が実行するプログラムや各種のデータを記憶する。通信部６９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１２２】
また、通信部６９を介してプログラムを取得し、記憶部６８に記憶してもよい。
【０１２３】
入出力インタフェース６５に接続されているドライブ７０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部６８に転送され、記憶される。
【０１２４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図８に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む）、光磁気ディスク（ＭＤ（mini-disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７１、または、プログラムが一時的もしくは永続的に記録されるROM６２や、記憶部６８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部６９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１２５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２６】
また、本実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２７】
１  検出装置，  ２１  コントローラ，  ２２  LED制御部，  ２３−１，２３−２  LED，  ２４  撮像部，  ２５  撮像制御部，  ２６  セレクタ，  ２７  画像処理部，  ２８  距離算出部
【図１】
2012002541.tif 000003
【図２】
2012002541.tif 000004
【図３】
2012002541.tif 000005
【図４】
2012002541.tif 000006
【図５】
2012002541.tif 000007
【図６】
2012002541.tif 000008
【図７】
2012002541.tif 000009
【図８】
2012002541.tif 000010