(57)【要約】【課題】ローリングシャッタ型のカメラを採用した場合にも、精度良く肌領域を検出する。【解決手段】LED６１aは第１の波長の光を照射し、LED６１bは第２の波長の光を照射し、カメラ６２は、内蔵する撮像素子を構成する複数のライン毎に、それぞれ異なるタイミングで被写体からの反射光を受光して、肌領域の検出に用いる肌検出用領域を少なくとも含む第１及び第２の撮像画像を生成する。制御部１０１は、LED６１a、LED６１b、及びカメラ６２を制御し、２値化部１０４は、第１の波長の光を照射した場合に生成される第１の撮像画像、及び第２の波長の光を照射した場合に生成される第２の撮像画像に基づいて、肌領域を検出する。本発明は、例えば、被写体を撮像した撮像画像から、肌領域を検出する情報処理装置に適用できる。【選択図】図９
2011130419.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置において、
第１の波長の光を前記被写体に照射する第１の照射手段と、
前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、
前記被写体からの反射光を受光して、前記肌領域の検出に用いる肌検出用領域を生成するために用いる肌検出用のラインを含む複数のラインにより構成される撮像素子を内蔵し、前記複数のライン毎に、それぞれ異なるタイミングで前記被写体からの反射光を受光して、前記肌検出用領域を少なくとも含む前記撮像画像を生成する生成手段と、
前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、
前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させる
制御手段と、
前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域を検出する検出手段と
を含む情報処理装置。
【請求項２】
前記撮像素子は、ｎ（nは自然数）ラインの間隔で配置された前記肌検出用のラインを含む前記複数のラインにより構成され、
前記制御手段は、
前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域からなる前記第１の撮像画像を第１の肌検出用画像として生成させ、
前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域からなる前記第１の撮像画像を第２の肌検出用画像として生成させ、
前記検出手段は、前記第１の肌検出用画像、及び前記第２の肌検出用画像に基づいて、前記肌領域を検出する
請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、
前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を含む第１の前記撮像画像を生成させ、
前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を含む第２の前記撮像画像を生成させ、
前記検出手段は、
前記第１の撮像画像に含まれる前記肌検出用領域を第１の抽出画像として抽出し、前記第２の撮像画像に含まれる前記肌検出用領域を第２の抽出画像として抽出する抽出手段と、
前記第１及び第２の抽出画像に基づいて、前記肌領域を検出する肌領域検出手段と
を有する
請求項１に記載の情報処理装置。
【請求項４】
前記制御手段は、
前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに所定の受光時間以上で受光させ、
前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに前記所定の受光時間以上で受光させる
請求項１乃至３に記載の情報処理装置。
【請求項５】
前記生成手段は、予め決められた撮像タイミングで順次、前記被写体を撮像して前記撮像画像を生成するものであり、
前記制御手段は、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、所定の撮像タイミングで前記第１の撮像画像を生成させ、前記所定の撮像タイミングの次の撮像タイミングで前記第２の撮像画像を生成させる
請求項１乃至４に記載の情報処理装置。
【請求項６】
前記第１及び第２の照射手段は、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率から、前記第２の波長の光を照射して得られる反射光の反射率を差し引いて得られる差分が、所定の差分閾値以上となる場合の波長の光を照射する
請求項１乃至５に記載の情報処理装置。
【請求項７】
前記第１の波長λ１及び前記第２の波長λ２は、
640nm≦λ１≦1000nm
900nm≦λ２≦1100nm
を満たす
請求項６に記載の情報処理装置。
【請求項８】
前記第１の照射手段は、前記第１の波長の光として、第１の赤外線を前記被写体に照射し、
前記第２の照射手段は、前記第２の波長の光として、前記第１の赤外線よりも長波長である第２の赤外線を前記被写体に照射する
請求項７に記載の情報処理装置。
【請求項９】
前記検出手段は、前記第１の撮像画像の輝度値、及び前記第２の撮像画像の輝度値に基づいて、前記肌領域を検出する
請求項１又は２に記載の情報処理装置。
【請求項１０】
前記肌領域検出手段は、前記第１の抽出画像の輝度値、及び前記第２の抽出画像の輝度値に基づいて、前記肌領域を検出する
請求項３に記載の情報処理装置。
【請求項１１】
被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置の情報処理方法において、
前記情報処理装置は、
第１の照射手段と、
第２の照射手段と、
生成手段と、
制御手段と、
検出手段と
を含み、
前記第１の照射手段が、第１の波長の光を前記被写体に照射し、
前記第２の照射手段が、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射し、
前記生成手段が、前記被写体からの反射光を受光して、前記肌領域の検出に用いる肌検出用領域を生成するために用いる肌検出用のラインを含む複数のラインにより構成される撮像素子を内蔵しており、前記複数のライン毎に、それぞれ異なるタイミングで前記被写体からの反射光を受光して、前記肌検出用領域を少なくとも含む前記撮像画像を生成し、
前記制御手段が、
前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、
前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させ、
前記検出手段が、前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域を検出する
ステップを含む情報処理方法。
【請求項１２】
被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置であって、第１の波長の光を前記被写体に照射する第１の照射手段と、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、前記被写体からの反射光を受光して、前記肌領域の検出に用いる肌検出用領域を生成するために用いる肌検出用のラインを含む複数のラインにより構成される撮像素子を内蔵し、前記複数のライン毎に、それぞれ異なるタイミングで前記被写体からの反射光を受光して、前記肌検出用領域を少なくとも含む前記撮像画像を生成する生成手段とを備える情報処理装置のコンピュータを、
前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、
前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させる
制御手段と、
前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域を検出する検出手段と
して機能させるためのプログラム。
【請求項１３】
被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置を内蔵する電子機器において、
前記情報処理装置は、
第１の波長の光を前記被写体に照射する第１の照射手段と、
前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、
前記被写体からの反射光を受光して、前記肌領域の検出に用いる肌検出用領域を生成するために用いる肌検出用のラインを含む複数のラインにより構成される撮像素子を内蔵し、前記複数のライン毎に、それぞれ異なるタイミングで前記被写体からの反射光を受光して、前記肌検出用領域を少なくとも含む前記撮像画像を生成する生成手段と、
前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、
前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させる
制御手段と、
前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域を検出する検出手段と
を含む
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラム、及び電子機器に関し、特に、例えば、被写体を撮像して得られる撮像画像上から人間の手の形状等を検出する場合に用いて好適な情報処理装置、情報処理方法、プログラム、及び電子機器に関する。
【背景技術】
【０００２】
従来、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出（認識）する肌認識システムが存在する（例えば、非特許文献１を参照）。
【０００３】
[従来の肌認識システムの一例]
図１は、従来の肌認識システム１の構成例を示している。
【０００４】
この肌認識システム１は、発光装置２１、カメラ２２、及び画像処理装置２３により構成される。
【０００５】
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED(light emitting diode)２１a1及びLED２１a2（２個の黒丸で示すそれぞれ）、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1及びLED２１b2（２個の白丸で示すそれぞれ）により構成される。
【０００６】
なお、以下の説明において、LED２１a1及びLED２１a2を区別する必要がない場合、LED２１a1及びLED２１a2を、単にLED２１aという。また、LED２１b1及びLED２１b2を区別する必要がない場合、LED２１b1及びLED２１b2を、単にLED２１bという。
【０００７】
さらに、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。また、波長λ１及びλ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。
【０００８】
そして、LED２１aとLED２１bの出力は、それぞれ、波長λ１及びλ２に対する反射率が同一である被写体に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる撮像画像の、対応する画素どうしの輝度値が同一となるように調整されている。
【０００９】
また、LED２１aとLED２１bは、それぞれ、碁盤の目状に配置されており、例えば交互に発光する。
【００１０】
カメラ２２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ２２aにより覆われている。
【００１１】
このため、日光、或いは蛍光灯等の不可視光成分を除けば、カメラ２２は、発光装置２１によって被写体に照射される不可視光の反射光のみを受光し、その結果得られる撮像画像を、画像処理装置２３に供給する。
【００１２】
なお、カメラ２２としては、被写体からの反射光を受光する撮像素子を内蔵し、内蔵された撮像素子を構成する複数の水平ライン毎に、同一のタイミングで被写体からの反射光を受光する露光を行うグローバルシャッタ型のカメラが採用されている。
【００１３】
カメラ２２は、被写体を撮像し、その結果得られる撮像画像を、画像処理装置２３に供給する。
【００１４】
[グローバルシャッタ型のカメラを採用した場合の一例]
次に、図２及び図３を参照して、カメラ２２として採用されているグローバルシャッタ型のカメラについて説明する。
【００１５】
図２は、カメラ２２が内蔵する撮像素子２２bの一例を示している。
【００１６】
この撮像素子２２bは、複数の受光素子により構成されており、図２に示されるように、複数の受光素子が、複数の水平ライン０乃至１１を形成している。
【００１７】
次に、図３は、カメラ２２として採用されているグローバルシャッタ型のカメラの動作を示している。
【００１８】
なお、図３において、HD信号（水平同期信号）及びVD信号（垂直同期信号）は、画像処理装置２３により生成される信号であって、発光装置２１やカメラ２２の制御に用いられる信号を表している。
【００１９】
また、図３において、照射時間t1,t3,…は、LED２１aにより波長λ１の光が被写体に照射される時間を表している。また、照射時間t2,t4,…は、LED２１bにより波長λ２の光が被写体に照射される時間を表している。図３では、照射時間t1,t2,t3,t4,…は、VD信号に生じる立ち上がりエッジの間隔に決定されている。
【００２０】
さらに、図３の左側に示される番号０乃至１１は、それぞれ、グローバルシャッタ型のカメラが内蔵する撮像素子２２bを構成する１２本の水平ライン０乃至１１を表している。
【００２１】
また、図３に示される直角三角形（斜線部分で示す）において、横の長さは、露光が行われる露光時間を表しており、縦の長さ（高さ）は露光時間に応じて蓄積されるチャージ電荷量を表している。
【００２２】
例えば、LED２１aは、波長λ１の光を、被写体に対して照射時間t1だけ照射する。また、カメラ２２は、内蔵する撮像素子２２bを構成する水平ライン０乃至１１それぞれの露光を、照射時間t1が開始される同一のタイミングで、照射時間t1だけ行う。
【００２３】
この場合、図３に示されるように、撮像素子２２bを構成する水平ライン０乃至１１それぞれの露光により得られるチャージ電荷量は、波長λ１の光を被写体に照射した場合の反射光のみを受光して得られたものとなる。したがって、カメラ２２は、波長λ１の光を被写体に照射した場合の反射光のみを受光して得られたチャージ電荷量に基づいて、第１の撮像画像を生成し、画像処理装置２３に供給する。
【００２４】
また、例えば、LED２１bは、波長λ２の光を、被写体に対して照射時間t2だけ照射する。さらに、カメラ２２は、内蔵する撮像素子２２bを構成する水平ライン０乃至１１それぞれの露光を、照射時間t2が開始される同一のタイミングで、照射時間t2だけ行う。
【００２５】
この場合、図３に示されるように、撮像素子２２bを構成する水平ライン０乃至１１それぞれの露光により得られるチャージ電荷量は、波長λ２の光を被写体に照射した場合の反射光のみを受光して得られたものとなる。したがって、カメラ２２は、波長λ２の光を被写体に照射した場合の反射光のみを受光して得られたチャージ電荷量に基づいて、第２の撮像画像を生成し、画像処理装置２３に供給する。
【００２６】
画像処理装置２３は、VD信号及びHD信号を生成する。そして、画像処理装置２３は、例えば、生成したVD信号やHD信号に生じる立ち上がりエッジの間隔等に基づいて、発光装置２１の発光、及びカメラ２２の撮像を制御する。
【００２７】
また、画像処理装置２３は、カメラ２２からの第１及び第２の撮像画像の、対応する画素の輝度値どうしの差分絶対値を算出し、算出した差分絶対値に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出する。
【００２８】
すなわち、第１の撮像画像は、波長λ１の光を被写体に照射した場合の反射光のみを受光して得られたものであり、第２の撮像画像は、波長λ２の光を被写体に照射した場合の反射光のみを受光して得られたものである。
【００２９】
また、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せが採用されている。
【００３０】
このため、第１の撮像画像上の肌領域を構成する画素の輝度値は比較的大きな値となり、第２の撮像画像上の肌領域を構成する画素の輝度値は比較的小さな値となる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値は、比較的大きな値となる。
【００３１】
さらに、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せが採用されている。
【００３２】
このため、第１の撮像画像上の肌領域以外の領域を構成する画素の輝度値と、第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値は、殆ど同一の値となる。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値は、比較的小さな値となる。
【００３３】
よって、画像処理装置２３では、例えば、差分絶対値が比較的大きな値となる場合に、対応する領域を肌領域として検出することができる。
【先行技術文献】
【非特許文献】
【００３４】
【非特許文献１】鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
【発明の概要】
【発明が解決しようとする課題】
【００３５】
ところで、カメラ２２のように、グローバルシャッタ型のカメラは、例えば、撮像素子２２bを構成する複数の水平ライン０乃至１１毎に異なるタイミングで露光を行うローリングシャッタ型のカメラと比較して、製造コストが高くなっている。
【００３６】
したがって、従来の肌認識システム１のように、グローバルシャッタ型のカメラ２２を採用すると、肌認識システム１自体の製造コストも高くなってしまっていた。
【００３７】
そこで、肌認識システム１に、グローバルシャッタ型のカメラと比較して、約1/10程度の低コストで調達することが可能なローリングシャッタ型のカメラを採用できるようにすることが望ましい。
【００３８】
しかしながら、従来の肌認識システム１において、カメラ２２として、ローリングシャッタ型のカメラを採用した場合、波長λ１と波長λ２の反射比率の差を利用して肌領域を検出することが困難となり、肌領域を検出する精度が大幅に低下してしまう。
【００３９】
本発明は、このような状況に鑑みてなされたものであり、ローリングシャッタ型のカメラの採用を前提として、カメラの露光時間及び発光装置の照射時間を調整することにより、カメラにより撮像された第１及び第２の撮像画像に基づいて、精度良く肌領域を検出できるようにするものである。
【課題を解決するための手段】
【００４０】
本発明の第１の側面の情報処理装置は、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置であって、第１の波長の光を前記被写体に照射する第１の照射手段と、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、前記被写体からの反射光を受光して、前記肌領域の検出に用いる肌検出用領域を生成するために用いる肌検出用のラインを含む複数のラインにより構成される撮像素子を内蔵し、前記複数のライン毎に、それぞれ異なるタイミングで前記被写体からの反射光を受光して、前記肌検出用領域を少なくとも含む前記撮像画像を生成する生成手段と、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させる制御手段と、前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域を検出する検出手段とを含む情報処理装置である。
【００４１】
前記撮像素子は、ｎ（nは自然数）ラインの間隔で配置された前記肌検出用のラインを含む前記複数のラインにより構成され、前記制御手段には、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域からなる前記第１の撮像画像を第１の肌検出用画像として生成させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域からなる前記第１の撮像画像を第２の肌検出用画像として生成させ、前記検出手段には、前記第１の肌検出用画像、及び前記第２の肌検出用画像に基づいて、前記肌領域を検出させるようにすることができる。
【００４２】
前記制御手段には、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を含む第１の前記撮像画像を生成させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を含む第２の前記撮像画像を生成させ、前記検出手段には、前記第１の撮像画像に含まれる前記肌検出用領域を第１の抽出画像として抽出し、前記第２の撮像画像に含まれる前記肌検出用領域を第２の抽出画像として抽出する抽出手段と、前記第１及び第２の抽出画像に基づいて、前記肌領域を検出する肌領域検出手段とを有するようにすることができる。
【００４３】
前記制御手段には、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに所定の受光時間以上で受光させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに前記所定の受光時間以上で受光させるようにすることができる。
【００４４】
前記生成手段は、予め決められた撮像タイミングで順次、前記被写体を撮像して前記撮像画像を生成するものであり、前記制御手段には、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、所定の撮像タイミングで前記第１の撮像画像を生成させ、前記所定の撮像タイミングの次の撮像タイミングで前記第２の撮像画像を生成させるようにすることができる。
【００４５】
前記第１及び第２の照射手段には、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率から、前記第２の波長の光を照射して得られる反射光の反射率を差し引いて得られる差分が、所定の差分閾値以上となる場合の波長の光を照射させるようにすることができる。
【００４６】
前記第１の波長λ１及び前記第２の波長λ２は、
640nm≦λ１≦1000nm
900nm≦λ２≦1100nm
を満たすようにすることができる。
【００４７】
前記第１の照射手段には、前記第１の波長の光として、第１の赤外線を前記被写体に照射させ、前記第２の照射手段には、前記第２の波長の光として、前記第１の赤外線よりも長波長である第２の赤外線を前記被写体に照射させるようにすることができる。
【００４８】
前記検出手段には、前記第１の撮像画像の輝度値、及び前記第２の撮像画像の輝度値に基づいて、前記肌領域を検出させるようにすることができる。
【００４９】
前記肌領域検出手段には、前記第１の抽出画像の輝度値、及び前記第２の抽出画像の輝度値に基づいて、前記肌領域を検出させるようにすることができる。
【００５０】
本発明の第１の側面の情報処理方法は、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置の情報処理方法であって、前記情報処理装置は、第１の照射手段と、第２の照射手段と、生成手段と、制御手段と、検出手段とを含み、前記第１の照射手段が、第１の波長の光を前記被写体に照射し、前記第２の照射手段が、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射し、前記生成手段が、前記被写体からの反射光を受光して、前記肌領域の検出に用いる肌検出用領域を生成するために用いる肌検出用のラインを含む複数のラインにより構成される撮像素子を内蔵しており、前記複数のライン毎に、それぞれ異なるタイミングで前記被写体からの反射光を受光して、前記肌検出用領域を少なくとも含む前記撮像画像を生成し、前記制御手段が、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させ、前記検出手段が、前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域を検出するステップを含む情報処理方法である。
【００５１】
本発明の第１の側面のプログラムは、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置であって、第１の波長の光を前記被写体に照射する第１の照射手段と、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、前記被写体からの反射光を受光して、前記肌領域の検出に用いる肌検出用領域を生成するために用いる肌検出用のラインを含む複数のラインにより構成される撮像素子を内蔵し、前記複数のライン毎に、それぞれ異なるタイミングで前記被写体からの反射光を受光して、前記肌検出用領域を少なくとも含む前記撮像画像を生成する生成手段とを備える情報処理装置のコンピュータを、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させる制御手段と、前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域を検出する検出手段として機能させるためのプログラムである。
【００５２】
本発明の第１の側面によれば、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させる。そして、前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域が検出される。
【００５３】
本発明の第２の側面の電子機器は、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出する情報処理装置を内蔵する電子機器であって、前記情報処理装置は、第１の波長の光を前記被写体に照射する第１の照射手段と、前記第１の波長よりも長波長である第２の波長の光を前記被写体に照射する第２の照射手段と、前記被写体からの反射光を受光して、前記肌領域の検出に用いる肌検出用領域を生成するために用いる肌検出用のラインを含む複数のラインにより構成される撮像素子を内蔵し、前記複数のライン毎に、それぞれ異なるタイミングで前記被写体からの反射光を受光して、前記肌検出用領域を少なくとも含む前記撮像画像を生成する生成手段と、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させる制御手段と、前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域を検出する検出手段とを含む電子機器である。
【００５４】
本発明の第２の側面によれば、電子機器に内蔵された情報処理装置において、前記第１の照射手段、前記第２の照射手段、及び前記生成手段を制御して、前記第１の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第１の前記撮像画像を生成させ、前記第２の波長の光を前記被写体に照射させた状態で、前記被写体からの反射光を、前記肌検出用のラインに受光させて、前記肌検出用領域を少なくとも含む第２の前記撮像画像を生成させる。そして、前記第１の撮像画像、及び前記第２の撮像画像に基づいて、前記肌領域が検出される。
【発明の効果】
【００５５】
本発明によれば、ローリングシャッタ型のカメラを採用した場合であっても、カメラの露光時間及び発光装置の照射時間を調整することにより、カメラにより撮像された第１及び第２の撮像画像に基づいて、精度良く肌領域を検出できる。
【図面の簡単な説明】
【００５６】
【図１】従来の肌認識システムの構成例を示すブロック図である。
【図２】複数の水平ラインにより構成される撮像素子の一例を示す図である。
【図３】グローバルシャッタ型のカメラを採用した場合の露光の様子の一例を示している。
【図４】第１の実施の形態である情報処理システムの構成例を示すブロック図である。
【図５】第１の実施の形態において、露光時間及び照射時間の調整方法の一例を示す図である。
【図６】ローリングシャッタ型のカメラを採用した場合、肌領域を精度良く検出できないときの一例を示している。
【図７】人間の肌の分光反射特性を示す図である。
【図８】図４の画像処理装置が行う処理の概要を説明するための図である。
【図９】図４の画像処理装置の構成例を示すブロック図である。
【図１０】図４の情報処理システムが行なう肌検出処理を説明するためのフローチャートである。
【図１１】第２の実施の形態である情報処理システムの構成例を示すブロック図である。
【図１２】図１１のカメラに内蔵される撮像素子の第１の例を示す図である。
【図１３】図１１のカメラに内蔵される撮像素子の第２の例を示す図である。
【図１４】第２の実施の形態において、露光時間及び照射時間の調整方法の一例を示す図である。
【図１５】図１１の画像処理装置の構成例を示すブロック図である。
【図１６】図１１の情報処理システムが行なう肌検出処理を説明するためのフローチャートである。
【図１７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００５７】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．  第１の実施の形態（ローリングシャッタ型のカメラを採用した場合に、カメラが肌検出に用いる領域を含む撮像画像を生成するときの一例）
２．  第２の実施の形態（ローリングシャッタ型のカメラを採用した場合に、カメラが肌検出に用いる領域により構成される肌検出用画像を生成するときの一例）
３．  変形例
【００５８】
＜１．  第１の実施の形態＞
[情報処理システム４１の構成例]
図４は、第１の実施の形態である情報処理システム４１の構成例を示している。
【００５９】
情報処理システム４１は、発光装置６１、カメラ６２、及び画像処理装置６３により構成されている。
【００６０】
発光装置６１は、図１のLED２１a1及びLED２１a2と同様の機能を有するLED６１a1及びLED６１a2、並びに図１のLED２１b1及びLED２１b2と同様の機能を有するLED６１b1及びLED６１b2により構成される。
【００６１】
なお、以下の説明において、LED６１a1及びLED６１a2を区別する必要がない場合、LED６１a1及びLED６１a2を、単にLED６１aという。また、LED６１b1及びLED６１b2を区別する必要がない場合、LED６１b1及びLED６１b2を、単にLED６１bという。ここで、LED６１ａの数量は２個に限定されず、被写体に必要な光が極力むらなく照射されるように適宜決定される。このことは、LED６１bについても同様である。
【００６２】
LED６１aは、波長λ１の光を被写体に照射する。LED６１bは、波長λ１とは異なる波長λ２の光を被写体に照射する。なお、いまの場合、波長λ２は、波長λ１よりも長波長であるものとする。
【００６３】
カメラ６２は、被写体からの反射光を受光する撮像素子を内蔵し、内蔵された撮像素子を構成する複数の水平ライン毎に、異なるタイミングで被写体からの反射光を受光する露光を行うローリングシャッタ型のカメラである。
【００６４】
なお、カメラ６２が内蔵する撮像素子は、図２に示された場合と同様に、複数の水平ライン０乃至１１により構成されているものとして説明するが、水平ラインの本数は、これに限定されない。
【００６５】
さらに、カメラ６２が内蔵する撮像素子を構成する水平ライン０乃至１１は、各水平ライン０乃至１１が互いに平行に配置されていればよく、地面に対して水平に配置されることを意味するものではないことは言うまでもない。
【００６６】
また、カメラ６２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ６２aにより覆われている。
【００６７】
このため、日光、或いは蛍光灯等の不可視光成分を除けば、カメラ６２は、発光装置６１によって被写体に照射される不可視光の反射光のみを受光し、その結果得られる撮像画像を、画像処理装置６３に供給することになる。
【００６８】
カメラ６２は、被写体を撮像し、その結果得られる撮像画像を、画像処理装置６３に供給する。
【００６９】
なお、カメラ６２は、予め決められた撮像タイミングで（後述する図５において時間tの間隔で）順次、被写体の撮像を開始して、その撮像により撮像画像を生成する。
【００７０】
画像処理装置６３は、VD信号、及びHD信号を生成し、生成したVD信号及びHD信号に基づいて、発光装置６１及びカメラ６２を制御する。
【００７１】
すなわち、画像処理装置６３は、カメラ６２の撮像素子を構成する水平ラインにおいて、波長λ１又はλ２のうち、一方の波長の反射光のみが受光されるように、波長λ１又はλ２の光をそれぞれ照射する照射時間TL、及び水平ライン０乃至１１それぞれの露光時間Tsを調整する。
【００７２】
[照射時間TL及び露光時間Tsの調整方法]
次に、図５を参照して、画像処理装置６３が行う、照射時間TL及び露光時間Tsの調整方法について説明する。
【００７３】
図５の左側に示される番号０乃至１１は、それぞれ、ローリングシャッタ型のカメラが内蔵する撮像素子を構成する１２本の水平ライン０乃至１１を表している。
【００７４】
また、図５において、時間t1,t2,t3,t4…はVD信号の立ち上がりエッジが生じる間隔を表しており、t/12はHD信号の立ち上がりエッジが生じる間隔を表している。
【００７５】
さらに、図５の直角三角形（斜線部分で示す）において、横の長さは、ローリングシャッタ型のカメラが内蔵する撮像素子を構成する水平ラインにおいて、露光が行われる露光時間Tsを表しており、縦の長さ（高さ）はチャージ電荷量を表している。
【００７６】
第１の実施の形態では、ローリングシャッタ型のカメラを用いた場合、カメラ６２の撮像素子を構成する水平ラインにおいて、波長λ１又はλ２のうち、一方の波長の反射光のみが受光されるように、一方の波長の光を照射する照射時間TL及び露光時間Tsを調整する。
【００７７】
すなわち、例えば、図５に示されるように、複数の水平ライン０乃至１１のうち、水平ライン６乃至１１に、一方の波長の反射光が、肌検出に最低限必要な露光時間（Ts×x/100）以上で受光されるように、照射時間TL及び露光時間Tsを調整する。
【００７８】
なお、肌検出が行なえるようにするために、最低限、被写体からの波長λ１の反射光を、第１の受光時間以上で受光し、被写体からの波長λ２の反射光を、第２の受光時間以上で受光しなければならない場合に、第１の受光時間と第２の受光時間とが異なるときには、第１又は第２の受光時間のうち、時間の長い方の受光時間が、上述の露光時間（Ts×x/100）とされる。
【００７９】
ここで、xは０から１００までの値であり、LED６１a及びLED６１bの照射光量や、カメラ６２の受光感度特性等に応じて変化する。
【００８０】
いま、肌検出に最低限必要な露光時間（Ts×x/100）がTsである（x=100である）場合、照射時間TL及び露光時間Tsは、次式（１）を満たすものに調整される。
TL ≧ (6-1)×t/12 + Ts×100/100      ・・・（１）
【００８１】
式（１）を整理すると、次式（２）が得られる。
TL ≧ 5t/12 + Ts                     ・・・（２）
【００８２】
そして、式（２）を満たす照射時間TL及び露光時間Tsの組合せ（TL,Ts）として、例えば（TL,Ts）＝（2t/3,t/4）を採用することができる。
【００８３】
なお、一方の波長の反射光を、肌検出に最低限必要な露光時間（Ts×x/100）以上で受光する水平ライン６乃至１１の総数６をLとし、複数の水平ライン０乃至１１の総数１２をnとすると、式（１）は、次式（３）に一般化することができる。
TL ≧ (L-1)×t/n + Ts×x/100        ・・・（３）
【００８４】
すなわち、変数L,n,xは、カメラ６２の性能や、情報処理システム４１を製造する企業等により予め決定される。そして、決定されたL,n,xを代入して得られる式（３）に基づいて、（TL,Ts）が決定される。
【００８５】
第１の実施の形態では、L=6,n=12,x=100であって、（TL,Ts）＝（2t/3,t/4）が採用されていることとして、以下、説明を行う。
【００８６】
画像処理装置６３は、LED６１aを制御して、時間t2における照射時間TLで、波長λ１の光を被写体に照射させる。
【００８７】
そして、画像処理装置６３は、カメラ６２を制御して、カメラ６２が内蔵する撮像素子を構成する複数の水平ライン０乃至１１のうち、水平ライン６乃至１１に、波長λ１の光を被写体に照射した場合の反射光を、肌検出に最低限必要な露光時間Tsで受光させる。これにより、カメラ６２は、第１の撮像画像を生成し、画像処理装置６３に供給する。
【００８８】
また、画像処理装置６３は、LED６１bを制御して、時間t3における照射時間TLで、波長λ２の光を被写体に照射させる。
【００８９】
そして、画像処理装置６３は、カメラ６２を制御して、カメラ６２が内蔵する撮像素子を構成する複数の水平ライン０乃至１１のうち、水平ライン６乃至１１に、波長λ２の光を被写体に照射した場合の反射光を、肌検出に最低限必要な露光時間Tsで受光させる。これにより、カメラ６２は、第２の撮像画像を生成し、画像処理装置６３に供給する。
【００９０】
なお、第１の実施の形態における第１及び第２の撮像画像は、図１乃至図３を参照して説明した第１及び第２の撮像画像とは異なるものである。
【００９１】
画像処理装置６３は、カメラ６２から供給される第１の撮像画像を構成する全領域（水平ライン０乃至１１から得られる領域）のうち、波長λ１の反射光を受光した水平ライン６乃至１１から得られる領域を、第１の抽出画像として抽出する。
【００９２】
また、画像処理装置６３は、カメラ６２から供給される第２の撮像画像を構成する全領域（水平ライン０乃至１１から得られる領域）のうち、波長λ２の反射光を受光した水平ライン６乃至１１から得られる領域を、第２の抽出画像として抽出する。
【００９３】
そして、画像処理装置６３は、抽出した第１及び第２の抽出画像に基づいて、第１又は第２の抽出画像上の肌領域を検出する。なお、画像処理装置６３による肌領域の検出は、図７乃至図９を参照して後述する。
【００９４】
このように、情報処理システム４１において、カメラ６２として、ローリングシャッタ型のカメラを採用した場合、画像処理装置６３は、従来の肌認識システム１の画像処理装置２３とは異なり、上述した調整方法で照射時間TL及び露光時間Tsを調整する。
【００９５】
また、画像処理装置６３は、カメラ６２から供給された第１の撮像画像から第１の抽出画像を抽出するとともに、カメラ６２から供給された第２の撮像画像から第２の抽出画像を抽出する。
【００９６】
そして、画像処理装置６３は、抽出した第１及び第２の撮像画像に基づいて、肌領域を検出するようにしている。
【００９７】
これは、情報処理システム４１において、カメラ６２として、ローリングシャッタ型のカメラを採用した場合においても、肌領域を精度良く検出できるようにするためである。
【００９８】
次に、図６は、カメラ６２として、ローリングシャッタ型のカメラを採用した情報処理システム４１が、従来の肌認識システム１と同様の処理により肌領域を検出する場合に、肌領域を精度良く検出できないことの一例を示している。
【００９９】
なお、図６は、図３と同様に構成されているため、その説明を省略している。
【０１００】
例えば、LED６１aは、波長λ１の光を、被写体に対して照射時間t1だけ照射する。また、LED６１bは、波長λ２の光を、被写体に対して照射時間t2だけ照射する。
【０１０１】
さらに、カメラ６２は、内蔵する撮像素子を構成する水平ライン０乃至１１それぞれの露光を異なるタイミングで行う。すなわち、例えば、カメラ６２は、画像処理装置６３により生成されるHD信号に立ち上がりエッジが生じる毎に、番号が小さい水平ライン０乃至１１から順に露光を開始する。
【０１０２】
この場合、図６に示されるように、撮像素子を構成する水平ライン０乃至１１のうち、水平ライン０乃至１０それぞれの露光は、波長λ１の光が照射される照射時間（例えば、照射時間t1）から、波長λ２の光が照射される照射時間（例えば、照射時間t2）に亘って行われることとなる。
【０１０３】
したがって、撮像素子を構成する水平ライン０乃至１１のうち、水平ライン０乃至１０それぞれの露光により得られるチャージ電荷量は、いずれも、波長λ１の光を被写体に照射した場合の反射光、及び波長λ２の光を被写体に照射した場合の反射光を受光して得られたものとなる。
【０１０４】
このため、ローリングシャッタ型のカメラを採用した場合、カメラ６２は、波長λ１の光を被写体に照射したときの反射光、及び波長λ２の光を被写体に照射したときの反射光を受光して得られたチャージ電荷量に基づいて、肌領域の検出に用いる第１及び第２の撮像画像を生成し、画像処理装置６３に供給する。
【０１０５】
この場合、画像処理装置６３は、波長λ１と波長λ２の反射光を受光して得られた第１の撮像画像、及び波長λ１と波長λ２の反射光を受光して得られた第２の撮像画像に基づいて、肌領域を検出することとなる。
【０１０６】
したがって、画像処理装置６３は、波長λ１と波長λ２の反射比率の差を利用して肌領域を検出することが困難となり、肌領域を検出する精度が大幅に低下してしまう。
【０１０７】
そこで、画像処理装置６３は、上述したように、照射時間TL及び露光時間Tsを調整するとともに、抽出した第１及び第２の抽出画像に基づいて、肌領域を検出するようにしている。これにより、情報処理システム４１において、カメラ６２として、ローリングシャッタ型のカメラを採用した場合においても、肌領域を精度良く検出できる。
【０１０８】
[画像処理装置６３が行う処理]
次に、図７乃至図９を参照して、画像処理装置６３が行う処理について説明する。
【０１０９】
[肌に対する分光反射特性]
図７は、人間の肌に対する分光反射特性を示している。
【０１１０】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【０１１１】
図７において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【０１１２】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【０１１３】
具体的には、例えば、図７に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。
【０１１４】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【０１１５】
第１の実施の形態では、上述した分光反射特性において、波長λ１及びλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【０１１６】
また、第１の抽出画像は、波長λ１の光を被写体に照射した場合の反射光のみを受光して得られた領域により構成されている。さらに、第２の抽出画像は、波長λ２の光を被写体に照射した場合の反射光のみを受光して得られた領域により構成されている。
【０１１７】
したがって、第１の抽出画像上の肌領域を構成する画素の輝度値と、対応する第２の抽出画像上の肌領域を構成する輝度値との差分絶対値は、人間の肌に対する反射率の差に対応して、比較的大きな値となる。
【０１１８】
また、第１の抽出画像上の非肌領域（肌領域以外の領域）を構成する画素の輝度値と、対応する第２の抽出画像上の非肌領域を構成する輝度値との差分絶対値は、人間の肌以外の部分に対する反射率の差に対応して、比較的小さな値となる。
【０１１９】
[画像処理装置６３が行う処理の概要]
図８は、画像処理装置６３が行う処理の概要を示している。
【０１２０】
画像処理装置６３には、カメラ６２から第１及び第２の撮像画像が供給される。画像処理装置６３は、カメラ６２から供給される第１の撮像画像から、肌領域８１a及び非肌領域８１b(肌領域８１a以外の領域)により構成される第１の抽出画像８１を抽出する。
【０１２１】
また、画像処理装置６３は、カメラ６２から供給される第１の撮像画像から、肌領域８２a及び非肌領域８２b(肌領域８２a以外の領域)により構成される第２の抽出画像８２を抽出する。
【０１２２】
画像処理装置６３は、抽出した第１の抽出画像８１、及び第２の抽出画像８２に対して、LPF(low pass fileter)を用いた平滑化を行う。そして、画像処理装置６３は、平滑化後の第１の抽出画像８１、平滑化後の第２の抽出画像８２の対応する画素の輝度値どうしの差分絶対値を算出し、その差分絶対値を画素値とする差分画像８３を生成する。
【０１２３】
なお、画像処理装置６３は、第１の抽出画像８１及び第２の抽出画像８２に対して、LPFを用いた平滑化を行なうようにしたが、平滑化を行なうタイミングはこれに限定されない。すなわち、例えば、画像処理装置６３は、カメラ６２から供給された第１及び第２の撮像画像に対して、LPFを用いた平滑化を行なうようにしてもよい。
【０１２４】
画像処理装置６３は、生成した差分画像８３に対して、差分画像８３を構成する画素値のうち、所定の閾値以上の画素値を１とし、所定の閾値未満の画素値を０とする２値化を行う。
【０１２５】
いまの場合、差分画像８３における肌領域８３aは、肌領域８１aと肌領域８２aとの差分絶対値を画素値とする画素により構成されているため、肌領域８３aを構成する画素の画素値は比較的大きな値となっている。
【０１２６】
また、差分画像８３における非肌領域８３bは、非肌領域８１bと非肌領域８２bとの差分絶対値を画素値とする画素により構成されているため、非肌領域８３bを構成する画素の画素値は比較的小さな値となっている。
【０１２７】
したがって、差分画像８３は、画像処理装置６３により行われる２値化により、肌領域８３aを構成する画素の画素値が１とされた肌領域８４a、及び非肌領域８３bを構成する画素の画素値が０とされた非肌領域８４ｂにより構成される２値化画像８４に変換される。
【０１２８】
そして、画像処理装置６３は、その２値化により得られる２値化画像８４を構成する画素のうち、画素値が１となる画素により構成される肌領域８４aを、肌領域として検出する。
【０１２９】
このように、画像処理装置６３は、平滑化後の第１の抽出画像８１の輝度値Ｙ１と、平滑化後の第２の抽出画像８２の輝度値Ｙ２との差分絶対値|Ｙ１−Ｙ２|（差分画像８３の画素値に相当）が、所定の閾値以上であるか否かに応じて、肌領域を検出するようにしている。しかしながら、肌領域の検出方法は、これに限定されない。
【０１３０】
ここで、例えば、人間の髪の毛では、波長λ１及びλ２における反射率の差分絶対値は比較的大きくなることが知られており、差分絶対値|Ｙ１−Ｙ２|に基づいて肌領域を検出する場合には、髪の毛を、肌として誤検出してしまうことが生じ得る。
【０１３１】
髪の毛を区別して肌をより正確に検出するためには、輝度値Ｙ１から輝度値Ｙ２を差し引いて得られる差分（Ｙ１−Ｙ２）を画素値とする差分画像８３を生成し、差分画像８３の画素値（Ｙ１−Ｙ２）が所定の閾値以上であるか否かに応じて、肌領域を検出することが望ましい。
【０１３２】
また、被写体に対する、波長λ１及びλ２の光の照射に、照射むらがない場合には、肌領域の検出に用いる閾値として、固定の閾値を用いることができる。しかしながら、波長λ１及びλ２の光の照射に照射むらがある場合、その照射むらの状態に応じて、差分絶対値|Ｙ１−Ｙ２|や差分（Ｙ１−Ｙ２）と比較される閾値を動的に変更しなければならない。
【０１３３】
この場合、画像処理装置６３は、照射むらが生じているか等を判断するとともに、照射むらの状態に応じて、動的に閾値を変更するという煩雑な処理を行なわなければならない。このため、肌領域の検出に用いる閾値は、照射むらに拘らず、常に固定の閾値であることが望ましい。
【０１３４】
そこで、例えば、差分絶対値|Ｙ１−Ｙ２|や差分（Ｙ１−Ｙ２）を、後述する除算値で正規化（除算）した上で所定の閾値と比較して、肌領域を検出するようにしてもよい。この場合、所定の閾値は、照射むらに拘らず、固定の閾値とすることが可能となる。
【０１３５】
ここで、除算値とは、輝度値Ｙ１又はＹ２の少なくとも一方に基づく値を表し、例えば、輝度値Ｙ１、輝度値Ｙ２、輝度値Ｙ１及びＹ２の平均値｛（Ｙ１＋Ｙ２）/２｝等を採用することができる。
【０１３６】
また、例えば、輝度値Ｙ１と輝度値Ｙ２との比として、例えば比Ｙ２/Ｙ１が所定の閾値以上であるか否かに基づいて、肌領域を検出するようにすることもできる。この場合も同様にして、照射むらに拘らず、固定の閾値を用いることが可能となる。また、比Ｙ２/Ｙ１を算出するだけなので、差分絶対値|Ｙ１−Ｙ２|や差分（Ｙ１−Ｙ２）を算出して正規化する場合と比較して、より迅速に、所定の閾値と比較される値を算出することが可能となる。よって、より迅速に肌領域を検出する処理を行なうことが可能となる。
【０１３７】
なお、第１の実施の形態では、画像処理装置６３は、差分絶対値|Ｙ１−Ｙ２|が所定の閾値以上であるか否かに応じて、肌領域を検出するものとして説明する。このことは、後述する第２の実施の形態についても同様である。第２の実施の形態は、図１１乃至図１６を参照して説明する。
【０１３８】
[画像処理装置６３の構成例]
図９は、画像処理装置６３の構成例を示している。
【０１３９】
この画像処理装置６３は、制御部１０１、抽出部１０２、算出部１０３、及び２値化部１０４により構成される。
【０１４０】
制御部１０１は、発光装置６１を制御し、発光装置６１のLED６１a及びLED６１bを交互に発光（照射）させる。すなわち、例えば、制御部１０１は、時間t2,t4,…における照射時間TL（水平ライン６における露光の開始から水平ライン11における露光の終了までの時間）で、LED６１aから波長λ１の光を被写体に照射させる。
【０１４１】
また、例えば、制御部１０１は、時間t3,t5,…における照射時間TLで、LED６１bから波長λ２の光を被写体に照射させる。
【０１４２】
制御部１０１は、カメラ６２を制御し、カメラ６２が内蔵する撮像素子を構成する水平ライン0乃至11を、番号の小さい順に、HD信号の立ち上がりエッジが検出されるタイミングから露光時間Tsだけ露光を行わせることにより、被写体の撮像を行わせる。
【０１４３】
抽出部１０２には、カメラ６２から、第１及び第２の撮像画像が供給される。抽出部１０２は、カメラ６２からの第１の撮像画像を構成する全領域のうち、肌検出に用いる領域を生成するための水平ライン６乃至１１から得られた領域を、第１の抽出画像として抽出し、算出部１０３に供給する。
【０１４４】
また、抽出部１０２は、カメラ６２からの第２の撮像画像を構成する全領域のうち、肌検出に用いる領域を生成するための水平ライン６乃至１１から得られた領域を、第２の抽出画像として抽出し、算出部１０３に供給する。
【０１４５】
算出部１０３は、抽出部１０２からの第１及び第２の抽出画像に対して、LPFを用いた平滑化を行う。
【０１４６】
そして、算出部１０３は、平滑化後の第１及び第２の抽出画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部１０４に供給する。
【０１４７】
２値化部１０４は、算出部１０３からの差分画像を２値化し、その結果得られる２値化画像に基づいて、第１の抽出画像（又は第２の抽出画像）上の肌領域を検出し、その検出結果を出力する。
【０１４８】
[情報処理システム４１の動作説明]
次に、図１０のフローチャートを参照して、情報処理システム４１が行う肌検出処理について説明する。
【０１４９】
この肌検出処理は、例えば、情報処理システム４１の電源がオンされたときから繰り返し実行される。
【０１５０】
ステップＳ１において、制御部１０１は、発光装置６１のLED６１aを制御し、時間t2,t4,…における照射時間TLで、LED６１aから波長λ１の光を被写体に照射させる。
【０１５１】
ステップＳ２において、カメラ６２は、内蔵する撮像素子を構成する水平ライン０乃至１１毎に、HD信号の立ち上がりエッジが検出されるタイミングから露光時間Tsだけ露光を行い、その結果得られる第１の撮像画像を、画像処理装置６３の抽出部１０２に供給する。
【０１５２】
ステップＳ３において、制御部１０１は、発光装置６１のLED６１bを制御し、時間t3,t5,…における照射時間TLで、LED６１bから波長λ２の光を被写体に照射させる。
【０１５３】
ステップＳ４において、カメラ６２は、内蔵する撮像素子を構成する水平ライン０乃至１１毎に、HD信号の立ち上がりエッジが検出されるタイミングから露光時間Tsだけ露光を行い、その結果得られる第２の撮像画像を、抽出部１０２に供給する。
【０１５４】
ステップＳ５において、抽出部１０２は、カメラ６２からの第１の撮像画像を構成する全領域のうち、肌検出に用いる領域を生成するための水平ライン６乃至１１から得られた領域を、第１の抽出画像として抽出し、算出部１０３に供給する。
【０１５５】
また、抽出部１０２は、カメラ６２からの第２の撮像画像を構成する全領域のうち、肌検出に用いる領域を生成するための水平ライン６乃至１１から得られた領域を、第２の抽出画像として抽出し、算出部１０３に供給する。
【０１５６】
ステップＳ６において、算出部１０３は、抽出部１０２から供給される第１及び第２の抽出画像に対して、LPFを用いた平滑化を行う。そして、算出部１０３は、平滑化後の第１及び第２の抽出画像の対応する画素の輝度値どうしの差分絶対値に基づいて、差分画像を生成し、２値化部１０４に供給する。
【０１５７】
ステップＳ７において、２値化部１０４は、算出部１０３から供給される差分画像を２値化する。そして、ステップＳ８において、２値化部１０４は、２値化により得られる２値化画像から、肌領域を検出する。以上で図１０の肌検出処理は終了される。
【０１５８】
以上説明したように、図１０の肌検出処理によれば、式（２）（又は式（３））を満たす照射時間TL及び露光時間Tsで、第１及び第２の撮像画像を撮像するようにした。
【０１５９】
また、図１０の肌検出処理では、第１の撮像画像を構成する全領域のうち、波長λ１の光を被写体に照射した場合の反射光のみを受光して得られた領域を第１の抽出画像として抽出するようにした。さらに、図１０の肌検出処理では、第２の撮像画像を構成する全領域のうち、波長λ２の光を被写体に照射した場合の反射光のみを受光して得られた領域を第２の抽出画像として抽出するようにした。
【０１６０】
そして、図１０の肌検出処理において、抽出した第１及び第２の抽出画像に基づいて、波長λ１と波長λ２の反射比率の差を利用して肌領域を検出するようにした。したがって、カメラ６２として、ローリングシャッタ型のカメラを採用した場合でも、精度良く肌領域を検出することが可能となる。
【０１６１】
また、図１０の肌検出処理では、カメラ６２として、グローバルシャッタ型のカメラと比較して、多くの種類が流通しており、約1/10程度の低価格で調達することが可能なローリングシャッタ型のカメラを採用している情報処理システム４１を用いて、肌領域を検出するようにしている。
【０１６２】
したがって、例えば、カメラ６２としてグローバルシャッタ型のカメラを採用する場合と比較して、多くの種類の中から、使用するカメラを選定することが可能となるとともに、情報処理システム４１の製造コストも低く抑えることが可能となる。
【０１６３】
第１の実施の形態では、第１又は第２の抽出画像として、水平ライン６乃至１１により得られた領域を抽出するようにしたが、第１又は第２の抽出画像として抽出される領域は、これに限定されず、その他、例えば、水平ライン３乃至８により得られた領域を抽出することが可能である。
【０１６４】
この場合、LED６１aは、カメラ６２が内蔵する撮像素子を構成する水平ライン０乃至１１のうち、水平ライン３における露光が開始されるタイミングから、水平ライン８における露光が終了されるタイミングまでの照射時間TLで発光する。このことは、LED６１bについても同様である。
【０１６５】
したがって、第１及び第２の撮像画像において、統計的に、肌領域が検出される確率が高い領域を含むように、抽出される領域に対応する水平ラインを決定するようにすれば、第１及び第２の抽出画像において、肌領域が含まれる確率が高くなるため、より精度良く肌領域を検出することが可能となる。
【０１６６】
その他、例えば、第１の実施の形態では、第１又は第２の抽出画像として、水平ライン０乃至１１のうち、水平ライン６乃至１１により得られた領域を抽出する代わりに、水平ライン６，８，１０により得られた領域を抽出するようにしてもよい。
【０１６７】
このように、第１の実施の形態では、画像処理装置６３は、第１及び第２の撮像画像において、どのような領域を、肌領域の検出に用いる第１及び第２の抽出画像として抽出するようにしてもよい。
【０１６８】
＜２．第２の実施の形態＞
ところで、第１の実施の形態において、画像処理装置６３が、第１及び第２の撮像画像のそれぞれから抽出した第１及び第２の抽出画像（水平ライン０乃至１１のうち、水平ライン６乃至１１により得られる）に基づいて、肌領域を検出するようにした。この例では水平ライン０乃至１１のうち、水平ライン０乃至５の領域は肌領域の検出に用いることができない。これは撮像画像のおよそ上半分は肌領域の検出に用いることができず、撮像素子の画角が半分になっていることと等価である。第２の実施の形態では撮像素子の元の画角を維持したまま、肌領域の検出を行なう例を示す。
【０１６９】
すなわち、例えば、カメラ１４１（図１１）の撮像素子を構成する水平ラインの本数１２本（水平ライン０乃至１１）のうち、１本おきに選択した６本だけを撮像に用いるように変更する。そして、カメラ１４１において、直接に、肌領域の検出に用いる第１及び第２の肌検出用画像（第１及び第２の抽出画像に対応）を生成し、生成した第１及び第２の肌検出用画像に基づいて、肌領域を検出するようにしてもよい。
【０１７０】
次に、図１１は、被写体の撮像により得られた第１及び第２の肌検出用画像から、直接に、肌領域を検出する情報処理システム１２１の一例を示している。
【０１７１】
この情報処理システム１２１は、第１の実施の形態である情報処理システム４１と同様に構成されている部分については同一の符号を付しているので、それらの説明は適宜省略する。
【０１７２】
すなわち、この情報処理システム１２１は、情報処理システム４１のカメラ６２及び画像処理装置６３に代えて、カメラ１４１及び画像処理装置１４２が設けられている他は、第１の実施の形態である情報処理システム４１と同様に構成される。
【０１７３】
カメラ１４１は、被写体からの反射光を受光する撮像素子を内蔵し、内蔵された撮像素子を構成する複数の水平ライン毎に、異なるタイミングで被写体からの反射光を受光する露光を行うローリングシャッタ型のカメラである。
【０１７４】
なお、カメラ１４１は、被写体からの反射光を受光して露光を行なう際に、水平ライン１２本のうち、肌領域の検出に用いる水平ライン６本のみにより得られる領域からなる画像を生成するモードで駆動される。そして、カメラ１４１は、肌領域の検出に用いる水平ライン６本のそれぞれにより得られる水平画像６枚により構成される第１及び第２の肌検出用画像を生成する。
【０１７５】
図１２は第２の実施の形態において、被写体からの反射光を受光した水平ライン６乃至１１により得られた領域を、第１及び第２の肌検出用画像（第１及び第２の抽出画像に相当）として用いる場合に、カメラ１４１が内蔵している撮像素子１４１aを示している。この場合は、図１２に斜線部で示されるように、水平ライン０乃至１１のうち、水平ライン６乃至１１のみが肌検出に利用される。
【０１７６】
次に、図１３は第２の実施の形態において、被写体からの反射光を受光した水平ライン０，２，４，６，８，１０により得られた領域を、第１及び第２の肌検出用画像として用いる場合に、カメラ１４１が内蔵している撮像素子１４１bを示している。この場合は、図１３に示されるように、水平ライン０乃至１１のうち、水平ライン０，２，４，６，８，１０が肌検出に利用される。
図１２と比較すると肌検出に利用される水平ライン数は等しいが、図１３では肌検出時に撮像素子の画角が小さくならないという利点がある。その分、撮像画像の解像度は落ちるが、肌検出では肌領域の形状や動きがそこそこの精度で得られることが重要であり、肌を検出できる画角を広げる方が画質よりも優先される場合が多い。
【０１７７】
以下では、カメラ１４１は、図１３に示されるように撮像素子１４１bが駆動されるものとして説明する。なお、撮像素子１４１bによる撮像画像は、例えば、１本の水平ラインだけ異なる水平ライン０，２，４，６，８，１０（又は１,３,５,７,９,１１）の他、ｎ（ｎは２以上の自然数）本の水平ラインだけ異なる水平ラインにより構成されているようにしてもよい。
【０１７８】
カメラ１４１は、予め決められた撮像タイミングで（後述する図１４において時間tの間隔で）順次、被写体の撮像を開始し、その結果得られる第１又は第２の肌検出用画像を、画像処理装置１４２に供給する。
【０１７９】
すなわち、例えば、カメラ１４１は、波長λ１の光が被写体に照射されている場合に得られる第１の肌検出用画像、及び波長λ２の光が被写体に照射されている場合に得られる第２の肌検出用画像を、それぞれ、画像処理装置１４２に供給する。
【０１８０】
画像処理装置１４２はカメラ１４１を制御するとともに、カメラ１４１からVD信号、及びHD信号を受信し、受信したVD信号及びHD信号に基づいて、発光装置６１を制御する。
【０１８１】
すなわち、画像処理装置１４２は、カメラ１４１の撮像素子を構成する複数の水平ラインのうち、肌検出に用いる水平ラインにおいて、波長λ１又はλ２のうち、一方の波長の反射光のみが受光されるように、波長λ１又はλ２の光を照射する照射時間TL、及び水平ライン０，２，４，６，８，１０それぞれの露光時間Tsを調整する。
【０１８２】
[照射時間TL及び露光時間Tsの調整方法]
次に、図１４を参照して、画像処理装置１４２が行う、照射時間TL及び露光時間Tsの調整方法について説明する。
【０１８３】
図１４の左側に示される番号０，２，４，６，８，１０は、それぞれ、ローリングシャッタ型のカメラ１４１が内蔵する撮像素子１４１bを構成する１２本の水平ラインのうち肌検出に用いられる６本の水平ライン０，２，４，６，８，１０を表している。それ以外については、図５の場合と同様に構成されているため、説明は省略する。
【０１８４】
ここで、一方の波長の反射光を、肌検出に最低限必要な露光時間（Ts×x/100）以上で受光する水平ライン０，２，４，６，８，１０の総数Lは６であり、ｘ=100であり、n=１２であるとした場合、式（３）は、次式（１'）により表される。
TL ≧ (6-1)×t/12 + Ts×100/100      ・・・（１'）
【０１８５】
式（１'）を整理すると、次式（２'）が得られる。
TL ≧ 5t/12 + Ts                     ・・・（２'）
【０１８６】
そして、式（２'）を満たす照射時間TL及び露光時間Tsの組合せ（TL,Ts）として、例えば、図１４に示されるように、（TL,Ts）＝（3t/4,t/3）を採用することができる。
【０１８７】
なお、図１４では、露光時間Tsはt/3であり、照射時間TLは3t/4に設定されているものとして説明するが、露光時間Ts及び照射時間TLは、これに限定されず、式（２'）（又は式（３））を満たすものであればよい。
【０１８８】
第２の実施の形態では、ローリングシャッタ型のカメラ１４１を用いた場合、カメラ１４１の撮像素子１４１bを構成する水平ラインのうち、肌検出動作時に実際に撮像に用いられる水平ラインにおいて、波長λ１又はλ２のうち、一方の波長の反射光のみが受光されるように、一方の波長の光を照射する照射時間TL及び露光時間Tsを調整する。
【０１８９】
すなわち、例えば、図１４に示されるように、複数の水平ライン０，２，４，６，８，１０に、一方の波長の反射光が、肌検出に最低限必要な露光時間（Ts×100/100）以上（今回の例ではx=100であるがこれに限定されない）で受光されるように、照射時間TL及び露光時間Tsを調整する。
【０１９０】
画像処理装置１４２は、LED６１aを制御して、時間t1における照射時間TLで、波長λ１の光を被写体に照射させる。
【０１９１】
そして、画像処理装置１４２は、カメラ１４１を制御して、撮像素子１４１bの水平ライン０，２，４，６，８，１０に、波長λ１の光を被写体に照射した場合の反射光を露光時間Tsで受光させる。これにより、カメラ１４１は、第１の肌検出用画像を生成し、画像処理装置１４２に供給する。
【０１９２】
また、画像処理装置１４２は、LED６１bを制御して、時間t2における照射時間TLで、波長λ２の光を被写体に照射させる。
【０１９３】
そして、画像処理装置１４２は、カメラ１４１を制御して、撮像素子１４１bの複数の水平ライン０，２，４，６，８，１０に、波長λ２の光を被写体に照射した場合の反射光を露光時間Tsで受光させる。これにより、カメラ１４２は、第２の肌検出用画像を生成し、画像処理装置１４２に供給する。
【０１９４】
画像処理装置１４２は、カメラ１４２からの第１及び第２の肌検出用画像に基づいて、第１又は第２の肌検出用画像上の肌領域を検出する。
【０１９５】
なお、カメラ１４１の撮像素子１４１bにおいて、肌検出に用いる水平ラインの本数は、６本に限定されない。すなわち、例えば、肌検出に用いる水平ラインすべてが、時間t1,t3,…において被写体からの波長λ１の反射光を、時間t2,t4,…において被写体からの波長λ２の反射光を、それぞれ、肌検出に最低限必要な露光時間（Ts×x/100）以上で受光できる範囲内で、本数を決定することも条件次第では可能である。また、肌検出に用いる水平ラインの配置は、図１２や図１３に示されたような配置に限定されず、どのように配置するようにしてもよい。
【０１９６】
[画像処理装置１４２が行う処理]
次に、図１５は、画像処理装置１４２の構成例を示している。
【０１９７】
なお、この画像処理装置１４２は、図９の画像処理装置６３と同様に構成されている部分については同一の符号を付しているので、それらの説明は適宜省略する。
【０１９８】
すなわち、この画像処理装置１４２は、図９の制御部１０１に代えて制御部１６１が設けられているとともに、図９の抽出部１０２及び算出部１０３に代えて算出部１６２が設けられている他は、図９の画像処理装置６３と同様に構成される。
【０１９９】
制御部１６１は、発光装置６１を制御し、発光装置６１のLED６１a及びLED６１bを交互に発光（照射）させる。すなわち、例えば、制御部１６１は、時間t1,t3,…における照射時間TL（水平ライン０における露光の開始から水平ライン１０における露光の終了までの時間）で、LED６１aから波長λ１の光を被写体に照射させる。
【０２００】
また、例えば、制御部１６１は、時間t2,t4,…における照射時間TLで、LED６１bから波長λ２の光を被写体に照射させる。
【０２０１】
制御部１６１は、カメラ１４１を制御し、カメラ１４１が内蔵する撮像素子１４１bを構成する水平ライン０，２，４，６，８，１０を、番号の小さい順に、HD信号の立ち上がりエッジが検出されるタイミングから露光時間Tsだけ露光を行わせることにより、被写体の撮像を行わせる。
【０２０２】
算出部１６２には、カメラ１４１から、第１及び第２の肌検出用画像が供給される。算出部１６２は、カメラ１４１からの第１及び第２の肌検出用画像に対して、LPFを用いた平滑化を行う。
【０２０３】
そして、算出部１６２は、平滑化後の第１及び第２の肌検出用画像の輝度値どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部１０４に供給する。２値化部１０４では、第１の実施の形態の場合と同様にして、算出部１６２からの差分画像を２値化し、その結果得られる２値化画像に基づいて、肌領域を検出し、その検出結果を出力する。
【０２０４】
[情報処理システム１２１の動作説明]
次に、図１６のフローチャートを参照して、情報処理システム１２１が行う肌検出処理について説明する。
【０２０５】
この肌検出処理は、例えば、情報処理システム１２１の電源がオンされたときから繰り返し実行される。
【０２０６】
ステップＳ２１において、制御部１６１は、発光装置６１のLED６１aを制御し、時間t1,t3,…における照射時間TLで、LED６１aから波長λ１の光を被写体に照射させる。
【０２０７】
ステップＳ２２において、カメラ１４１は、内蔵する撮像素子１４１bの水平ライン０，２，４，６，８，１０毎に、HD信号の立ち上がりエッジが検出されるタイミングから露光時間Tsだけ露光を行い、その結果得られる第１の肌検出用画像を、画像処理装置１４２の算出部１６２に供給する。
【０２０８】
ステップＳ２３において、制御部１６１は、発光装置６１のLED６１bを制御し、時間t2,t4,…における照射時間TLで、LED６１bから波長λ２の光を被写体に照射させる。なお、この場合、LED６１aは消灯しているものとする。
【０２０９】
ステップＳ２４において、カメラ１４１は、内蔵する撮像素子１４１bの水平ライン０，２，４，６，８，１０毎に、HD信号の立ち上がりエッジが検出されるタイミングから露光時間Tsだけ露光を行い、その結果得られる第２の肌検出用画像を、算出部１６２に供給する。
【０２１０】
ステップＳ２５において、算出部１６２は、カメラ１４１から供給される第１及び第２の肌検出用画像に対して、LPFを用いた平滑化を行う。そして、算出部１６２は、平滑化後の第１及び第２の肌検出用画像の対応する画素の輝度値どうしの差分絶対値に基づいて、差分画像を生成し、２値化部１０４に供給する。
【０２１１】
ステップＳ２６において、２値化部１０４は、算出部１６２から供給される差分画像を２値化する。そして、ステップＳ２７において、２値化部１０４は、２値化により得られる２値化画像から、肌領域を検出する。以上で、図１６の肌検出処理は終了される。
【０２１２】
以上説明したように、図１６の肌検出処理によれば、カメラ１４１の撮像素子を構成する１２本の水平ラインのうち、１本おきに選択した６本だけを撮像に用いるようにしたが、１本おきに限らず２本おきでも３本おきでもよい。また最近はカメラの種類によっては撮像時の画質モードを選択できるものがある。例えばＶＧＡとＱＶＧＡを選択できる場合、撮像時に用いられる撮像素子の水平ライン数は、ＶＧＡに対しＱＶＧＡでは半分となる。
【０２１３】
したがって、第２の実施の形態において、このようなカメラの画質モード選択の仕様が条件に合致して画像処理装置１４２に用いることができた場合、第１の実施の形態のように、第１及び第２の撮像画像から、第１及び第２の抽出画像を抽出するような処理を行なう事なく、カメラ１４１からの第１及び第２の肌検出用画像に基づいて、直接に、肌領域を検出することができる。
【０２１４】
このような場合には、画像処理装置１４２として動作するDSP(Digital Signal Processor)を、第１の実施の形態における画像処理装置６３として動作するDSPと比較して、より安価なものとすることが可能となる。これにより、例えば、情報処理システム４１よりも製造コストの低い情報処理システム１２１を製造することが可能となる。
【０２１５】
また、図１６の肌検出処理によれば、水平ライン０乃至１１のうち、水平ライン０，２，４，６，８，１０により生成された領域を、第１及び第２の肌検出用画像としたので、ほぼ、水平ライン０乃至１１により生成される領域を、第１及び第２の肌検出用画像とした場合と同様に、広い画角で、肌領域の検出を行なうことが可能となる。このため、ユーザによるジェスチャ操作をより広範囲に把握することが可能となる。
【０２１６】
＜３．変形例＞
第１の実施の形態では、例えば、時間t2における照射時間TLで、LED６１aから波長λ１の光を照射させて第１の撮像画像を得るとともに、時間t3における照射時間TLで、LED６１bから波長λ２の光を照射させて、第１の撮像画像と１フレーム分だけ異なる第２の撮像画像を得るようにしているが、これに限定されない。
【０２１７】
すなわち、例えば、L=12,n=12,x=100とした場合、式（３）より、TL ≧ 11t/12 + Tsとなり、例えば（TL,Ts）＝（7t/6,t/4）が採用されることとなるが、この場合、照射時間TLは、水平ライン０の露光の開始から、水平ライン１１の露光の終了までの時間となってしまう。
【０２１８】
このため、カメラ６２において、第１及び第２の撮像画像として、１フレーム分だけ異なる第１及び第２の撮像画像を撮像するようにした場合、第１の抽出画像として抽出される領域（第１の撮像画像を構成する全領域）は、波長λ１と波長λ２との反射光を受光して得られたものとなってしまう。このことは、第２の抽出画像として抽出される領域についても同様である。
【０２１９】
したがって、このような場合には、画像処理装置６３の制御部１０１は、LED６１aによる波長λ１の光の照射時期と、LED６１bによる波長λ２の光の照射時期とが重複しないように、LED６１a及びLED６１bを制御する。そして、カメラ６２において、所定のフレーム数だけ異なる第１及び第２の撮像画像が撮像されることとなる。
【０２２０】
具体的には、例えば、（TL,Ts）＝（7t/6,t/4）を採用した場合、LED６１aによる波長λ１の光の照射時期と、LED６１bによる波長λ２の光の照射時期とが重複しないように、以下のようにして第１及び第２の撮像画像を生成することとなる。
【０２２１】
例えば、図５において、時間t1に生じる１０番目のHD信号の立ち上がりエッジが生じたときから、時間t2において１２番目の立ち上がりエッジが生じるときまで、波長λ１の光を照射する。この場合、カメラ６２により第１の撮像画像が得られ、画像処理装置６３に供給される。
【０２２２】
その後、図５において、時間t2に生じる１２番目のHD信号の立ち上がりエッジが生じたときから、時間t3において１０番目の立ち上がりエッジが生じるときまで、波長λ１の光、及び波長λ２の光の照射を停止する。この場合、カメラ６２の撮像により得られる撮像画像は、肌検出に用いないので、画像処理装置６３において無視（又は破棄）する。
【０２２３】
そして、例えば、図５において、時間t3に生じる１０番目のHD信号の立ち上がりエッジが生じたときから、時間t4において１２番目の立ち上がりエッジが生じるときまで、波長λ２の光を照射する。この場合、カメラ６２により第２の撮像画像が得られ、画像処理装置６３に供給される。
【０２２４】
画像処理装置６３は、カメラ６２からの第１の撮像画像、及び第１の撮像画像から２フレームだけ後に撮像された第２の撮像画像に基づいて、肌領域を検出するものとなる。
【０２２５】
ここで、例えば、図５に示されるように、カメラ６２は、予め決められた撮像タイミング（時間ｔの間隔）で撮像を開始するようにしている。肌領域をより正確に検出するためには、被写体が動くこと等を考慮して、所定の撮像タイミングで得られる第１の撮像画像と、所定の撮像タイミングから時間tが経過したときの撮像タイミングで得られる第２の撮像画像とに基づいて、肌領域を検出することが望ましい。
【０２２６】
すなわち、画像処理装置６３は、第１の撮像画像、及び第１の撮像画像から１フレームだけ後に撮像された第２の撮像画像に基づいて、肌領域を検出することが望ましい。
【０２２７】
したがって、第１の実施の形態において、照射時間TLは、VD信号において生じた立ち上がりエッジから次の立ち上がりエッジ生じるまでの時間t（時間t1,t2,t,3,t4それぞれと同一の時間）以下とすることが望ましい。
【０２２８】
照射時間TLを時間t以下とした場合には、LED６１aによる波長λ１の光の照射時期と、LED６１bによる波長λ２の光の照射時期とが重複しないようにすることができるとともに、第１の撮像画像、及び第１の撮像画像から１フレームだけ後に撮像された第２の撮像画像に基づいて、肌領域を検出することが可能となる。すなわち、カメラ６２において、第１及び第２の撮像画像を生成するためのフレームレートを向上させることが可能となる。このことは、第２の実施の形態においても同様である。
【０２２９】
さらに、第１の実施の形態では、LED６１aから波長λ１の光を照射させる照射時間と、LED６１bから波長λ１の光を照射させる照射時間とを、同一の長さの照射時間Ts（=t/4）としたが、式（２）を満たす照射時間であれば、LED６１aから波長λ１の光を照射させる照射時間と、LED６１bから波長λ１の光を照射させる照射時間とで、異なる長さの照射時間とすることができる。このことは、第２の実施の形態についても同様のことが言える。
【０２３０】
また、第１の実施の形態では、各水平ライン６乃至１１において、一方の波長の反射光を、肌検出に最低限必要な露光時間（Ts×x/100）以上で受光できるように、照射時間TLの間、一方の波長の光を照射し続けるようにした。しかしながら、各水平ライン６乃至１１において、一方の波長の反射光を、肌検出に最低限必要な露光時間（Ts×x/100）以上で受光できるのであれば、どのような照射方法を用いるようにしてもよい。具体的には、例えば、照射時間TLにおいて、間欠的に、一方の波長の光を照射するようにしてもよい。このことは、第２の実施の形態においても同様である。
【０２３１】
さらに、第１の実施の形態では、図５に示されるように、カメラ６２の撮像素子を構成する水平ライン６乃至１１において、被写体からの波長λ１の反射光を受光するときの露光時間と、被写体からの波長λ２の反射光を受光するときの露光時間とを同一としたが、これに限定されない。
【０２３２】
すなわち、例えば、被写体からの波長λ１の反射光を受光するときの露光時間が、肌検出に最低限必要な波長λ１の反射光を受光できる時間であるとともに、被写体からの波長λ２の反射光を受光するときの露光時間が、肌検出に最低限必要な波長λ２の反射光を受光できる時間であれば、それぞれ異なる露光時間とするようにしてもよい。このことは、第２の実施の形態でも同様である。
【０２３３】
また、第１の実施の形態では、波長λ１と波長λ２との組合せを、870[nm]と950[nm]との組合せとしたが、波長の組合せとしては、波長λ１における反射率と、波長λ２における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。
【０２３４】
より厳密に言えば、波長λ１における反射率から、波長λ２における反射率を差し引いて得られる差分が、ユーザの肌以外のものについて得られる反射率の差分と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。
【０２３５】
具体的には、図７から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、LED６１aが930[nm]未満の波長λ１の照射光を照射し、LED６１bが930[nm]以上の波長λ２の照射光を照射するように構成することが可能である。
【０２３６】
すなわち、例えば、波長λ１と、波長λ１よりも長波長の波長λ２との組合せとして、波長λ１の値は640nmから1000nm、波長λ２の値は900nmから1100nmの範囲で選択すれば肌検出を精度良く行なうことが可能となる。
【０２３７】
但し、情報処理システム４１や情報処理システム１２１の操作者である被写体にLED６１a及びLED６１bの照射による眩しさを感じさせないためには、波長λ１及びλ２の範囲は可視光領域を除く近赤外領域とすることがより望ましい。
【０２３８】
なお、LED６１aから照射される光として、可視光を用いる場合には、可視光カットフィルタ６２aに代えて、LED６１aから照射される可視光のみを通過させて、カメラ６２のレンズに入射させるフィルタが用いられる。これは、LED６１bについても同様のことがいえる。
【０２３９】
第１の実施の形態では、情報処理システム４１について説明したが、情報処理システム４１を、例えばテレビジョン受像機等の電子機器に内蔵し、テレビジョン受像機は、情報処理システム４１により検出される肌領域の検出結果に応じて、受信するチャンネル（周波数）を変更するように構成することが可能である。また、例えば、情報処理システム４１を、テレビジョン受像機等の他、携帯電話等の、携帯して持ち運び可能な電子機器に内蔵するようにしてもよい。このことは、第２の実施の形態においても同様である。
【０２４０】
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０２４１】
[コンピュータの構成例]
次に、図１７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【０２４２】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０２４３】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０２４４】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２４５】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０２４６】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０２４７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２４８】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２４９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２５０】
なお、本発明の実施の形態は、上述した第１及び第２の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２５１】
４１  情報処理システム，  ６１  発光装置，  ６１a,６１b  LED，  ６２  可視光カットフィルタ，  ６２  カメラ，  ６３  画像処理装置，  １０１  制御部，  １０２  抽出部，  １０３  算出部，  １０４  ２値化部，  １２１  情報処理システム，  １４１  カメラ，  １４２  画像処理装置，  １６１  制御部，  １６２  算出部
【図１】
2011130419.tif 000003
【図２】
2011130419.tif 000004
【図３】
2011130419.tif 000005
【図４】
2011130419.tif 000006
【図５】
2011130419.tif 000007
【図６】
2011130419.tif 000008
【図７】
2011130419.tif 000009
【図８】
2011130419.tif 000010
【図９】
2011130419.tif 000011
【図１０】
2011130419.tif 000012
【図１１】
2011130419.tif 000013
【図１２】
2011130419.tif 000014
【図１３】
2011130419.tif 000015
【図１４】
2011130419.tif 000016
【図１５】
2011130419.tif 000017
【図１６】
2011130419.tif 000018
【図１７】
2011130419.tif 000019