(57)【特許請求の範囲】
【請求項１】
被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置において、
所定の波長の光を被写体に照射する照射手段と、
前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、
前記撮像画像から前記被写体を検出する検出手段と、
前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、
前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させる撮像制御手段と
を含む検出装置。
【請求項２】
前記照射制御手段は、前記第１の電荷量が、前記被写体を検出するための前記撮像画像を生成するのに必要な電荷量となる光量で照射させる
請求項１に記載の検出装置。
【請求項３】
前記露光時間で蓄積される前記第２の電荷量に基づいて、前記撮像手段の前記露光時間を変更する変更手段をさらに含み、
前記撮像制御手段は、変更された前記露光時間で受光させる
請求項１に記載の検出装置。
【請求項４】
前記照射制御手段は、前記露光時間と同一の照射時間で照射させる
請求項１に記載の検出装置。
【請求項５】
前記照射制御手段は、前記露光時間内に、前記露光時間よりも短い照射時間で照射させる
請求項１に記載の検出装置。
【請求項６】
前記照射制御手段は、前記露光時間を含む、前記露光時間よりも長い照射時間で照射させる
請求項１に記載の検出装置。
【請求項７】
前記照射手段は、
第１の波長の光を被写体に照射する第１の出力手段と、
第１の波長とは異なる第２の波長の光を被写体に照射する第２の出力手段と
を有し、
前記撮像手段は、
前記第１の波長の反射光を受光して蓄積される画素毎の総電荷量を画素値として、第１の撮像画像を生成し、
前記第２の波長の反射光を受光して蓄積される画素毎の総電荷量を画素値として、第２の撮像画像を生成し、
前記検出手段は、前記第１及び第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記被写体を検出する
請求項１に記載の検出装置。
【請求項８】
前記第１及び第２の出力手段は、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の差分閾値以上となる場合の波長の光を照射する
請求項７に記載の検出装置。
【請求項９】
前記第１及び第２の出力手段は、それぞれ異なる波長の赤外線を照射する
請求項８に記載の検出装置。
【請求項１０】
前記第１又は第２の出力手段の一方は、930[nm]以上の波長の光を照射し、他方は930[nm]未満の光を照射する
請求項９に記載の検出装置。
【請求項１１】
被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値とする撮像画像から前記被写体を検出する検出装置の検出方法において、
前記検出装置は、
照射手段と、
撮像手段と、
検出手段と、
照射制御手段と、
撮像制御手段と
を含み、
前記照射制御手段が、所定の波長の光を被写体に照射する前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させ、
前記撮像制御手段が、前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させ、
前記検出手段が、前記撮像画像から前記被写体を検出する
ステップを含む検出方法。
【請求項１２】
被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置のコンピュータを、
所定の波長の光を被写体に照射する照射手段と、
前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、
前記撮像画像から前記被写体を検出する検出手段と、
前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、
前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させる撮像制御手段と
して機能させるためのプログラム。
【請求項１３】
被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置を内蔵する電子機器において、
前記検出装置は、
所定の波長の光を被写体に照射する照射手段と、
前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、
前記撮像画像から前記被写体を検出する検出手段と、
前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、
前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させる撮像制御手段と
を含む
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置、検出方法、プログラム、及び電子機器に関し、特に、例えば、撮像画像上から人間の手の形状等を検出する場合に用いて好適な検出装置、検出方法、プログラム、及び電子機器に関する。
【背景技術】
【０００２】
従来、例えば、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出（認識）する肌認識システムが存在する（例えば、非特許文献１を参照）。
【０００３】
図１は、従来の肌認識システム１の構成例を示している。
【０００４】
この肌認識システム１は、発光装置２１、カメラ２２、及び情報処理装置２３により構成される。
【０００５】
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED(light emitting diode)２１a1及び２１a2（２個の黒丸で示すそれぞれ）、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1及び２１b2（２個の白丸で示すそれぞれ）により構成される。
【０００６】
なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。また、波長λ１及びλ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。
【０００７】
以下において、LED２１a1及び２１a2を区別する必要がない場合には、LED２１a1及び２１a2を単にLED２１aという。また、LED２１b1及び２１b2を区別する必要がない場合には、LED２１b1及び２１b2を単にLED２１bという。
【０００８】
また、LED２１aとLED２１bの出力は、それぞれ、波長λ１及びλ２に対する反射率が同一である被写体に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる撮像画像の、対応する画素どうしの輝度値が同一となるように調整されている。
【０００９】
LED２１aとLED２１bとは、図１に示すように、碁盤の目状に配置されており、交互に発光する。
【００１０】
カメラ２２は、被写体に照射される波長λ１の光の反射光を受光し、その結果得られる第１の撮像画像を、情報処理装置２３に供給する。また、カメラ２２は、被写体に照射される波長λ２の光の反射光を受光し、その結果得られる第２の撮像画像を、情報処理装置２３に供給する。
【００１１】
情報処理装置２３は、発光装置２１及びカメラ２２を制御する。また、情報処理装置２３は、カメラ２２からの第１及び第２の撮像画像の、対応する画素の輝度値どうしの差分絶対値を算出し、算出した差分絶対値に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出する。
【００１２】
[従来の情報処理装置２３による制御の一例]
次に、図２は、情報処理装置２３が、発光装置２１及びカメラ２２を制御する様子の一例を示している。
【００１３】
なお、図２A乃至図２Eの横軸は、同一の時間を表している。
【００１４】
情報処理装置２３は、例えば、６０fps(frames per second)の場合、図２Aに示されるように、VD信号（垂直同期信号）として、16.7[ms]（＝1/60[s]）毎に立ち上がりエッジを生じさせるVD信号を生成する。
【００１５】
そして、情報処理装置２３は、生成したVD信号に立ち上がりエッジが生じるタイミング毎に、16.7[ms]の発光時間（照射時間）で、LED２１a及びLED２１bを交互に発光させる。
【００１６】
すなわち、例えば、情報処理装置２３は、図２Bに示されるように、生成したVD信号に生じる複数の立ち上がりエッジのうち、奇数番目の立ち上がりエッジが生じるタイミング毎にLED２１aの発光を開始させ、発光の開始から16.7[ms]後に発光を終了させる。
【００１７】
また、情報処理装置２３は、図２Cに示されるように、生成したVD信号に生じる複数の立ち上がりエッジのうち、偶数番目の立ち上がりエッジが生じるタイミング毎にLED２１bの発光を開始させ、発光の開始から16.7[ms]後に発光を終了させる。
【００１８】
さらに、情報処理装置２３は、生成したVD信号に生じる複数の立ち上がりエッジが生じるタイミング毎に、16.7[ms]の露光時間で、カメラ２２の露光を行わせる。すなわち、例えば、情報処理装置２３は、図２Dに示されるように、VD信号に生じる複数の立ち上がりエッジが生じるタイミング毎に露光を開始させ、露光の開始から16.7[ms]後に露光を終了させる。
【００１９】
これにより、カメラ２２は、図２Eに示されるように、VD信号に生じる複数の立ち上がりエッジが生じるタイミングに応じて、16.7[ms]の露光時間で被写体に照射された光の反射光を受光し、受光した反射光に対応する電荷を蓄積する。
【００２０】
すなわち、例えば、カメラ２２は、16.7[ms]の露光時間で、LED２１aから被写体に照射された光の反射光（波長λ１の反射光）を受光して電荷を蓄積する。そして、カメラ２２は、図２Eに示されるように、蓄積した電荷の電荷量α1に対応する輝度値α1'を有する画素により構成される第１の撮像画像を生成し、情報処理装置２３に供給する。
【００２１】
また、例えば、カメラ２２は、16.7[ms]の露光時間で、LED２１bから被写体に照射された光の反射光（波長λ２の反射光）を受光して電荷を蓄積する。そして、カメラ２２は、図２Eに示されるように、蓄積した電荷の電荷量β1に対応する輝度値β1'を有する画素により構成される第２の撮像画像を生成し、情報処理装置２３に供給する。
【００２２】
情報処理装置２３は、カメラ２２からの第１及び第２の撮像画像に基づいて、人間の肌に対する分光反射特性を利用した肌領域の検出を行う。
【００２３】
すなわち、上述したように波長λ１及びλ２の組合せは、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。
【００２４】
したがって、波長λ１又はλ２の光を、それぞれ、人間の肌に照射した場合、波長λ１の反射光により蓄積される電荷量α1は、波長λ２の反射光により蓄積される電荷量β1よりも大きなものとなる。
【００２５】
このため、第１の撮像画像上の肌領域を構成する画素の輝度値α1'は比較的大きな値となり、第２の撮像画像上の肌領域を構成する画素の輝度値β1'は比較的小さな値となる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値|α1'―β1'|は、比較的大きな値となる。
【００２６】
また、上述したように、波長λ１及びλ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。
【００２７】
したがって、波長λ１又はλ２の光を、それぞれ、人間の肌以外のものに照射した場合、波長λ１の反射光により蓄積される電荷量α1は、波長λ２の反射光により蓄積される電荷量β1と殆ど同じものとなる。
【００２８】
このため、第１の撮像画像上の肌領域以外の領域を構成する画素の輝度値α1'と、第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値β1'は、殆ど同一の値となる。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値|α1'―β1'|は、比較的小さな値となる。
【００２９】
よって、画像処理装置２３では、例えば、差分絶対値|α1'―β1'|が比較的大きな値となる場合に、その差分絶対値|α1'―β1'|に対応する画素を、肌領域を構成する画素として検出することができる。
【先行技術文献】
【非特許文献】
【００３０】
【非特許文献１】鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
【発明の概要】
【発明が解決しようとする課題】
【００３１】
ところで、被写体には、LED２１aからの波長λ１の光、及びLED２１bからの波長λ２の光の他、太陽や蛍光灯等の外光光源から波長λ１の光や波長λ２の光が照射される。
【００３２】
従来の肌認識システム１において、外光光源からの光の光量が比較的少ない場合、すなわち、外光光源からの光の光量が、差分絶対値|α1'―β1'|の大きさに影響を与えない程度に少ない場合には、肌領域を精度良く検出することができる。
【００３３】
しかしながら、外光光源からの光の光量が比較的多い場合、すなわち、外光光源からの光の光量が、差分絶対値|α1'―β1'|の大きさに影響を与える程度に多い場合には、肌領域を検出することができないことが生じ得る。
【００３４】
具体的には、例えば、外光光源からの光に起因して、被写体からの反射光を受光して蓄積される電荷量α1及びβ1のいずれにおいても、蓄積することが可能な最大電荷量を超える白とびが発生してしまっている場合、対応する輝度値α1'及びβ1'は同一の値となってしまう。
【００３５】
この場合、従来の肌認識システム１において、例えば、肌領域に対応する差分絶対値|α1'―β1'|と、肌領域以外の領域に対応する差分絶対値|α1'―β1'|とは同一の値となってしまい、差分絶対値|α1'―β1'|の大きさに基づいて、肌領域を検出することができなくなってしまう。
【００３６】
本発明は、このような状況に鑑みてなされたものであり、LEDからの光に起因して蓄積される電荷を維持しつつ、外光光源に起因して蓄積される電荷を十分に少なくして、白とびを防止するとともに、精度良く、撮像画像上の肌領域を検出するようにするものである。
【課題を解決するための手段】
【００３７】
本発明の第１の側面の検出装置、又はプログラムは、被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置、又は被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置として機能させるためのプログラムであって、所定の波長の光を被写体に照射する照射手段と、前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、前記撮像画像から前記被写体を検出する検出手段と、前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させる撮像制御手段とを含む検出装置、又は検出装置として機能させるためのプログラムである。
【００３９】
前記照射制御手段では、前記第１の電荷量が、前記被写体を検出するための前記撮像画像を生成するのに必要な電荷量となる光量で照射させるようにすることができる。
【００４０】
前記露光時間で蓄積される前記第２の電荷量に基づいて、前記撮像手段の前記露光時間を変更する変更手段をさらに設けるようにすることができ、前記撮像制御手段では、変更された前記露光時間で受光させるようにすることができる。
【００４２】
前記照射制御手段では、前記露光時間と同一の照射時間で照射させるようにすることができる。
【００４３】
前記照射制御手段では、前記露光時間内に、前記露光時間よりも短い照射時間で照射させるようにすることができる。
【００４４】
前記照射制御手段では、前記露光時間を含む、前記露光時間よりも長い照射時間で照射させるようにすることができる。
【００４５】
前記照射手段は、第１の波長の光を被写体に照射する第１の出力手段と、第１の波長とは異なる第２の波長の光を被写体に照射する第２の出力手段とを有するようにすることができ、前記撮像手段では、前記第１の波長の反射光を受光して蓄積される画素毎の総電荷量を画素値として、第１の撮像画像を生成し、前記第２の波長の反射光を受光して蓄積される画素毎の総電荷量を画素値として、第２の撮像画像を生成し、前記検出手段では、前記第１及び第２の撮像画像に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の前記被写体を検出するようにすることができる。
【００４６】
前記第１及び第２の出力手段では、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の差分閾値以上となる場合の波長の光を照射するようにすることができる。
【００４７】
前記第１及び第２の出力手段では、それぞれ異なる波長の赤外線を照射するようにすることができる。
【００４８】
前記第１又は第２の出力手段の一方は、930[nm]以上の波長の光を照射し、他方は930[nm]未満の光を照射するようにすることができる。
【００４９】
本発明の第１の側面の検出方法は、被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値とする撮像画像から前記被写体を検出する検出装置の検出方法であって、前記検出装置は、照射手段と、撮像手段と、検出手段と、照射制御手段と、撮像制御手段とを含み、前記照射制御手段が、所定の波長の光を被写体に照射する前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させ、前記撮像制御手段が、前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させ、前記検出手段が、前記撮像画像から前記被写体を検出するステップを含む検出方法である。
【００５０】
本発明の第１の側面によれば、検出装置により、被写体からの反射光を受光して蓄積される画素毎の総電荷量のうち、照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射され、総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光され、受光により生成される撮像画像から被写体が検出される。
【００５１】
本発明の第２の側面の電子機器は、被写体を撮像して得られる撮像画像から前記被写体を検出する検出装置を内蔵する電子機器であって、前記検出装置は、所定の波長の光を被写体に照射する照射手段と、前記被写体からの反射光を受光して蓄積される画素毎の総電荷量を画素値として、前記被写体を撮像した撮像画像を生成する撮像手段と、前記撮像画像から前記被写体を検出する検出手段と、前記照射手段を制御し、前記総電荷量のうち、前記照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射させる照射制御手段と、前記撮像手段を制御し、前記総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光させる撮像制御手段とを含む電子機器である。
【００５２】
本発明の第２の側面によれば、電子機器に内蔵された検出装置により、被写体からの反射光を受光して蓄積される画素毎の総電荷量のうち、照射手段により照射される光の反射光を受光して蓄積される第１の電荷量が所定の電荷量となる光量で照射され、総電荷量のうち、外光により照射される光の反射光を受光して蓄積される第２の電荷量が、蓄積することが可能な最大電荷量から前記第１の電荷量を差し引いて得られる差分値未満となる露光時間で受光され、受光により生成される撮像画像から被写体が検出される。
【発明の効果】
【００５３】
本発明によれば、白とびを防止するとともに、精度良く、撮像画像上の肌領域を検出することができる。
【図面の簡単な説明】
【００５４】
【図１】従来の肌認識システムの構成例を示すブロック図である。
【図２】従来の情報処理装置による制御の様子の一例を示す図である。
【図３】本実施の形態である情報処理システムの構成例を示すブロック図である。
【図４】人間の肌に対する分光反射特性の一例を示す図である。
【図５】本発明を適用した情報処理装置による処理の概要の一例を示す図である。
【図６】本発明を適用した情報処理装置の構成例を示すブロック図である。
【図７】制御部が行う制御の一例を示す図である。
【図８】外光成分に起因して肌検出精度が低下する場合の一例を示す図である。
【図９】カメラの絞りを調整して外光成分により蓄積される電荷を抑制する場合の一例を示す図である。
【図１０】カメラのシャッタスピードを調整して外光成分により蓄積される電荷を抑制する場合の一例を示す図である。
【図１１】露光時間の決定方法の一例を説明するための図である。
【図１２】本発明を適用した情報処理システムが行う肌検出処理を説明するためのフローチャートである。
【図１３】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００５５】
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．  本実施の形態（カメラの露光時間と発光装置による光量を調整する例）
２．  変形例
【００５６】
＜１．本実施の形態＞
[情報処理システム４１の構成例]
図３は、本実施の形態である情報処理システム４１の構成例を示している。
【００５７】
この情報処理システム４１は、発光装置６１、カメラ６２、及び情報処理装置６３により構成される。
【００５８】
発光装置６１は、LED２１a（LED２１a1，LED２１a2）及びLED２１b（LED２１b1，LED２１b2）により構成されており、LED２１a及びLED２１bを交互に発光させる。なお、発光装置６１を構成するLED２１a及びLED２１bは、図１の発光装置２１を構成するLED２１a及びLED２１bと同様であるため、同一の符号を付して、それらの説明は省略している。
【００５９】
なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せである。また、波長λ１及びλ２の組合せは、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せである。なお、この組合せは、図４を参照して後述する、人間の肌に対する分光反射特性に基づいて決定される。
【００６０】
さらに、LED２１aとLED２１bの出力は、それぞれ、波長λ１及びλ２に対する反射率が同一である被写体に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ６２の撮像により得られる撮像画像の、対応する画素どうしの輝度値が同一となるように、カメラ６２の露光時間に応じて調整される。
【００６１】
また、LED２１a及び２１bの前面には、LED２１a及び２１bにより発光される光を均一に拡散させる拡散板６１aが設けられている。これにより、被写体には、波長λ１の波長の光、及び波長λ２の波長の光がむらなく照射される。
【００６２】
カメラ６２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ６２aにより覆われている。
【００６３】
このため、カメラ６２には、可視光は入射されず、不可視光として、被写体からの波長λ１の反射光や、波長λ２の反射光が入射される。
【００６４】
すなわち、例えば、カメラ６２は、被写体からの波長λ１の反射光として、波長λ１の照射光成分、及び波長λ１の外光成分を受光し、その結果得られる第１の撮像画像を、情報処理装置６３に供給する。
【００６５】
なお、波長λ１の照射光成分とは、LED２１aによって被写体に照射される波長λ１の光の反射光をいう。また、波長λ１の外光成分とは、外光光源によって被写体に照射される波長λ１の光の反射光をいう。
【００６６】
さらに、例えば、カメラ６２は、被写体からの波長λ２の反射光として、波長λ２の照射光成分、及び波長λ２の外光成分を受光し、その結果得られる第２の撮像画像を、情報処理装置６３に供給する。
【００６７】
なお、波長λ２の照射光成分とは、LED２１bによって被写体に照射される波長λ２の光の反射光をいう。また、波長λ２の外光成分とは、外光光源によって被写体に照射される波長λ２の光の反射光をいう。
【００６８】
さらに、カメラ６２は、LED２１a及びLED２１bのいずれも消灯している場合に、波長λ１の外光成分のみを受光し、その結果得られる第３の撮像画像を、情報処理装置６３に供給する。
【００６９】
なお、カメラ６２は、可視光カットフィルタ６２aの他、所定の波長のみを通過させるフィルタ等により、第１及び第３の撮像画像を生成する場合には、カメラ６２に波長λ１の光のみが入射されるとともに、第２の撮像画像を生成する場合には、カメラ６２に波長λ２の光のみが入射されるように構成されているものとする。
【００７０】
情報処理装置６３は、カメラ６２からの第３の撮像画像に基づいて、カメラ６２により受光される波長λ１及びλ２の照射光成分を維持しつつ、波長λ１及びλ２の外光成分が抑制されるように、カメラ６２による露光のタイミング及びカメラ６２の露光時間等を決定する。
【００７１】
そして、情報処理装置６３は、決定した露光時間等で、カメラ６２等を制御して、第１及び第２の撮像画像を生成させる。
【００７２】
これにより、カメラ６２において、第１及び第２の撮像画像を生成する場合、受光される波長λ１及びλ２の外光成分の光量は、肌領域の検出に影響を及ぼさない程度に少なくなる。したがって、情報処理装置６３は、カメラ６２からの第１及び第２の撮像画像に基づいて、波長λ１及びλ２の反射率を利用した肌領域の検出を行うことができる。
【００７３】
[情報処理装置６３が行う処理]
次に、図４及び図５を参照して、情報処理装置６３が行う、波長λ１及びλ２の反射率を利用した肌領域の検出について説明する。
【００７４】
[肌に対する分光反射特性]
図４は、人間の肌に対する分光反射特性を示している。
【００７５】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【００７６】
図４において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００７７】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【００７８】
具体的には、例えば、図４に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。
【００７９】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【００８０】
本実施の形態では、上述した分光反射特性において、波長λ１及びλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【００８１】
また、上述したように、カメラ６２により受光される波長λ１の外光成分は、肌領域の検出に影響を及ぼさない程度に抑制されているため、第１の撮像画像は、波長λ１の照射光成分のみを受光して得られた領域により構成されているとみなすことができる。
【００８２】
同様に、カメラ６２により受光される波長λ２の外光成分は、肌領域の検出に影響を及ぼさない程度に抑制されているため、第２の撮像画像は、波長λ２の照射光成分のみを受光して得られた領域により構成されているとみなすことができる。
【００８３】
したがって、第１の撮像画像上の肌領域を構成する画素の輝度値と、対応する第２の撮像画像上の肌領域を構成する輝度値との差分絶対値は、人間の肌に対する反射率の差に対応して、比較的大きな値となる。
【００８４】
また、第１の撮像画像上の非肌領域（肌領域以外の領域）を構成する画素の輝度値と、対応する第２の撮像画像上の非肌領域を構成する輝度値との差分絶対値は、人間の肌以外の部分に対する反射率の差に対応して、比較的小さな値となる。
【００８５】
[情報処理装置６３が行う処理の概要]
図５は、情報処理装置６３が行う処理の概要を示している。
【００８６】
情報処理装置６３は、波長λ１の照射光成分を維持しつつ、波長λ１の外光成分を抑制するように、カメラ６２等を制御して、カメラ６２に第１の撮像画像を撮像させ、情報処理装置６３に供給させる。
【００８７】
また、情報処理装置６３は、波長λ２の照射光成分を維持しつつ、波長λ２の外光成分を抑制するように、カメラ６２等を制御して、カメラ６２に第２の撮像画像を撮像させ、情報処理装置６３に供給させる。
【００８８】
情報処理装置６３には、カメラ６２から、肌領域８１a及び非肌領域８１b(肌領域８１a以外の領域)により構成される第１の撮像画像８１、並びに、肌領域８２a及び非肌領域８２b(肌領域８２a以外の領域)により構成される第２の撮像画像８２が供給される。
【００８９】
情報処理装置６３は、カメラ６２から供給される第１の撮像画像８１、及び第２の撮像画像８２に対して、LPF(low pass fileter)を用いた平滑化を行う。そして、情報処理装置６３は、平滑化後の第１の撮像画像８１、及び平滑化後の第２の撮像画像８２それぞれの対応する画素の輝度値どうしの差分絶対値を算出し、その差分絶対値を画素値とする差分画像８３を生成する。
【００９０】
情報処理装置６３は、生成した差分画像８３に対して、差分画像８３を構成する画素値のうち、所定の閾値以上の画素値を１とし、所定の閾値未満の画素値を０とする２値化を行う。
【００９１】
いまの場合、差分画像８３における肌領域８３aは、肌領域８１aと肌領域８２aとの対応する画素の輝度値どうしの差分絶対値を画素値とする画素により構成されているため、肌領域８３aを構成する画素の画素値は比較的大きな値となっている。
【００９２】
また、差分画像８３における非肌領域８３bは、非肌領域８１bと非肌領域８２bとの対応する画素の輝度値どうしの差分絶対値を画素値とする画素により構成されているため、非肌領域８３bを構成する画素の画素値は比較的小さな値となっている。
【００９３】
したがって、差分画像８３は、情報処理装置６３により行われる２値化により、肌領域８３aを構成する画素の画素値が１とされた肌領域８４a、及び非肌領域８３bを構成する画素の画素値が０とされた非肌領域８４ｂにより構成される２値化画像８４に変換される。
【００９４】
そして、情報処理装置６３は、その２値化により得られる２値化画像８４を構成する画素のうち、画素値が１となる画素により構成される肌領域８４aを、肌領域として検出する。
【００９５】
[情報処理装置６３の構成例]
次に、図６は、情報処理装置６３の構成例を示している。
【００９６】
この情報処理装置６３は、制御部１０１、差分画像生成部１０２、及び２値化部１０３により構成される。
【００９７】
制御部１０１は、カメラ６２に第１及び第２の撮像画像を生成させるために、１フレームの撮像を行う周期に合わせて立ち上がりエッジを発生させるVD信号（垂直同期信号）を生成し、生成したVD信号に基づいて、発光装置６１及びカメラ６２を制御する。この場合、カメラ６２は、その撮像により得られる第１及び第２の撮像画像を、差分画像生成部１０２に供給する。
【００９８】
なお、カメラ６２に第１及び第２の撮像画像を生成させるために行われる、制御部１０１による制御の詳細は、図７を参照して後述する。
【００９９】
また、制御部１０１は、カメラ６２に第３の撮像画像を撮像させるために、発光装置６１のLED２１a及びLED２１bを消灯させた状態で、カメラ６２に被写体を撮像させる。この場合、カメラ６２は、その撮像により得られる第３の撮像画像を、制御部１０１に供給する。
【０１００】
制御部１０１は、カメラ６２からの第３の撮像画像を構成する画素の輝度値に基づいて、カメラ６２による露光時間（シャッタスピード）を決定する。なお、露光時間の決定方法の詳細については、図１１を参照して後述する。
【０１０１】
差分画像生成部１０２には、カメラ６２の撮像により得られた第１及び第２の撮像画像が供給される。
【０１０２】
なお、第１の撮像画像は、波長λ１の外光成分、及び波長λ１の照射光成分を受光して得られたものであり、第２の撮像画像は、波長λ２の外光成分、及び波長λ２の照射光成分を受光して得られたものである。
【０１０３】
差分画像生成部１０２は、カメラ６２からの第１及び第２の撮像画像に対して、LPFを用いた平滑化を行う。そして、差分画像生成部１０２は、平滑化後の第１の撮像画像と第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部１０３に供給する。
【０１０４】
２値化部１０３は、差分画像生成部１０２からの差分画像を２値化し、その結果得られる２値化画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出し、その検出結果を出力する。
【０１０５】
[制御部１０１による制御の一例]
次に、図７は、制御部１０１が、発光装置６１及びカメラ６２を制御して、カメラ６２に第１及び第２の撮像画像を生成させる場合の一例を示している。
【０１０６】
制御部１０１は、例えば、６０fpsの場合、図７Aに示されるように、VD信号として、16.7[ms]（＝1/60[s]）毎に立ち上がりエッジを発生させるVD信号を生成する。そして、制御部１０１は、第３の撮像画像に基づいて決定した露光時間で、カメラ６２の露光を行うとともに、LED２１a及びLED２１bそれぞれの発光を行うように制御する。
【０１０７】
すなわち、制御部１０１は、例えば図７Bに示されるように、生成したVD信号に生じる複数の立ち上がりエッジのうち、奇数番目の立ち上がりエッジが生じるタイミングから8.35[ms]（＝1/120[s]）だけ遅延させたタイミングでLED２１aの発光を開始し、発光の開始から8.35[ms]後に発光を終了させる。
【０１０８】
また、制御部１０１は、例えば図７Cに示されるように、生成したVD信号に生じる複数の立ち上がりエッジのうち、偶数番目の立ち上がりエッジが生じるタイミングから8.35[ms]だけ遅延させたタイミングでLED２１bの発光を開始し、発光の開始から8.35[ms]後に発光を終了させる。
【０１０９】
さらに、制御部１０１は、例えば図７Dに示されるように、生成したVD信号に生じる複数の立ち上がりエッジそれぞれが生じるタイミングから8.35[ms]だけ遅延させたタイミングで、カメラ６２の露光を開始し、露光の開始から8.35[ms]後に露光を終了させる。
【０１１０】
また、制御部１０１は、カメラ６２からの第３の撮像画像に応じて変化するいずれの露光時間においても、LED２１aから照射される波長λ１の光の総光量が、波長λ１に応じた一定の量となるとともに、LED２１bから照射される波長λ２の光の総光量が、波長λ２に応じた一定の量となるように、LED２１a及びLED２１bを制御するようにしている。
【０１１１】
なお、波長λ１に応じた一定の量、及び波長λ２に応じた一定の量としては、例えば、第１及び第２の撮像画像の肌領域にノイズ等が生じたとしても、肌領域おける差分絶対値｜α1'―β1'｜が比較的大きな値となる光量、すなわち、精度良く肌領域を検出することが可能な第１及び第２の撮像画像を生成するために必要な電荷量が得られる光量が採用される。
【０１１２】
また、制御部１０１において、LED２１a及びLED２１bの光量を制御する制御方式としては、例えば、電流のオン状態とオフ状態とをスイッチングにより切換え、そのオン状態とオフ状態との比率（デューティ比）を可変することにより、許容最大電流を制御するPWM(Pulse Width Modulation，パルス幅変調)制御方式を用いることができる。
【０１１３】
したがって、カメラ６２において、図７Eに示されるように、8.35[ms]の露光時間にも拘らず、波長λ１及びλ２の照射光成分により蓄積される電荷の電荷量は電荷量α1及びβ1に維持される。
【０１１４】
また、カメラ６２において、8.35[ms]の露光時間で露光を行うため、図７Fに示されるように、波長λ１及びλ２の外光成分により蓄積される電荷の電荷量は、電荷量α2/2及びβ2/2に抑制される。
【０１１５】
このため、図７Gに示されるように、波長λ１の照射光成分、及び波長λ１の外光成分により蓄積される電荷の総電荷量は、蓄積することが可能な最大電荷量max未満の電荷量α1+（α2/2）となる。カメラ６２は、電荷量α1+（α2/2）対応する輝度値により構成される第１の撮像画像を生成して、差分画像生成部１０２に供給する。
【０１１６】
また、波長λ２の照射光成分、及び波長λ２の外光成分により蓄積される電荷の総電荷量は、最大電荷量max未満の電荷量β1+（β2/2）となる。カメラ６２は、電荷量β1+（β2/2）対応する輝度値により構成される第２の撮像画像を生成して、差分画像生成部１０２に供給する。
【０１１７】
本実施の形態では、カメラ６２において、波長λ１及びλ２の外光成分により蓄積される電荷の電荷量を、電荷量α2/2及びβ2/2に抑制するようにしたので、図８に示されるような白とびを防止することが可能となる。
【０１１８】
なお、白とびを防止する方法としては、その他、例えば、図９に示されるように、カメラ６２の絞りを調整して、波長λ１及び波長λ２の外光成分により得られる電荷量α2及びβ2を、それぞれ、例えば1/2に抑制することが考えられる。また、例えば、図１０に示されるように、カメラ６２のシャッタスピードを、露光時間が例えば1/2となるように調整して、波長λ１及び波長λ２の外光成分により得られる電荷量α2及びβ2を、それぞれ、1/2に抑制することが考えられる。
【０１１９】
図９に示されるようにカメラ６２の絞りを調整する方法、図１０に示されるようにカメラ６２のシャッタスピードを調整する方法によれば、白とびの原因（肌領域を検出する肌検出精度の低下の原因）となる電荷量α2及びβ2を、それぞれ十分に抑制することができる。
【０１２０】
しかしながら、これらの場合、肌領域を検出するために必要な電荷量α1及びβ1も、それぞれ大幅に抑制されてしまう。
【０１２１】
そこで、本実施の形態では、図７を参照して説明したように、波長λ１及び波長λ２の照射光成分により蓄積される電荷量（図７でいうα1及びβ1）を維持しつつ、波長λ１及び波長λ２の外光成分により蓄積される電荷量（図７でいうα2/2及びβ2/2）を十分に抑制して、撮像画像上の肌領域を検出する肌検出精度を向上させるようにしている。
【０１２２】
[露光時間の決定方法の一例]
次に、図１１を参照して、制御部１０１が行う、カメラ６２からの第３の撮像画像に基づいて露光時間を決定する決定方法の一例について説明する。
【０１２３】
図１１Aには、16.7[ms]の露光時間で波長λ１の外光成分のみを受光して得られる第３の撮像画像１２１が示されている。図１１Aに示される第３の撮像画像１２１は、肌領域１２１a及び非肌領域１２１bにより構成されている。なお、図１１Aに示される肌領域１２１aを構成する画素の輝度値の最大値は、輝度値２００である。
【０１２４】
図１１Bには、8.35[ms]の露光時間で波長λ１の外光成分のみを受光して得られる第３の撮像画像１２１が示されている。図１１Bに示される第３の撮像画像１２１は、肌領域１２１a及び非肌領域１２１bにより構成されている。なお、図１１Bに示される肌領域１２１aを構成する画素の輝度値の最大値は、輝度値１００である。
【０１２５】
なお、本実施の形態において、輝度値の諧調はNビットとし、最大の輝度値は２N−１であるものとする。
【０１２６】
この場合、白とびを防止するために、肌領域において、蓄積される電荷の電荷量は次の条件式（１）及び（２）を満たす必要がある。
【０１２７】
α2＜max−α1                ・・・（１）
【０１２８】
β2＜max−β1                ・・・（２）
【０１２９】
なお、電荷量α1は、波長λ１の照射光成分により蓄積された電荷量を表しており、電荷量α2は、波長λ１の外光成分により蓄積された電荷量を表している。また、最大電荷量maxは、電荷を蓄積することが可能な最大量を表している。
【０１３０】
さらに、電荷量β1は、波長λ２の照射光成分により蓄積された電荷量を表しており、電荷量β2は、波長λ２の外光成分により蓄積された電荷量を表している。
【０１３１】
条件式（１）及び（２）を、それぞれ、輝度値についての条件式に変換すると、次の条件式（１'）及び（２’）となる。
【０１３２】
α2'＜（２N−１）−α1'      ・・・（１'）
【０１３３】
β2'＜（２N−１）−β1'      ・・・（２'）
【０１３４】
なお、輝度値α1'は、電荷量α1に対応する輝度値を表しており、輝度値α2'は、電荷量α2に対応する輝度値を表している。また、最大輝度値（２N−１）は、最大電荷量maxに対応する輝度値を表している。
【０１３５】
さらに、輝度値β1'は、電荷量β1に対応する輝度値を表しており、輝度値β2'は、電荷量β2に対応する輝度値を表している。
【０１３６】
上述したように、LED２１aとLED２１bの出力は、それぞれ、波長λ１及びλ２に対する反射率が同一である被写体に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ６２の撮像により得られる撮像画像の、対応する画素どうしの輝度値が同一となるように、決定された露光時間に応じて調整される。
【０１３７】
すなわち、例えば、LED２１aの出力は、決定された露光時間において、波長λ１及び波長λ２のいずれの反射率が100[%]である鏡の鏡面に、LED２１aからの波長λ１の光を反射させた場合に得られる電荷量α1が、所定の輝度値ｘに対応する電荷量となるように、調整される。
【０１３８】
また、例えば、LED２１bの出力は、決定された露光時間において、鏡面に、LED２１bからの波長λ２の光を反射させた場合に得られる電荷量β1が、所定の輝度値ｘに対応する電荷量となるように、調整される。
【０１３９】
したがって、輝度値α1'及びβ1'の最大値は、それぞれ、所定の輝度値ｘとなる。
【０１４０】
このため、輝度値α2'による白とびを防止するためには次式（１''）を満たす必要がある。また、輝度値β2'による白とびを防止するためには次式（２''）を満たす必要がある。
【０１４１】
α2'＜（２N−１）−ｘ      ・・・（１''）
【０１４２】
β2'＜（２N−１）−ｘ      ・・・（２''）
【０１４３】
本実施の形態では、いずれの露光時間においても、波長λ１の外光成分を受光して得られる輝度値α2'は、波長λ２の外光成分を受光して得られる輝度値β2'よりも大きくなっている。
【０１４４】
したがって、式（１''）を満たす露光時間は、式（２''）も満たす露光時間となることから、制御部１０１は、カメラ６２からの第３の撮像画像に基づいて、式（１''）（又は式（１））を満たす露光時間を決定する。
【０１４５】
すなわち、例えば、制御部１０１は、LED２１a及びLED２１bを消灯させた状態で、カメラ６２に、16.7[ms]の露光時間で波長λ１の外光成分を受光させ、図１１Aに示されたような第３の撮像画像を取得する。
【０１４６】
そして、制御部１０１は、取得した第３の撮像画像上の肌領域を構成する画素の輝度値のうち、最大の輝度値α2'を検出し、その検出結果に基づいて、露光時間を決定する。
【０１４７】
具体的には、例えば、N=8，ｘ＝100である場合、最大の輝度値α2'は、155(=255-100)未満である必要がある。この場合、制御部１０１は、図１０Aに示されるように、16.7[ms]の露光時間で撮像した第３の撮像画像１２１上の肌領域１２１aを構成する画素の輝度値のうち、最大の輝度値α2'が輝度値200であるときには、図１０Bに示されるように、その輝度値200が155未満の輝度値100となる8.35[ms]の露光時間に決定する。
【０１４８】
なお、本実施の形態では、いずれの露光時間においても、波長λ１の外光成分を受光して得られる輝度値α2'は、波長λ２の外光成分を受光して得られる輝度値β2'よりも大きくなっているものとした。しかしながら、いずれの露光時間においても、輝度値α2'が、輝度値β2'よりも小さくなる場合には、以下に説明するように、露光時間を決定することとなる。
【０１４９】
すなわち、この場合、式（２''）を満たす露光時間は、式（１''）も満たす露光時間となることから、制御部１０１は、式（２''）（又は式（２））を満たす露光時間を決定する。
【０１５０】
具体的には、制御部１０１は、LED２１a及びLED２１bを消灯させた状態で、カメラ６２に、16.7[ms]の露光時間で波長λ２の外光成分を受光させ、その結果得られる第４の撮像画像を取得する。
【０１５１】
そして、制御部１０１は、取得した第４の撮像画像上の肌領域を構成する画素の輝度値のうち、最大の輝度値β2'を検出し、第３の撮像画像に基づいて露光時間を決定した場合と同様にして、露光時間を決定する。
【０１５２】
なお、いずれの露光時間においても、輝度値α2'が、輝度値β2'よりも小さくなる場合には、第４の撮像画像を用いて露光時間を決定する以外は、本実施の形態と同様にして、肌領域の検出等を行うこととなる。
【０１５３】
[肌検出処理の動作説明]
次に、図１２のフローチャートを参照して、情報処理システム４１が行う肌検出処理の詳細を説明する。
【０１５４】
この肌検出処理は、例えば、ユーザにより情報処理システム４１の電源がオンにされたときに開始される。
【０１５５】
ステップＳ１において、制御部１０１は、図示せぬ記憶部に予め保持されている設定情報に基づいて、カメラ６２による露光のタイミング、カメラ６２による露光時間、発光装置６１のLED２１aによる発光のタイミング、LED２１aによる発光時間、発光装置６１のLED２１bによる発光のタイミング、及びLED２１bによる発光時間を決定する。ここで、設定情報とは、カメラ６２による露光のタイミング等を設定するための情報をいう。
【０１５６】
また、設定情報は、肌検出処理が行われる前に、後述するステップＳ６乃至ステップＳ８の処理と同様の処理が行われて予め作成される。
【０１５７】
すなわち、例えば、ステップＳ１において、制御部１０１は、発光装置６１のLED２１aによる発光のタイミングを、VD信号に生じる奇数番目の立ち上がりエッジに基づいて決定される露光のタイミングと同一のタイミングに設定する。
【０１５８】
また、例えば、制御部１０１は、発光装置６１のLED２１bによる発光のタイミングを、VD信号に生じる偶数番目の立ち上がりエッジに基づいて決定される露光のタイミングと同一のタイミングに設定する。
【０１５９】
そして、制御部１０１は、発光装置６１のLED２１aによる発光時間、及びLED２１bによる発光時間を、それぞれ、カメラ６２による露光時間と同一の時間に設定する。
【０１６０】
ステップＳ２において、制御部１０１は、VD信号を生成し、生成したVD信号に生じる奇数番目の立ち上がりエッジに基づいて、ステップＳ１の処理で決定した露光のタイミングと同一のタイミングから露光時間だけ、発光装置６１のLED２１aを発光させる。これにより、被写体には、外光光源の他、LED２１aから波長λ１の光が照射される。
【０１６１】
また、ステップＳ３において、制御部１０１は、生成したVD信号に生じる奇数番目の立ち上がりエッジに基づいて、ステップＳ１の処理で決定した露光のタイミングから露光時間だけ、カメラ６２による露光を行わせる。これにより、カメラ６２は、波長λ１の照射光成分、及び波長λ１の外光成分を受光して得られる第１の撮像画像を生成し、差分画像生成部１０２に供給する。
【０１６２】
ステップＳ２の処理によるLED２１aの発光、及びステップＳ３の処理によるカメラ６２の露光が終了した後、ステップＳ４において、制御部１０１は、生成したVD信号に生じる偶数番目の立ち上がりエッジに基づいて、ステップＳ１の処理で決定した露光のタイミングから露光時間だけ、発光装置６１のLED２１bを発光させる。これにより、被写体には、外光光源の他、LED２１bから波長λ２の光が照射される。
【０１６３】
ステップＳ５において、制御部１０１は、生成したVD信号に生じる偶数番目の立ち上がりエッジに基づいて、ステップＳ１の処理で決定した露光のタイミングから露光時間だけ、カメラ６２による露光を行わせる。これにより、カメラ６２は、波長λ２の照射光成分、及び波長λ２の外光成分を受光して得られる第２の撮像画像を生成し、差分画像生成部１０２に供給する。
【０１６４】
ステップＳ４の処理によるLED２１bの発光、及びステップＳ５の処理によるカメラ６２の露光が終了した後、ステップＳ６において、制御部１０１は、LED２１a及びLED２１bを消灯させた状態で、ステップＳ１の処理で決定した露光のタイミングから露光時間だけ、外光光源から被写体に照射された波長λ１の光の反射光を、カメラ６２に受光させる。これにより、カメラ６２は、波長λ１の外光成分のみを受光して得られる第３の撮像画像を生成し、制御部１０１に供給する。
【０１６５】
ステップＳ７において、制御部１０１は、カメラ６２からの第３の撮像画像上の肌領域を構成する画素の輝度値のうちの最大の輝度値が、条件式（１''）を満たすか否か、すなわち、最大の輝度値が所定の閾値（例えば、閾値155）未満であるか否かを判定する。
【０１６６】
そして、ステップＳ７において、制御部１０１は、カメラ６２からの第３の撮像画像の肌領域を構成する画素の輝度値のうちの最大の輝度値が、所定の閾値未満でないと判定した場合、処理をステップＳ８に進める。
【０１６７】
ステップＳ８において、制御部１０１は、カメラ６２からの第３の撮像画像の肌領域を構成する画素の輝度値のうちの最大の輝度値に基づいて、露光のタイミング及び露光時間等を決定（変更）する。また、制御部１０１は、決定した露光時間に応じて、LED２１a及びLED２１bの出力を調整する。そして、制御部１０１は、処理をステップＳ２に戻し、それ以降、同様の処理を行う。
【０１６８】
また、ステップＳ７において、制御部１０１は、カメラ６２からの第３の撮像画像を構成する画素の輝度値のうちの最大の輝度値が、所定の閾値未満であると判定した場合、処理をステップＳ９に進める。
【０１６９】
ステップＳ９及びステップＳ１０において、制御部１０１は、差分画像生成部１０２及び２値化部１０３を制御して、肌領域の検出を行わせ、その検出結果に応じたジェスチャ操作を行わせる指示を、後段に出力する。
【０１７０】
すなわち、ステップＳ９において、差分画像生成部１０２は、カメラ６２からの第１の撮像画像と第２の撮像画像に対してLPFを用いた平滑化を行う。そして、差分画像生成部１０２は、平滑化後の第１の撮像画像と第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部１０３に供給する。
【０１７１】
ステップＳ１０において、２値化部１０３は、差分画像生成部１０２からの差分画像を２値化し、その結果得られる２値化画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出し、その検出結果に対応するジェスチャ操作を行わせる指示を、後段に出力する。
【０１７２】
そして、ステップＳ１０の終了後、処理はステップＳ２に戻り、それ以降、同様の処理が行われる。
【０１７３】
なお、この肌検出処理は、例えば、ユーザにより情報処理システム４１の電源がオフにされたときに終了される。
【０１７４】
以上説明したように、肌検出処理では、波長λ１の外光成分のみを受光して得られる第３の撮像画像に基づいて、露光のタイミング及び露光時間等を変更するようにした。
【０１７５】
これにより、肌検出処理では、波長λ１及びλ２の照射光成分により蓄積される電荷の電荷量が維持され、波長λ１及びλ２の外光成分により蓄積される電荷の電荷量が十分に抑制されるため、例えば従来の肌認識システム１と比較して、撮像画像上の肌領域を検出する肌検出精度を向上させることが可能となる。
【０１７６】
また、肌検出処理では、第３の撮像画像に応じて変化するいずれの露光時間においても、LED２１aから照射される波長λ１の光の総光量が、波長λ１に応じた一定の量となるとともに、LED２１bから照射される波長λ２の光の総光量が、波長λ２に応じた一定の量となるように、LED２１a及びLED２１bを制御するようにした。
【０１７７】
したがって、本実施の形態では、LED２１a及びLED２１bのそれぞれにより消費される消費電力、及び露光時間内に発光する総光量は、いずれも、従来の肌認識システム１と同じものとなる。
【０１７８】
したがって、本実施の形態において、従来の肌認識システム１と比較して、消費電力を増やさないとともに、LED２１a及びLED２１bから被写体までの距離を短くすることなく、波長λ１及びλ２の外光成分による電荷量を抑制することが可能となる。
【０１７９】
＜２．変形例＞
本実施の形態において、肌検出処理では、制御部１０１が、カメラ６２からの第３の撮像画像に応じて、露光のタイミング及び露光時間等を変更するようにしたが、これに限定されない。
【０１８０】
すなわち、例えば、肌検出処理において、ステップＳ１で予め決定した露光のタイミング及び露光時間等を変更せずに、ステップＳ２乃至ステップＳ５、ステップＳ９、及びステップＳ１０による処理を行うようにしてもよい。この場合、カメラ６２からの第３の撮像画像に応じて、露光のタイミング及び露光時間等を変更する必要がなくなるため、肌領域を検出する処理速度を早くすることが可能となる。
【０１８１】
本実施の形態では、LED２１a及びLED２１bによる発光のタイミングを、カメラ６２による露光のタイミングと一致させるようにしたが、発光のタイミングは、これに限定されない。
【０１８２】
すなわち、発光のタイミングは、露光時間内にLED２１aから照射される波長λ１の光の総光量が、波長λ１に応じた一定の量となるとともに、露光時間内にLED２１bから照射される波長λ２の光の総光量が、波長λ２に応じた一定の量となるような発光のタイミングであれば、どのようなタイミングで発光させるようにしてもよい。
【０１８３】
具体的には、例えば、LED２１a及びLED２１bによる発光のタイミングを、カメラ６２による露光のタイミングとずらして、LED２１a及びLED２１bを、露光時間内に、露光時間よりも短い発光時間で発光させるようにしてもよいし、露光時間の一部分又はすべてを含む、露光時間よりも長い発光時間で発光させるようにしてもよい。
【０１８４】
この場合、制御部１０１は、いずれの発光時間においても、露光時間内にLED２１aから照射される波長λ１の光の総光量が、波長λ１に応じた一定の量となるとともに、露光時間内にLED２１bから照射される波長λ２の光の総光量が、波長λ２に応じた一定の量となるように、LED２１a及びLED２１bをそれぞれ制御する。
【０１８５】
本実施の形態では、LED２１aにより発光される波長λ１の波長を870[nm]とし、LED２１bにより発光される波長λ２の波長を950[nm]としたが、波長の組合せはこれに限定されない。
【０１８６】
すなわち、波長の組合せとしては、波長λ１における反射率と、波長λ２における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。
【０１８７】
具体的には、図４から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、LED２１aが930[nm]未満の波長λ１の光を照射し、LED２１bが930[nm]以上の波長λ２の光を照射するように構成することが可能である。
【０１８８】
なお、波長λ１の光として、可視光を用いる場合には、可視光である波長λ１の光が、可視光カットフィルタ６２aにより遮断されないように、例えば、カメラ６２から可視光カットフィルタ６２aを外す必要がある。このことは、波長λ２の光として、可視光を用いる場合についても同様のことが言える。
【０１８９】
また、本実施の形態では、第１又は第２の撮像画像から肌領域を検出する情報処理システム４１について説明したが、この情報処理システム４１を、テレビジョン受像機等の電子機器に内蔵することが可能である。
【０１９０】
この場合、例えば、情報処理システム４１が内蔵されたテレビジョン受像機では、情報処理システム４１により検出された肌領域の検出結果に応じて、チャンネルの変更等が行われる。
【０１９１】
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０１９２】
[コンピュータの構成例]
次に、図１３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【０１９３】
CPU（central processing unit）２０１は、ROM（read only memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（random access memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１９４】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１９５】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１９６】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１９７】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１９８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む）、光磁気ディスク（ＭＤ（mini-disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１９９】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２００】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２０１】
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２０２】
２１a，２１b  LED，  ４１  情報処理システム，  ６１  発光装置，  ６１a  拡散板  ，  ６２  カメラ，  ６２a  可視光カットフィルタ，  ６３  情報処理装置，  １０１  制御部，  １０２  差分画像生成部，  １０３  ２値化部
【図１】
0005505693.tif 000002
【図２】
0005505693.tif 000003
【図３】
0005505693.tif 000004
【図４】
0005505693.tif 000005
【図５】
0005505693.tif 000006
【図６】
0005505693.tif 000007
【図７】
0005505693.tif 000008
【図８】
0005505693.tif 000009
【図９】
0005505693.tif 000010
【図１０】
0005505693.tif 000011
【図１１】
0005505693.tif 000012
【図１２】
0005505693.tif 000013
【図１３】
0005505693.tif 000014