(57)【要約】【課題】肌領域を精度良く検出する。【解決手段】発光装置２１は、第１の波長の光および第２の波長の光を被写体に照射し、カメラ２２は、第１の波長の光を受光する第１の受光素子と、第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、画像センサに入射される、第１および第２の波長の光が被写体に照射されているときの被写体からの反射光に基づいて第１のモザイク画像を生成し、生成した第１のモザイク画像を構成する各画素において、第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する。そして、画像処理装置２３は、第１および第２の画像に基づいて肌領域を検出する。本発明は、例えば撮像により得られる画像から、人間の肌を表す肌領域を抽出するコンピュータ等に適用できる。【選択図】図１
2012014668.tif 000002
【特許請求の範囲】
【請求項１】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と、
前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、
前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
を含む画像処理装置。
【請求項２】
前記第１の生成手段は、前記第１および第２の受光素子の他、R(red)成分を受光する第３の受光素子、G(green)成分を受光する第４の受光素子、およびB(blue)成分を受光する第５の受光素子により構成される前記画像センサに入射された前記被写体からの反射光に基づいて前記第１のモザイク画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の生成手段は、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されていないときの前記被写体からの反射光に基づいて第２のモザイク画像も生成し、
前記第２の生成手段は、前記第２のモザイク画像を構成する各画素において、前記第３乃至第５の受光素子それぞれに対応する画素の画素値に基づく第３の補間処理により得られるRGB画像も生成し、
前記RGB画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記第１の生成手段のパラメータを調整する調整手段を
さらに含む請求項２に記載の画像処理装置。
【請求項４】
前記第１の生成手段は、予め決められたパラメータに応じて前記被写体を撮像することにより前記第１のモザイク画像を生成し、
前記調整手段は、前記RGB画像を構成する画素の輝度値、または前記輝度値に基づき算出される算出値の一方が、前記RGB画像がとり得る最大の輝度値の半分以下となる前記肌検出可能条件を満たす範囲内で前記第１の生成手段の前記パラメータを調整する
請求項３に記載の画像処理装置。
【請求項５】
前記第１の波長以外の波長の光の入射を制限し、前記第１の波長の光を透過させる第１の入射制限手段と、
前記第２の波長以外の波長の光の入射を制限し、前記第２の波長の光を透過させる第２の入射制限手段と
をさらに含み、
前記第１の生成手段は、前記第１の入射制限手段を介して得られる前記第１の波長の光を受光する前記第１の受光素子と、前記第２の入射制限手段を介して得られる前記第２の波長の光を受光する前記第２の受光素子とを少なくとも有する前記画像センサを内蔵する
請求項１に記載の画像処理装置。
【請求項６】
前記第１の生成手段は、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されていないときの前記被写体からの反射光に基づいて第２のモザイク画像も生成し、
前記第２の生成手段は、前記第２のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第４の補間処理により得られる第３の画像も生成し、
前記検出手段は、さらに、前記第３の画像上の全領域のうち、前記第３の画像を構成する各画素の画素値が所定の閾値以上である画素により構成される所定領域を検出する
請求項１に記載の画像処理装置。
【請求項７】
前記照射手段による照射を制御する制御手段をさらに含み、
前記検出手段は、
前記制御手段の制御にしたがって前記照射手段による照射が行われている場合に、前記第２の生成手段により生成される前記第１および第２の画像に基づいて前記肌領域を検出し、
前記制御手段の制御にしたがって前記照射手段による照射が行われていない場合に、前記第２の生成手段により生成される前記第３の画像に基づいて前記所定領域を検出する
請求項６に記載の画像処理装置。
【請求項８】
照射手段と、
第１の波長の光を受光する第１の受光素子と、前記第１の波長とは異なる第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵する第１の生成手段と、
第２の生成手段と、
検出手段と
を備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
前記照射手段が、前記第１の波長の光、および前記第２の波長の光を被写体に照射し、
前記第１の生成手段が、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成し、
前記第２の生成手段が、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成し、
前記検出手段が、前記第１および第２の画像に基づいて前記肌領域を検出する
ステップを含む画像処理方法。
【請求項９】
第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と
を備え、画像上から人間の肌を表す肌領域を検出する画像処理装置を制御するコンピュータを、
前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、
前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
して機能させるためのプログラム。
【請求項１０】
画像上から人間の肌を表す肌領域を検出する電子装置において、
第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と、
前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、
前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と、
検出された前記肌領域に応じた処理を実行する実行手段と
を含む電子装置。
【請求項１１】
画像上から人間の肌を表す肌領域を検出する画像処理装置において、
第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
前記被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、
生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
を含み、
前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、
前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する
画像処理装置。
【請求項１２】
前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って交流的に変動させて被写体に照射し、
前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する交流成分を抽出することにより前記第１および第２の画像を生成する
請求項１１に記載の画像処理装置。
【請求項１３】
前記照射手段は、前記第１の波長の光の輝度を第１の周波数に従って交流的に変動させて被写体に照射する処理と、前記第２の波長の光の輝度を前記第１の周波数とは異なる第２の周波数に従って交流的に変動させて被写体に照射する処理を同時に行い、
前記撮像手段は、前記第１および第２の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第１の周波数に対応する交流成分を抽出することにより前記第１の画像を生成し、前記被写体の光学像を光電変換して得られる電気信号の前記第２の周波数に対応する交流成分を抽出することにより前記第２の画像を生成する
請求項１２に記載の画像処理装置。
【請求項１４】
前記照射手段は、前記第１の波長の光の輝度を第３の周波数に従って交流的に変動させて被写体に照射する処理と、前記第２の波長の光の輝度を前記第３の周波数に従って交流的に変動させて被写体に照射する処理を交互に行い、
前記撮像手段は、前記第１の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第３の周波数に対応する交流成分を抽出することにより前記第１の画像を生成し、前記第２の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第３の周波数に対応する交流成分を抽出することにより前記第２の画像を生成する
請求項１２に記載の画像処理装置。
【請求項１５】
第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、
生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
を備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、
前記照射手段が、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、
前記撮像手段が、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する
ステップを含む画像処理方法。
【請求項１６】
第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、
生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と
を備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の制御用のプログラムであって、
前記照射手段を制御して、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射させ、
前記撮像手段を制御して、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成させる
ステップを含む処理を画像処理装置のコンピュータに実行させるプログラム。
【請求項１７】
画像上から人間の肌を表す肌領域を検出する電子装置において、
第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、
前記被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、
生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と、
検出された前記肌領域に応じた処理を実行する実行手段と
を含み、
前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、
前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する
電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムおよび電子装置に関し、特に、撮影した画像に基づいて、例えば人の手等の肌が露出している部分を検出する場合に用いて好適な画像処理装置、画像処理方法、プログラムおよび電子装置に関する。
【背景技術】
【０００２】
人物を撮像して得られる画像上から、顔や手などのように肌が露出している領域（以下、肌領域と称する）を検出する肌検出技術が存在する（例えば、特許文献１参照）。
【０００３】
この肌検出技術では、波長λ１の光が照射された状態の被写体（人物）を撮像した第１の画像と、波長λ１よりも長波長である波長λ２の光が照射された状態の被写体を撮像した第２の画像とを取得する。そして、第１の画像の輝度値から第２の画像の輝度値を差し引いて得られる差分が所定に閾値よりも大きな領域を肌領域として検出する。
【０００４】
なお、波長λ１，λ２は、人間の肌の反射特性に依存して決定される。すなわち、人の肌に照射したときの反射率が異なり、かつ、人の肌以外（例えば、髪の毛、衣服など）に照射したときの反射率がほぼ等しいものに決定されている。具体的には、例えば、波長λ１は870nm、波長λ２は950nmとされている。
【先行技術文献】
【非特許文献】
【０００５】
【特許文献１】特開２００６−４７０６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、肌検出技術では、図３４に示すように、波長λ１の光と波長λ２の光とを交互に照射して撮像して第１の画像と第２の画像を得るようになされている。
【０００７】
しかしながら、このようにした場合、被写体に動きがあると、第１の画像と第２の画像とで被写体の位置が異なるために、肌検出を精度良く検出できないことになる。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、被写体に動きがあっても、肌領域を精度良く検出できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面である画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置であって、第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを含む。
【００１０】
前記第１の生成手段は、前記第１および第２の受光素子の他、R(red)成分を受光する第３の受光素子、G(green)成分を受光する第４の受光素子、およびB(blue)成分を受光する第５の受光素子により構成される前記画像センサに入射された前記被写体からの反射光に基づいて前記第１のモザイク画像を生成することができる。
【００１１】
前記第１の生成手段は、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されていないときの前記被写体からの反射光に基づいて第２のモザイク画像も生成し、前記第２の生成手段では、前記第２のモザイク画像を構成する各画素において、前記第３乃至第５の受光素子それぞれに対応する画素の画素値に基づく第３の補間処理により得られるRGB画像も生成し、前記RGB画像に基づいて、前記肌領域を検出するための肌検出可能条件を満たす範囲内で前記第１の生成手段のパラメータを調整する調整手段をさらに設けることができる。
【００１２】
前記第１の生成手段は、予め決められたパラメータに応じて前記被写体を撮像することにより前記第１のモザイク画像を生成するものであり、前記調整手段では、前記RGB画像を構成する画素の輝度値、または前記輝度値に基づき算出される算出値の一方が、前記RGB画像がとり得る最大の輝度値の半分以下となる前記肌検出可能条件を満たす範囲内で前記第１の生成手段の前記パラメータを調整することができる。
【００１３】
本発明の第１の側面である画像処理装置は、前記第１の波長以外の波長の光の入射を制限し、前記第１の波長の光を透過させる第１の入射制限手段と、前記第２の波長以外の波長の光の入射を制限し、前記第２の波長の光を透過させる第２の入射制限手段とをさらに設けることができ、前記第１の生成手段は、前記第１の入射制限手段を介して得られる前記第１の波長の光を受光する前記第１の受光素子と、前記第２の入射制限手段を介して得られる前記第２の波長の光を受光する前記第２の受光素子とを少なくとも有する前記画像センサを内蔵するようにすることができる。
【００１４】
前記第１の生成手段は、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されていないときの前記被写体からの反射光に基づいて第２のモザイク画像も生成し、前記第２の生成手段は、前記第２のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第４の補間処理により得られる第３の画像も生成し、前記検出手段は、さらに、前記第３の画像上の全領域のうち、前記第３の画像を構成する各画素の画素値が所定の閾値以上である画素により構成される所定領域を検出することができる。
【００１５】
本発明の第１の側面である画像処理装置は、前記照射手段による照射を制御する制御手段をさらに設けることができ、前記検出手段は、前記制御手段の制御にしたがって前記照射手段による照射が行われている場合に、前記第２の生成手段により生成される前記第１および第２の画像に基づいて前記肌領域を検出し、前記制御手段の制御にしたがって前記照射手段による照射が行われていない場合に、前記第２の生成手段により生成される前記第３の画像に基づいて前記所定領域を検出することができる。
【００１６】
本発明の第１の側面である画像処理方法は、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法であって、前記画像処理装置は、照射手段と、第１の波長の光を受光する第１の受光素子と、前記第１の波長とは異なる第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵する第１の生成手段と、第２の生成手段と、検出手段とを含み、前記照射手段が、前記第１の波長の光、および前記第２の波長の光を被写体に照射し、前記第１の生成手段が、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成し、前記第２の生成手段が、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成し、前記検出手段が、前記第１および第２の画像に基づいて前記肌領域を検出するステップを含む。
【００１７】
本発明の第１の側面のプログラムは、第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段とを含み、画像上から人間の肌を表す肌領域を検出する画像処理装置を制御するコンピュータを、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、前記第１および第２の画像に基づいて前記肌領域を検出する検出手段として機能させる。
【００１８】
本発明の第１の側面によれば、第１の波長の光、および前記第１の波長とは異なる第２の波長の光が被写体に照射され、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像が生成され、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像が生成され、生成された前記第１および第２の画像に基づいて前記肌領域が検出される。
【００１９】
本発明の第２の側面の電子装置は、画像上から人間の肌を表す肌領域を検出する電子装置であって、第１の波長の光、および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサを内蔵し、前記画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像を生成する第１の生成手段と、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像を生成する第２の生成手段と、前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と、検出された前記肌領域に応じた処理を実行する実行手段とを含む。
【００２０】
本発明の第２の側面によれば、第１の波長の光、および前記第１の波長とは異なる第２の波長の光が被写体に照射され、前記第１の波長の光を受光する第１の受光素子と、前記第２の波長の光を受光する第２の受光素子とを少なくとも有する画像センサに入射される、前記第１および第２の波長の光が前記被写体に照射されているときの前記被写体からの反射光に基づいて第１のモザイク画像が生成され、前記第１のモザイク画像を構成する各画素において、前記第１の受光素子に対応する画素の画素値に基づく第１の補間処理により得られる第１の画像、および前記第２の受光素子に対応する画素の画素値に基づく第２の補間処理より得られる第２の画像が生成され、生成された前記第１および第２の画像に基づいて前記肌領域が検出される。さらに、検出された前記肌領域に応じた処理が実行される。
【００２１】
本発明の第３の側面である画像処理装置は、画像上から人間の肌を表す肌領域を検出する画像処理装置において、第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを含み、前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する。
【００２２】
前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って交流的に変動させて被写体に照射し、前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する交流成分を抽出することにより前記第１および第２の画像を生成することができる。
【００２３】
前記照射手段は、前記第１の波長の光の輝度を第１の周波数に従って交流的に変動させて被写体に照射する処理と、前記第２の波長の光の輝度を前記第１の周波数とは異なる第２の周波数に従って交流的に変動させて被写体に照射する処理を同時に行い、前記撮像手段は、前記第１および第２の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第１の周波数に対応する交流成分を抽出することにより前記第１の画像を生成し、前記被写体の光学像を光電変換して得られる電気信号の前記第２の周波数に対応する交流成分を抽出することにより前記第２の画像を生成することができる。
【００２４】
前記照射手段は、前記第１の波長の光の輝度を第３の周波数に従って交流的に変動させて被写体に照射する処理と、前記第２の波長の光の輝度を前記第３の周波数に従って交流的に変動させて被写体に照射する処理を交互に行い、前記撮像手段は、前記第１の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第３の周波数に対応する交流成分を抽出することにより前記第１の画像を生成し、前記第２の波長の光が照射されている状態の前記被写体の光学像を光電変換して得られる電気信号の前記第３の周波数に対応する交流成分を抽出することにより前記第２の画像を生成することができる。
【００２５】
本発明の第３の側面である画像処理方法は、第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の画像処理方法において、前記照射手段が、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、前記撮像手段が、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成するステップを含む。
【００２６】
本発明の第３の側面であるプログラムは、第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段とを備え、画像上から人間の肌を表す肌領域を検出する画像処理装置の制御用のプログラムであって、前記照射手段を制御して、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射させ、前記撮像手段を制御して、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成させるステップを含む処理を画像処理装置のコンピュータに実行させる。
【００２７】
本発明の第３の側面においては、第１および第２の波長の光の輝度が所定の周波数に従って変動されて被写体に照射され、被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分が抽出されることにより第１および第２の画像が生成される。
【００２８】
本発明の第４の側面である電子装置は、画像上から人間の肌を表す肌領域を検出する電子装置において、第１の波長および前記第１の波長とは異なる第２の波長の光を被写体に照射する照射手段と、前記被写体を撮像して、前記第１の波長の光に基づく第１の画像を生成するとともに、前記第２の波長の光に基づく第２の画像を生成する撮像手段と、生成された前記第１および第２の画像に基づいて前記肌領域を検出する検出手段と、検出された前記肌領域に応じた処理を実行する実行手段とを含み、前記照射手段は、前記第１および第２の波長の光の輝度を所定の周波数に従って変動させて被写体に照射し、前記撮像手段は、前記被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分を抽出することにより前記第１および第２の画像を生成する。
【００２９】
本発明の第３の側面においては、第１および第２の波長の光の輝度が所定の周波数に従って変動されて被写体に照射され、被写体の光学像を光電変換して得られる電気信号の前記所定の周波数に対応する成分が抽出されることにより第１および第２の画像が生成される。
【発明の効果】
【００３０】
本発明の第１乃至第４の側面によれば、肌領域を精度良く検出することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明を適用した情報処理システムの構成例を示すブロック図である。
【図２】人間の肌に対する分光反射特性の一例を示す図である。
【図３】イメージセンサに設けられるフィルタ板の第１の例を示す図である。
【図４】図３のフィルタ板における光の透過特性の一例を示す図である。
【図５】画像処理装置の構成例を示す図である。
【図６】算出部および２値化部が行なう処理の詳細を示す図である。
【図７】肌検出処理を説明するためのフローチャートである。
【図８】イメージセンサに設けられるフィルタ板の第２の例を示す図である。
【図９】図８のフィルタ板における光の透過特性の一例を示す図である。
【図１０】外光画像におけるヒストグラムの第１の例を示す図である。
【図１１】肌検出調整処理を説明するためのフローチャートである。
【図１２】外光画像におけるヒストグラムの第２の例を示す図である。
【図１３】外光画像におけるヒストグラムの第３の例を示す図である。
【図１４】従来のＲ，Ｇ，Ｂ各フィルタの透過特性の一例を示す図である。
【図１５】従来のＩＲカットフィルタの透過特性野一例を示す図である。
【図１６】従来のＲ，Ｇ，Ｂ各フィルタに従来のＩＲカットフィルタを設けた場合に得られる透過特性の一例を示す図である。
【図１７】イメージセンサに設けられるフィルタ板の第３の例を示す図である
【図１８】ベイヤー配列により配列されたフィルタ板の一例を示す図である。
【図１９】λ１フィルタおよびλ２フィルタが設けられたＩＲカットフィルタの一例を示す図である。
【図２０】イメージセンサに設けられるフィルタ板の第４の例を示す図である。
【図２１】本発明を適用した小型モジュールの一例を示す図である。
【図２２】小型モジュールを内蔵したテレビジョン受像機の一例を示す図である。
【図２３】LED検出処理を説明するためのフローチャートである。
【図２４】LED検出調整処理を説明するためのフローチャートである。
【図２５】ディスプレイに表示される画像の一例を示す図である。
【図２６】第１の実施の形態に対応する、輝度変動を伴わない照射と撮像のタイミングを示す図である。
【図２７】第４の実施の形態に対応する、輝度変動を伴う照射と撮像のタイミングを示す図である。
【図２８】第４の実施の形態におけるCMOSイメージセンサの構成例を示すブロック図である。
【図２９】第４の実施の形態によるλ１画像およびλ２画像の生成処理を説明するフローチャートである。
【図３０】第５の実施の形態に対応する、輝度変動を伴う照射と撮像のタイミングを示す図である。
【図３１】第５の実施の形態におけるCMOSイメージセンサの構成例を示すブロック図である。
【図３２】第５の実施の形態によるλ１画像およびλ２画像の生成処理を説明するフローチャートである。
【図３３】コンピュータの構成例を示すブロック図である。
【図３４】従来の肌検出技術における照射と撮像のタイミングを示す図である。
【発明を実施するための形態】
【００３２】
以下、発明を実施するための形態（以下、実施の形態と称する）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（モザイク画像からλ１画像およびλ２画像を生成する場合の一例）
２．第２の実施の形態（外光画像に基づいてカメラ２２のゲインを調整する場合の一例）
３．第３の実施の形態（LED位置を検出するテレビジョン受像機の一例）
４．第４の実施の形態（波長λ１の光と波長λ２の光の輝度を異なる周波数に従い交流的に変動させて同時に照射する場合の一例）
５．第５の実施の形態（波長λ１の光と波長λ２の光の輝度を同一の周波数に従い交流的に変動させて交互に照射する場合の一例）
【００３３】
＜１．第１の実施の形態＞
[情報処理システム１の構成例]
図１は、本発明を適用した情報処理システム１の構成例を示している。
【００３４】
この情報処理システム１は、ユーザの手を用いたジェスチャ（またはポスチャ）に応じて所定の処理を実行するものであり、発光装置２１、カメラ２２、および画像処理装置２３により構成される。
【００３５】
情報処理システム１に対して所定の処理を実行させるため、ユーザは、カメラ２２のレンズ面の前で自身の手の形状を変化させたり、自身の手を動かしたりする。
【００３６】
このとき、情報処理システム１では、ユーザの手の形状や動きを認識し、その認識結果に対応して所定の処理を実行する。
【００３７】
なお、第１の実施の形態では、ユーザは、カメラ２２のレンズ面の前で手の形状を変化させるものとし、ユーザは、自身の手を、顔や胸等よりもカメラ２２のレンズ面に近い位置に出して、手の形状を変化させたり、動かしたりするものとする。
【００３８】
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED(light emitting diode)２１a1およびLED２１a2、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1およびLED２１b2により構成される。
【００３９】
なお、以下の説明において、LED２１a1およびLED２１a2をそれぞれ区別する必要がない場合には、単にLED２１aと称するとともに、LED２１b1およびLED２１b2をそれぞれ区別する必要がない場合には、単にLED２１bと称する。なお、LED２１aの個数およびLED２１bの個数は、それぞれ、２個に限定されるものではない。
【００４０】
発光装置２１は、画像処理装置２３からの制御にしたがって、LED２１aとLED２１bとを、例えば同時に発光させる。
【００４１】
なお、LED２１aおよびLED２１bの光出力は、波長λ１およびλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１またはλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる画像の対応する画素どうしの輝度値が同一となるように調整されているものとする。
【００４２】
また、LED２１aにおける波長λ１と、LED２１bにおける波長λ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。すなわち、この組合せは、人間の肌に対する分光反射特性に基づいて決定される。
【００４３】
次に、図２は、人間の肌に対する分光反射特性を示している。
【００４４】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【００４５】
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００４６】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【００４７】
具体的には、例えば、図２に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は約63[%]であり、950[nm]の光を照射して得られる反射光の反射率は約50[%]である。
【００４８】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【００４９】
第１の実施の形態では、上述した分光反射特性において、波長λ１およびλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【００５０】
なお、波長λ１と波長λ２との組合せは、波長870[nm]と波長950[nm]とに限定されず、例えば、以下に示す関係式を満たす組合せであれば、どのような組合せであってもよい。
λ１＜λ２
６３０[nm]≦λ１≦１０００[nm]
９００[nm]≦λ２≦１１００[nm]
【００５１】
図１に戻り、カメラ２２は、レンズの他、CCDやCMOS等のイメージセンサにより構成されている。
【００５２】
そして、カメラ２２のイメージセンサの前面には、図３に示されるように、λ１フィルタ（図３でいう「１」に対応）と、λ２フィルタ（図３でいう「２」に対応）とが、市松模様状に配置されたフィルタ板３１が設けられている。
【００５３】
なお、図４に示されるように、λ１フィルタは、発光スペクトルのピーク波長がλ１（いまの場合λ１=870[nm]）である光（波長λ１の光）を透過させる透過特性を有している。また、λ２フィルタは、発光スペクトルのピーク波長がλ２（いまの場合λ１=950[nm]）である光（波長λ２の光）を透過させる透過特性を有している。
【００５４】
これにより、カメラ２２は、イメージセンサを構成する複数の受光素子において、波長λ１の光、および波長λ２の光のみを受光することとなる。そして、イメージセンサを構成する複数の受光素子のうち、λ１フィルタが設けられた受光素子は、その受光素子に対応する画素の画素値として、受光した波長λ１の光を光電変換して画素値ｘ（λ１）を取得する。また、イメージセンサを構成する複数の受光素子のうち、λ２フィルタが設けられた受光素子は、その受光素子に対応する画素の画素値として、受光した波長λ２の光を光電変換して画素値ｘ（λ２）を取得する。
【００５５】
すなわち、カメラ２２のイメージセンサは、受光した波長λ１の光を光電変換して得られる画素値ｘ（λ１）を有する画素と、受光した波長λ２の光を光電変換して得られる画素値ｘ（λ２）を有する画素とが、市松模様状に配置されたモザイク画像を生成する。
【００５６】
そして、カメラ２２は、モザイク画像を構成する各画素の画素値のうち、λ１フィルタが設けられた受光素子に対応する画素の画素値ｘ（λ１）を用いて、λ２フィルタが設けられた受光素子に対応する画素において、波長λ１の光を受光した場合に得られる画素値ｘ（λ１）を補間するλ１補間処理を行い、その結果得られるλ１画像を、画像処理装置２３に供給する。
【００５７】
また、カメラ２２は、モザイク画像を構成する各画素の画素値のうち、λ２フィルタが設けられた受光素子に対応する画素の画素値ｘ（λ２）を用いて、λ１フィルタが設けられている受光素子に対応する画素において、波長λ２の光を受光した場合に得られる画素値ｘ（λ２）を補間するλ２補間処理を行い、その結果得られるλ２画像を、画像処理装置２３に供給する。
【００５８】
画像処理装置２３は、カメラ２２から供給されるλ１画像およびλ２画像に基づいて、λ１画像を構成する画素の画素値（例えば、輝度値）から、その画素に対応する、λ２画像を構成する画素の画素値を差し引いて得られる差分を算出する。
【００５９】
そして、画像処理装置２３は、算出した差分に基づいて、λ１画像（またはλ２画像）上の肌領域を検出する。画像処理装置２３は、検出した肌領域に基づいて、ユーザの手の形状等を認識し、その認識結果に対応して所定の処理を実行する。
【００６０】
[画像処理装置２３の構成例]
次に、図５は、画像処理装置２３の構成例を示している。
【００６１】
この画像処理装置２３は、制御部４１、算出部４２、および２値化部４３により構成される。
【００６２】
制御部４１は、カメラ２２の撮像タイミング、撮像時間、発光装置２３の発光タイミング、発光時間等を制御する。また、例えば、制御部４１は、算出部４２および２値化部４３を制御する。
【００６３】
算出部４２は、カメラ２２からのλ１画像およびλ２画像に対して、LPF(low pass filter)を用いた平滑化を行う。そして、算出部４２は、平滑化後のλ１画像およびλ２画像どうしの差分を算出し、算出した差分を画素値とする画素により構成される差分画像を、２値化部４３に供給する。
【００６４】
なお、カメラ２２は、生成したモザイク画像を算出部４２に供給するようにし、算出部４２は、カメラ２２からのモザイク画像に対して、λ１補間処理を行なうことによりλ１画像を生成するとともに、λ２補間処理を行なうことによりλ２画像を生成するようにしてもよい。そして、算出部４２は、算出したλ１画像およびλ２画像に対して、LPFを用いた平滑化等を行うようにしてもよい。
【００６５】
２値化部４３は、算出部４２からの差分画像を２値化し、その結果得られる２値化肌画像に基づいて、λ１画像（またはλ２画像）上の肌領域を検出し、その検出結果を制御部４１に供給する。
【００６６】
ただし、差分画像６３を構成する画素の画素値を、それぞれ、λ１画像６１を構成する画素のうち、対応する画素の輝度値で正規化（除算）した上で、２値化するようにしてもよい。また、２値化部４３は、λ１画像６１に代えて、λ２画像６２を用いて差分画像６３を正規化した上で２値化するようにしてもよい。
【００６７】
次に、図６は、算出部４２および２値化部４３が行なう処理の詳細を示している。
【００６８】
算出部４２には、カメラ２２から、肌領域６１aおよび非肌領域６１b(肌領域６１a以外の領域)により構成されるλ１画像６１、並びに、肌領域６２aおよび非肌領域６２b(肌領域６２a以外の領域)により構成されるλ２画像６２が供給される。
【００６９】
算出部４２は、カメラ２２から供給されるλ１画像６１、およびλ２画像６２に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後のλ１画像６１、平滑化後のλ２画像６２の対応する画素の画素値（例えば、輝度値）どうしの差分を算出し、その差分を画素値とする差分画像６３を生成し、２値化部４３に供給する。
【００７０】
２値化部４３は、算出部４２からの差分画像６３に対して、差分画像６３を構成する画素の画素値のうち、２値化に用いる２値化閾値以上の画素値を１とし、２値化閾値未満の画素値を０とする２値化を行う。
【００７１】
いま、差分画像６３における肌領域６３aは、肌領域６１aと肌領域６２aとの差分を画素値とする画素により構成されているため、肌領域６３aを構成する画素の画素値は比較的大きな値となっている。
【００７２】
また、差分画像６３における非肌領域６３bは、非肌領域６１bと非肌領域６２bとの差分を画素値とする画素により構成されているため、非肌領域６３bを構成する画素の画素値は比較的小さな値となっている。
【００７３】
したがって、差分画像６３は、２値化部４３により行われる２値化により、肌領域６３aを構成する画素の画素値が１とされた肌領域６４a、および非肌領域６３bを構成する画素の画素値が０とされた非肌領域６４ｂにより構成される２値化肌画像６４に変換される。
【００７４】
そして、２値化部４３は、その２値化により得られる２値化肌画像６４上の肌領域６４aを、制御部４１に供給する。
【００７５】
[情報処理システム１が行なう肌検出処理の詳細]
次に、図７のフローチャートを参照して、情報処理システム１が行なう肌検出処理について説明する。
【００７６】
ステップＳ１において、LED２１aおよびLED２１bは、制御部４１からの制御にしたがって、同一の照射タイミングで被写体を照射する。カメラ２２は、LED２１aからの波長λ１の光、およびLED２１bからの波長λ２の光が照射されている被写体からの反射光を受光し、受光した反射光を光電変換してモザイク画像を生成する。
【００７７】
ステップＳ２において、カメラ２２は、生成したモザイク画像に基づいて、λ１補間処理を行い、その結果得られるλ１画像を、算出部４２に供給する。また、カメラ２２は、生成したモザイク画像に基づいて、λ２補間処理を行い、その結果得られるλ２画像を、算出部４２に供給する。
【００７８】
ステップＳ３において、算出部４２は、カメラ２２からのλ１画像およびλ２画像に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後のλ１画像およびλ２画像どうしの差分を算出し、算出した差分を画素値とする画素により構成される差分画像を、２値化部４３に供給する。
【００７９】
ステップＳ４において、２値化部４３は、算出部４２からの差分画像を２値化することにより、２値化肌画像を生成する。
【００８０】
ステップＳ５において、２値化部４３は、生成した２値化肌画像に基づいて、λ１画像（またはλ２画像）上の肌領域を検出し、その検出結果を制御部４１に供給する。
【００８１】
ステップＳ６において、制御部４１は、２値化部４３からの検出結果に応じた処理、すなわち、例えば、２値化部４３からの肌領域の形状に応じて、図示せぬテレビジョン受像機等のチャンネルを変更する処理等を行なう。以上で肌検出処理は終了される。
【００８２】
以上説明したように、肌検出処理では、図３に示されたようなフィルタ板３１を、カメラ２２のイメージセンサの前面に設けるようにして得られるモザイク画像から、肌領域の検出に用いるλ１画像およびλ２の画像を生成するようにした。
【００８３】
このため、肌検出処理では、LED２１aおよびLED２１bを異なるタイミングで発光させる必要がないので、LED２１aおよびLED２１bの制御をより容易にすることができる。
【００８４】
また、例えば、LED２１aおよびLED２１bを異なるタイミングで発光させる場合、被写体の動きに起因して、λ１画像上における被写体の位置と、λ２画像上における被写体の位置とがずれる事態を防止できる。
【００８５】
さらに、例えば、波長λ１の光のみを受光してλ１画像を生成するために、波長λ１の光のみを透過させる第１の透過フィルタが設けられた第１のカメラ、および波長λ２の光のみを受光してλ２画像を生成するために、波長λ２の光のみを透過させる第２の透過フィルタが設けられた第２のカメラを用いる場合のように、視差により、λ１画像およびλ２画像上の被写体の位置がずれてしまう事態を防止できる。
【００８６】
このため、肌検出処理では、λ１画像とλ２画像とで被写体の位置がずれていないので、肌検出の精度が低下する事態を防止することが可能となる。
【００８７】
＜２．第２の実施の形態＞
ところで、図３に示されたフィルタ板３１を用いる場合には、受光した波長λ１の光の強度に対応した濃淡のあるλ１画像、および受光した波長λ２の光の強度に対応した濃淡のあるλ２画像が得られるものの、各画素がR(red)値、G(green)値、およびB(blue)値により構成されるRGB画像を得ることはできない。
【００８８】
そこで、カメラ２２のイメージセンサの前面に設けられるフィルタ板として、λ１フィルタおよびλ２フィルタの他、R成分のみを透過させるRフィルタ、G成分のみを透過させるGフィルタ、B成分のみを透過させるBフィルタが設けられたフィルタ板７１を採用することができる。
【００８９】
[フィルタ板による配列の一例]
次に、図８は、λ１フィルタ、λ２フィルタ、Rフィルタ、Gフィルタ、およびBフィルタが設けられたフィルタ板７１の一例を示している。
【００９０】
このフィルタ板７１には、図８に示されるように、奇数番目の行において、Rフィルタ（図８では「R」と記載）が１画素置きに配列されており、そのRフィルタの間にλ１フィルタとλ２フィルタとが交互に配列されている。また、フィルタ板７１には、図８に示されるように、偶数番目の行において、Gフィルタ（図８では「G」と記載）とBフィルタ（図８ででは「B」と記載）とが交互に配列されている。
【００９１】
すなわち、フィルタ板７１は、いわゆるベイヤー配列で配列されたRフィルタ、Gフィルタ、およびBフィルタにおいて、奇数番目の行に配列されたGフィルタを、λ１フィルタまたはλ２フィルタに置き換えたものである。
【００９２】
図９は、図８に示されたフィルタ板７１を構成する各フィルタの透過特性の一例を示している。なお、図９において、横軸は波長を表しており、縦軸は量子効率を表している。
【００９３】
カメラ２２では、図８に示されたようなフィルタ板７１を用いるようにすれば、そのフィルタ板７１を通して受光した反射光に基づき生成したモザイク画像に対して、RGB補間処理を行うことにより、RGB画像を生成することができるようになる。
【００９４】
すなわち、例えば、カメラ２２は、生成したモザイク画像を構成する各画素の画素値のうち、Rフィルタが設けられた受光素子に対応する画素の画素値を用いて、Rフィルタ以外のフィルタが設けられている受光素子に対応する画素において、R成分を受光した場合に得られる画素値を補間する。
【００９５】
また、例えば、カメラ２２は、生成したモザイク画像を構成する各画素の画素値のうち、Gフィルタが設けられた受光素子に対応する画素の画素値を用いて、Gフィルタ以外のフィルタが設けられている受光素子に対応する画素において、G成分を受光した場合に得られる画素値を補間する。
【００９６】
さらに、例えば、カメラ２２は、生成したモザイク画像を構成する各画素の画素値のうち、Bフィルタが設けられた受光素子に対応する画素の画素値を用いて、Bフィルタ以外のフィルタが設けられている受光素子に対応する画素において、B成分を受光した場合に得られる画素値を補間する。
【００９７】
これにより、カメラ２２は、各画素においてR値、G値、およびB値を有するRGB画像を生成することとなる。
【００９８】
なお、λ１画像およびλ２画像は、フィルタ板３１が設けられている場合と同様にして、モザイク画像から生成される。
【００９９】
また、画像処理装置２３では、例えば、LED２１aおよびLED２１bを消灯した状態で、カメラ２２の撮像により得られるモザイク画像に基づき生成されたRGB画像に基づいて、カメラ２２のゲイン等を調整することにより、太陽光や蛍光灯等の外光からの光に影響されず、精度良く肌を検出することができるようになる。
【０１００】
すなわち、例えば、カメラ２２は、LED２１aおよびLED２１bを消灯した状態で得られるRGB画像を、制御部４１に供給する。
【０１０１】
そして、制御部４１は、カメラ２２からのRGB画像に基づいて、カメラ２２のゲイン、発光装置２１のLED２１aやLED２１bの照射光量を調整する肌検出調整処理を行なう。
【０１０２】
制御部４１は、カメラ２２からのRGB画像を外光画像とし、その外光画像について、外光画像を構成する画素の画素値（例えば、輝度値）のヒストグラムを生成し、生成したヒストグラムに基づいて、カメラ２２のゲインを調整する。
【０１０３】
すなわち、例えば、制御部４１は、生成したヒストグラムに基づいて、カメラ２２が飽和（白とび等）せずに、λ１画像およびλ２画像に生じるノイズや、LED２１aおよびLED２１bの照射光量のばらつき等によっても、肌領域を精度良く検出できる範囲内で、カメラ２２のゲインを調整する。
【０１０４】
次に、図１０は、制御部４１が生成するヒストグラムの一例を示している。
【０１０５】
図１０において、横軸は輝度値を表しており、縦軸は、外光画像において横軸の輝度値を有する画素の総数を表している。なお、カメラ２２は、輝度値が２8（=２５６）階調により表される外光画像を生成するものとする。したがって、横軸は輝度値として０から２５５までの値を表している。
【０１０６】
制御部４１は、カメラ２２からの外光画像に基づいて、図１０に示されたようなヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の平均値を表す輝度平均値を算出する。
【０１０７】
そして、例えば、制御部４１は、算出した輝度平均値に基づいて、肌領域を精度良く検出可能な範囲内、具体的には、例えば、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分以下となる範囲内で、カメラ２２のゲインを調整する。
【０１０８】
好ましくは、制御部４１は、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整する。
【０１０９】
すなわち、例えば、制御部４１は、図１０に示されるように、輝度平均値１６５（図１０において太い縦線で示す）を算出した場合、輝度平均値１６５を、外光画像がとり得る最大の輝度値２５５の半分の輝度値１２７（図１０において太い点線で示す）となるように、ゲインを調整する。
【０１１０】
制御部４１は、ゲインを調整した後、発光装置２１のLED２１aおよびLED２１bを制御して、LED２１aおよびLED２１bを同時に発光させる。また、制御部４１は、カメラ２２を制御し、カメラ２２による被写体の撮像を行わせ、カメラ２２から出力されるλ１画像およびλ２画像を、算出部４２に供給させる。
【０１１１】
さらに、制御部４１は、算出部４２および２値化部４３を制御して、λ１画像およびλ２画像に基づく肌領域の検出を行わせる。
【０１１２】
制御部４１は、２値化部４３からの肌領域の検出結果として、肌領域を検出できたことを表す検出結果を得た場合、LED２１aおよびLED２１bの照射光量を減少させて、肌領域を精度良く検出可能な必要最低限の照射光量となるように調整する。
【０１１３】
また、制御部４１は、LED２１aおよびLED２１bの照射光量を過度に減少させたことに起因して、肌領域の検出ができなくなったために、２値化部４３からの肌領域の検出結果として、肌領域を検出できないことを表す検出結果を得た場合、肌領域を検出できるように、カメラ２２のゲインを、現在のゲインよりも大きく調整する。
【０１１４】
制御部４１は、カメラ２２のゲイン、並びにLED２１aおよびLED２１bの照射光量を調整し終わった後、肌領域の検出結果に基づく処理を行うために、算出部４２および２値化部４３を制御して、λ１画像およびλ２画像に基づく肌領域の検出を行わせる。
【０１１５】
そして、制御部４１は、２値化部４３からの肌領域の検出結果に基づく処理を行う。すなわち、例えば、制御部４１は、２値化部４３からの検出結果に基づいて、ユーザのジェスチャやポスチャを認識し、認識したジェスチャ等に対応する処理を行なう。
【０１１６】
[画像処理装置２３が行う肌検出調整処理の詳細]
次に、図１１のフローチャートを参照して、画像処理装置２３が行なう肌検出調整処理について説明する。
【０１１７】
ステップＳ３１において、制御部４１は、発光装置２１およびカメラ２２を制御し、発光装置２１のLED２１aおよびLED２１bを消灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られるモザイク画像を取得する。
【０１１８】
そして、カメラ２２は、取得したモザイク画像に対して、モザイク画像を構成する各画素の画素値のうち、R値、G値、またはB値のいずれかを有する画素値を用いたRGB補間処理を行い、その結果得られるRGB画像を、外光画像として制御部４１に供給する。
【０１１９】
ステップＳ３２において、例えば、制御部４１は、カメラ２２からの外光画像に基づいて、ヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の輝度平均値を算出する。
【０１２０】
そして、制御部４１は、算出した輝度平均値に基づいて、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ２２のゲインを調整する。
【０１２１】
好ましくは、制御部４１は、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整する。
【０１２２】
ステップＳ３３において、図７の肌検出処理が行われる。具体的には、例えば、カメラ２２は、LED２１aおよびLED２１bを点灯させた状態で被写体の撮像を行う。そして、カメラ２２は、その結果得られるモザイク画像に対して、λ１補間処理を行なうことにより得られるλ１画像、およびλ２補間処理を行なうことにより得られるλ２画像を、算出部４２に供給する。
【０１２３】
算出部４２は、カメラ２２からのλ１画像およびλ２画像に基づいて、差分画像を生成し、２値化部４３に供給する。２値化部４３は、算出部４２からの差分画像を２値化肌画像に変換し、変換後の２値化肌画像に基づいて、肌領域の検出を試みる。
【０１２４】
そして、２値化部４３は、肌領域を検出できたか否かを表す検出結果を、制御部４１に供給する。
【０１２５】
ステップＳ３４において、制御部４１は、２値化部４３からの検出結果に基づいて、肌領域を検出できたか否かを判定し、肌領域を検出できなかったと判定した場合、処理をステップＳ３５に進める。
【０１２６】
ステップＳ３５において、制御部４１は、直前のステップＳ３２で調整したゲインが、調整することが可能な最大のゲインであるか否かを判定し、最大のゲインではないと判定した場合、処理をステップＳ３６に進める。
【０１２７】
ステップＳ３６において、制御部４１は、カメラ２２を制御して、カメラ２２のゲインを、現在設定されているゲインよりも大きくなるように調整し、処理はステップＳ３３に戻り、算出部４２は、ゲインが調整された後のカメラ２２の撮像により新たに供給されるλ１画像およびλ２画像を取得し、それ以降同様の処理が行われる。
【０１２８】
また、ステップＳ３５において、制御部４１は、直前のステップＳ３２で調整したゲインが、調整することが可能な最大のゲインであると判定した場合、これ以上ゲインを大きく調整することができないため、処理をステップＳ３７に進める。
【０１２９】
ステップＳ３７において、制御部４１は、発光装置２１を制御して、LED２１aおよびLED２１bの照射光量を所定の値に初期化し、処理をステップＳ３１に戻し、再度、肌検出調整処理をやり直す。
【０１３０】
すなわち、処理がステップＳ３７に進められた場合、後述するステップＳ３９において、LED２１aおよびLED２１bの照射光量を減少させ過ぎたために、肌領域を検出できない事態が生じていると考えられるため、LED２１aおよびLED２１bの照射光量を所定の値に初期化し、再度、肌検出調整処理をやり直すようにしている。
【０１３１】
一方、ステップＳ３４において、制御部４１は、２値化部４３からの検出結果に基づいて、肌領域を検出できたと判定した場合、処理をステップＳ３８に進める。なお、この場合、２値化部４３は、肌領域を検出できた旨を表す検出結果とともに、生成した２値化肌画像、および算出部４２からの差分画像を、制御部４１に供給している。
【０１３２】
ステップＳ３８において、制御部４１は、２値化部４３からの２値化肌画像および差分画像に基づいて、LED２１aおよびLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量であるか否かを判定する。
【０１３３】
すなわち、例えば、制御部４１は、２値化部４３からの２値化肌画像に基づいて、２値化部４３からの差分画像から、２値化肌画像上の肌領域（例えば、画素値が１である画素により構成される領域）に対応する肌領域を抽出する。
【０１３４】
そして、制御部４１は、抽出した差分画像上の肌領域を構成する画素の画素値が、肌検出可能値（算出部４２からの差分画像上の非肌領域を構成する画素の画素値よりも十分に大きな値）と同程度である場合、LED２１aおよびLED２１bの照射光量が必要最小限の照射光量であると判定し、肌検出可能値よりも大きな値である場合、必要最小限の照射光量ではないと判定する。
【０１３５】
具体的には、例えば、制御部４１は、抽出した差分画像上の肌領域を構成する画素の画素値の平均値が肌検出可能値と同程度である場合、必要最小限の照射光量であると判定し、肌検出可能値よりも大きな値である場合、必要最小限の照射光量ではないと判定する。
【０１３６】
ステップＳ３８において、制御部４１は、LED２１aおよびLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量ではないと判定した場合、処理をステップＳ３９に進める。
【０１３７】
ステップＳ３９において、制御部４１は、発光装置２１を制御して、LED２１aおよびLED２１bの照射光量を減少させ、肌領域を検出するために必要最小限の照射光量となるように調整する。
【０１３８】
すなわち、例えば、制御部４１は、カメラ２２の撮像により得られるλ１およびλ２画像上の肌領域を構成する画素の輝度値が、肌領域を精度良く検出可能な必要最低限の輝度値となるように、つまり、差分画像上の肌領域を構成する画素の画素値の平均値が肌検出可能値と同程度となるように、LED２１aおよびLED２１bの照射光量を調整する。
【０１３９】
制御部４１は、ステップＳ３９の処理の終了後、処理をステップＳ３３に戻す。ステップＳ３３では、算出部４２は、照射光量が調整されたLED２１aおよびLED２１bの点灯に応じて、カメラ２２の撮像が行なわれてカメラ２２から出力されるλ１およびλ２画像を取得し、それ以降同様の処理が行われる。
【０１４０】
なお、ステップＳ３８において、制御部４１は、LED２１aおよびLED２１bの照射光量が、肌領域を検出するために必要最小限の照射光量であると判定した場合、肌検出調整処理を終了させ、それ以降、図７の肌検出処理が行なわれる。
【０１４１】
以上説明したように肌検出調整処理では、例えば、制御部４１は、外光画像を構成する画素の輝度値の輝度平均値が、カメラ２２の撮像により得られる最大の輝度値の半分の輝度値となるように、カメラ２２のゲインを調整するようにした。
【０１４２】
この場合、制御部４１では、肌領域を精度良く検出可能な範囲内、具体的には、例えば、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分以下となる範囲内で、最もゲインが大きくなるように調整することとなるので、肌領域の検出精度を維持しつつ、肌領域を検出可能な検出可能距離を伸ばすことが可能となる。
【０１４３】
また、肌検出調整処理では、肌領域を検出するために必要最小限の照射光量となるように、LED２１aおよびLED２１bの照射光量を減少させるようにしたので、肌領域の検出精度を維持しつつ、LED２１aおよびLED２１bの照射に必要な電力を減らして省電力化を図ることが可能となる。
【０１４４】
[第２の実施の形態における変形例]
なお、肌検出調整処理では、制御部４１が、カメラ２２からの外光画像のヒストグラムに基づいて、外光画像の輝度平均値を生成し、生成した輝度平均値に基づいて、カメラ２２のゲインを調整するようにしたが、カメラ２２のゲインの調整方法はこれに限定されない。
【０１４５】
すなわち、例えば、制御部４１は、図１２に示されるように、カメラ２２からの外光画像に基づき生成したヒストグラムにおいて、画素数が最大であるときの輝度値を表すピーク値（いまの場合、１７２）が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ２２のゲインを調整するようにしてもよい。
【０１４６】
なお、制御部４１は、図１２に示される場合において、輝度値２５５がピーク値となっている場合には、輝度値が２５５となっている（飽和している）部分を除外した上でピーク値を算出し、算出したピーク値に基づいて、カメラ２２のゲインを調整するようにしてもよい。
【０１４７】
また、例えば、制御部４１は、図１３に示されるように、カメラ２２からの外光画像に基づき生成したヒストグラムにおいて、値が小さな輝度値を有する画素から順次積算（加算）して得られる画素数を表す画素積算数に基づき特定される輝度値が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ２２のゲインを調整することができる。
【０１４８】
すなわち、例えば、制御部４１は、画素積算数が、ヒストグラムにおける総画素数の８０パーセントに相当する画素数となるときに積算された画素の輝度値（いまの場合、２０２）が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ２２のゲインを調整することができる。
【０１４９】
また、肌検出調整処理では、制御部４１は、外光画像のヒストグラムに基づいて、カメラ２２のゲインを調整するようにしたが、カメラ２２のゲイン、受光感度、または露光（受光）時間等の少なくとも１つを調整するように構成することが可能である。
【０１５０】
ところで、第１の実施の形態では、図９に示されたような透過特性となるように、Rフィルタ、Gフィルタ、およびBフィルタを作成するようにして、図８に示されるフィルタ板７１を作成するようにしているが、従来のRフィルタ、Gフィルタ、およびBフィルタを用いるようにして、図９に示されたような透過特性となるフィルタ板７１を構成することができる。
【０１５１】
次に、図１４乃至図１６を参照して、従来のRフィルタ、Gフィルタ、およびBフィルタを用いて、図９に示されるフィルタ板７１のRフィルタ、Gフィルタ、およびBフィルタと同様のフィルタを作成する場合について説明する。
【０１５２】
図１４は、従来のRフィルタ、Gフィルタ、およびBフィルタの透過特性の一例を示している。
【０１５３】
図１５は、従来のIR(infrared)カットフィルタにより遮断される波長の一例を示している。従来のＩＲカットフィルタは、図１５に示されるように、約800[nm]以上の赤外線（図１５に示される２点鎖線を境界として右側）を遮断し、約800[nm]未満の光（図１５に示される２点鎖線を境界として左側）を透過させる。
【０１５４】
図１６は、従来のRフィルタ、Gフィルタ、およびBフィルタそれぞれの前面に、従来のＩＲカットフィルタを設けた場合の透過特性の一例を示している。
【０１５５】
このように、従来のRフィルタ、Gフィルタ、およびBフィルタそれぞれの前面に、従来のＩＲカットフィルタを設けるだけで、図１６に示されたような透過特性となるRフィルタ、Gフィルタ、およびBフィルタを実現することができる。
【０１５６】
そして、従来のRフィルタ、Gフィルタ、およびBフィルタそれぞれの前面に、従来のＩＲカットフィルタを設けたものと、λ１フィルタおよびλ２フィルタとを、図８に示されるように配列すれば、図９に示されたような透過特性となるフィルタ板７１を実現できる。
【０１５７】
この場合、従来のRフィルタ、Gフィルタ、Bフィルタ、およびＩＲカットフィルタを用いるので、図９に示されたような透過特性となるような、Rフィルタ、Gフィルタ、およびBフィルタを新たに作成する必要がなく、より容易にフィルタ板７１を実現することが可能となる。
【０１５８】
なお、フィルタ板におけるRフィルタ、Gフィルタ、Bフィルタ、λ１フィルタ、およびλ２フィルタの配列は、図８に示されたような配列に限定されず、例えば、図１７に示されたような配列とするようにして新たなフィルタ板８１を作成することができる。
【０１５９】
また、従来のベイヤー配列のフィルタ板をそのまま用いて、図９に示されるような透過特性となるフィルタ板を実現することができる。
【０１６０】
次に、図１８乃至図２０を参照して、従来のベイヤー配列のフィルタ板をそのまま用いて、図９に示されるような透過特性となるフィルタ板を実現する場合の一例を説明する。
【０１６１】
図１８は、従来のベイヤー配列により配列されたフィルタ板９１の一例を示している。
【０１６２】
このフィルタ板９１には、Gフィルタ（図１８でいう「G」に対応）が市松模様状に配列され、Rフィルタ（図１８でいう「R」に対応）が、奇数番目の列においてGフィルタの間に交互に配置され、Bフィルタ（図１８でいう「B」に対応）が、偶数番目の列においてGフィルタの間に交互に配置されている。
【０１６３】
なお、フィルタ板９１上の、縦横２個ずつの４個で構成されるフィルタとして、１個のRフィルタ、１個のBフィルタ、および２個のGフィルタが存在し、Gフィルタが、RフィルタおよびBフィルタと比較して１個だけ多くなっているが、これは、G成分に対応する緑色が、人間にとって比較的見にくい色であることによる。
【０１６４】
次に、図１９は、λ１フィルタおよびλ２フィルタが設けられたＩＲカットフィルタ９２の一例を示している。
【０１６５】
このＩＲカットフィルタ９２には、λ１フィルタ（図１９でいうIR870）およびλ２フィルタ(図１９でいうIR950)が、それぞれ１画素分だけ離れた状態で、市松模様状に配列されている。なお、ＩＲカットフィルタ９２のうち、λ１フィルタおよびλ２フィルタが設けられていない部分（図１９の空白部分）は、図１５に示されたような透過（遮断）特性を有するＩＲカットフィルタとして機能する。
【０１６６】
フィルタ板９１の前面を、ＩＲカットフィルタ９２で覆うことにより、図２０に示されたようなフィルタ板９３を作成する。このフィルタ９３は、図９に示されたような透過特性を有するものとなる。
【０１６７】
なお、情報処理システム１は、テレビジョン受像機等の電子装置に内蔵できるように、小型化することができる。
【０１６８】
次に、図２１は、小型化された情報処理システム１としての小型モジュール１'の一例を示している。
【０１６９】
この小型モジュール１'は、後述する光源群１０２を構成するLEDからの光を補正して被写体に照射するレンズ１０１、複数のLED２１aおよびLED２１bにより構成される光源群１０２、光源群１０２を構成する複数のLED２１aおよびLED２１bを配置する光源用基板１０３aおよび後述するカメラ１０４および画像処理部１０５を配置する処理用基板１０３bからなる基板１０３、図１のカメラ２２と同様に構成されているカメラ１０４、図１の画像処理装置２３と同様に構成されている画像処理部１０５、並びに、レンズ１０１、光源用基板１０３a、および処理用基板１０３bを支持する支持部材１０６により構成される。
【０１７０】
なお、この小型モジュール１'は、例えば、図２２に示されるように、テレビジョン受像機１４１のディスプレイ１４１aの上部に内蔵され、テレビジョン受像機１４１のディスプレイ１４１aの前面に存在するユーザの手の形状等を認識し、その認識結果に基づいて、テレビジョン受像機１４１の音量やチャンネル等を変更する処理を行なう。
【０１７１】
＜３．第３の実施の形態＞
ところで、小型モジュール１'を内蔵したテレビジョン受像機１４１は、肌を検出する肌検出装置の他、テレビジョン受像機１４１を操作するためのリモートコマンダ１２１の位置を検出する位置検出装置としても機能させることができる。
【０１７２】
図２２は、位置検出装置として機能するテレビジョン受像機１４１の構成例を示している。
【０１７３】
このテレビジョン受像機１４１は、テレビ番組等の画像を表示させるディスプレイ１４１aの上部に、小型モジュール１'を内蔵している。
【０１７４】
テレビジョン受像機１４１に内蔵された小型モジュール１'は、被写体を撮像して得られるλ１画像に基づいて、ユーザが操作するリモートコマンダ１２１の位置を検出する。
【０１７５】
すなわち、例えば、ユーザが、リモートコマンダ１２１のLED１２１aから波長λ１の光を照射させている状態で、リモートコマンダ１２１を移動させる場合、小型モジュール１'は、被写体を撮像し、その撮像により得られるモザイク画像に対して、λ１補間処理を行い、その結果得られるλ１画像上の、LED１２１aの位置（リモートコマンダ１２１の位置）を検出する。
【０１７６】
そして、小型モジュール１'は、検出したLED１２１aの位置に対応する、ディスプレイ１４１a上の位置１６１に、ポインタ等を表示させる。
【０１７７】
[テレビジョン受像機１４１が行なうLED検出処理]
次に、図２３のフローチャートを参照して、テレビジョン受像機１４１が内蔵する小型モジュール１'が行なうLED検出処理について説明する。
【０１７８】
なお、ユーザは、ディスプレイ１４１a上のポインタを移動させるように、リモートコマンダ１２１のLED１２１aから波長λ１の光を照射させている状態で、リモートコマンダ１２１を、例えば、上下左右方向に移動させているものとする。また、LED検出処理において、光源群１０２は常に消灯された状態とされる。このことは、図２４を参照して説明するLED検出調整処理についても同様である。
【０１７９】
ステップＳ７１において、カメラ１０４は、図１のカメラ２２と同様にして、撮像を行い、カメラ１０４のイメージセンサにより受光される光を光電変換してモザイク画像を生成する。
【０１８０】
ステップＳ７２において、カメラ１０４は、生成したモザイク画像に基づいて、λ１補間処理を行い、その結果得られるλ１画像を生成し、画像処理部１０５に供給する。
【０１８１】
なお、カメラ１０４の撮像範囲内において、波長λ１の光を照射する光源は、LED１２１aのみである。
【０１８２】
したがって、λ１画像上の全領域のうち、LED１２１aが存在するLED表示領域を構成する各画素の画素値が、LED表示領域以外の領域を構成する各画素の画素値よりも比較的大きくなっている。
【０１８３】
このため、ステップＳ７３において、画像処理部１０５は、カメラ１０４からのλ１画像を構成する画素の画素値が予め決められたLED閾値以上であるか否かに基づいて、λ１画像上の、波長λ１の光を照射しているLED１２１a（からの光）が表示されたLED表示領域の検出を試みる。
【０１８４】
ステップＳ７３において、画像処理部１０５は、カメラ１０４からのλ１画像上の全領域のうち、画素値がLED閾値以上であると判定した領域を、LED表示領域として検出する。
【０１８５】
ステップＳ７４において、画像処理部１０５は、検出したLED表示領域の重心を、λ１画像上のLED位置として算出し、算出したLED位置に対応するディスプレイ１４１a上の位置１６１に、ポインタを表示させる。これにより、ユーザは、リモートコマンダ１２１のLED１２１aを移動させることにより、ディスプレイ１４１a上のポインタを移動させることができる。
【０１８６】
以上説明したように、LED検出処理では、小型モジュール１'が、リモートコマンダ１２１のLED１２１aから出射される波長λ１の光に基づいて、リモートコマンダ１２１aのLED１２１aの位置を算出するようにした。そして、算出したLED１２１aの位置に対応して、ディスプレイ１４１a上のポインタを移動させるようにした。
【０１８７】
このため、ユーザは、リモートコマンダ１２１aを、ディスプレイ１４１a上のポインタを移動させるための装置として用いることができるようになる。
【０１８８】
ところで、外光からカメラ１０４に対して、波長λ１の光が多く照射される場合には、外光からの波長λ１の光に起因して、LED位置を誤検出することが生じ得る。
【０１８９】
[テレビジョン受像機１４１が行なうLED検出調整処理]
次に、図２４のフローチャートを参照して、外光に応じて、カメラ１０４のゲインを調整するようにして、外光の影響によらず、LED位置を検出するLED検出調整処理について説明する。
【０１９０】
なお、この場合、カメラ１０４のイメージセンサには、RGB画像も生成可能なフィルタ板として、例えば、図８のフィルタ板が設けられているものとする。
【０１９１】
ステップＳ１０１において、カメラ１０４は、被写体の撮像を行い、その撮像により得られるモザイク画像を取得する。そして、カメラ２２は、取得したモザイク画像に対して、モザイク画像を構成する各画素の画素値のうち、R値、G値、またはB値のいずれかを有する画素値を用いたRGB補間処理を行い、その結果得られるRGB画像を、外光画像として、画像処理部１０５に供給する。
【０１９２】
ステップＳ１０２において、画像処理部１０５は、カメラ１０４からの外光画像に基づいて、ヒストグラムを生成し、生成したヒストグラムに基づいて、外光画像を構成する画素の輝度値の輝度平均値を算出する。
【０１９３】
そして、画像処理部１０５は、算出した輝度平均値に基づいて、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分以下となるように、カメラ１０４のゲインを調整する。
【０１９４】
好ましくは、画像処理部１０５は、算出した輝度平均値が、外光画像がとり得る最大の輝度値の半分の輝度値となるように、カメラ１０４のゲインを調整する。
【０１９５】
ステップＳ１０３において、図２３のLED検出処理と同様の処理が行なわれることにより、画像処理部１０５がLED位置の検出を試みる。
【０１９６】
ステップＳ１０４において、画像処理部１０５は、LED位置を検出できた場合、処理をステップＳ１０５に進め、例えば、算出したLED位置に対応する、テレビジョン受像機１４１のディスプレイ１４１a上の位置１６１に、ポインタを表示させ、処理をステップＳ１０３に戻し、それ以降同様の処理を行なう。
【０１９７】
ステップＳ１０４において、画像処理部１０５は、LED位置を検出できなかった場合、処理をステップＳ１０６に進める。そして、ステップＳ１０６において、画像処理部１０５は、カメラ１０４を制御して、カメラ１０４のゲインを、現在設定されているゲインよりも大きくなるように調整し、処理はステップＳ１０３に戻り、画像処理部１０５は、ゲインが調整された後のカメラ１０４による撮像が行なわれて出力される新たなλ１画像を取得し、それ以降同様の処理が行われる。
【０１９８】
以上説明したように、LED検出調整処理によれば、外光からの光に拘らず、LED位置が検出できるように、カメラ１０４からの外光画像に基づいて、カメラ１０４のゲインを調整するようにしたので、外光からの光によらず、精度良くLED位置を検出できる。
【０１９９】
なお、LED検出処理、およびLED検出調整処理では、波長λ１の光を照射するLED１２１aの位置を検出するようにしたが、LED１２１aが、波長λ１の光に代えて、波長λ２の光を照射する場合についても同様に、LED１２１aの位置を検出できる。但し、この場合、λ１画像の代わりに、λ２画像を用いたLED１２１aの位置の検出が行なわれる。
【０２００】
また、例えば、波長λ１の光を照射する第１のLEDを有するリモートコマンダを移動させる第１のユーザと、波長λ２の光を照射する第２のLEDを有するリモートコマンダを移動させる第２のユーザとが存在する場合、LED検出処理では、第１および第２のLEDそれぞれの位置を検出するようにすることができる。
【０２０１】
具体的には、例えば、第１および第２のLEDそれぞれの位置を検出する場合、LED検出処理では、ステップＳ７２において、カメラ１０４が、生成したモザイク画像に対してλ１補間処理を行なうことにより得られるλ１画像と、生成したモザイク画像に対してλ２補間処理を行なうことにより得られるλ２画像を、画像処理部１０５に供給する。
【０２０２】
そして、ステップＳ７３において、画像処理部１０５は、カメラ１０４からのλ１画像に基づいて第１のLEDの位置の検出を行なうとともに、カメラ１０４からのλ２画像に基づいて第２のLEDの位置の検出を行なうこととなる。
【０２０３】
ステップＳ７４では、画像処理部１０５は、検出した第１のLEDの位置に対応して、対応する第１のポインタを移動させ、検出した第２のLEDの位置に対応して、対応する第２のポインタを移動させるようにする。
【０２０４】
また、LED検出調整処理においても同様に、ステップＳ１０３において、λ１画像に基づいて第１のLEDの位置の検出を試みるとともに、λ２画像に基づいて第２のLEDの位置の検出を試みる。そして、ステップＳ１０４において、例えば、第１および第２のLEDそれぞれの位置が検出できたか否かを判定することとなる。
【０２０５】
このように、第１のLEDの位置と、第２のLEDの位置とを検出できるようにした場合、例えば、図２５A乃至Dに示されるように、カメラ１０４によるRGB補間処理により得られるRGB画像上に、第１のLEDの位置と、第２のLEDの位置とを重畳させた画像を、ディスプレイ１４１aに表示させることができるようになる。
【０２０６】
したがって、例えば、上述したテレビジョン受像機１４１とリモートコマンダ１２１とを用いることにより、ゲームのアプリケーションを実現することが可能となる。
【０２０７】
具体的には、例えば、図２５Dに示されるように、第１のユーザを守備側とし、第２のユーザが攻撃側とする野球ゲームを実現する場合には、第１のLEDの位置を守備側のグローブの位置として認識し、第２のLEDの位置を攻撃側のバットの位置として認識するようにする。
【０２０８】
また、例えば、リモートコマンダ１２１に、第１のLED(LED１２１a)の他、第２のLEDを設けるようにすれば、LED検出処理等により検出される第１および第２のLEDそれぞれの位置関係に応じて、リモートコマンダ１２１の姿勢（例えば、操作面を上向きに持っているのか下向きに持っているか等）を判断できる。
【０２０９】
したがって、この場合、リモートコマンダ１２１の姿勢に応じて、オセロゲームの駒や将棋の駒等を裏返す操作を判断することが可能となるので、テレビジョン受像機１４１とリモートコマンダ１２１とを用いて、オセロゲームや将棋等のアプリケーションを実現できるようになる。
【０２１０】
また、リモートコマンダ１２１の姿勢の変化に応じて、リモートコマンダ１２１がいずれの方向に回転されたか等も判断できるようになるので、リモートコマンダ１２１の姿勢の変化を、テレビジョン受像機１４１のチャンネルを切り替える操作や、音量を変更する操作等に対応付ければ、リモートコマンダ１２１の動きに応じて、チャンネルや音量を変更することが可能となる。
【０２１１】
さらに、例えば、小型モジュール１'からリモートコマンダ１２１（LED１２１a）までの距離が近い程、LED表示領域が大きくなることを利用して、検出したLED表示領域の大きさに基づいて、小型モジュール１'からリモートコマンダ１２１（LED１２１a）までの距離を計測するようにすることができる。
【０２１２】
[第３の実施の形態における変形例]
第３の実施の形態では、LED位置を検出するために、λ１フィルタおよびλ２フィルタを少なくとも有するフィルタ板を用いるようにしたが、さらに、発光スペクトルのピーク波長がλ３（λ１，λ２のいずれとも異なる）の光（以下、波長λ３の光）を透過させるλ３フィルタを設けるようにしてもよい。
【０２１３】
すなわち、例えば、それぞれ異なる波長λ１乃至λＮの光を、それぞれ、透過させるＮ個のλ１フィルタ乃至λＮフィルタを有するフィルタ板を用いるようにしてもよい。
【０２１４】
この場合、波長λ１乃至λＮの光をそれぞれ照射する第１乃至第ＮのLEDを用いるようにすれば、LED検出処理、およびLED検出調整処理において、第１乃至第ＮのLEDの位置を検出できるようになる。
【０２１５】
したがって、例えば、第１のユーザと第２のユーザとの間でボクシングゲームを行なうことが可能なアプリケーションを実現する場合、第１のユーザの右手に第１のLEDを、左手に第２のLEDを装着し、第２のユーザの右手に第３のLEDを、左手に第４のLEDを装着すればよい。
【０２１６】
これにより、小型モジュール１'において、第１のユーザの右手および左手の位置、並びに第２のユーザの右手および左手の位置を認識できることとなり、ボクシングゲームのアプリケーションを実現できるようになる。
【０２１７】
また、LED検出処理、およびLED検出調整処理において、波長λ１の光を照射するLED１２１aの位置のみを検出する場合には、カメラ１０４のイメージセンサにおいて、少なくともλ１フィルタを有するフィルタ板を設けるだけでよく、λ２フィルタは必須ではない。
【０２１８】
なお、上述したように、例えば、情報処理システム１が肌検出処理を行い、テレビジョン受像機１４１に内蔵された小型モジュール１'がLED検出処理を行なうようにしたが、情報処理システム１および小型モジュール１'は、いずれも肌検出処理およびLED検出処理を行なうことが可能である。このことは、肌検出調整処理およびLED検出調整処理についても同様のことがいえる。
【０２１９】
具体的には、例えば、情報処理システム１において、制御部４１が、発光装置２１を制御して、LED２１aおよびLED２１bの発光を中止させるようにした状態で、LED検出処理を行なうようにし、制御部４１が、発光装置２１を制御して、LED２１aおよびLED２１bの発光を行わせている状態で、肌検出処理を行なうようにしてもよい。
【０２２０】
このように、情報処理システム１が、肌検出処理とLED検出処理の両方を行なうことができる場合には、ユーザの好みに応じて、ユーザの手の形状や動きによるハンドフリー操作、またはリモートコマンダ（例えば、図２２のリモートコマンダ１２１）の動きによるコントローラ操作のいずれかを選択できる。
【０２２１】
また、上述したように、第１のユーザと、第２のユーザとでゲームを行なう場合には、肌検出処理とLED検出処理とを適宜切り替えて実行することにより、例えば、第１のユーザにおいてはハンドフリー操作を行うようにし、第２のユーザにおいてはコントローラ操作を行うようにすることができる。
【０２２２】
＜４．第４の実施の形態＞
ここまでに説明した第１乃至第３の実施の形態では、波長λ１の光と波長λ２の光とを同時に照射して撮像を行うようにした。すなわち、図２６に示すように、波長λ１の光を所定の期間、一定の輝度で照射し、これと同時に、波長λ２の光を所定の期間、一定の輝度で照射して撮像を行うようにした。そして、カメラ２２を構成するイメージセンサでは、各受光素子にλ１フィルタまたはλ２フィルタが設けられ、イメージセンサから出力されるモザイク画像を元にした補間処理によってλ１画像およびλ２画像を生成した。したがって、第１乃至第３の実施の形態では、１回の撮像により、λ１画像およびλ２画像を得ることができる。また、波長λ１用、波長λ２用の受光素子を別々に設け、各々にその波長用のフィルタを設けることでも同じように実現が可能である。
【０２２３】
これに対して、以下に説明する第４の実施の形態では、波長λ１の光と波長λ２の光とを、その輝度をそれぞれ異なる周波数で交流的に変動させて同時に照射し、撮像を行う。
【０２２４】
図２７は、第４の実施の形態による、輝度変動を伴う照射と撮像のタイミングを示している。すなわち、第４の実施の形態では、波長λ１の光を所定の期間、その輝度を所定の周波数ｆ１で交流的に変動させて照射し、これと同時に、波長λ２の光を所定の期間、その輝度を所定の周波数ｆ２で交流的に変動させて照射し、撮像を行う。なお、周波数ｆ１，ｆ２については任意であるが、他の装置（例えば、赤外線リモートコントローラなど）が発する赤外線の周波数との干渉が生じないように適切に設定するようにする。
【０２２５】
そして、カメラ２２を構成するイメージセンサでは、光電変換により得られる電気信号を２分配し、それぞれを周波数ｆ１用狭帯域フィルタ、または周波数ｆ２用狭帯域フィルタを透過させることによって、λ１画像およびλ２画像を生成する。したがって、第４の実施の形態でも、１回の撮像により、λ１画像およびλ２画像を得ることができる。
【０２２６】
図２８は、第４の実施の形態におけるカメラ２２を構成するCOMSイメージセンサの、λ１画像およびλ２画像の１画素に対応する構成例を示している。
【０２２７】
このCMOSイメージセンサ２００は、主にフォトダイオード２０１、アンプ２０２、ｆ１用狭帯域フィルタ２０３、キャパシタ２０４および２０８、ダイオード２０５および２０９、ゲート２０６および２１０、並びにｆ２用狭帯域フィルタ２０７から成る。
【０２２８】
CMOSイメージセンサ２００においては、フォトダイオード２０１による光電変換によって被写体の光学像が電気信号に変換され、アンプ２０２により増幅された電気信号はｆ１用狭帯域フィルタ２０３とｆ２用狭帯域フィルタ２０７に２分配される。さらに、被写体の光学像に対応する電気信号は、ｆ１用狭帯域フィルタ２０３によって、周波数ｆ１の交流成分のみが透過されて、キャパシタ２０４によってＡＣ結合され、信号振幅に応じた電荷がダイオード２０５を通じてゲート２０６に蓄積される。ゲート２０６に蓄積された電荷がλ１画像の画素とされる。同様に、被写体の光学像に対応する電気信号は、ｆ２用狭帯域フィルタ２０７によって、周波数ｆ２の交流成分のみが透過されて、キャパシタ２０８によってＡＣ結合され、信号振幅に応じた電荷がダイオード２０９を通じてゲート２１０に蓄積される。ゲート２１０に蓄積された電荷がλ２画像の画素とされる。
【０２２９】
なお、上述したように、ｆ１用狭帯域フィルタ２０３およびｆ２用狭帯域フィルタ２０７においては、それぞれ周波数ｆ１またはｆ２の交流成分のみが透過される。換言すれば、被写体の光学像に対応する電気信号のうちの直流成分は破棄されることになる。
【０２３０】
ところで、一般に、被写体からの光学像には、意図的に照射された波長λ１およびλ２の照射光の他、外光によるものが含まれる。日光や各種照明などによる外光は、若干の交流成分を含むものの直流成分が主である。したがって、ｆ１用狭帯域フィルタ２０３を透過し、ゲート２０６に蓄積された電荷、すなわち、λ１画像は、外光成分を排除したものであるということができる。同様に、λ２画像も、外光成分を排除したものであるということができる。
【０２３１】
図２９は、第４の実施の形態においてλ１画像およびλ２画像を生成するまでの処理（以下、λ１画像およびλ２画像の生成処理と称する）を説明するフローチャートである。
【０２３２】
ステップＳ２０１において、発光装置２１は、LED２１aを制御して、波長λ１の光を、その輝度を所定の周波数ｆ１で交流的に変動させて照射させるとともに、LED２１bを制御して、波長λ２の光を、その輝度を所定の周波数ｆ２で交流的に変動させて照射させる。
【０２３３】
ステップＳ２０２において、カメラ２２は、発光装置２１により波長λ１の光と波長λ２の光とが照射されている被写体を撮像する。すなわち、カメラ２２の構成するCMOSイメージセンサ２００のフォトダイオード２０１が被写体の光学像が電気信号に変換する。電気信号は、アンプ２０２により増幅された後にｆ１用狭帯域フィルタ２０３とｆ２用狭帯域フィルタ２０７に２分配され、ｆ１用狭帯域フィルタ２０３は、電気信号の周波数ｆ１の交流成分のみをキャパシタ２０４に透過する。この結果、ゲート２０６には、λ１画像の画素となる電荷が蓄積されたことになる。同様に、ステップＳ２０４において、ｆ２用狭帯域フィルタ２０７は、電気信号の周波数ｆ２の交流成分のみをキャパシタ２０８に透過する。この結果、ゲート２１０には、λ２画像の画素となる電荷が蓄積されたことになる。
【０２３４】
ステップＳ２０３において、λ１画像の画素となる電荷を読み出しλ1画像を生成する。同様に、ステップＳ２０４において、λ２画像の画素となる電荷を読み出しλ1画像を生成する。
【０２３５】
以上のようにして、λ１画像およびλ２画像が生成される。なお、当該処理は、第１の実施の形態による肌検出処理のうちの、ステップＳ１およびＳ２の処理に代えて行うものであり、これ以降の処理については、上述した肌検出処理のステップＳ３以降と同様であるのでその説明は省略する。
【０２３６】
第４の実施の形態により得られたλ１画像とλ２画像は、画素の補間処理を伴わず、外光成分（直流成分）が除外され、さらに、被写体の位置がずれていないので、被写体に動きがあったとしても、その肌を精度良く検出することができる。
【０２３７】
＜５．第５の実施の形態＞
第５の実施の形態では、波長λ１の光と波長λ２の光とを、その輝度を同一の周波数で交流的に変動させて交互に照射、撮像を行う。
【０２３８】
図３０は、第５の実施の形態による、輝度変動を伴う照射と撮像のタイミングを示している。すなわち、第５の実施の形態では、波長λ１の光を所定の期間、その輝度を所定の周波数ｆ３で交流的に変動させて照射、撮像を行い、次に、波長λ２の光を所定の期間、その輝度を周波数ｆ３で交流的に変動させて照射、撮像を行う。
【０２３９】
そして、カメラ２２を構成するイメージセンサでは、光電変換により得られる電気信号を、周波数ｆ３用狭帯域フィルタを透過させることによって、λ１画像とλ２画像とを交互に生成する。したがって、第５の実施の形態では、２回の撮像により、λ１画像およびλ２画像を得ることができる。
【０２４０】
図２８は、第５の実施の形態におけるカメラ２２を構成するCOMSイメージセンサの、λ１画像およびλ２画像の１画素に対応する構成例を示している。
【０２４１】
このCMOSイメージセンサ３００は、主にフォトダイオード３０１、アンプ３０２、ｆ３用狭帯域フィルタ３０３、キャパシタ３０４、ダイオード３０５、およびゲート３０６から成る。ｆ３用狭帯域フィルタ３０３は、ハードウェアまたはソフトウェアのいずれで構成してもよい。
【０２４２】
CMOSイメージセンサ３００においては、フォトダイオード３０１による光電変換によって被写体の光学像が電気信号に変換され、アンプ３０２により増幅された電気信号は、ｆ３用狭帯域フィルタ３０３によって、周波数ｆ３の交流成分のみが透過されて、その電荷がゲート３０６に蓄積される。したがって、波長λ１の光が照射されているときにゲート３０６に蓄積された電荷がλ１画像の画素とされ、波長λ２の光が照射されているときにゲート３０６に蓄積された電荷がλ２画像の画素とされる。
【０２４３】
ｆ３用狭帯域フィルタ３０３においては、周波数ｆ３の交流成分のみが透過される。換言すれば、被写体の光学像に対応する電気信号のうちの直流成分は破棄されることになる。したがって、ｆ３用狭帯域フィルタ３０３を透過し、ゲート３０６に蓄積された電荷、すなわち、λ１画像およびλ２画像は、外光成分を排除したものであるということができる。
【０２４４】
図３２は、第５の実施の形態によるλ１画像およびλ２画像の生成処理を説明するフローチャートである。
【０２４５】
ステップＳ２１１において、発光装置２１は、LED２１aを制御して、波長λ１の光を、その輝度を所定の周波数ｆ３で交流的に変動させて照射させる。ステップＳ２１２において、カメラ２２は、発光装置２１により波長λ１の光が照射されている被写体を撮像する。すなわち、カメラ２２の構成するCMOSイメージセンサ３００のフォトダイオード３０１が被写体の光学像が電気信号に変換する。電気信号は、アンプ３０２により増幅された後にｆ３用狭帯域フィルタ３０３に入力され、ｆ３用狭帯域フィルタ３０３は、電気信号の周波数ｆ３の交流成分のみをキャパシタ３０４に透過する。この結果、ゲート３０６には、λ１画像の画素となる電荷が蓄積されたことになる。
【０２４６】
ステップＳ２１３において、λ１画像の画素となる電荷を読み出しλ1画像を生成する。
【０２４７】
ステップＳ２１４において、発光装置２１は、LED２１bを制御して、波長λ２の光を、その輝度を所定の周波数ｆ３で交流的に変動させて照射させる。ステップＳ２１５において、カメラ２２は、発光装置２１により波長λ２の光が照射されている被写体を撮像する。すなわち、カメラ２２の構成するCMOSイメージセンサ３００のフォトダイオード３０１が被写体の光学像が電気信号に変換する。電気信号は、アンプ３０２により増幅された後にｆ３用狭帯域フィルタ３０３に入力される。
【０２４８】
ステップＳ２１６において、ｆ３用狭帯域フィルタ３０３は、電気信号の周波数ｆ３の交流成分のみをキャパシタ３０４に透過する。この結果、ゲート３０６には、λ２画像の画素となる電荷が蓄積されたことになる。
【０２４９】
以上のようにして、λ１画像およびλ２画像が生成される。なお、当該処理も、第１の実施の形態による肌検出処理のうちの、ステップＳ１およびＳ２の処理に代えて行うものであり、これ以降の処理については、上述した肌検出処理のステップＳ３以降と同様であるのでその説明は省略する。
【０２５０】
第５の実施の形態により得られたλ１画像とλ２画像は、画素の補間処理を伴わず、外光成分（直流成分）が除外されているので、被写体の肌を精度良く検出することができる。
【０２５１】
ところで、上述した一連の処理は、専用のハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータ等に、記録媒体からインストールされる。
【０２５２】
[コンピュータの構成例]
次に、図３３は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。
【０２５３】
このコンピュータ５００において、CPU５０１は、ROM５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する。RAM５０３には、CPU５０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU５０１、ROM５０２、およびRAM５０３は、バス５０４により相互に接続されている。
【０２５４】
CPU５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホン等よりなる入力部５０６、ディスプレイ、スピーカ等よりなる出力部５０７が接続されている。CPU５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、CPU５０１は、処理の結果を出力部５０７に出力する。
【０２５５】
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスクからなり、CPU５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。また、通信部５０９を介してプログラムを取得し、記憶部５０８に記憶してもよい。
【０２５６】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア５１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部５０８に転送されて記憶される。
【０２５７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア５１１、または、プログラムが一時的もしくは永続的に格納されるROM５０２や、記憶部５０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部５０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２５８】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２５９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２６０】
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２６１】
１  情報処理システム，  ２１  発光装置，  ２２  カメラ，  ２３  画像処理装置，  ３１  フィルタ板，  ４１  制御部，  ４２  算出部，  ４３  ２値化部，  ８１  フィルタ板，  ９３  フィルタ板，  １０１  レンズ，  １０２  光源群，  １０３  基板，  １０３a  光源用基板，  １０３b  処理用基板，  １０４  カメラ，  １０５  画像処理部，  １０６  支持部材，  １２１  リモートコマンダ，  １２１a  LED  １４１  テレビジョン受像機，  １４１a  ディスプレイ，  ２００  CMOSイメージセンサ，  ２０３  ｆ１用狭帯域フィルタ，  ２０７  ｆ２用狭帯域フィルタ，  ３００  CMOSイメージセンサ，  ３０３  ｆ３用狭帯域フィルタ，  ５００  コンピュータ，  ５０１  CPU
【図１】
2012014668.tif 000003
【図２】
2012014668.tif 000004
【図３】
2012014668.tif 000005
【図４】
2012014668.tif 000006
【図５】
2012014668.tif 000007
【図６】
2012014668.tif 000008
【図７】
2012014668.tif 000009
【図８】
2012014668.tif 000010
【図９】
2012014668.tif 000011
【図１０】
2012014668.tif 000012
【図１１】
2012014668.tif 000013
【図１２】
2012014668.tif 000014
【図１３】
2012014668.tif 000015
【図１４】
2012014668.tif 000016
【図１５】
2012014668.tif 000017
【図１６】
2012014668.tif 000018
【図１７】
2012014668.tif 000019
【図１８】
2012014668.tif 000020
【図１９】
2012014668.tif 000021
【図２０】
2012014668.tif 000022
【図２１】
2012014668.tif 000023
【図２２】
2012014668.tif 000024
【図２３】
2012014668.tif 000025
【図２４】
2012014668.tif 000026
【図２５】
2012014668.tif 000027
【図２６】
2012014668.tif 000028
【図２７】
2012014668.tif 000029
【図２８】
2012014668.tif 000030
【図２９】
2012014668.tif 000031
【図３０】
2012014668.tif 000032
【図３１】
2012014668.tif 000033
【図３２】
2012014668.tif 000034
【図３３】
2012014668.tif 000035
【図３４】
2012014668.tif 000036