(57)【要約】【課題】ユーザを撮像して得られる撮像画像に基づいて、ユーザまでの距離を精度良く検出する。【解決手段】LED２１aは、被写体に対して第１の波長の光を照射し、LED２１bは、被写体に対して第１の波長とは異なる第２の波長の光を照射し、カメラ２２は、第１の波長の光が照射されている被写体を撮像して第１の撮像画像を生成し、第２の波長の光が照射されている被写体を撮像して第２の撮像画像を生成し、２値化部４３は、第１及び第２の撮像画像に基づいて、被写体の肌領域を検出し、座標検出部４４は、第１及び第２の撮像画像上の肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、被写体までの距離を算出する。本発明は、例えば、ユーザを撮像して得られる撮像画像から、ユーザまでの距離を算出するコンピュータ等に適用できる。【選択図】図３
2011158447.tif 000002
【特許請求の範囲】
【請求項１】
被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、
前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離を算出する距離算出手段と
を含む画像処理装置。
【請求項２】
前記被写体が存在すると想定される距離の範囲に応じて、パラメータを調整する調整手段をさらに含み、
前記距離算出手段は、前記パラメータに応じて変更される前記差分絶対値に基づいて、前記距離を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、前記パラメータとして、前記撮像手段のゲイン、露光時間、前記第１の照射手段の照射光量、照射時間、又は第２の照射手段の照射光量、照射時間の少なくとも１つを調整する
請求項２に記載の画像処理装置。
【請求項４】
前記距離算出手段は、前記差分絶対値を積算して得られる積分値に基づいて、前記距離を算出する
請求項１に記載の画像処理装置。
【請求項５】
前記肌領域に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の、前記被写体の位置を検出する位置検出手段と、
前記距離算出手段により、異なる距離が算出された場合、所定の回数だけ前に検出された前記被写体の位置に基づく処理を行なう処理手段と
をさらに含む請求項１に記載の画像処理装置。
【請求項６】
被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置の画像処理方法において、
前記画像処理装置は、
第１の照射手段と、
第２の照射手段と、
撮像手段と、
検出手段と、
距離算出手段と
を含み、
前記第１の照射手段が、被写体に対して第１の波長の光を照射し、
前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、
前記撮像手段が、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成し、
前記検出手段が、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出し、
前記距離算出手段が、第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離を算出する
ステップを含む画像処理方法。
【請求項７】
コンピュータを、
第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離を算出する距離算出手段と
して機能させるためのプログラム。
【請求項８】
被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置を内蔵する電子機器において、
前記画像処理装置は、
被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、
前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離を算出する距離算出手段と
を含む
電子機器。
【請求項９】
被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、
前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
前記肌領域の大きさに基づいて、被写体までの距離を算出する距離算出手段と
を含む画像処理装置。
【請求項１０】
前記距離算出手段は、前記肌領域の面積に基づいて、前記距離を算出する
請求項９に記載の画像処理装置。
【請求項１１】
前記距離算出手段は、前記肌領域の幅に基づいて、前記距離を算出する
請求項９に記載の画像処理装置。
【請求項１２】
前記肌領域に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の、前記被写体の位置を検出する位置検出手段と、
前記距離算出手段により、異なる距離が算出された場合、所定の回数だけ前に検出された前記被写体の位置に基づく処理を行なう処理手段と
をさらに含む請求項９に記載の画像処理装置。
【請求項１３】
被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置の画像処理方法において、
前記画像処理装置は、
第１の照射手段と、
第２の照射手段と、
撮像手段と、
検出手段と、
距離算出手段と
を含み、
前記第１の照射手段が、被写体に対して第１の波長の光を照射し、
前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、
前記撮像手段が、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成し、
前記検出手段が、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出し、
前記距離算出手段が、前記肌領域の大きさに基づいて、被写体までの距離を算出する
ステップを含む画像処理方法。
【請求項１４】
コンピュータを、
第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
前記肌領域の大きさに基づいて、被写体までの距離を算出する距離算出手段と
して機能させるためのプログラム。
【請求項１５】
被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置を内蔵する電子機器において、
前記画像処理装置は、
被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、
前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
前記肌領域に基づいて、被写体までの距離を算出する距離算出手段と
を含む
電子機器。
【請求項１６】
被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、
前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標を生成する生成手段と、
前記距離指標を用いて、前記被写体までの距離を算出する距離算出手段と
を含む画像処理装置。
【請求項１７】
被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置の画像処理方法において、
前記画像処理装置は、
第１の照射手段と、
第２の照射手段と、
撮像手段と、
検出手段と、
生成手段と、
距離算出手段と
を含み、
前記第１の照射手段が、被写体に対して第１の波長の光を照射し、
前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、
前記撮像手段が、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成し、
前記検出手段が、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出し、
前記生成手段が、前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標を生成し、
前記距離算出手段が、前記距離指標を用いて、前記被写体までの距離を算出する
ステップを含む画像処理方法。
【請求項１８】
コンピュータを、
第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標を生成する生成手段と、
前記距離指標を用いて、前記被写体までの距離を算出する距離算出手段と
して機能させるためのプログラム。
【請求項１９】
被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置を内蔵する電子機器において、
前記画像処理装置は、
被写体に対して第１の波長の光を照射する第１の照射手段と、
前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、
前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、
前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、
前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標を生成する生成手段と、
前記距離指標を用いて、前記被写体までの距離を算出する距離算出手段と
を含む
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、及び電子機器に関し、特に、例えば、ユーザを撮像して得られる撮像画像に基づいて、ユーザまでの距離を検出する場合に用いて好適な画像処理装置、画像処理方法、プログラム、及び電子機器に関する。
【背景技術】
【０００２】
被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出（認識）する肌認識システムが存在する（例えば、非特許文献１を参照）。
【０００３】
この肌認識システムでは、波長λ１の光（例えば、870[nm]の近赤外線）を被写体に照射するLED(light emitting diode)、及び波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を被写体に照射するLEDが交互に発光される。
【０００４】
なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。
【０００５】
そして、肌認識システムでは、波長λ１の光を照射するLEDにより、波長λ１の光が被写体に照射されているときに第１の撮像画像が撮像される。
【０００６】
また、波長λ２の光を照射するLEDにより、波長λ２の光が被写体に照射されているときに第２の撮像画像が撮像される。
【０００７】
そして、第１及び第２の撮像画像に基づいて、第１又は第２の撮像画像の一方から肌領域が検出される。
【０００８】
すなわち、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せが採用されている。
【０００９】
このため、第１の撮像画像上の肌領域を構成する画素の輝度値は比較的大きな値となり、第２の撮像画像上の肌領域を構成する画素の輝度値は比較的小さな値となる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値は、比較的大きな値となる。
【００１０】
また、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せが採用されている。
【００１１】
このため、第１の撮像画像上の肌領域以外の領域を構成する画素の輝度値と、第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値は、殆ど同一の値となる。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値は、比較的小さな値となる。
【００１２】
よって、肌認識システムでは、例えば、差分絶対値が比較的大きな値となる場合に、対応する領域を肌領域として検出することができる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
【発明の概要】
【発明が解決しようとする課題】
【００１４】
上述した肌認識システムでは、検出した肌領域に基づいて、ユーザが行なう幾つかのジェスチャを識別することはできるものの、第１及び第２の撮像画像に基づいて、肌認識システムからユーザまでの距離を検出することはできなかった。
【００１５】
このため、肌認識システムでは、肌認識システムに対して、例えば、ユーザが自身の手を前後させる（肌認識システムとユーザ自身の手との距離が変化する）ようなジェスチャ等を行なっても、これを識別することができなかった。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、ユーザを撮像して得られる撮像画像に基づいて、ユーザまでの距離を精度良く検出できるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の側面の画像処理装置は、被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離を算出する距離算出手段とを含む画像処理装置である。
【００１８】
前記被写体が存在すると想定される距離の範囲に応じて、パラメータを調整する調整手段をさらに設けることができ、前記距離算出手段では、前記パラメータに応じて変更される前記差分絶対値に基づいて、前記距離を算出することができる。
【００１９】
前記調整手段では、前記パラメータとして、前記撮像手段のゲイン、露光時間、前記第１の照射手段の照射光量、照射時間、又は第２の照射手段の照射光量、照射時間の少なくとも１つを調整することができる。
【００２０】
前記距離算出手段では、前記差分絶対値を積算して得られる積分値に基づいて、前記距離を算出することができる。
【００２１】
前記肌領域に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の、前記被写体の位置を検出する位置検出手段と、前記距離算出手段により、異なる距離が算出された場合、所定の回数だけ前に検出された前記被写体の位置に基づく処理を行なう処理手段とをさらに設けることができる。
【００２２】
本発明の第１の側面の画像処理方法は、被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置の画像処理方法であって、前記画像処理装置は、第１の照射手段と、第２の照射手段と、撮像手段と、検出手段と、距離算出手段とを含み、前記第１の照射手段が、被写体に対して第１の波長の光を照射し、前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、前記撮像手段が、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成し、前記検出手段が、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出し、前記距離算出手段が、第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離を算出するステップを含む画像処理方法である。
【００２３】
本発明の第１の側面のプログラムは、コンピュータを、第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離を算出する距離算出手段として機能させるためのプログラムである。
【００２４】
本発明の第１の側面の電子機器は、被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置を内蔵する電子機器であって、前記画像処理装置は、被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離を算出する距離算出手段とを含む電子機器である。
【００２５】
本発明の第１の側面によれば、第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域が検出され、第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値に基づいて、前記被写体までの距離が算出される。
【００２６】
本発明の第２の側面の画像処理装置は、被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、前記肌領域の大きさに基づいて、被写体までの距離を算出する距離算出手段とを含む画像処理装置である。
【００２７】
前記距離算出手段では、前記肌領域の面積に基づいて、前記距離を算出することができる。
【００２８】
前記距離算出手段では、前記肌領域の幅に基づいて、前記距離を算出することができる。
【００２９】
前記肌領域に基づいて、前記第１又は第２の撮像画像の一方の撮像画像上の、前記被写体の位置を検出する位置検出手段と、前記距離算出手段により、異なる距離が算出された場合、所定の回数だけ前に検出された前記被写体の位置に基づく処理を行なう処理手段とをさらに設けることができる。
【００３０】
本発明の第２の側面の画像処理方法は、被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置の画像処理方法であって、前記画像処理装置は、第１の照射手段と、第２の照射手段と、撮像手段と、検出手段と、距離算出手段とを含み、前記第１の照射手段が、被写体に対して第１の波長の光を照射し、前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、前記撮像手段が、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成し、前記検出手段が、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出し、前記距離算出手段が、前記肌領域の大きさに基づいて、被写体までの距離を算出するステップを含む画像処理方法である。
【００３１】
本発明の第２の側面のプログラムは、コンピュータを、第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、前記肌領域の大きさに基づいて、被写体までの距離を算出する距離算出手段として機能させるためのプログラムである。
【００３２】
本発明の第２の側面の電子機器は、被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置を内蔵する電子機器であって、前記画像処理装置は、被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、前記肌領域に基づいて、被写体までの距離を算出する距離算出手段とを含む電子機器である。
【００３３】
本発明の第２の側面によれば、第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域が検出され、検出された肌領域の大きさに基づいて、被写体までの距離が算出される。
【００３４】
本発明の第３の側面の画像処理装置は、被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標を生成する生成手段と、前記距離指標を用いて、前記被写体までの距離を算出する距離算出手段とを含む画像処理装置である。
【００３５】
本発明の第３の側面の画像処理方法は、被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置の画像処理方法であって、前記画像処理装置は、第１の照射手段と、第２の照射手段と、撮像手段と、検出手段と、生成手段と、距離算出手段とを含み、前記第１の照射手段が、被写体に対して第１の波長の光を照射し、前記第２の照射手段が、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射し、前記撮像手段が、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成し、前記検出手段が、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出し、前記生成手段が、前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標を生成し、前記距離算出手段が、前記距離指標を用いて、前記被写体までの距離を算出するステップを含む画像処理方法である。
【００３６】
本発明の第３の側面のプログラムは、コンピュータを、第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標を生成する生成手段と、前記距離指標を用いて、前記被写体までの距離を算出する距離算出手段として機能させるためのプログラムである。
【００３７】
本発明の第３の側面の電子機器は、被写体を撮像して得られる撮像画像から、前記被写体までの距離を算出する画像処理装置を内蔵する電子機器であって、前記画像処理装置は、被写体に対して第１の波長の光を照射する第１の照射手段と、前記被写体に対して前記第１の波長とは異なる第２の波長の光を照射する第２の照射手段と、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像手段と、前記第１及び第２の撮像画像に基づいて、前記被写体の肌領域を検出する検出手段と、前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標を生成する生成手段と、前記距離指標を用いて、前記被写体までの距離を算出する距離算出手段とを含む電子機器である。
【００３８】
本発明の第３の側面によれば、第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像、及び前記第１の波長とは異なる第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌領域が検出され、前記肌領域の大きさ、又は第１及び第２の撮像画像上の前記肌領域における、対応する画素の輝度値どうしの差分絶対値の少なくとも一方に基づいて、前記被写体が存在すると想定される距離の範囲に応じた、前記被写体までの距離を算出するために用いる距離指標が生成され、生成された距離指標を用いて、前記被写体までの距離が算出される。
【発明の効果】
【００３９】
本発明によれば、ユーザを撮像して得られる撮像画像に基づいて、ユーザまでの距離を精度良く検出することが可能となる。
【図面の簡単な説明】
【００４０】
【図１】本発明を適用した情報処理システムの構成例を示すブロック図である。
【図２】人間の肌に対する分光反射特性の一例を示す図である。
【図３】画像処理装置の詳細な構成例を示すブロック図である。
【図４】算出部及び２値化部が行なう処理の一例を示す図である。
【図５】距離指標Ｚindexと距離ｚとの関係の一例を示す図である。
【図６】距離指標Ｚindexが全体の２０パーセントだけ変化した場合における距離ｚの変化量の一例を示す図である。
【図７】画像処理装置が行う座標検出処理を説明するためのフローチャートである。
【図８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００４１】
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（ユーザを撮像した撮像画像に基づいて、情報処理システムからユーザまでの距離を検出する場合の一例）
２．変形例
【００４２】
＜１．本実施の形態＞
[情報処理システム１の構成例]
図１は、本実施の形態である情報処理システム１の構成例を示している。
【００４３】
この情報処理システム１は、ユーザの手を用いたジェスチャ（又はポスチャ）に応じて所定の処理を実行するものであり、発光装置２１、カメラ２２、及び画像処理装置２３により構成される。
【００４４】
なお、情報処理システム１に対して所定の処理を実行させるため、ユーザは、自身の手を顔や胸等よりもカメラ２２のレンズ面に近い位置に出した状態で、カメラ２２のレンズ面の前で自身の手を移動させる。
【００４５】
具体的には、例えば、情報処理システム１が、ユーザの手の移動に応じて、図示せぬ表示装置を制御するものである場合、ユーザが、その表示装置の画面上に表示されたポインタを移動させたいときには、ポインタを移動させたい方向に、自身の手をカメラ２２のレンズ面に対して平行に移動させる。
【００４６】
また、例えば、ユーザが、表示装置の画面上に表示されたポインタの位置で、いわゆるクリック動作を行いたい場合、ユーザは、自身の手をカメラ２２のレンズ面に対して前後に移動させる。
【００４７】
以下の説明では、ユーザが、自身の手をカメラ２２のレンズ面に対して前後に移動させる動作を、単に、クリック動作という。
【００４８】
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED２１a1及びLED２１a2、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1及びLED２１b2により構成される。
【００４９】
なお、以下の説明において、LED２１a1及びLED２１a2をそれぞれ区別する必要がない場合には、単にLED２１aというとともに、LED２１b1及びLED２１b2をそれぞれ区別する必要がない場合には、単にLED２１bという。
【００５０】
発光装置２１は、画像処理装置２３からの制御にしたがって、LED２１aとLED２１bとを、例えば交互に発光させる。
【００５１】
LED２１aとLED２１bは、波長λ１及びλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる撮像画像の対応する画素どうしの輝度値が同一となるように、例えば交互に発光する。
【００５２】
また、LED２１aにおける波長λ１と、LED２１bにおける波長λ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。すなわち、この組合せは、人間の肌に対する分光反射特性に基づいて決定される。
【００５３】
次に、図２は、人間の肌に対する分光反射特性を示している。
【００５４】
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
【００５５】
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
【００５６】
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
【００５７】
具体的には、例えば、図２に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。
【００５８】
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
【００５９】
本実施の形態では、上述した分光反射特性において、波長λ１及びλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
【００６０】
図１に戻り、カメラ２２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ２２aにより覆われている。
【００６１】
このため、日光、或いは蛍光灯等の不可視光成分を除けば、カメラ２２は、発光装置２１によって被写体に照射される不可視光の反射光のみを受光し、その結果得られる撮像画像を、画像処理装置２３に供給することになる。
【００６２】
すなわち、例えば、カメラ２２は、LED２１aによって被写体に照射される不可視光である波長λ１の光の反射光のみを受光し、その結果得られる第１の撮像画像を、画像処理装置２３に供給する。
【００６３】
また、カメラ２２は、LED２１bによって被写体に照射される不可視光である波長λ２の光の反射光のみを受光し、その結果得られる第２の撮像画像を、画像処理装置２３に供給する。
【００６４】
画像処理装置２３は、発光装置２１及びカメラ２２を制御する。また、画像処理装置２３は、カメラ２２からの第１及び第２の撮像画像に基づいて、被写体の３次元位置を表す座標（x,y,z）tを検出し、その検出結果に応じた処理を行なう。
【００６５】
なお、座標（x,y,z）tは、t番目に検出された座標を表しており、カメラ２２の光軸をZ軸とし、カメラ２２の水平方向及び垂直方向をそれぞれX軸及びY軸とするXYZ軸により定義される。
【００６６】
[画像処理装置２３の構成例]
次に、図３は、画像処理装置２３の構成例を示している。
【００６７】
この画像処理装置２３は、メモリ４１aを内蔵する制御部４１、算出部４２、２値化部４３、及び座標検出部４４により構成される。
【００６８】
制御部４１は、発光装置２１及びカメラ２２を制御して、LED２１a及びLED２１bのうち、LED２１aを点灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られる第１の撮像画像を、算出部４２に供給させる。
【００６９】
また、制御部４１は、発光装置２１及びカメラ２２を制御して、LED２１a及びLED２１bのうち、LED２１bを点灯させた状態で、カメラ２２による被写体の撮像を行わせ、その撮像により得られる第２の撮像画像を、算出部４２に供給させる。
【００７０】
さらに、制御部４１は、座標検出部４４からの座標（x,y,z）tを、座標検出部４４において検出されたｔ番目の順序に対応付けて、内蔵するメモリ４１aに供給して記憶させる。
【００７１】
また、制御部４１は、座標検出部４４により検出された座標（x,y,z）t-1を、メモリ４１aから読み出す。
【００７２】
そして、制御部４１は、読み出した座標（x,y,z）t-1と、座標検出部４４により検出され供給された座標（x,y,z）tとのｚの値の変化が少ない場合、図示せぬ表示装置の画面上に表示されたポインタを、座標（x,y,z）tのうちの(x,y)に対応する位置に移動させる処理を行なう。
【００７３】
また、例えば、制御部４１は、座標（x,y,z）tと座標（x,y,z）t-1とのｚの値の変化が大きい場合、ユーザがクリック動作をジェスチャとして行なったものと判定し、メモリ４１aに記憶されている座標（x,y,z）t-k(但し、t>k)として、例えば、座標（x,y,z）t-5の（x,y）の位置において、クリック動作が行なわれたと判定する。
【００７４】
そして、制御部４１は、クリック動作が行なわれたと判定したことに対応して、クリック動作に基づく処理を行なう。
【００７５】
算出部４２は、カメラ２２からの第１及び第２の撮像画像に対して、LPF(low pass fileter)を用いた平滑化を行う。そして、算出部４２は、平滑化後の第１及び第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部４３及び座標検出部４４に供給する。
【００７６】
２値化部４３は、算出部４２からの差分画像を２値化し、その結果得られる２値化肌画像を、座標検出部４４に供給する。
【００７７】
次に、図４は、算出部４２及び２値化部４３が行なう処理を示している。
【００７８】
算出部４２には、カメラ２２から、肌領域６１a及び非肌領域６１b(肌領域６１a以外の領域)により構成される第１の撮像画像６１、並びに、肌領域６２a及び非肌領域６２b(肌領域６２a以外の領域)により構成される第２の撮像画像６２が供給される。
【００７９】
算出部４２は、カメラ２２から供給される第１の撮像画像６１、及び第２の撮像画像６２に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後の第１の撮像画像６１、平滑化後の第２の撮像画像６２の対応する画素の輝度値どうしの差分絶対値を算出し、その差分絶対値を画素値とする差分画像６３を生成し、２値化部４３及び座標検出部４４に供給する。
【００８０】
２値化部４３は、算出部４２からの差分画像６３に対して、差分画像６３を構成する画素値のうち、所定の閾値以上の画素値の画素からなる領域(肌領域６３a)を肌領域６４aとして検出し、所定の閾値未満の画素値の画素からなる領域(非肌領域６３b)を非肌領域６４bとして検出する。
【００８１】
そして、２値化部４３は、検出した肌領域６４a及び非肌領域６４bにより構成される２値化肌画像６４を生成する。
【００８２】
具体的には、２値化部４３は、算出部４２からの差分画像６３に対して、差分画像６３を構成する画素値のうち、所定の閾値以上の画素値を１とし、所定の閾値未満の画素値を０とする２値化を行う。
【００８３】
なお、差分画像６３における肌領域６３aは、肌領域６１aと肌領域６２aとの差分絶対値を画素値とする画素により構成されているため、肌領域６３aを構成する画素の画素値は比較的大きな値となっている。
【００８４】
また、差分画像６３における非肌領域６３bは、非肌領域６１bと非肌領域６２bとの差分絶対値を画素値とする画素により構成されているため、非肌領域６３bを構成する画素の画素値は比較的小さな値となっている。
【００８５】
したがって、差分画像６３は、２値化部４３により行われる２値化により、肌領域６３aを構成する画素の画素値が１とされた肌領域６４a、及び非肌領域６３bを構成する画素の画素値が０とされた非肌領域６４ｂにより構成される２値化肌画像６４に変換される。
【００８６】
そして、算出部４２は、その２値化により得られる２値化肌画像６４を、座標検出部４４に供給する。
【００８７】
図３に戻り、座標検出部４４は、２値化部４３からの２値化肌画像６４に基づいて、座標（x,y,z）tのうち、x及びyを検出する。具体的には、例えば、座標検出部４４は、２値化部４３からの２値化肌画像６４上の肌領域６４aの重心（x,y）を、座標（x,y,z）tのうちのx及びyとして検出する。
【００８８】
また、座標検出部４４は、算出部４２からの差分画像６３、又は２値化部４３からの２値化肌画像６４上の肌領域６４aの少なくとも一方に基づいて、情報処理システム１から被写体までの距離ｚ（座標(x,y,z)tのうちのｚの値）を検出する。なお、座標検出部４４が距離ｚを検出する方法の詳細は後述する。
【００８９】
座標検出部４４は、検出した肌領域６４aの重心（x,y）、及び距離ｚを、被写体の３次元位置を表す座標(x,y,z)tとして、制御部４１に供給する。
【００９０】
[差分検出部４４が行なう距離ｚの検出方法]
次に、座標検出部４４が、距離ｚを検出する方法として、以下に示す(１)乃至(４)の方法が存在する。
（１）肌領域６４aの幅から距離ｚを検出する方法
（２）肌領域６４aの面積から距離ｚを検出する方法
（３）肌領域６３aを構成する画素の画素値（肌輝度差）から距離ｚを検出する方法
（４）肌領域６３aの輝度積分値から、距離ｚを検出する方法
【００９１】
以下、（１）乃至（４）の方法について順に説明する。
【００９２】
（１）肌領域６４aの幅から距離ｚを検出する方法
座標検出部４４が、２値化部４３からの２値化肌画像６４上の肌領域６４aの幅に基づいて、距離ｚを検出する方法を説明する。
【００９３】
座標検出部４４は、２値化部４３からの２値化肌画像６４上の肌領域６４aの幅（例えば、水平方向の幅又は垂直方向の幅の一方）に応じて、距離ｚを検出する。
【００９４】
すなわち、肌領域６４aの幅は、距離ｚに反比例する。このため、座標検出部４４は、２値化部４３からの２値化肌画像６４上の肌領域６４aに基づいて、肌領域６４aの幅を算出し、算出した肌領域６４aの幅を、距離ｚを検出するために用いる距離指標Ｚindexに設定する。
【００９５】
そして、座標検出部４４は、肌領域６４aの幅である距離指標Ｚindexが距離ｚに反比例することに基づいて、距離指標Ｚindexから、距離ｚを検出する。
【００９６】
具体的には、例えば、座標検出部４４は、肌領域６４aにおける所定の幅（例えば、ユーザの人差し指の幅等）を、距離指標Ｚindexとして、距離ｚを検出する。また、座標検出部４４は、算出される複数の幅の平均値を、距離指標Ｚindexとして、距離ｚを検出するようにしてもよい。
【００９７】
（２）肌領域６４aの面積から距離ｚを検出する方法
座標検出部４４が、２値化部４３からの２値化肌画像６４上の肌領域６４aの面積に基づいて、距離ｚを検出する方法を説明する。
【００９８】
上述したように、２値化肌画像６４上の肌領域６４aの幅は、距離ｚに反比例する。したがって、肌領域６４aの面積は距離ｚ2に反比例する。
【００９９】
このため、座標検出部４４は、２値化部４３からの２値化肌画像６４上の肌領域６４aに基づいて、肌領域６４aの面積を算出し、算出した肌領域６４aの面積を、距離指標Ｚindexに設定する。
【０１００】
そして、座標検出部４４は、肌領域６４aの面積である距離指標Ｚindexが距離ｚ2に反比例することに基づいて、距離指標Ｚindexから、距離ｚを検出する。
【０１０１】
このように、上述した（１）及び（２）による方法によれば、座標検出部４４において、距離指標Ｚindexとして、第１及び第２の撮像画像を構成する画素の輝度値等を用いないため、LED２１a及びLED２１bの照射光量によるばらつきや、カメラ２２の受光感度等に影響されずに、距離ｚを精度良く検出することが可能となる。
【０１０２】
（３）肌領域６３aを構成する画素の画素値(肌輝度差)から距離ｚを検出する方法
座標検出部４４が、算出部４２からの差分画像６３に基づいて、差分画像６３上の肌領域６３aを構成する画素の画素値である肌輝度差Iskinから、距離zを検出する方法を説明する。
【０１０３】
なお、肌輝度差Iskinとは、第１の撮像画像６１上の肌領域６１aを構成する画素の輝度値Ｉ１と、第２の撮像画像６２上の肌領域６２aを構成する画素のうち、対応する画素の輝度値Ｉ２との差分絶対値|Ｉ１-Ｉ２|を表す。
【０１０４】
ここで、被写体が同一である場合、同一の被写体に対して、波長λ１の光の反射率、及び波長λ２の光の反射率は、いずれも変化しない。そして、輝度値Ｉ１及びＩ２は、それぞれ、距離ｚ2に反比例するので、肌輝度差Iskin（=|Ｉ１-Ｉ２|）も同様に、距離ｚ2に反比例するものとなる。
【０１０５】
したがって、座標検出部４４は、肌輝度値Iskinを距離指標Ｚindexに設定し、肌輝度差Iskinである距離指標Ｚindexが距離ｚ2に反比例することに基づいて、距離指標Ｚindexから、距離zを検出する。
【０１０６】
ところで、例えば、検出すべき距離ｚとして、１[cm]から１００[cm]までの距離ｚを想定している場合（ユーザが１[cm]から１００[cm]までの距離ｚの範囲内でジェスチャを行なうと想定される場合）、１００[cm]の距離ｚにおいて検出される肌輝度差Iskinがとり得る範囲は、１[cm]の距離ｚにおいて検出される肌輝度差Iskinがとり得る範囲の約10000倍となる。
【０１０７】
この場合、１００[cm]の距離ｚにおいて検出される肌輝度差Iskin（輝度値Ｉ１及びＩ２）は、１[cm]の距離ｚにおいて検出される肌輝度差Iskin（輝度値Ｉ１及びＩ２）と比較して大きく異なるものとなるため、カメラ２２の階調（例えば、８ビットのカメラであれば２５６階調）をはるかに超えて飽和（白とび等）が生じてしまう。
【０１０８】
このため、検出を想定している距離ｚに応じて、LED２１a及びLED２１bの照射光量L、カメラ２２のゲインG、露光時間Tにより構成されるパラメータ（L,G,T）を調整して、カメラ２２が飽和してしまうことを防止する必要がある。
【０１０９】
したがって、肌輝度差Iskinは、検出を想定している距離ｚに応じて調整されるパラメータ（L,G,T）により、次式（１）により表される。
P(Iskin) = ｜Ｉ１-Ｉ２｜（L0/L）（G0/G）（T0/T）    ・・・（１）
【０１１０】
ここで、式（１）において、L0,G0,T0は、基準となる距離ｚ0において調整されるパラメータ（L,G,T）=（L0,G0,T0）を表す。また、式（１）において、差分絶対値｜Ｉ１-Ｉ２｜は、パラメータ（L,G,T）を、距離ｚにおいて調整されるパラメータ（L,G,T）とした場合に検出される肌輝度差Iskinを表す。
【０１１１】
そして、距離指標Ｚindexは、次式（２）により表される。
Ｚindex = Ｚ0index/{P(Iskin)/P(Iskin0)}1/2            ・・・（２）
【０１１２】
なお、式（２）において、肌輝度差P(Iskin0)とは、基準となる距離ｚ0において、パラメータ（L,G,T）=（L0,G0,T0）に調整したときに得られる肌輝度差を表す。また、Ｚ0indexは、基準となる距離ｚ0における距離指標を表す。
【０１１３】
座標検出部４４は、検出を想定している距離ｚに応じて調整されたパラメータ（L,G,T）に基づいて、式（１）及び（２）により距離座標Ｚindexを算出して、算出した距離座標Ｚindexから、距離ｚを検出する。
【０１１４】
なお、パラメータ（L,G,T）は、制御部４１により、検出を想定している距離ｚに応じて調整される。具体的には、例えば、ユーザが、図示せぬ操作部を用いて、ジェスチャ等を行なう距離を指定する指定操作を行うことにより、その指定操作に対応する操作信号が制御部４１に供給され、制御部４１は、供給された操作信号に基づいて、パラメータ（L,G,T）を調整する。
【０１１５】
また、パラメータ（L,G,T）は、カメラ２２の飽和を防止するために、検出を想定している距離ｚに応じて、L、G、及びTの全てを調整するようにしてもよいし、L、G、及びTのいずれか１つのみを調整するようにしてもよい。すなわち、パラメータ（L,G,T）は、検出を想定している距離ｚに応じて、L、G、又はTの少なくとも１つが調整される。
【０１１６】
さらに、上述の説明では、制御部４１は、LED２１a及びLED２１bの照射光量Lを調整するようにしたが、その他、LED２１a又はLED２１bの一方の照射光量を調整するようにしてもよい。
【０１１７】
また、例えば、LED２１aの照射時間、又はLED２１bの照射時間の少なくとも１つを、パラメータとして含めるようにして、制御部４１が、パラメータを構成するL、G、T、又は照射時間の少なくとも１つを調整するように構成することができる。
【０１１８】
（４）肌領域６３aの輝度積分値から距離ｚを検出する方法
座標検出部４４が、算出部４２からの差分画像６３上の肌領域６３a、及び２値化部４３からの２値化肌画像６４上の肌領域６４aに基づいて、距離ｚを検出する方法を説明する。
【０１１９】
上述したように、肌領域６４aの面積は距離ｚ2に反比例し、肌輝度差Iskinは距離ｚ2に反比例する。
【０１２０】
したがって、肌領域６４aに対応する差分画像６３上の肌領域６３aを構成する画素の画素値（肌輝度差Iskin）それぞれを積算（加算）して得られる輝度積分値は、距離ｚ4に反比例することとなる。
【０１２１】
このため、座標検出部４４は、２値化部４３からの２値化肌画像６４上の肌領域６４aに基づいて、算出部４２からの差分画像６３上の肌領域６３aを抽出し、抽出した肌領域６３aを構成する画素の画素値（肌輝度差Iskin）の輝度積分値を算出する。
【０１２２】
そして、座標検出部４４は、算出した輝度積分値を距離指標Ｚindexに設定し、輝度積分値である距離指標Ｚindexが距離ｚ4に反比例することに基づいて、距離指標Ｚindexから、距離ｚを検出する。
【０１２３】
[距離指標Ｚindexと距離ｚとの関係]
次に、図５は、距離指標Ｚindexと距離ｚとの関係を示している。
【０１２４】
図５において、横軸は距離ｚ[cm]を表しており、縦軸は、距離ｚが１０[cm]である場合に１００となるように設定された距離指標Ｚindexを表している。
【０１２５】
また、図５において、丸印により表されるグラフは、距離ｚ2に反比例する距離指標Ｚindexを表している。具体的には、例えば、距離指標Ｚindexとして、肌領域６４aの面積、又は肌輝度差Iskin（式（２）により表される距離指標Ｚindex）の一方を採用した場合のグラフを表している。
【０１２６】
また、図５において、矩形により表されるグラフは、距離z4に反比例する距離指標Ｚindexを表している。具体的には、例えば、距離指標Ｚindexとして、肌領域６３aの輝度積分値を採用した場合のグラフを表している。
【０１２７】
さらに、図５において、三角形により表されるグラフは、距離zに反比例する距離指標Ｚindexを表している。具体的には、例えば、距離指標Ｚindexとして、肌領域６４aの幅を採用した場合のグラフを表している。
【０１２８】
[距離指標Ｚindexの変化量]
次に、図６は、距離指標Ｚindexが全体の２０パーセントだけ変化した場合における距離ｚの変化量を示している。
【０１２９】
図６において、横軸は距離ｚを表しており、縦軸は距離指標Ｚindexが全体の２０パーセントだけ変化した場合における距離ｚの変化量を表している。また、図６では、丸印により表されるグラフ、矩形により表されるグラフ、及び三角形により表されるグラフは、図５に示した場合と同様である。
【０１３０】
図６において、例えば、距離ｚが１００[cm]であるときの距離指標Ｚindexが全体の２０パーセントだけ変化した場合、距離ｚ2に反比例する距離指標Ｚindex（丸印により表されるグラフ）においては、距離ｚは１００[cm]から１０[cm]だけ変化する。
【０１３１】
また、例えば、距離ｚが１００[cm]であるときの距離指標Ｚindexが全体の２０パーセントだけ変化した場合、距離z4に反比例する距離指標Ｚindex（矩形により表されるグラフ）においては、距離ｚは１００[cm]から５[cm]だけ変化する。
【０１３２】
さらに、例えば、距離ｚが１００[cm]であるときの距離指標Ｚindexが全体の２０パーセントだけ変化した場合、距離zに反比例する距離指標Ｚindex（三角形により表されるグラフ）においては、距離ｚは１００[cm]から２０[cm]だけ変化する。
【０１３３】
このように、距離z4に反比例する距離指標Ｚindexは、距離zに反比例する距離指標Ｚindex、及び距離ｚ2に反比例する距離指標Ｚindexと比較して、距離ｚの変化に対する変化量が大きくなっている。
【０１３４】
すなわち、距離z4に反比例する距離指標Ｚindexは、距離ｚが僅かに変化した場合であっても、大きく変化する。
【０１３５】
これに対して、距離zに反比例する距離指標Ｚindexは、距離z2に反比例する距離指標Ｚindex、及び距離ｚ4に反比例する距離指標Ｚindexと比較して、距離ｚの変化に対する変化量が小さくなっている。
【０１３６】
すなわち、距離zに反比例する距離指標Ｚindexは、距離ｚが大きく変化した場合であっても、僅かにしか変化しない。
【０１３７】
ところで、図５に示したように、例えば、距離ｚ2に反比例する距離指標Ｚindex（丸印により表されるグラフ）においては、距離ｚが１[cm]から２[cm]に変化した場合、距離ｚが１[cm]であるときの距離指標Ｚindexを１００とすると、距離ｚが２[cm]であるときの距離指標Ｚindexは、距離ｚが１[cm]であるときの距離指標Ｚindexの1/4である２５となる。
【０１３８】
また、例えば、距離ｚ2に反比例する距離指標Ｚindexにおいて、距離ｚが１００[cm]から１０１[cm]に変化した場合、距離ｚが１００[cm]であるときの距離指標Ｚindexを１００とすると、距離ｚが１０１[cm]であるときの距離指標Ｚindexは、９８となる。
【０１３９】
このように、情報処理システム１から被写体までの距離ｚが、数センチメートルの近距離であるのか、それとも、数メートルの遠距離であるのかに応じて、距離ｚが１[cm]だけ変化した場合の、距離指標Ｚindexの変化量が大きく異なるものとなる。
【０１４０】
したがって、情報処理システム１において、被写体までの距離ｚが近距離である場合と、遠距離である場合のいずれにおいても、同一の距離指標Ｚindexを用いることとすれば、近距離において距離ｚが１[cm]だけ変化した場合と、遠距離において距離ｚが１[cm]だけ変化した場合とで、距離指標Ｚindexの変化量が大きく異なるものとなってしまい、距離ｚを精度良く検出できないことが生じ得る。
【０１４１】
このため、情報処理システム１では、近距離及び遠距離のいずれにおいても、精度良く距離ｚを検出することができるように、近距離に用いる距離指標Ｚindexと、遠距離に用いる距離指標Ｚindexとを異なるものにすることが望ましい。
【０１４２】
すなわち、例えば、情報処理システム１において、ユーザが近距離でジェスチャ等を行なう場合には、距離ｚが大きく変化した場合であっても、距離指標Ｚindexは僅かにしか変化しない、距離zに反比例する距離指標Ｚindexを用いるようにする。
【０１４３】
また、例えば、情報処理システム１において、ユーザが遠距離でジェスチャ等を行なう場合には、距離ｚが僅かに変化した場合であっても、距離指標Ｚindexが比較的大きく変化する、距離z4に反比例する距離指標Ｚindexを用いるようにする。
【０１４４】
これにより、情報処理システム１においては、ユーザが近距離や遠距離でジェスチャ等を行なういずれの場合であっても、距離ｚを精度良く検出することができる。
【０１４５】
なお、近距離及び遠距離のそれぞれに用いられる距離指標Ｚindexの組合せは、これに限定されず、その他、例えば、近距離においては距離zに反比例する距離指標Ｚindexを用いることとし、遠距離においては距離z2に反比例する距離指標Ｚindexを用いる等の複数の組合せが可能である。
【０１４６】
[画像処理装置２３が行う位置検出処理の詳細]
次に、図７のフローチャートを参照して、画像処理装置２３が行う位置検出処理について説明する。
【０１４７】
この位置検出処理は、例えば情報処理システム１の電源がオンされたときに開始される。
【０１４８】
ステップＳ１において、制御部４１は、発光装置２１及びカメラ２２を制御し、LED２１a及びLED２１bのうち、LED２１aを発光させた状態で、カメラ２２による被写体の撮像を行なわせ、その撮像により得られる第１の撮像画像を、算出部４２に供給させる。
【０１４９】
また、制御部４１は、発光装置２１及びカメラ２２を制御し、LED２１a及びLED２１bのうち、LED２１bを発光させた状態で、カメラ２２による被写体の撮像を行なわせ、その撮像により得られる第２の撮像画像を、算出部４２に供給させる。
【０１５０】
算出部４２は、カメラ２２からの第１及び第２の撮像画像に対して、LPFを用いた平滑化を行う。そして、算出部４２は、平滑化後の第１及び第２の撮像画像どうしの差分絶対値を算出し、算出した差分絶対値を画素値とする画素により構成される差分画像を、２値化部４３及び座標検出部４４に供給する。
【０１５１】
ステップＳ２において、２値化部４３は、算出部４２からの差分画像を２値化し、その結果得られる２値化肌画像に基づいて、第１の撮像画像（又は第２の撮像画像）上の肌領域を検出し、座標検出部４４に供給する。
【０１５２】
ステップＳ３において、座標検出部４４は、２値化部４３から２値化肌画像上の肌領域に基づいて、座標（x,y,z）tのうち、x及びyを検出する。具体的には、例えば、座標検出部４４は、２値化部４３からの２値化肌画像上の肌領域の重心（x,y）を、座標（x,y,z）tのうちのx及びyとして検出する。
【０１５３】
また、座標検出部４４は、算出部４２からの差分画像、又は２値化部４３からの２値化肌画像の少なくとも一方に基づいて、情報処理システム１から被写体までの距離ｚ（座標(x,y,z)tのうちのｚの値）を検出する。
【０１５４】
すなわち、例えば、座標検出部４４は、２値化部４３からの２値化肌画像上の肌領域に基づいて、肌領域の幅を算出し、算出した肌領域の幅を、距離ｚを検出するために用いる距離指標Ｚindexに設定する。そして、座標検出部４４は、肌領域の幅である距離指標Ｚindexが距離ｚに反比例することに基づいて、距離指標Ｚindexから、距離ｚを検出する。
【０１５５】
座標検出部４４は、検出した２値化肌画像上の肌領域の重心（x,y）、及び距離ｚを、被写体の３次元位置を表す座標(x,y,z)tとして、制御部４１に供給する。
【０１５６】
ステップＳ４において、制御部４１は、座標検出部４４からの座標(x,y,z)tを、内蔵するメモリ４１aに供給し、座標検出部４４により検出されたt番目の順序に対応づけて記憶させる。
【０１５７】
ステップＳ５において、制御部４１は、メモリ４１aに記憶されている座標(x,y,z)1乃至(x,y,z)t-1のうち、前回のステップＳ４で記憶された座標(x,y,z)t-1を読み出す。なお、メモリ４１aにまだ座標(x,y,z)t-1、つまり、座標(x,y,z)1が記憶されていない場合には、制御部４１は、ステップＳ５をスキップして処理をステップＳ６に進める。
【０１５８】
制御部４１は、座標検出部４４からの座標(x,y,z)tのzと、メモリ４１aから読み出した座標(x,y,z)t-1のzとの差分絶対値が所定の閾値未満であるか否かに基づいて、被写体の３次元位置である座標(x,y,z)tのうちのｚが大きく変化したか否かを判定する。
【０１５９】
制御部４１は、ｚが大きく変化していない（ｚの変化が少ない）と判定した場合、処理をステップＳ６に進める。ステップＳ６では、制御部４１は、座標検出部４４からの座標(x,y,z)tのうちの(x,y)に基づいて、図示せぬ表示装置の表示を制御する。具体的には、例えば、制御部４１は、表示装置の画面上に表示されたポインタを、座標検出部４４からの座標(x,y,z)tのうちの(x,y)に対応する位置に移動させる。
【０１６０】
ステップＳ６の処理の終了後、処理はステップＳ１に戻り、それ以降同様の処理が行われる。
【０１６１】
また、ステップＳ５において、制御部４１は、ｚが大きく変化した（ｚの変化が大きい）と判定した場合、処理をステップＳ７に進める。
【０１６２】
ステップＳ７において、制御部４１は、メモリ４１aに記憶されている座標（x,y,z）t-kとして、例えば、座標（x,y,z）t-5のうちの(x,y)に対応する、図示せぬ表示装置の画面上の位置において、クリック動作が行なわれたものとして、そのクリック動作に基づく処理を行ない、処理はステップＳ１に戻り、それ以降同様の処理が行なわれる。
【０１６３】
なお、この座標検出処理は、情報処理システム１の電源がオフされたとき等に終了される。
【０１６４】
以上説明したように、座標検出処理では、座標検出部４４が、算出部４２からの差分画像、又は２値化部４３からの２値化肌画像の少なくとも一方に基づいて、情報処理システム１からユーザまでの距離ｚを検出するようにしたので、ユーザによるクリック動作等のジェスチャについても認識することが可能となる。
【０１６５】
また、座標検出処理では、ユーザによるクリック動作が行われたと判定した場合、ステップＳ７において、制御部４１は、例えば座標（x,y,z）t-5のうちの(x,y)に対応する、図示せぬ表示装置の画面上の位置において、クリック動作が行なわれたものとして、クリック動作に基づく処理を行なうようにした。
【０１６６】
したがって、例えば、カメラ２２に対して、ユーザが、クリック動作により自身の手等を近づけた場合、座標（x,y,z）tのうち、zのみならず、x及びyが変化してしまったときであっても、変化前のx及びyに基づくクリック動作が行なわれたものとして扱われるため、座法検出部４４により検出された座標（x,y,z）tをそのまま用いる場合と比較して、ユーザによるクリック動作をより正確に認識することが可能となる。
【０１６７】
なお、座標検出処理を行う前に、ユーザに、ユーザがジェスチャ等を行なう（と想定される）距離が、近距離であるのか、それとも遠距離であるのかを指示させるようにすれば、座標検出処理では、ユーザによる指示操作に応じて、ユーザがジェスチャを行なう距離に適した距離指標Ｚindexを用いて、距離ｚを検出することができる。
【０１６８】
この場合、座標検出処理では、ユーザがジェスチャ等を行なう距離に適した距離指標Ｚindexを用いて、距離ｚを検出するため、ユーザがジェスチャ等を行なう距離に拘らず、同一の距離指標Ｚindexを用いる場合と比較して、より正確に距離ｚを検出することが可能となる。
【０１６９】
＜２．変形例＞
本実施の形態では、LED２１aにより発光される第１の波長を870[nm]とし、LED２１bにより発光される第２の波長を950[nm]としたが、波長の組合せはこれに限定されない。
【０１７０】
すなわち、波長の組合せとしては、第１の波長における反射率と、第２の波長における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。
【０１７１】
具体的には、図２から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、LED２１aが930[nm]未満の波長λ１の照射光を照射し、LED２１bが930[nm]以上の波長λ２の照射光を照射するように構成することが可能である。
【０１７２】
なお、LED２１aから発光される光として、可視光を用いる場合には、可視光カットフィルタ２２aに代えて、LED２１aから発光される可視光のみを通過させて、カメラ２２のレンズに入射させるフィルタが用いられる。これは、LED２１bについても同様のことがいえる。
【０１７３】
本実施の形態では、２値化部４３は、算出部４２からの差分画像６３をそのまま２値化するようにしたが、差分画像６３を構成する画素の画素値を、それぞれ、第１の撮像画像６１を構成する画素のうち、対応する画素の輝度値で正規化（除算）した上で、２値化することが可能である。なお、２値化部４３は、第１の撮像画像６１に代えて、第２の撮像画像６２を用いて差分画像６３を正規化した上で２値化するようにしてもよい。
【０１７４】
また、本実施の形態において、発光装置２１は、LED２１a及びLED２１bを、それぞれ個別に発光させるようにしたが、LED２１a及びLED２１bを同時に発光させることにより、第１の撮像画像、及び第２の撮像画像を取得するように構成することが可能である。
【０１７５】
すなわち、例えば、カメラ２２に代えて、カメラ２２と同様の機能を有する２台のカメラを近接させた状態で設けるようにし、２台のカメラのうち、一方のカメラの前面には、第１の波長の光のみを通過させるフィルタを設けるとともに、他方のカメラの前面には、第２の波長の光のみを通過させるフィルタを設けるように構成する。
【０１７６】
この場合、LED２１a及びLED２１bを同時に発光させたとしても、一方のカメラには、第１の波長の光のみが入射されることから、一方のカメラにおいて、第１の撮像画像を得ることが可能となる。また、他方のカメラには、第２の波長の光のみが入射されることから、他方のカメラにおいて、第２の撮像画像を得ることが可能となる。
【０１７７】
本実施の形態において、LED２１aの個数及びLED２１bの個数は、それぞれ、２個であるとして説明したが、それらの個数は、これに限定されない。
【０１７８】
本実施の形態では、情報処理システム１について説明したが、情報処理システム１を、例えばパーソナルコンピュータ等の電子機器に内蔵し、パーソナルコンピュータは、情報処理システム１により検出される座標に基づく処理を行うように構成することが可能である。
【０１７９】
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０１８０】
[コンピュータの構成例]
次に、図８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【０１８１】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１８２】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１８３】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１８４】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１８５】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１８６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１８７】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１８９】
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１９０】
１  情報処理システム，  ２１  発光装置，  ２１a，２１b  LED，  ２２  カメラ，  ２２a  可視光カットフィルタ，  ２３  画像処理装置，  ４１  制御部，  ４１a  メモリ，  ４２  算出部，  ４３  ２値化部，  ４４  座標検出部
【図１】
2011158447.tif 000003
【図２】
2011158447.tif 000004
【図３】
2011158447.tif 000005
【図４】
2011158447.tif 000006
【図５】
2011158447.tif 000007
【図６】
2011158447.tif 000008
【図７】
2011158447.tif 000009
【図８】
2011158447.tif 000010