(57)【要約】    【課題】      短時間で人間の顔の適切な肌色を検出すると共に、ＣＣＤセンサや表示装置の特性の影響を受けることなく適切な肌色を表示すること。    【解決手段】  入力された画像情報から変換されたＲＧＢ信号の信号レベルを手動レベル調整回路１０２で調整してＲＧＢ信号の基準信号レベルを決定し、ＣＰＵ１０８によりこのＲＧＢ信号の基準信号レベルに基づいて画像情報における人間の目の中心座標を検出し、この目の中心座標から画像情報における肌色候補の座標を特定し、当該肌色候補の座標から画像情報における肌色の代表値を決定する。  【選択図】      図１
2005174248.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像情報をＲＧＢ信号に変換する撮像手段と、前記ＲＧＢ信号の信号レベルを調整する調整手段と、前記調整手段により調整されたＲＧＢ信号の基準信号レベルに基づいて画像情報における人間の目の中心座標を検出する検出手段と、前記目の中心座標から画像情報における肌色候補の座標を特定し当該肌色候補の座標から画像情報における肌色の代表値を決定する制御手段と、を具備することを特徴とする肌色検出装置。
【請求項２】
前記ＲＧＢ信号を表示する表示手段を具備し、前記調整手段は、前記表示手段に表示されたＲＧＢ信号に応じて指示された調整値に応じて前記ＲＧＢ信号の基準信号レベルを決定することを特徴とする請求項１記載の肌色検出装置。
【請求項３】
前記検出手段は、前記ＲＧＢ信号の基準信号レベルのうち目に対応する信号レベルより低い信号レベルを有する部分を目の候補として選択し、当該目の候補におけるＲＧＢ信号の信号レベルの変化に応じて目の座標を特定し、当該目の座標から前記目の中心座標を検出することを特徴とする請求項１又は請求項２記載の肌色検出装置。
【請求項４】
前記検出手段は、前記目の候補のうち、信号レベルが一定時間の間に一時的に高くなる目の候補の座標を前記目の座標と特定することを特徴とする請求項３記載の肌色検出装置。
【請求項５】
前記制御手段は、前記目の中心座標から予め設定した距離だけ下方に向かって離れた位置の座標を前記肌色候補の座標として特定することを特徴とする請求項１から請求項４のいずれかに記載の肌色検出装置。
【請求項６】
前記制御手段は、前記目の中心座標における左目の中心座標と右目の中心座標との間の一定距離の１／２又は３／４の距離だけ離れた位置の座標を前記肌色候補の座標として特定することを特徴とする請求項５記載の肌色検出装置。
【請求項７】
前記制御手段は、前記目の中心座標から下方への垂直線を基準として０度、３０度及び４５度回転させた位置の座標を、前記肌色候補の座標として特定することを特徴とする請求項６記載の肌色検出装置。
【請求項８】
前記制御手段は、前記肌色候補の座標におけるＲＧＢ信号の信号レベルが最も高いものを前記肌色の代表値として決定することを特徴とする請求項１から請求項７のいずれかに記載の肌色検出装置。
【請求項９】
前記表示手段に表示されるＲＧＢ信号の信号レベル及び色温度を補正する補正手段を具備し、前記補正手段は、前記ＲＧＢ信号の基準信号レベルと前記肌色の代表値の信号レベルとから求められる補正値に応じて前記表示手段に表示されるＲＧＢ信号の信号レベル及び色温度を補正することを特徴とする請求項２から請求項８のいずれかに記載の肌色検出装置。
【請求項１０】
前記制御手段は、前記撮像手段からＲＧＢ信号が一定時間入力されない場合に前記補正値をリセットすることを特徴とする請求項９記載の肌色検出装置。
【請求項１１】
入力された画像情報から変換されたＲＧＢ信号の信号レベルを調整してＲＧＢ信号の基準信号レベルを決定し、前記ＲＧＢ信号の基準信号レベルに基づいて画像情報における人間の目の中心座標を検出し、前記目の中心座標から画像情報における肌色候補の座標を特定し、当該肌色候補の座標から画像情報における肌色の代表値を決定することを特徴とする肌色検出方法。
【請求項１２】
前記ＲＧＢ信号の基準信号レベルを決定する際、表示手段に表示されたＲＧＢ信号に応じて指示された調整に応じて前記ＲＧＢ信号の基準信号レベルを決定することを特徴とする請求項１１記載の肌色検出方法。
【請求項１３】
前記目の中心座標を検出する際、前記ＲＧＢ信号の基準信号レベルのうち目に対応する信号レベルより低い信号レベルを有する部分を目の候補として選択し、当該目の候補におけるＲＧＢ信号の信号レベルの変化に応じて目の座標を特定し、当該目の座標から前記目の中心座標を検出することを特徴とする請求項１１又は請求項１２記載の肌色検出方法。
【請求項１４】
前記目の候補のうち、信号レベルが一定時間の間に一時的に高くなる目の候補の座標を前記目の座標と特定することを特徴とする請求項１３記載の肌色検出方法。
【請求項１５】
前記目の中心座標から予め設定した距離だけ下方に向かって離れた位置の座標を前記肌色候補の座標として特定することを特徴とする請求項１１から請求項１４のいずれかに記載の肌色検出方法。
【請求項１６】
前記目の中心座標における左目の中心座標と右目の中心座標との間の一定距離の１／２又は３／４の距離だけ離れた位置の座標を前記肌色候補の座標として特定することを特徴とする請求項１５記載の肌色検出方法。
【請求項１７】
前記目の中心座標から下方への垂直線を基準として０度、３０度及び４５度回転させた位置の座標を、前記肌色候補の座標として特定することを特徴とする請求項１６記載の肌色検出方法。
【請求項１８】
前記肌色の代表値として決定する際、前記肌色候補の座標におけるＲＧＢ信号の信号レベルが最も高いものを前記肌色の代表値として決定することを特徴とする請求項１１から請求項１７のいずれかに記載の肌色検出方法。
【請求項１９】
前記ＲＧＢ信号の基準信号レベルと前記肌色の代表値の信号レベルとから求められる補正値に応じて前記表示手段に表示されるＲＧＢ信号の信号レベル及び色温度を補正することを特徴とする請求項１２から請求項１８のいずれかに記載の肌色検出方法。
【請求項２０】
画像情報から変換されるＲＧＢ信号が一定時間入力されない場合に前記補正値をリセットすることを特徴とする請求項１９記載の肌色検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、肌色検出装置及び肌色検出方法に関する。
【背景技術】
【０００２】
従来からデジタルカメラなどで撮影した画像情報から被写体の肌色を検出する方法が提案されている。かかる方法を実現する装置として、例えば、予め算出された肌色基準値に基づき肌色領域を抽出し、その肌色を検出する肌色検出装置が開示されている（例えば、特許文献１参照）。かかる肌色検出装置においては、ヒストグラムを用いて肌色領域の抽出を行っている。
【特許文献１】特開２０００−１０５８１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の肌色検出装置においては、予め算出された肌色基準値という基準を用いるものの、ＣＣＤセンサや表示装置の特性が理想的である前提のもとに肌色領域を抽出するため、ＣＣＤセンサ等の特性が理想的な状況にない場合には、肌色基準値の境界付近で目標とする肌色領域を抽出できず、適切な肌色を検出することができないという問題がある。
【０００４】
また、肌色基準値を用いて肌色領域を抽出する処理においては、画像情報における人間の顔の肌色領域を適切に抽出できないという問題がある。すなわち、画像情報に人間の顔の肌色領域以外の肌色領域（例えば、肌色のクッション）が存在する場合にはその肌色領域と、人間の顔の肌色領域を区別することができず、人間の顔の肌色領域以外の肌色領域を抽出する事態が生じ得る。
【０００５】
さらに、この肌色検出装置においてはヒストグラムを用いて肌色領域の抽出を行うが、ヒストグラムを作成した上で肌色領域を抽出する処理においては多大な時間を要するという問題がある。
【０００６】
本発明は、かかる問題点に鑑みて為されたものであり、短時間で人間の顔の適切な肌色を検出すると共に、ＣＣＤセンサや表示装置の特性の影響を受けることなく適切な肌色を表示することができる肌色検出装置及び肌色検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、入力された画像情報から変換されたＲＧＢ信号の信号レベルを調整してＲＧＢ信号の基準信号レベルを決定し、このＲＧＢ信号の基準信号レベルに基づいて画像情報における人間の目の中心座標を検出し、この目の中心座標から画像情報における肌色候補の座標を特定し、当該肌色候補の座標から画像情報における肌色の代表値を決定するようにしたものである。
【発明の効果】
【０００８】
本発明に係る肌色検出装置及び肌色検出方法によれば、短時間で人間の顔の適切な肌色を検出すると共に、ＣＣＤセンサや表示装置の特性の影響を受けることなく適切な肌色を表示することができる。
【発明を実施するための最良の形態】
【０００９】
本発明の第１の態様に係る肌色検出装置は、入力された画像情報をＲＧＢ信号に変換する撮像手段と、前記ＲＧＢ信号の信号レベルを調整する調整手段と、前記調整手段により調整されたＲＧＢ信号の基準信号レベルに基づいて画像情報における人間の目の中心座標を検出する検出手段と、前記目の中心座標から画像情報における肌色候補の座標を特定し当該肌色候補の座標から画像情報における肌色の代表値を決定する制御手段と、を具備する構成を採る。
【００１０】
この構成によれば、ＲＧＢ信号の基準信号レベルに基づいて画像情報における人間の目の中心座標を検出し、この目の中心座標から画像情報における肌色候補の座標を特定し当該肌色候補の座標から画像情報における肌色の代表値を決定するので、短時間で人間の顔の適切な肌色を検出することができる。
【００１１】
本発明の第２の態様は、第１の態様に係る肌色検出装置において、前記ＲＧＢ信号を表示する表示手段を具備し、前記調整手段は、前記表示手段に表示されたＲＧＢ信号に応じて指示された調整値に応じて前記ＲＧＢ信号の基準信号レベルを決定する構成を採る。
【００１２】
この構成によれば、表示手段に表示されたＲＧＢ信号に応じて指示された調整値に応じてＲＧＢ信号の基準信号レベルを決定するので、作業者が実際に表示手段に表示されたＲＧＢ信号を見ながら指示した調整値に応じてＲＧＢ信号の基準信号レベルを決定することができる。
【００１３】
本発明の第３の態様は、第１又は第２の態様に係る肌色検出装置において、前記検出手段は、前記ＲＧＢ信号の基準信号レベルのうち目に対応する信号レベルより低い信号レベルを有する部分を目の候補として選択し、当該目の候補におけるＲＧＢ信号の信号レベルの変化に応じて目の座標を特定し、当該目の座標から前記目の中心座標を検出する構成を採る。
【００１４】
この構成によれば、ＲＧＢ信号の基準信号レベルのうち目に対応する信号レベルより低い信号レベルを有する部分が目の候補として選択される。このため、画像情報における全ての信号レベルを調査することなく目の候補を選択することができ、目の候補の選択処理に要する時間を短縮することができる。また、目の候補におけるＲＧＢ信号の信号レベルの変化に応じて目の座標が特定される。このため、人間の目におけるまばたきの特性を利用して目の座標を特定することができる。さらに、特定された目の座標から目の中心座標が検出される。このため、容易に目の中心座標を検出することができる。
【００１５】
本発明の第４の態様は、第３の態様に係る肌色検出装置において、前記検出手段は、前記目の候補のうち、信号レベルが一定時間の間に一時的に高くなる目の候補の座標を前記目の座標と特定する構成を採る。
【００１６】
この構成によれば、人間の目が一定時間内の必ずまばたきをするという特性を利用して目の候補の座標を特定することができるので、複雑な処理行うことなく容易に目の座標を特定することができる。
【００１７】
本発明の第５の態様は、第１から第４のいずれかの態様に係る肌色検出装置において、前記制御手段は、前記目の中心座標から予め設定した距離だけ下方に向かって離れた位置の座標を前記肌色候補の座標として特定する構成を採る。
【００１８】
この構成によれば、目の中心座標から予め設定した距離だけ下方に向かって離れた位置の座標が肌色候補の座標として特定される。このため、画像情報における全ての信号レベルを調査することなく肌色候補の座標を特定することができ、肌色候補の座標を特定する処理に要する時間を短縮することができる。
【００１９】
本発明の第６の態様は、第５の態様に係る肌色検出装置において、前記制御手段は、前記目の中心座標における左目の中心座標と右目の中心座標との間の一定距離の１／２又は３／４の距離だけ離れた位置の座標を前記肌色候補の座標として特定する構成を採る。
【００２０】
この構成によれば、左目の中心座標と右目の中心座標との間の一定距離の１／２又は３／４の距離だけ離れた位置の座標が記肌色候補の座標として特定される。このため、画像情報における全ての信号レベルを調査することなく肌色候補の座標を特定することができ、肌色候補の座標を特定する処理に要する時間を短縮することができる。
【００２１】
特に、目の中心座標から下方に向かって、左目の中心座標と右目の中心座標との間の一定距離の１／２又は３／４の距離だけ離れた位置には頬が配置され、特別な場合を除いて肌色であることが想定される。このため、他の部分を肌色候補の座標と特定する場合に比べてより適切に肌色候補の座標を特定することができる。
【００２２】
本発明の第７の態様は、第６の態様に係る肌色検出装置において、前記制御手段は、前記目の中心座標から下方への垂直線を基準として０度、３０度及び４５度回転させた位置の座標を、前記肌色候補の座標として特定する構成を採る。
【００２３】
この構成によれば、目の中心座標から下方への垂直線を基準として０度、３０度及び４５度回転させた位置の座標が肌色候補の座標として特定される。このため、画像情報における全ての信号レベルを調査することなく肌色候補の座標を特定することができ、肌色候補の座標を特定する処理に要する時間を短縮することができる。
【００２４】
特に、目の中心座標から下方に向かって上記角度を有し、左目の中心座標と右目の中心座標との間の一定距離の１／２又は３／４の距離だけ離れた位置には頬が配置され、特別な場合を除いて肌色であることが想定される。このため、他の部分を肌色候補の座標と特定する場合に比べてより適切に肌色候補の座標を特定することができる。
【００２５】
本発明の第８の態様は、第１から第７のいずれかの態様に係る肌色検出装置において、前記制御手段は、前記肌色候補の座標におけるＲＧＢ信号の信号レベルが最も高いものを前記肌色の代表値として決定する構成を採る。
【００２６】
この構成によれば、肌色候補の座標におけるＲＧＢ信号の信号レベルが最も高いものが肌色の代表値として決定される。このため、肌色候補の座標におけるＲＧＢ信号の信号レベルが低いものを排除することができるので、より適切に肌色の代表値を選択することができる。
【００２７】
本発明の第９の態様は、第２から第８のいずれかの態様に係る肌色検出装置において、前記表示手段に表示されるＲＧＢ信号の信号レベル及び色温度を補正する補正手段を具備し、前記補正手段は、前記ＲＧＢ信号の基準信号レベルと前記肌色の代表値の信号レベルとから求められる補正値に応じて前記表示手段に表示されるＲＧＢ信号の信号レベル及び色温度を補正する構成を採る。
【００２８】
この構成によれば、ＲＧＢ信号の基準信号レベルと肌色の代表値の信号レベルとから求められる補正値に応じて表示手段に表示されるＲＧＢ信号の信号レベル及び色温度が補正される。このため、撮像手段を構成するＣＣＤセンサや表示手段の特性の影響を受けることなく適切な肌色を表示することができる。
【００２９】
本発明の第１０の態様は、第９の態様に係る肌色検出装置において、前記制御手段は、前記撮像手段からＲＧＢ信号が一定時間入力されない場合に前記補正値をリセットする構成を採る。
【００３０】
この構成によれば、撮像手段からＲＧＢ信号が一定時間入力されない場合に補正値がリセットされる。このため、本肌色検出装置が設置された環境に変化が生じた場合においても、新たな環境に対応して撮像手段から入力されたＲＧＢ信号を補正することができる。このため、新たな環境に応じて適切な肌色を有する画像を表示手段に表示することができる。
【００３１】
本発明の第１１の態様に係る肌色検出方法は、入力された画像情報から変換されたＲＧＢ信号の信号レベルを調整してＲＧＢ信号の基準信号レベルを決定し、前記ＲＧＢ信号の基準信号レベルに基づいて画像情報における人間の目の中心座標を検出し、前記目の中心座標から画像情報における肌色候補の座標を特定し、当該肌色候補の座標から画像情報における肌色の代表値を決定するものである。
【００３２】
本発明の第１２の態様は、第１１の態様に係る肌色検出方法において、前記ＲＧＢ信号の基準信号レベルを決定する際、表示手段に表示されたＲＧＢ信号に応じて指示された調整に応じて前記ＲＧＢ信号の基準信号レベルを決定するものである。
【００３３】
本発明の第１３の態様は、第１１又は第１２の態様に係る肌色検出方法において、前記目の中心座標を検出する際、前記ＲＧＢ信号の基準信号レベルのうち目に対応する信号レベルより低い信号レベルを有する部分を目の候補として選択し、当該目の候補におけるＲＧＢ信号の信号レベルの変化に応じて目の座標を特定し、当該目の座標から前記目の中心座標を検出するものである。
【００３４】
本発明の第１４の態様は、第１３の態様に係る肌色検出方法において、前記目の候補のうち、信号レベルが一定時間の間に一時的に高くなる目の候補の座標を前記目の座標と特定するものである。
【００３５】
本発明の第１５の態様は、第１１から第１４のいずれかの態様に係る肌色検出方法において、前記目の中心座標から予め設定した距離だけ下方に向かって離れた位置の座標を前記肌色候補の座標として特定するものである。
【００３６】
本発明の第１６の態様は、第１５の態様に係る肌色検出方法において、前記目の中心座標における左目の中心座標と右目の中心座標との間の一定距離の１／２又は３／４の距離だけ離れた位置の座標を前記肌色候補の座標として特定するものである。
【００３７】
本発明の第１７の態様は、第１６の態様に係る肌色検出方法において、前記目の中心座標から下方への垂直線を基準として０度、３０度及び４５度回転させた位置の座標を、前記肌色候補の座標として特定するものである。
【００３８】
本発明の第１８の態様は、第１１から第１７のいずれかの態様に係る肌色検出方法において、前記肌色の代表値として決定する際、前記肌色候補の座標におけるＲＧＢ信号の信号レベルが最も高いものを前記肌色の代表値として決定するものである。
【００３９】
本発明の第１９の態様は、第１２から第１８のいずれかの態様に係る肌色検出方法において、前記ＲＧＢ信号の基準信号レベルと前記肌色の代表値の信号レベルとから求められる補正値に応じて前記表示手段に表示されるＲＧＢ信号の信号レベル及び色温度を補正するものである。
【００４０】
本発明の第２０の態様は、第１９の態様に係る肌色検出方法において、画像情報から変換されるＲＧＢ信号が一定時間入力されない場合に前記補正値をリセットするものである。
【００４１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４２】
以下の説明においては、本肌色検出装置が使用者の家庭に設置される簡易テレビ電話装置に適用された場合について説明する。しかし、本肌色検出装置を適用する例としては、これに限定されず、肌色を検出する必要がある装置であれば、いかなる装置にも適用することができる。
【００４３】
図１は、本発明の一実施の形態に係る肌色検出装置１００の構成を示すブロック図である。
【００４４】
本実施の形態に係る肌色検出装置１００は、ＣＣＤ又はＣＭＯＳを使用したセンサ（以下、「ＣＣＤ／ＣＭＯＳセンサ」という）１０１を備える。ＣＣＤ／ＣＭＯＳセンサ１０１は、入力された画像情報をＲＧＢ信号に変換して本肌色検出装置１００を構成する各部に出力する。
【００４５】
手動レベル調整回路１０２は、作業者からの操作入力に応じてＣＣＤ／ＣＭＯＳセンサ１０１から受け取ったＲＧＢ信号の３色の信号レベルを調整する。作業者は、この調整作業を本肌色検出装置１００の実験工程や製造工程等において行う。かかる調整作業は、実際に後述するＬＣＤに表示される人間の顔の肌色の状態を見ながら行われる。これにより、人間の目を特定する際に用いられる目基準信号、並びに人間の顔の肌色を特定する際に用いられる肌色基準信号が決定される。
【００４６】
低レベルメモリ１０３は、手動レベル調整回路１０２で調整された信号レベルのうち、目基準信号の信号レベルを記憶する。
【００４７】
低レベルコンパレータ１０４は、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルと、低レベルメモリ１０３から入力される目基準信号の信号レベルとを比較する。そして、目基準信号の信号レベルよりも低い信号レベルの座標を特定し、低レベル画素メモリ１０５に出力する。
【００４８】
低レベル画素メモリ１０５は、低レベルコンパレータ１０４から入力された座標を記憶する。また、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルのうち、この座標に応じたＲＧＢ信号の信号レベルを記憶する。
【００４９】
レベル比較コンパレータ１０６は、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルと、低レベル画素メモリ１０５から入力されたＲＧＢ信号の信号レベルとを比較する。具体的には、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号が、低レベル画素メモリ１０５から入力されたＲＧＢ信号の信号レベルよりも一時的に高くなるか判断する。一時的に高くなったならば、その座標を目情報メモリ１０７に出力する。
【００５０】
目情報メモリ１０７は、レベル比較コンパレータ１０６から入力された座標を記憶する。また、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルのうち、この座標に応じたＲＧＢ信号の信号レベルを記憶する。このとき、目情報メモリ１０７には、この座標における低い信号レベル及び高い信号レベルの双方を記憶する。
【００５１】
ＣＰＵ１０８は、目情報メモリ１０７に記憶された、低い信号レベル、高い信号レベル及び低い信号レベルの順番に信号レベルが推移したＲＧＢ信号を読み出し、高い信号レベルのＲＧＢ信号が肌色に近いか判断する。そして、高い信号レベルのＲＧＢ信号が肌色に近ければ、このように推移したＲＧＢ信号に対応する座標を目の座標として決定する。
【００５２】
また、決定した目の座標に基づいて目の中心座標を算出し、さらに１２点の肌色候補の座標を算出する。１２点の肌色候補の座標に応じて肌色情報メモリ１０９に記憶されたＲＧＢ信号の信号レベルを比較して、最も信号レベルの高い座標のＲＧＢ信号を最適な肌色に対応するＲＧＢ信号（以下、「代表肌色信号」という）と決定する。なお、目の中心座標及び肌色候補の座標の算出方法については後述する。
【００５３】
さらに、代表肌色信号の信号レベルと、肌色情報メモリ１０９に記憶された肌色基準信号の信号レベルとを比較して、入力された画像情報の肌色を補正するための係数（以下、「補正係数」という）を算出する。
【００５４】
肌色情報メモリ１０９は、手動レベル調整回路１０２で調整された信号レベルのうち、肌色基準信号の信号レベルを記憶する。また、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルのうち、ＣＰＵ１０８が算出した１２点の肌色候補の座標に応じたＲＧＢ信号の信号レベルを記憶する。
【００５５】
補正係数メモリ１１０は、ＣＰＵ１０８が算出した補正係数を記憶する。
【００５６】
レベル補正回路１１１は、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルを、補正係数メモリ１１０から入力される補正係数に応じて補正する。具体的には、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルに補正係数を掛け合わせることで、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルを補正する。
【００５７】
スイッチＳは、ＬＣＤ１１２に入力されるＲＧＢ信号を切り替える。具体的には、図中ａ側に接続された場合に手動レベル調整回路１０２により調整されたＲＧＢ信号をＬＣＤ１１２に入力させる一方、図中ｂ側に接続された場合にレベル補正回路１１１によりレベル補正されたＲＧＢ信号をＬＣＤ１１２に入力させる。
【００５８】
タイマ／リセット回路１１３は、予め設定されたタイミングで補正係数メモリ１１０に記憶された補正係数をリセットする。具体的には、低レベルコンパレータ１０４が、目基準信号の信号レベルよりも低い信号レベルの座標を検出した時点から一定時間が経過した場合に補正係数をリセットする。なお、一定時間が経過する前にＣＰＵ１０８が代表肌色信号を検出した場合には、タイマによるカウントが停止される。補正係数のリセットは、ＣＰＵ１０８を介して行われる。また、補正係数のリセットは、補正係数メモリ１１０に記憶された補正係数を初期値（１．０）に戻すことで行われる。
【００５９】
次に、上記構成を有する本肌色検出装置１００における動作について説明する。
【００６０】
本実施の形態に係る肌色検出装置１００は、製造工程等において作業者が実際にＬＣＤ１１２に表示される人間の顔の肌色の状態を見ながら目基準信号及び肌色基準信号を設定する。そして、使用者の家庭に設置された後、所定のタイミングで予め設定された肌色基準信号に基づいてＣＣＤ／ＣＭＯＳセンサ１０１から入力されたＲＧＢ信号を補正する。以下においては、本肌色検出装置１００の製造工程等における動作と、次に使用者の家庭に設置された場合における動作とに分けて説明する。
【００６１】
まず、本肌色検出装置１００の製造工程等における動作について説明する。図２は、本実施の形態に係る肌色検出装置１００の製造工程等における動作について説明するためのフロー図である。
【００６２】
製造工程等においては、まず、本肌色検出装置１００は、作業者によりスイッチＳが図１中のａ側に切り替えられる（ＳＴ２０１）。スイッチＳを切り替えた後、ＣＣＤ／ＣＭＯＳセンサ１０１から人間の顔の画像を含む画像情報が入力されるので、ＬＣＤ１１２でこれを表示する（ＳＴ２０２）。
【００６３】
ＬＣＤ１１２に画像情報が表示されると、作業者は、これを見ながら顔の肌色が最適と思われる肌色になるまで手動で明るさやコントラストを調整するので、本肌色検出装置１００はこれを受け付ける（ＳＴ２０３）。
【００６４】
手動による調整を受け付けた後、決定が指示されるか判断する（ＳＴ２０４）。決定が指示された場合には、目基準信号及び肌色基準信号の信号レベルを、それぞれ低レベルメモリ１０３及び肌色情報メモリ１０９で記憶する（ＳＴ２０５、ＳＴ２０６）。
【００６５】
目基準信号及び肌色基準信号を記憶した後、作業者によりスイッチＳが図１中のｂ側に切り替えられ（ＳＴ２０７）、製造工程等における処理が終了する。このような製造工程における処理により、本肌色検出装置１００に、使用者が使用する際にＬＣＤ１１２に表示される肌色を最適な肌色にするための肌色基準信号が記憶されることとなる。
【００６６】
次に、本肌色検出装置１００の使用者の家庭に設置された場合における動作について説明する。図３は、本実施の形態に係る肌色検出装置１００の使用者の家庭に設置された場合における動作について説明するためのフロー図である。
【００６７】
本肌色検出装置１００が適用されたテレビ電話装置が使用者の家庭に設置され、使用者により発呼動作を行われると、ＣＣＤ／ＣＭＯＳセンサ１０１から人間の顔を含む画像情報が入力される（ＳＴ３０１）。ここでは、図４に示す画像情報が入力されたものとする。
【００６８】
同図に示すように、入力された画像情報においては、眼鏡をかけた人間及び背景が存在し、この背景には表面に模様を有するクッションが存在する。この画像情報においては、人間の目（黒目部分）４０１、鼻の穴４０２、眼鏡の黒いフレーム４０３、髪の毛４０４及びクッションの模様４０５におけるＲＧＢ信号の信号レベルが他の部分に比べて低くなっている。
【００６９】
画像情報が入力されると、本肌色検出装置１００は、画像情報内における人間の目の候補を検出する（ＳＴ３０２）。具体的には、低レベルコンパレータ１０４において、予め低レベルメモリ１０３に記憶された目基準信号の信号レベルよりも低い信号レベルの位置を目の候補として検出する。ここでは、上述の人間の目４０１、鼻の穴４０２、眼鏡の黒いフレーム４０３、髪の毛４０４及びクッションの模様４０５が目の候補として検出されたものとする。目の候補を検出すると、その座標とＲＧＢ信号の信号レベルが低レベル画素メモリ１０５に記憶される。
【００７０】
目の候補を検出したならば、これらの目の候補におけるＲＧＢ信号の信号レベルの変化を検出する（ＳＴ３０３）。通常、人間は、１分間に無意識に２０回以上まばたきをする。したがって、検出された目の候補のうち、本当の目に対応する位置においては一定時間の間に一時的に瞼が検出されることとなる。瞼は肌色であるので、本当の目に対応する部分においては一時的にＲＧＢ信号の信号レベルが高くなる。本肌色検出装置１００は、この特性を利用して目の位置を検出する。具体的には、レベル比較コンパレータ１０６において、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号が、低レベル画素メモリ１０５から入力されたＲＧＢ信号の信号レベルよりも一時的に高くなるか判断する。
【００７１】
図５は、図４における点線ａの部分のＲＧＢ信号の信号レベルの変化を示す図である。図５（ａ）は、まばたきをする直前の信号レベルを示し、図５（ｂ）は、まばたきをした瞬間の信号レベルを示し、図５（ｃ）は、まばたきをした直後の信号レベルを示している。
【００７２】
図５（ａ）、（ｃ）においては、眼鏡のフレーム４０３及び目４０１に対応する位置で信号レベルが他の位置に比べて低くなっている。しかし、図５（ｂ）においては、まばたきにより目４０１に対応する位置が瞼で隠されるため、その信号レベルが一時的に高くなっている（他の位置と同等レベルになっている）。このように信号レベルが変化した場合、本肌色検出装置１００は、当該目の候補を目の位置として特定する。
【００７３】
レベル比較コンパレータ１０６は、このような比較を、検出された全ての目の候補に対して行う。そして、信号レベルが一時的に高くなる目の候補を目の位置として特定し、目の座標を決定する（ＳＴ３０４）。目の座標は、目情報メモリ１０７において記憶される。ここでは、目の位置に対応する複数の座標が目情報メモリ１０７に記憶される。
【００７４】
目の座標が目情報メモリ１０７に記憶されたならば、ＣＰＵ１０８は、目の中心座標を算出する（ＳＴ３０５）。目情報メモリ１０７に記憶された目の座標は、図６に示すように、中心座標が一定距離Ｌだけ離れた２つの円形状に対応することとなる。図６の左側に示す円形状が右目に対応し、右側に示す円形状が左目に対応する。
【００７５】
ＣＰＵ１０８は、まず、右目及び左目に対応する円形状の左右の水平座標を求める。その際、図７に示すように、水平座標が同一の画素をグラフ上に並べる。なお、図７においては、横軸に水平座標の座標を示し、縦軸に水平座標が同一の画素数を示している。図７においては、水平座標と垂直座標の組合せを表している。この場合、同図に示すように、中央近傍に最高値を採る、密集したデータが２つ現れる。
【００７６】
ＣＰＵ１０８は、このグラフ上における画素数が”１”に変化する座標及び画素数が”０”に変化する座標を求める。前者の座標として右目及び左目に対応する円形状の右の水平座標（図中に示す７０１、７０３）が求められ、後者の座標として右目及び左目に対応する円形状の左の水平座標（図中に示す７０２、７０４）が求められる。そして、左右の目に対応する円形状の右の水平座標と左の水平座標との中間点を求めることで左右の目の中心座標（水平座標）が得られる。一方、垂直座標は、右目及び左目における各座標が有する垂直座標を平均化することで左右の目の中心座標（垂直座標）が得られる。このようにして左右の目の中心座標が算出される。
【００７７】
目の中心座標を算出したならば、ＣＰＵ１０８は、肌色候補の座標を算出する（ＳＴ３０６）。肌色候補の座標を算出する際、まず、図６に示した左右の目の中心座標間の距離Ｌを求める。そして、この距離Ｌの１／２（１／２Ｌ）並びに３／４（３／４Ｌ）の長さだけ左右の目の中心座標から離れた位置を肌色候補の座標とする。
【００７８】
このとき、左右の目の中心座標から予め定めた角度に従って下方に向かった位置が選択される。ここで、目の中心座標から下方に向かった位置を選択するのは、目の上方には眉毛や髪の毛などが存在し肌色となる位置を特定することが困難であるのに対し、目の下方に存在する頬はマスクをしているなどの特殊な事情がる場合を除いて肌色となる位置を特定することが容易だからである。
【００７９】
予め定めた角度は、左右の目の中心座標から下方に０度、３０度及び４５度に設定されている。これらの角度は、図８に示すように、右目の場合には時計方向に取り、左目の場合には反時計方向に取るものとする。
【００８０】
ここで、肌色候補を左右の目の中心座標から１／２Ｌ並びに３／４Ｌだけ離れた位置とすると共に、その位置を中心座標から下方方面に所定角度回転させた位置としたのは、調査した実際のデータに基づく。図９は、実際に顔写真を１２枚調査した場合における肌色候補のおよその角度及び目の中心座標からの距離の実績データである。これにより、本肌色検出装置１００において選択した角度と距離が妥当な数値であることが分かる。
【００８１】
これにより、左目の中心座標から１／２Ｌについて３点（０度、３０度、４５度）及び３／４Ｌについて３点、並びに、右目の中心座標から１／２Ｌについて３点及び３／４Ｌについて３点で合計１２点の肌色候補の座標が得られる。
【００８２】
１２点の肌色候補の座標を算出したならば、ＣＰＵ１０８は、代表肌色信号を決定する（ＳＴ３０７）。具体的には、各点の肌色候補の座標におけるＲＧＢ信号の信号レベルを比較して最も信号レベルが高い座標におけるＲＧＢ信号を代表肌色信号として決定する。代表肌色信号の座標及びＲＧＢ信号の信号レベルは、肌色情報メモリ１０９に記憶される。
【００８３】
代表肌色信号を決定したならば、ＣＰＵ１０８は、補正係数を算出する（ＳＴ３０８）。具体的には、代表肌色信号の信号レベルと、肌色情報メモリ１０９に記憶された肌色基準信号の信号レベルとを比較して補正係数を求める。
【００８４】
補正係数の算出の際には、まず、代表肌色信号におけるＲ信号の信号レベルを、肌色基準信号の信号レベルまで増幅／減衰させるためのレベル補正係数を求める。これは、肌色の分光特性が、図１０に示すようにＲ信号の信号レベルが最も高く、続いてＧ信号、Ｂ信号の順になっているためである。続いて、代表肌色信号におけるＧ信号及びＢ信号の色温度を、肌色基準信号の信号レベルまで増幅／減衰するための色温度補正係数を求める。レベル補正係数及び色温度補正係数は、補正係数メモリ１１０に記憶される。
【００８５】
ここで、補正係数の演算方法について説明する。補正係数を（Ｒ０，Ｇ０，Ｂ０）とし、肌色情報メモリ１０９に記憶された肌色基準信号の信号レベルを（Ｒｓ，Ｇｓ，Ｂｓ）とし、代表肌色信号を（Ｒａ，Ｇａ，Ｂａ）とすると、各補正係数は以下の演算式により求められる。
Ｒ０＝Ｒａ／Ｒｓ
Ｇ０＝（Ｇａ＊Ｒａ／Ｒｓ）／Ｇｓ
Ｂ０＝（Ｂａ＊Ｒａ／Ｒｓ）／Ｂｓ
なお、補正係数（Ｒ０，Ｇ０，Ｂ０）には、レベル補正係数及び色温度補正係数が含まれる。
【００８６】
補正係数を補正係数メモリ１１０に記憶したならば、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベル及び色温度を、補正係数に応じて補正する（ＳＴ３０９）。かかる信号レベル等の補正は、レベル補正回路１１１にて行われる。レベル補正回路１１１は、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号に対して補正係数（Ｒ０，Ｇ０，Ｂ０）を掛け合わせることで信号レベル等の補正を行う。
【００８７】
信号レベル等の補正を行った後、補正後のＲＧＢ信号をＬＣＤ１１２で表示する（ＳＴ３１０）。すなわち、製造工程等により特定された肌色基準信号の信号レベルまで、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されるＲＧＢ信号の信号レベルが補正されてＬＣＤ１１２に表示されることとなる。
【００８８】
このように本実施の形態に係る肌色検出装置１００においては、製造工程等において作業者が実際にＬＣＤ１１２に表示される人間の顔の肌色の状態を見ながら目基準信号の信号レベルを設定する。そして、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されたＲＧＢ信号のうち、この目基準信号の信号レベルより低い信号レベルの部分を目の候補として検出する。そして、この目の候補のうち、信号レベルが一時的に高くなるものを目の座標として特定し、当該目の座標から中心座標及び肌色候補を検出する。さらに、この肌色候補のうち、最も信号レベルが高いものを代表肌色信号として決定する。
【００８９】
これによれば、目の中心座標から予め設定された方法により代表肌色信号を決定することができるので、短時間で人間の顔の適切な肌色を検出することができる。すなわち、目の中心座標を特定した後、この中心座標から下方に向かって一定距離離れた位置から肌色候補を決定するため、他の領域の肌色を考慮する必要がない。このため、適切な肌色を検出するための多大な処理時間を要することがないので、短時間で人間の顔の適切な肌色を検出することができる。また、目の中心座標に基づいて肌色候補を特性するため、入力された画像情報のうち、人間の肌以外の肌色部分を誤って肌色基準信号に設定する事態を確実に回避することができる。
【００９０】
また、本実施の形態に係る肌色検出装置１００においては、製造工程等において作業者が実際にＬＣＤ１１２に表示される画像を見ながら肌色基準信号を設定する。そして、本肌色検出装置１００が使用者の家庭に設置された後、所定のタイミングで予め設定された肌色基準信号に応じて、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されたＲＧＢ信号を補正し、補正後のＲＧＢ信号をＬＣＤ１１２で表示する。
【００９１】
これによれば、肌色基準信号が製造工程等において作業者が実際にＬＣＤ１１２に表示される画像を見ながら設定され、この肌色基準信号に基づいてＣＣＤ／ＣＭＯＳセンサ１０１から入力されたＲＧＢ信号が補正される。このため、ＣＣＤセンサや表示装置の特性の影響を受けることなく適切な肌色を表示することができる。
【００９２】
ところで、本実施の形態に係る肌色検出装置１００は、補正係数メモリ１１０に算出した補正係数を記憶させ、当該補正係数に応じてＣＣＤ／ＣＭＯＳセンサ１０１から入力されたＲＧＢ信号を補正する。しかし、一旦、記憶させた補正係数を長時間継続して保持することは、同じ家庭内においても昼と夜又は証明のオン／オフなどの環境変化に対応できない事態を引き起こす。このため、本肌色検出装置１００は、一定時間、ＣＣＤ／ＣＭＯＳセンサ１０１からＲＧＢ信号が入力されない場合には、補正係数メモリ１１０に記憶させた補正係数をリセットする。
【００９３】
補正係数がリセットされた後は、再び、ＣＣＤ／ＣＭＯＳセンサ１０１から入力されたＲＧＢ信号に応じて補正係数を算出し、補正係数メモリ１１０に記憶する。そして、この新たに算出した補正係数に基づいてＣＣＤ／ＣＭＯＳセンサ１０１から入力されたＲＧＢ信号を補正する。
【００９４】
これによれば、本肌色検出装置１００が設置された環境に変化が生じた場合においても、新たな環境に対応してＣＣＤ／ＣＭＯＳセンサ１０１から入力されたＲＧＢ信号を補正することができる。このため、新たな環境に応じて適切な肌色を有する画像をＬＣＤ１１２に表示することができる。
【００９５】
また、本発明は、当業者に明らかなように、上記実施の形態に記載した技術に従ってプログラムされた一般的な市販のデジタルコンピュータおよびマイクロプロセッサを使って実施することができる。また、当業者に明らかなように、本発明は、上記実施の形態に記載した技術に基づいて当業者により作成されるコンピュータプログラムを包含する。
【００９６】
また、本発明を実施するコンピュータをプログラムするために使用できる命令を含む記憶媒体であるコンピュータプログラム製品が本発明の範囲に含まれる。この記憶媒体は、フロッピー（Ｒ）ディスク、光ディスク、ＣＤＲＯＭ及び磁気ディスク等のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気光カード、メモリカードまたはＤＶＤ等であるが、特にこれらに限定されるものではない。
【産業上の利用可能性】
【００９７】
本発明に係る肌色検出装置及び肌色検出方法によれば、短時間で人間の顔の適切な肌色を検出すると共に、ＣＣＤセンサや表示装置の特性の影響を受けることなく適切な肌色を表示することができ、簡易テレビ電話装置における肌色信号検出及び肌色信号表示の処理効率及び処理性能を高めることができる点で有用である。
【図面の簡単な説明】
【００９８】
【図１】本発明の一実施の形態に係る肌色検出装置の構成を示すブロック図
【図２】上記実施の形態に係る肌色検出装置の製造工程等における動作について説明するためのフロー図
【図３】上記実施の形態に係る肌色検出装置の使用者の家庭に設置された場合における動作について説明するためのフロー図
【図４】上記実施の形態に係る肌色検出装置のＣＣＤ／ＣＭＯＳセンサから入力された画像情報の一例を示す図
【図５】図４における点線ａの部分のＲＧＢ信号の信号レベルの変化を示す図
【図６】上記実施の形態に係る肌色検出装置の目情報メモリに記憶された目の座標のイメージを示す図
【図７】上記実施の形態に係る肌色検出装置の目情報メモリに記憶された目の座標における水平座標が同一の画素をグラフ上に並べた図
【図８】上記実施の形態に係る肌色検出装置において検出される肌色候補の特定方法を説明するための図
【図９】実際に顔写真を１２枚調査した場合における肌色候補のおよその角度及び目の中心座標からの距離の実績データを示す図
【図１０】一般的な肌色の分光特性ついて示す図
【符号の説明】
【００９９】
１００  肌色検出装置
１０１  ＣＣＤ／ＣＭＯＳセンサ
１０２  手動レベル調整回路
１０３  低レベルメモリ
１０４  低レベルコンパレータ
１０５  低レベル画素メモリ
１０６  レベル比較コンパレータ
１０７  目情報メモリ
１０８  ＣＰＵ
１０９  肌色情報メモリ
１１０  補正係数メモリ
１１１  レベル補正回路
１１２  ＬＣＤ
１１３  タイマ／リセット回路
【図１】
2005174248.tif 000003
【図２】
2005174248.tif 000004
【図３】
2005174248.tif 000005
【図４】
2005174248.tif 000006
【図５】
2005174248.tif 000007
【図６】
2005174248.tif 000008
【図７】
2005174248.tif 000009
【図８】
2005174248.tif 000010
【図９】
2005174248.tif 000011
【図１０】
2005174248.tif 000012