(57)【要約】【課題】機種あるいは撮影条件に関わらず、肌領域と毛髪領域を含む画像から毛髪領域を自動的に、迅速に、かつ正確に抽出し、その毛髪領域の髪色を変えたシミュレーション画像を形成する。【解決手段】演算手段により、顔と毛髪を含む元画像から肌領域を抽出し、次いで毛髪領域を抽出し、元画像において、抽出した毛髪領域を所定の髪色に変えたシミュレーション画像を形成する。肌領域の抽出は、元画像を第１の表色系パラメータで色補正することにより、第２の表色系パラメータの所定の肌色領域に入る元画像内の連続領域の面積を最大にし、その最大面積に対応する連続領域を肌領域として抽出することにより行う。【選択図】  図１
2005115470.tif 000002
【特許請求の範囲】
【請求項１】
顔と毛髪を含む元画像から肌領域を演算手段により抽出する方法であって、元画像を第１の表色系パラメータで色補正することにより、第２の表色系パラメータの所定の肌色領域に入る元画像内の連続領域の面積を最大にし、その最大面積に対応する連続領域を肌領域として抽出する肌領域抽出方法。
【請求項２】
請求項１記載の方法により元画像から肌領域を抽出し、
演算手段により、元画像の肌領域以外の領域から色相、明度及び彩度の少なくとも一つに基づいて毛髪領域を抽出し、
元画像において、抽出した毛髪領域を所定の髪色に変えたシミュレーション画像を形成する髪色シミュレーション画像の形成方法。
【請求項３】
顔と毛髪を含む元画像を画像記憶手段に入力し、
請求項１記載の方法により元画像から肌領域を抽出し、
演算手段により、元画像の肌領域以外の領域から色相、明度及び彩度の少なくとも一つに基づいて毛髪領域を抽出し、
元画像において、抽出した毛髪領域を、被験者が指定する所定の髪色に変えたシミュレーション画像を形成し、
該シミュレーション画像と元画像を被験者に提示すると共に、
シミュレーション画像の髪色を被験者の毛髪で実現するための染毛剤を、染毛剤と染毛剤の適用前後の髪色とのデーターベースに基づいて出力し、被験者に提示する髪色アドバイス方法。
【請求項４】
顔と毛髪を含む元画像が入力され、記憶する画像記憶手段、及び元画像の毛髪領域を所定の髪色に変えたシミュレーション画像を形成し、出力する演算手段からなる髪色アドバイスシステムであって、
演算手段が、請求項１記載の方法により元画像から肌領域を抽出し、
元画像の肌領域以外の領域から色相、明度及び彩度の少なくとも一つに基づいて毛髪領域を抽出し、
元画像において、抽出した毛髪領域を、被験者が指定する所定の髪色に変えたシミュレーション画像を形成し、
該シミュレーション画像と元画像を被験者に出力すると共に、
染毛剤と染毛剤の適用前後の髪色とのデーターベースに基づき、シミュレーション画像の髪色を被験者の毛髪で実現するための染毛剤を出力する髪色アドバイスシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機種や撮影条件の異なる種々の画像から、演算手段によって自動的に正確に毛髪領域を抽出し、それを所定の髪色に変えたシミュレーション画像を形成する方法及びシステムに関する。
【背景技術】
【０００２】
被験者が、自らの顔と毛髪を含む画像を毛髪化粧料メーカー等の情報提供者に送信し、情報提供者側では、演算手段を用いてその画像中の毛髪領域を被験者の望む髪色に変えたシミュレーション画像を形成し、シミュレーション画像と、そのシミュレーション画像の髪色を被験者の毛髪で実現するために必要な染毛剤に関する情報とを被験者に提供するアドバイスシステムが提案されている（特許文献１）。この場合、当初の画像における毛髪領域と非毛髪領域の識別は、明度、色相、それらの変化の連続性等に基づいて演算装置により自動的になされる。
【０００３】
近年、インターネット等の通信回線網が発達し、さらにインターネットを利用できるカメラ付きの携帯電話も普及してきたことから、このアドバイスシステムは、手軽に、広く被験者に利用されることが期待される。
【０００４】
しかし、多くの被験者から送信される画像は、カメラの機種や照明等の撮影条件が異なるため、それらの画像から毛髪領域を色相等に基づく画一的な基準で抽出すると、正確に毛髪領域を抽出できない場合があり、特に、肌領域と毛髪領域を正確に区別することが難しい。
【０００５】
これに関し、肌領域等の抽出方法としては、互いに対応付け可能な３次元画像とカラーの２次元画像とを用いて、対象物の形状に基づいて２次元画像中の画素値を補正する方法（特許文献２）、画像処理装置に画像とは別に撮影条件を入力し、予め画像処理装置に記憶させておいた撮影条件と画像の抽出条件との関係に基づいて抽出領域の範囲を補正する方法（特許文献３）等が提案されている。
【特許文献１】特開２００１−１９５５６８号公報
【特許文献２】特開２００１−２０９７９６号公報
【特許文献３】特開２００３−１５０９５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の方法では、多くの被験者から送信される、カメラの機種や照明等の撮影条件が異なる多量の画像に対して、毛髪領域の抽出を自動的に、迅速に、かつ正確に行うことは難しい。そのため、ある機種を用いて特定の撮影条件で撮った画像については、髪色を変化させたシミュレーション画像を良好に形成することができても、他の機種で撮った画像あるいは異なる撮影条件で撮った画像については、正確に毛髪領域を抽出することができず、髪色を変化させたシミュレーション画像を良好に形成することができないという事態が生じる。
【０００７】
これに対し、本発明は、機種あるいは撮影条件に関わらず、肌領域と毛髪領域を含む画像から毛髪領域を、演算手段を用いて自動的に正確に抽出し、その毛髪領域の髪色を変えたシミュレーション画像を形成できるようにすること、そしてそれにより広範な被験者に対して毛髪の染毛等に関するアドバイスを的確に行えるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明者は、任意の機種や撮影条件で撮られた、顔と毛髪領域を含む元画像から、毛髪領域を所定の髪色に変えたシミュレーション画像を形成するために、肌領域と毛髪領域を正確に区別するためには、元画像を第１の表色系パラメータで色補正することにより、その元画像を第２の表色系パラメータで表示したときに肌色と認められる連続領域の面積が最大となるようにし、その最大面積に対応する連続領域を肌領域とするのが有効であることを見出した。
【０００９】
即ち、本発明は、顔と毛髪を含む元画像から肌領域を演算手段により抽出する方法であって、元画像を第１の表色系パラメータで色補正することにより、第２の表色系パラメータの所定の肌色領域に入る元画像内の連続領域の面積を最大にし、その最大面積に対応する連続領域を肌領域として抽出する肌色領域抽出方法を提供する。
【００１０】
また、本発明は、上述の肌色領域抽出方法により元画像から肌領域を抽出し、
演算手段により、元画像の肌領域以外の領域から色相、明度及び彩度の少なくとも一つに基づいて毛髪領域を抽出し、
元画像において、抽出した毛髪領域を所定の髪色に変えたシミュレーション画像を形成する髪色シミュレーション画像の形成方法を提供する。
【００１１】
さらに、本発明は、顔と毛髪を含む元画像を画像記憶手段に入力し、
上述の肌色領域抽出方法により元画像から肌領域を抽出し、
演算手段により、元画像の肌領域以外の領域から色相、明度及び彩度の少なくとも一つに基づいて毛髪領域を抽出し、
元画像において、抽出した毛髪領域を、被験者が指定する所定の髪色に変えたシミュレーション画像を形成し、
該シミュレーション画像と元画像を被験者に提示すると共に、
シミュレーション画像の髪色を被験者の毛髪で実現するための染毛剤を、染毛剤と染毛剤の適用前後の髪色とのデーターベースに基づいて出力し、被験者に提示する髪色アドバイス方法を提供する。
【００１２】
加えて、本発明は、顔と毛髪を含む元画像が入力され、記憶する画像記憶手段、及び元画像の毛髪領域を所定の髪色に変えたシミュレーション画像を形成し、出力する演算手段からなる髪色アドバイスシステムであって、
演算手段が、上述の肌色領域抽出方法により元画像から肌領域を抽出し、
元画像の肌領域以外の領域から色相、明度、及び彩度の少なくとも一つに基づいて毛髪領域を抽出し、
元画像において、抽出した毛髪領域を、被験者が指定する所定の髪色に変えたシミュレーション画像を形成し、
該シミュレーション画像と元画像を被験者に出力すると共に、
染毛剤と染毛剤の適用前後の髪色とのデーターベースに基づき、シミュレーション画像の髪色を被験者の毛髪で実現するための染毛剤を出力する髪色アドバイスシステムを提供する。
【発明の効果】
【００１３】
本発明の肌領域抽出方法によれば、任意の機種や撮影条件で撮られた、顔と毛髪を含む元画像から、肌領域を、演算手段により自動的に、迅速に、かつ正確に抽出することができる。
【００１４】
本発明の髪色シミュレーション画像の形成方法によれば、本発明の肌領域抽出方法により顔と毛髪を含む元画像から肌領域を抽出し、肌領域と毛髪領域を区別するので、画像を撮ったカメラの機種や撮影条件に関わらず、正確に毛髪領域を抽出することができる。したがって、毛髪領域の髪色を変化させたシミュレーション画像を良好に形成することができる。
【００１５】
本発明の髪色アドバイス方法及びシステムによれば、本発明の髪色シミュレーション画像の形成方法により、被験者の顔と毛髪を含む元画像において、毛髪領域を、被験者が指定する所定の髪色に変えたシミュレーション画像を形成し、そのシミュレーション画像を元画像と共に被験者に提示し、また、シミュレーション画像の髪色を被験者の毛髪で実現するための染毛剤を、染毛剤と染毛剤の適用前後の髪色とのデーターベースに基づいて提示するので、被験者は自己の毛髪を所望の色に染めた場合の外観や雰囲気の変化を容易に把握することができ、また、そのシミュレーション画像の髪色に自己の毛髪を染めるために必要な染毛剤を知ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しつつ本発明を具体的に説明する。図２は、本発明の髪色アドバイスシステムの構成例であり、図１は図２のシステムを用いた本発明の髪色アドバイス方法の一態様の流れ図であって、被験者のインターネット対応のカメラ付き携帯電話を介して、被験者と情報提供者との間で情報を送受信する態様を示している。
【００１７】
図２のシステムは、毛髪化粧料メーカー等の情報提供者側が管理するシステムであって、被験者の画像情報が入力され、記憶される画像記憶手段及びその画像において被験者の毛髪領域を識別し、さらに所定の髪色のシミュレーション画像を形成する演算手段として、パソコン本体１が設けられている。パソコン本体１には、画像取得手段として、被験者を撮影するデジタルスチルカメラ２、被験者の写真から画像情報を読み込むイメージスキャナ３が接続され、さらにインターネット等の通信回線を介して画像情報を読み込むことを可能とする装置が内蔵されている。パソコン本体１にはディスプレイ４とプリンタ５が接続されており、これらはパソコン本体１に蓄積された被験者の画像情報やそのシミュレーション画像等を適宜出力する。また、パソコン本体１には、染毛剤と染毛剤の適用前後の髪色との関係を蓄積したデータベース６ａ、毛髪化粧料の製品情報を蓄積したデータベース６ｂ、顧客の住所、氏名、年齢、白髪の有無、毛髪の硬さ、これまでに使用してきた毛髪化粧料の履歴等の個人情報を蓄積した顧客データベース６ｃ等が接続されている。
【００１８】
図１の方法では、まず、被験者が自らの顔と毛髪を含む上半身画像（元画像）を携帯電話７に付属のカメラで撮影し、情報提供者に送信する。情報提供者は、被験者から送信された元画像をパソコン本体１の画像ファイルに入力し、蓄積する。情報提供者が被験者の元画像を蓄積する方法としては、上述の他、被験者をデジタルスチルカメラ２で撮影し、その画像情報をパソコン本体１の画像ファイルに入力し、蓄積してもよく、被験者の写真からイメージスキャナ３で画像情報を取り込み、その画像情報をパソコン本体１に入力してもよく、既に任意の記録媒体に記録されている被験者の画像情報をパソコン本体１に入力してもよい。画像情報をパソコン本体１に入力する方法に制限はない。
【００１９】
なお、被験者の顔と毛髪を含む元画像としては、髪色のシミュレーション画像の形成において、パソコン本体１が毛髪領域を正確に認識できるようにするため、背景が白色、青色等の単色で、被験者の髪色と明確に区別できるものが好ましい。
【００２０】
情報提供者側では、被験者の元画像を取得すると、パソコン本体１内の演算手段で、肌領域を抽出し、さらに毛髪領域を抽出する。この抽出操作の具体的なステップとしては、例えば、図３に（１）で示したように、まず、(1a)背景領域を抽出し、次いで(1b)肌領域を抽出し、それから(1c)毛髪領域を抽出する。ここで、(1a)背景領域の抽出は、例えば、画像上辺及び画像上半分の左右両辺近傍の色相をサンプリングし、色相平均値を求め、画像上辺及び左右両辺から内向きにスキャンし、各色相が色相平均値±１０％内に入るか否かにより、背景領域とそれ以外の領域とを識別することにより行う。なお、サンプリングは色相に限らない。他の表色系（ＲＧＢ等）パラメータでサンプリングし、その表色系パラメータ値の平均値を算出し、個々の表色系パラメータ値が平均値に対して所定のバラツキの範囲に入るか否かにより背景領域を抽出することができる。  (1b)肌領域の抽出は、例えば、目の形状及び瞳の色の特徴、２つの瞳は画像の縦方向のほぼ同じ位置にあるという顔の幾何学的特徴等を利用してまず目を検知し、目から外向きにスキャンした場合に、目を囲む連続領域が所定の表色系のパラメータの肌色領域に入るか否かで識別する。このとき、肌色領域に入るか否かを判断する表色系とは別の表色系で元画像の色補正をすることにより、肌色領域に入る連続領域の面積が最大となるようにする。例えば、元画像がＲＧＢ表色系のパラメータで表示されている場合、これをＨＳＶ表色系のパラメータに換算し、ＨＳＶ表色系で経験的に肌色と認識されるＨ＝０〜３０の領域に入る元画像の連続領域の面積を求め、その面積が最大となるようにＲＧＢ表色系のパラメータを変化させて色補正する。そしてその最大面積に対応する連続領域を肌領域とする。なお、上記Ｈ＝０〜３０の領域は黄色人種を対象とする場合の肌色領域である。対象とする人種に応じて異なる肌色領域を設定することにより、適切な抽出が可能となる。
【００２１】
このＲＧＢ表色系による色補正の量は、図４に示すように、元画像を撮ったカメラの機種が同一であっても撮影条件によって異なり、また、図５に示すように、元画像を撮った撮影条件が同一であってもカメラの機種によって異なる。このようにＨＳＶ表色系の肌色領域に入る元画像の面積が最大になるように、ＲＧＢ表色系のパラメータで元画像の色補正をすることにより、画像を撮ったカメラの機種、撮影条件等にかかわらず、正確に肌領域と毛髪領域を区別することが可能となる。
【００２２】
この肌領域の抽出方法において、色補正をする表色系と、肌色領域に入るか否かを判断する表色系との組合せは、上述のＲＧＢ表色系とＨＳＶ表色系との組合せに限らない。ＲＧＢ、ＨＳＶ、Ｌａｂ、Ｌｕｖ等の各表色系のパラメータは、相互に変換式で関連づけられるので、任意の組合せとすることができる。なお、肌色領域に入るか否かを判断する表色系としてＨＳＶ表色系を用いることは、Ｈのみで肌色領域を指定できるため演算処理上有利であるが、この判断には他の表色系を用いてもよい。
【００２３】
また、この肌領域の抽出方法において、肌の色と服の色とが近い場合には、肌領域の連続領域として服領域が認識されるおそれがある。これに対しては、さらに詳細に色相と明度を計測して服領域と肌領域を識別することも考えられるが、計算効率の点から、肌領域の抽出を行う領域は、画面上端から所定の割合（例えば、７０％）までに限定し、それにより服領域が肌領域と計測されることを防止することが好ましい。ここで画面上端から７０％という領域は、通常の撮影方法で顔と毛髪を含む画像を縦：横＝４：３の比率で形成した場合に、経験的に肌領域が存在する領域であり、縦横比が異なる画像の場合には、異なる割合で肌領域の抽出を行う領域を画することが好ましい。
【００２４】
なお、以上のように色補正をする表色系と肌色領域に入るか否かを判断する表色系を異ならせて肌領域を抽出する方法は、毛髪領域を所定の髪色に変えたシミュレーション画像の形成の前段階として有用なだけでなく、肌領域に所定の化粧料を塗布した場合の化粧肌のシミュレーション画像を形成する方法においても有用となる。
【００２５】
また、こうして色補正した毛髪領域の色は、照明灯の変化、照明と被写体との距離、照明の角度等による毛髪領域の画質の変化も補正したものとなっているので、この色補正の手法は、例えば、染毛剤の耐褪色性を評価するために、染毛後の髪をデジタルカメラで経時的に撮影し、その髪色の変化を追跡する場合に有効となる。
【００２６】
(1c)毛髪領域の抽出は、背景領域と肌領域以外の領域、即ち毛髪領域と服領域から、毛髪領域を、目より上の毛髪領域から色相、明度及び彩度の少なくとも一つをサンプリングし、これらに基づいて区別することにより行う。なお、毛髪領域は、肌領域、背景領域及び服領域に比べ、明度の縦横方向の増減幅が大きい。したがって、毛髪領域の抽出には、明度の縦横方向の増減幅と色相を用いることが好ましい。
【００２７】
元画像から肌領域を抽出し、毛髪領域を抽出する具体的なステップとしては、この他に、図３（２）に示したように、まず(2a)肌領域を抽出し、次いで(2b)背景領域を抽出し、(2c)残りの毛髪領域と服領域から毛髪領域を抽出してもよく、また、図３（３）に示したように、まず(3a)肌領域を抽出し、次いで(3b)毛髪領域を抽出し、残りの領域を背景領域又は服領域と認識してもよい。
【００２８】
こうして元画像から毛髪領域を抽出した後は、必要に応じて、毛髪領域抽出完了のメッセージを被験者に送信できるようにする。
【００２９】
次に、情報提供者は、元画像の中で毛髪領域を代表的な１又は複数の髪色に変えたシミュレーション画像を自動的に形成し、これを演算装置内に保存すると共に、被験者に送信する。あるいは、毛髪領域抽出完了のメッセージの受信後、被験者は、情報提供者に好みの髪色を大まかに指定して送信できるようにし、情報提供者は被験者から指定された髪色に毛髪領域を変えたシミュレーション画像を形成し、それを被験者に送信する。
【００３０】
ここで、シミュレーション画像の形成には、元画像の毛髪領域の色を反映させつつ、それに所定の色相あるいは明度の色を重ねるシミュレーションソフトを用いることが好ましい。
【００３１】
また、被験者には、シミュレーション画像と共に、元画像も送信し、双方を対比できるようにすることが好ましい。
【００３２】
被験者は送信された髪色のシミュレーション画像を携帯電話のモニターで確認し、その中で最も好ましい色を選択し、その色を情報提供者側に送信する。
【００３３】
情報提供者は送信された色を保存すると共に、その色に近い１色以上の髪色で再度シミュレーション画像を形成し、元画像と共に被験者に送信する。
【００３４】
被験者は、送信されたシミュレーション画像の中から再度最も好ましい色を選択し、その色を情報提供者側に送信する。この被験者による色の指定と画像提供者によるシミュレーション画像の形成は、被験者が納得するまで繰り返し行うことができる。
【００３５】
被験者が納得するシミュレーション画像が形成されると、情報提供者側では、予め蓄積していた、染毛剤と染毛剤の適用前後の髪色とのデータベース６ａに基づき、パソコン本体１が、当該被験者が選択したシミュレーション画像の髪色をその被験者の髪で実現するために必要な染毛剤に関する情報（例えば、かかる染毛剤の種類、色番、商品名、使用方法等）を被験者に送信する。この情報は、動画により被験者に送信してもよい。また、この情報をプリンタ５で出力し、ダイレクトメールで被験者に郵送してもよい。なお、被験者に送信又は郵送する染毛剤の出力画面では、髪色のシミュレーション画像と実際の製品の画像を表示することが好ましい。これにより、被験者は自己の毛髪で所望の髪色を得るために必要な染毛剤を確実に知ることができる。
【００３６】
本発明の髪色アドバイスシステムには、さらに、問診機能やカウンセラーとの対話機能を付加しても良い。
【００３７】
問診機能としては、被験者が携帯電話で情報提供者にアクセスすることにより、情報提供者側は、被験者に住所、氏名、年齢、白髪の有無、毛髪の硬さ、これまでに使用してきた毛髪化粧料の履歴、現在の髪色、現在の髪の長さ、好みの塗布具、好みの塗布方法等を質問する問診票を送信し、その問診票が携帯電話のモニターに表示されるようにする。被験者は、問診票に対して、携帯電話のセレクトボタンで回答し、送信する。情報提供者はこの回答を顧客データベース６ｃに登録する。
【００３８】
また、問診票には、カウンセラーとの会話によるカウンセリングを要求するボタンを設けておき、被験者がこのボタンを押してカウンセラーとの会話を要求すると、情報提要者側では、カウンセラーが被験者に電話をかけるようにし、カウンセラーが被験者の相談を直接受けるようにしても良い。
【００３９】
この他、本発明の方法あるいはシステムは種々の態様をとることができる。例えば、被験者は、携帯電話によらず、パソコンを用いて情報を送受信してもよく、また、情報提供者側のシステムが備えられている店頭等に出向いてカウンセリングを受けるようにしてもよい。
【産業上の利用可能性】
【００４０】
本発明の方法あるいはシステムは、染毛に関するカウンセリングや、染毛剤の宣伝、販売等の分野で有用となる。
【図面の簡単な説明】
【００４１】
【図１】髪色アドバイス方法の一態様の流れ図である。
【図２】髪色アドバイスシステムの構成例である。
【図３】毛髪領域の抽出ステップの説明図である。
【図４】同一機種で異なる撮影条件で撮った画像について、Ｈ＝０〜３０に入る連続領域の面積が最大となるようにするＲＧＢ表色系の色補正量を示した図である。
【図５】異なる機種で同一撮影条件で撮った画像について、Ｈ＝０〜３０に入る連続領域の面積が最大となるようにするＲＧＢ表色系の色補正量を示した図である。
【符号の説明】
【００４２】
１    パソコン本体
２    デジタルスチルカメラ
３    イメージスキャナ
４    ディスプレイ
５    プリンタ
６ａ、６ｂ、６ｃ    データベース
７    携帯電話
【図１】
2005115470.tif 000003
【図２】
2005115470.tif 000004
【図３】
2005115470.tif 000005
【図４】
2005115470.tif 000006
【図５】
2005115470.tif 000007