(57)【要約】  本発明は、少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧を評価し、特に顔の一部のしわまたは小じわを評価する、治療標的のないプロセスに関するものであり、-  少なくとも1つの音を発出する間に撮影された人の顔画像のシーケンスから、少なくとも1つのあらかじめ定義された音の発出と同時に起こる1つまたは複数の画像をシーケンスから抽出するステップ、-  抽出した得られた1つまたは複数の画像から、抽出した1つまたは複数の画像に現れる少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧に関連する少なくとも1つの特徴を評価するステップからなるステップを含む。
2017502732.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧を評価し、特に顔の一部のしわまたは小じわを評価する、治療標的のない方法であって、
-  少なくとも1つの音を発出する間に撮影された人の顔画像のシーケンスから、少なくとも1つのあらかじめ定義された音の発出と同時に起こる1つまたは複数の画像を前記シーケンスから抽出するステップ、
-  前記抽出した得られた1つまたは複数の画像から、前記抽出した1つまたは複数の画像に現れる少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧に関連する少なくとも1つの特徴を評価するステップ
を含む、方法。
【請求項２】
前記画像の抽出が自動であり、前記発出された音の分析から得られる、請求項1に記載の方法。
【請求項３】
再現する少なくとも1つの音が、前記撮影された人の前に表示される、請求項1または2に記載の方法。
【請求項４】
前記抽出された画像が参照画像と比較される、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記シーケンスが、唇の角、眼の下、上唇のしわまたは小じわ、目じりのしわ、および/または鼻唇溝の存在に関する画像を含み、前記シーケンスが、好ましくは顔全体の画像を含む、請求項1から4のいずれか一項に記載の方法。
【請求項６】
参照データと比較して、前記抽出された1つまたは複数の画像からの1つまたは複数の前記臨床徴候の評価が自動的に行われる、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記抽出された1つまたは複数の画像が、少なくとも一部について、評価すべき臨床徴候に応じて自動的にトリミングされ、好ましくは拡大される、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記画像のシーケンスが、前記人によって連続的に発出されたいくつかの異なる音、特に「A」、「E」、「O」、「OUI」、「STI」、「ART」および「TO」から選択された、特に少なくとも5つの異なる音を含み、いくつかのあらかじめ定義された音、特に前に引用した音「A」、「E」、「O」、「OUI」、「STI」、「ART」および「TO」にそれぞれ対応する画像が抽出される、請求項1から7のいずれか一項に記載の方法。
【請求項９】
前記シーケンスの1つまたは複数の音が音素を含む、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
抽出されるべき前記1つまたは複数の画像の選択が、前記シーケンスのサウンドトラックに適用された音声認識および/または収集された音のスペクトル分析によって行われる、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記臨床徴候に関連したスコアは、この臨床徴候の評価の結果として自動的に作成される、請求項1から10のいずれか一項に記載の方法。
【請求項１２】
前記画像が、評価される前記人によって保持されたまたは前記人の前に置かれたデバイス、特にタブレット、スマートフォンまたはコンピュータによって取得される、請求項1から11のいずれか一項に記載の方法。
【請求項１３】
前記シーケンスの画像の取得が、毎秒50画像、好ましくは100画像以上の取得頻度で行われる、請求項1から12のいずれか一項に記載の方法。
【請求項１４】
所与の臨床徴候に対してスコアがどのように推移するかについてのいくつかの曲線が、前記音が発出される順序の関数として作成される、請求項1から13のいずれか一項に記載の方法。
【請求項１５】
前記臨床徴候の自動評価と並行して、前記臨床徴候に関して自己評価スコアが前記人によって収集され、かつ/または評価スコアが、前記臨床徴候に関して専門家の参加者によって収集される、請求項1から14のいずれか一項に記載の方法。
【請求項１６】
顔への美容処理、特に抗しわ製品または化粧品の適用の効果を実証するための非治療的方法であって、
-  請求項1から15のいずれか一項に記載されたプロセスを用いて、特に少なくとも1つの顔の臨床徴候の第1の評価を行うステップ、
-  特に顔の美容処理の後に、新しい評価を行うステップ、
-  前記評価を比較するステップ、
-  評価の比較からの処理の効能についての代表的な情報および/または前記評価の間の化粧における変化の代表例を作成するステップ
を含む、方法。
【請求項１７】
プロセッサ、モニタ、スピーカ、カメラおよびマイクロフォンを有するデバイス上で実行される場合、デバイスを、
-  任意選択で、再現する音を前記モニタ上に表示し、かつ/または前記スピーカを用いて前記音を発出し、
-  前記カメラを用いて、あらかじめ定義された音、特に表示および/または拡散される音を再現する人の画像のシーケンスを取得し、
-  前記取得した画像を処理して、前記取得した画像のシーケンスから、前記人によって発出された前記音が前記あらかじめ定義された音に対応する1つまたは複数の画像を抽出する
ように導く命令を含む、コンピュータプログラム製品。
【請求項１８】
前記命令が、前記発出された音を、それを認識する目的で特に音声認識技術によって分析するように前記デバイスを導く、請求項17に記載のコンピュータプログラム製品。
【請求項１９】
前記命令が、得られた前記抽出された1つまたは複数の画像を処理して、臨床徴候の重症度の少なくとも1つの代表的なスコアを作成し、かつ/または前記スコアを配信し返すリモートサーバに前記1つまたは複数の画像を送信するように前記デバイスを導く、請求項17または18のいずれか一項に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体型、より具体的には顔型の特徴の評価、および化粧し、または顔の外観を変えるための製品の評価に関する。
【背景技術】
【０００２】
特に年齢とともにまたは美容処理の影響下でそれらがどのように変化するかを測定するために、かつ処理について消費者が持っている認識を理解するために、顔を描写するすべての臨床徴候を評価することに利点がある。
【０００３】
現在、この評価は、本出願人の名前で欧州特許出願第1 216 658号に記載されているように、専門家または臨床家によって使用される図表集を用いて、またはモーフィングを用いて行われる。
【０００４】
仏国特許出願第2 935 593号では、1つの提案は、その重症度に従っていくつかの特徴の外観を比較することであった。
【０００５】
既存の評価プロセスは、日常または身体活動中の顔貌変形および見かけの年齢または魅力に対するそれらの影響を考慮しないので、完全に満足できるわけではない。したがって、たとえば、30〜40歳の人は、パスポート写真では30歳に近いように見えることがあるが、動くことによって、顔の特徴は、40歳により近いと推定され得る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】欧州特許出願第1 216 658号
【特許文献２】仏国特許出願第2 935 593号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しわ、特に目の下のしわ、目じりのしわ、鼻唇溝、額、唇の角、上唇などの顔の臨床徴候(外観特性とも呼ばれる)を評価するためのプロセスを完成する必要もある。
【０００８】
また、化粧がどのように保持されるかまたはどれだけよく化粧品がいくつかの欠陥を隠すことができるか評価する際に、より一般的には、顔の外観への美容処理の効果と、時間の経過とともにどのように変化するかを判断する際に、利点がある。
【課題を解決するための手段】
【０００９】
本発明は、この要求またはこれらの要求に答え、これを、少なくとも1つの顔の臨床徴候、特に顔の一部のしわまたは小じわを評価し、かつ/または化粧を評価する、治療標的のないプロセスによって達成することを目的とし:
-  少なくとも1つの音を発出する間に撮影された人の顔画像のシーケンスから、少なくとも1つのあらかじめ定義された音の発出と同時に起こる1つまたは複数の画像をシーケンスから抽出するステップ、
-  抽出した1つまたは複数の画像から、抽出した1つまたは複数の画像に現れる少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧に関連する少なくとも1つの特徴を評価するステップ
からなるステップを含む。
【００１０】
好ましくは、画像抽出は自動であり、発出された音の分析から得られ、それを自動的に認識する。
【００１１】
画像を「抽出すること」は、画像が、後続の処理を目的としてシーケンス中で識別され;画像は、シーケンス中に残され、たとえばシーケンス中のタイムスタンプまたは順序番号によって識別され得ることを意味することが理解される。画像は、複製する必要も、または別の電子ファイルに移す必要もない。シーケンスは、マルチメディアコンテンツリーダーによる読み取りに適した何らかのフォーマット、たとえばHDビデオフォーマット、のデジタル化されたシーケンスであることが好ましい。人がそれらを見ることができるように、抽出された画像を表示することが有利であり得る。販売時点で評価を行う場合、これによって人に助言することもより容易になり得る。
【００１２】
本発明は、顔が動いたとき、顔の特徴、しわまたは小じわが変化し、かつ/または曲り、各人で異なって見えるという事実を説明することができる。単純な静止画像では認知できないこれらの顔の変形態様は、このプロセスによって認知可能になる。したがって、それによって、特に顔の皮膚の老化の臨床徴候の正確な評価が可能になる。
【００１３】
本発明はまた、たとえば30〜40歳のアジア人またはコーカサス人の女性において、人が話をしようとしているとき、顔が動かされた場合にだけ現れる、老化の第1の徴候を示すことができる。
【００１４】
人のあらかじめ定義された音の発出に対応する画像を選択することによって、評価は、標準化および自動化することができる。
【００１５】
したがって、本発明によって、測定時間に関係なく、すべて人々にとって常に同じ変形に関連する画像を簡単に選択することが可能である。
【００１６】
画像のシーケンスを取得するために、再現されるべき少なくとも1つの音は、撮影された人の前に表示でき、たとえばフランス語、英語、スペイン語、日本語、中国語または韓国語であってよい、たとえば人が話す言語に応じて選択される、たとえばフレーズ、韻律的朗読、単語、音素である。この表示は、撮影するものと同じデバイス上であってよく、画像がシーケンス中に時間の関数として知られるように表示でき、シーケンス中の興味のある1つまたは複数の画像の位置探索を容易にすることができる。変形形態として、音は、たとえばスピーカを使用して拡散され、次いで人によって繰り返される。音を記録するのと同時に人を撮影して、ビデオトラックおよびオーディオトラックを有するシーケンスを作成する。
【００１７】
その人は、同じ音を数回発音するように求められることがあるが、それは音が同じ順序ではない音のシーケンス内で行う。これは、音が発出される順序に従って、異なる顔の変形態様に関連する違いが現れるようにすることができる。
【００１８】
評価のために、抽出した画像は、参照画像と比較することができる。この比較は、画像処理によって自動的に行われることが好ましい。画像を比較できる何らかのプロセス、たとえばファジィ論理と呼ばれるプロセスを使用することができる。画像の特性についての認識も使用することができる。この場合、プログラムは、異なる画像がどのスコアに対応するか知っているように、最初に学習する必要があり得る。次いで、プログラムは、何らかの新しい画像自体にスコアを帰する方法を知っている。神経回路網を使用することができる。刊行物、「Automatic Breast Lesion Segmentation and Scoring in Color Alastography Images」、N. GuptaおよびS. Kudavelly、Philips Electronics India Limited、Bangalore、
【００１９】
【数１】
2017502732.tif 000003
【００２０】
[Statistical Learning Methods for Scoring]、Marine Depecker、
【００２１】
【数２】
2017502732.tif 000004
【００２２】
、France、「Scoring diverse cellular morphologies in image-based screens with iterative feedback and machine learning」、Thouis R. Jones、Anne E. Carpenter、Michael R. Lamprecht、Jason Moffat、Serena J. Silver、Jenniver K. Grenier、Adam B. Castoreno、Ulrike S. Eggert、David E. Root、Polina Golland、David M. Sabatini、Proceedings of the National Academy of Sciences、Vol. 106、No 6 (10/2/2009)、1826〜1831頁および「Automated breast cancer detection and classification using ultrasound images: A survey」 H. D. Cheng、Juan Shan、Wen Ju、Yanhui Guo、およびLing Zhang. Pattern Recognition 43(1): 299〜317 (2010)は、そのような認識プロセスの例について説明している。
【００２３】
以前に引用した参照画像は、評価図表集、またはそのような画像から作成されたデータからの画像であってよい。図表集の画像は、たとえば、異なるグレードの所与の臨床徴候、たとえば、ますますしわが寄ったように見える所与の顔の領域を示す人々の画像である。
【００２４】
扱われるシーケンスは、人が話すときに明らかになった何らかの臨床徴候、たとえば唇の角、眼の下、上唇の上のしわまたは小じわ、目じりのしわ、および/または鼻唇溝の存在にとにかく関連する画像を含んでいてよい。シーケンスは、顔全体の画像が含まれていることが好ましく、顔は、カメラの視野の一部を表しているにすぎない興味のある領域の画像を続いて抽出することができるように十分な解像度で撮影されていることが好ましい。測色補正を適用することができる。
【００２５】
参照データと比較して、抽出された1つまたは複数の画像からの1つまたは複数の臨床徴候の評価が自動的に行われることが好ましい。この自動評価中、抽出された1つまたは複数の画像は、少なくとも一部について、評価すべき臨床徴候に応じて自動的にトリミングされ、好ましくは拡大される。
【００２６】
画像シーケンスは、人によって連続的に発出されたいくつかの異なる音、特に
【００２７】
【数３】
2017502732.tif 000005
【００２８】
から選択された、特に少なくとも5つの異なる音を含んでいてもよい。それらは単純な音であってよく、それらの間に沈黙の瞬間を伴って発音され、またはフレーズを言うことに対応する音であってよい。シーケンス中の1つまたは複数の音には、たとえば人が話す言語に応じて選択される、あらかじめ定義された音素、たとえば母音、半子音または子音が含まれていてよい。それぞれいくつかのあらかじめ定義された音、特に前に引用した音「A」、「E」、「O」、「OUI」、「STI」、「ART」、「TO」に対応する画像を抽出する。
【００２９】
シーケンスから抽出すべき1つまたは複数の画像の選択は、シーケンスのサウンドトラックに適用された音声認識および/または収集された音のスペクトル分析によって行われ得る。別の考えられる選択は、特定の周波数があらかじめ定義された振幅を超えている画像である。
【００３０】
臨床徴候に関連したスコアは、この臨床徴候の評価の結果として自動的に作成され得る。
【００３１】
画像は、評価される人によって保持されたまたは彼/彼女の前に置かれたデバイス、特にタブレット、スマートフォンまたはコンピュータによって取得することができる。たとえば、人は、彼または彼女のスマートフォン、たとえばiPhone(登録商標)またはAndroid(登録商標)スマートフォン、タブレット、またはPC上にアプリケーションをダウンロードする。アプリケーションが起動すると、それが画像および音を記録している間に、再現されるべき音をモニタ上で表示する。ユーザは次いで、あらかじめ定義された音を発音する間に彼または彼女自身を撮影することができる。このように取得したシーケンスは次いで、評価結果を生じさせるために上記のように処理される。処理は、アプリケーション自体によって局所的に、またはリモートサーバ上の変形として、または部分的に局所的かつ部分的にリモートサーバで、行うことができる。
【００３２】
取得は、いくつかのカメラで同時に行うことができる。
【００３３】
評価は家または販売時点で行うことができる。
【００３４】
画像のシーケンスの取得は、毎秒50画像、好ましくは100画像以上の取得頻度で行われる。カメラの解像度は、好ましくは720ライン以上である。所与の臨床徴候に対してスコアがどのように推移するかについてのいくつかの曲線は、音が発出される順序の関数として作成することができる。
【００３５】
臨床徴候の自動評価と並行して、前記臨床徴候に関して自己評価スコアは人によって収集でき、かつ/または評価スコアは、前記臨床徴候に関して専門家の参加者によって収集される。
【００３６】
本発明はまた、顔への美容処理、特に抗しわ製品または化粧品の適用の効果を実証するための非治療的プロセスに関し:
-  上記で定義した本発明に従った評価プロセスを用いて、特に少なくとも1つの顔の臨床徴候の、第1の評価を行うステップ、
-  特に顔の美容処理の後に、新しい評価を行うステップ、
-  評価を比較するステップ、
-  評価の比較からの処理の効能についての代表的な情報および/または前記評価の間の化粧における変化の代表例を作成するステップ
からなるステップを含む。
【００３７】
美容処理は、たとえば、特に評価によって影響を受ける領域で、皮膚にスキンケア製品または抗しわ製品を適用することからなる。
【００３８】
評価された人は、彼または彼女自身が、予防手段として、または徴候の重症度を軽減するために、決定されたスコアに応じて製品を自動的に処方されることを認識することができる。処方された製品は、たとえば決定された1つまたは複数のスコアによって決まる有効成分分析による、個人用の製剤であってもよい。
【００３９】
本発明はさらに、プロセッサ、モニタ、スピーカ、カメラおよびマイクロフォンを有するデバイス上で実行される場合、デバイスを:
-  任意選択で、再現する音をモニタ上に表示し、かつ/またはスピーカを用いて音を発出し、
-  カメラを用いて、あらかじめ定義された音、特に表示および/または拡散される音を再現する人の画像のシーケンスを取得し、
-  取得した画像を処理して、取得した画像のシーケンスから、人によって発出された音が前記あらかじめ定義された音に対応する1つまたは複数の画像を抽出する
ように導く命令を含む、コンピュータプログラム製品に関する。
【００４０】
命令は、必要であれば、デバイスによって認識されなければならない1つまたは複数の音の事前選択を可能にすることができる。
【００４１】
命令は、ユーザが評価するために1つまたは複数の臨床徴候を選択することを提案するようにデバイスを導くこともでき;この場合には、選択された1つまたは複数の徴候に応じて、評価のために人が発音しなければならないあらかじめ定義された1つまたは複数の音は異なっていてよい。
【００４２】
命令は、発出された音を、それを認識する目的で特に音声認識技術によって分析するようにデバイスを導くこともできる。抽出された画像は、そして対応するオーディオトラック内のあらかじめ定義された音が自動的に認識されているものである。
【００４３】
命令は、得られた1つまたは複数の抽出された画像を処理して、臨床徴候の重症度の少なくとも1つの代表的なスコアを作成し、かつ/または前記スコアを配信し返すリモートサーバに1つまたは複数の画像を送信するように、デバイスを導くこともできる。
【００４４】
命令は、前記スコアに応じて、治療、特に抗しわ治療における有効成分のために自動分析を行うデバイスを制御することもできる。
【００４５】
本発明は、その非限定的な実施例の以下の説明を読むことで、かつ添付図面を参照して、より良く理解され得る。
【図面の簡単な説明】
【００４６】
【図１】本発明に従ったプロセスの実施例のステップを例示するブロック図である。
【図２】異なる音を発音している間に撮影された人の画像のシーケンスから抽出された画像を表す図である。
【図３】興味のある領域および/または異なる拡大の程度に対応する異なる画像を表す図である。
【図４】発音された音の関数として所与の臨床徴候に対するスコア推移の例を表す図である。
【図５】発音された音の関数として所与の臨床徴候に対するスコア推移の例を表す図である。
【図６】発音された音の関数として所与の臨床徴候に対するスコア推移の例を表す図である。
【図７】2次元プロットマトリックスの処理を可能にする、発音された音の関数として異なる臨床徴候に対する異なるスコア推移を表す図である。
【発明を実施するための形態】
【００４７】
本発明に従ったプロセスの実施例は、図1に示すように、異なるステップ10から50を使用でき、たとえばカメラとモニタを装備したコンピュータを用いて利用される。カメラは、その比色成分がカメラの視野で知られている校正物質を置くことによって、比色校正されることが好ましい。
【００４８】
ステップ10では、カメラを用いてビデオシーケンスを取得する。このシーケンスを取得している間、撮影されている人が再現しなければならない音は、たとえばモニタ上に表示されている。変形として、シーケンスを取得している間は何も表示されず、人はたとえば、彼または彼女が発音しなければならない音をあらかじめ知っている。
【００４９】
次に、画像シーケンスをステップ20で分析する。プロセッサがこれを行うのに十分強力である場合、すでに取得した画像に、シーケンスが記録されている間、この分析は、後処理として、または変形としてであってよい。
【００５０】
治療は、シーケンス中で、あらかじめ定義された音の人による発出に対応する1つまたは複数の画像を識別することを目的としている。音が対応する画像を識別するために、たとえばスペクトル分析を用いて、サウンドトラックを分析し、あらかじめ定義された音が発出される瞬間を特定し、その場合、各音がサウンドトラック中で識別されるべき独自のスペクトルフィンガープリントを有している。スペクトルフィンガープリントは、フーリエ変換によって得ることができる。音声認識ソフトウェアも使用することができる。刊行物、「Voice Activity Detection Based on Wavelet Packet Transform in Communication Nonlinear Channel」、R. ChiodiおよびD. Massicotte、SPACOMM、Colmar、France、2009および「La reconnaissance automatique de sources sonores dans l'environnement」[Automatic recognition of noise sources in the environment]、Defreville, B.、Bloquet, S.、Filippi, G.、およびAujard, C. 
【００５１】
【数４】
2017502732.tif 000006
【００５２】
[10th French Acoustical Conference]、Lyons 12〜16 April 2010は、音声認識プロセスの例について説明している。
【００５３】
認識のロバスト性を高めるために、スマートフォンで使用されているような古典的な音声認識アルゴリズムと、各音素に関連する周波数パターンの認識による分析とを組み合せることが可能である。
【００５４】
図2の実施例では、撮影された人は、単語OUIstiti、smARTiesなどを含むフレーズ全体を発音し、それによって音「A」、「E」、「O」、「OUI」、「STI」、「ART」、「TO」を連続的に発出する。これらの音の発出に対応するとして選択された画像は、音のスペクトルフィンガープリントおよびタイムスタンプと一緒に、各音の下のこの図で表される。
【００５５】
ステップ30では、あらかじめ定義された音に対応する抽出された各画像は、1つまたは複数の臨床徴候を評価することを目的として処理することができる。
【００５６】
ステップ30における処理は、たとえば目、鼻または唇の存在のような画像中の特性を認識することにより、画像中の興味のある領域の抽出を含んでいてよい。これから、評価で標的となる1つまたは複数の臨床徴候を含有する興味のある領域をより具体的に含むサブ画像を作成することができる。図3に示すように、たとえば特定の音の発出に対応する顔の完全な画像から、それぞれのサブ画像31から33である、唇の角、上唇および目の下の領域を抽出することができる。
【００５７】
これらのサブ画像は、必要であれば、しわまたは小じわがよりはっきりと見えるように、拡大することができる。たとえば日焼けの影響を除くために、必要に応じて測色を調節することも望ましい。
【００５８】
次に、画像上に現れると考えられる臨床徴候にグレードを帰属させることを目的として、これらの画像と参照画像を比較するためにステップ40で処理を実施する。
【００５９】
この処理は、2つの画像、すなわち、その参照グレードを割り当てる必要がある画像、および異なるグレードを例示する画像が互いに似ている度合を比較できる何らかのアルゴリズム含んでいてよい。自動的にスコアを帰属させる学習プログラムについて、多数の異なる人々に対して、たとえば民族性に対してスコアを与える参照データベースを使用することができる。
【００６０】
最後に、ステップ50では、スコアおよび/またはその重症度が評価された臨床徴候に関連する何らかの有用な情報を表示することができる。スコアは、たとえばモニタ上に表示される。
【００６１】
臨床徴候のスコアが、発音した音に関連する顔の変形の関数として現れる曲線も表示することができる。したがって、顔が動くことによる徴候の変化の動力学に関する情報が利用可能であり;これは、必要であれば他の臨床徴候の他の動的変化と組み合せて、人にたとえば見かけの年齢または見かけの疲労レベルを帰属させるための、追加の有用な情報を提供することができる。
【００６２】
考慮される各臨床徴候について、異なる2次元曲線を、考慮される音の順序の関数として作成することができる。
【００６３】
したがって目の下のしわに関して、たとえば、推移曲線および曲線の2次元マトリックスは、音X1、X6、X8など、音X8、X4、X10、X4など、音X1、X3、X4、X8などのスコアに対して、自動的に作成され得る。評価される人によって発出された音のこれらのシーケンスの各々は、いくつかの変形態様を最大にするために、または所与のフレーズを再構築できるように選択されているであろう。このステップから、スペクトルは、異なるフレーズまたは音のためにビデオクイズによって収集された、一連の臨床徴候について、人の認識または消費者の認識に関連する2Dまたは3Dウェーブレットによって処理することができる。
【００６４】
サブ画像処理も、必要であれば、皮膚色異常の検出または孔径評価などのより従来の分析によって完了することもできる。
【００６５】
実験の結果は、今回図4から図6を参照して記載されている。
【００６６】
図4では、それぞれ25人の女性の参加者、すなわち、1日2回使用で1カ月間製品を適用することによる治療を行う前の平均37歳の女性の参加者(ひし形)、平均32歳の女性の参加者(三角形)、および製品を適用することによる治療を行った後の同じ37歳の女性(四角形)に関して、上唇のしわの重症度スコアの変化が、発音された音、ここでは「A」、「E」、「O」、「OUI」、「STI」、「ART」、「TO」、の関数として表されている。＊は、結果が著しい音に印を付けている。我々は、本発明が、特定の音、たとえば音Oが発音されたときに製品の効果を示すために使用できるにすぎないことをわかっている。治療の前および後の差は、そして著しく、かつ極めて明白である。2つの異なる年齢層は、すべての音について区別することができる。
【００６７】
図5および図6は、それぞれ鼻唇溝および目の下のしわの重症度の評価に関する。
【００６８】
領域および/または臨床徴候に応じて、動的推移は異なる。スコアの値の簡単な変換が、鼻唇溝または目の下のしわで観察できるが(図5および図6)、それにもかかわらず、異なる変形態様が唇のしわに関して5年以内に見られる(図4)。唇の角しわは、2つの年齢層で統計的に異なるが、ずっと低い動態を有する。
【００６９】
様々な統計的および数学的分析は、本発明に従ったプロセスを用いたデータに適用してもよい。
【００７０】
たとえば、図7に示すように、臨床徴候Signiに関する異なるスコアS1からSnの理解から、様々な臨床徴候について、異なるスコアにおける推移を時間にわたって発出された音の関数として表す、たとえば異なる音X1からXn、時間曲線の2Dマトリックスを作成することができる。
【００７１】
消費者調査から、たとえば見かけの疲労、見かけの年齢、魅力、輝きなどに関して、評価した各人に関連する認識を決定することができる。
【００７２】
これらの人々の評価の結果として得られるすべての曲線は、次いで、いくつかの曲線形状と、見かけの疲労、見かけの年齢などに関する対応する認識との関係を示すために分析することができる。
【００７３】
マルチスケールウェーブレットは、たとえば、これらのマルチスケール処理分析を実施するために使用することができる。
【００７４】
本発明は、まさに説明された実施例に限定されるものではない。たとえば、評価される人は、たとえば下垂などの他の臨床徴候を評価する目的で、側面から撮影することができる。画像は、必要であれば、少なくとも二台のカメラを用いて浮き彫りにして取得することもできる。画像は、浮き彫りをさらに測定し、または皮膚の動きをより可視化するために、顔に光の縞を投射して、取得することもできる。画像は、音が発出されたときにいくつかの顔の変形をより簡単に示すことを目的として、白色光を用いてまたは光源の下で取得することができる。
【００７５】
いくつかの画像を発出された音と組み合せたとき、これらの画像は、スコアを帰属させる処理の前に平均化することができる。
【００７６】
必要であれば、評価が求められる人が、内容があらかじめ知られていない1つまたは複数のフレーズを発音し;この場合、プロセスは、いくつかの音が生じたのかどうかを音声認識によって認識しようと求め、対応する画像を肯定的に選択し、次いで臨床徴候を評価する。
【００７７】
別の可能な計画は、彼または彼女を、評価が望まれる臨床徴候をより良く示す音を発音するように導くことができるように、性別、見かけの年齢、民族性に応じて評価が望まれる人が発音するための一連の音を選択することである。
【００７８】
発出された音の自動検出の後の画像抽出が自動であることが好ましく、プログラムが実行されることによってこのように認識されるが、シーケンス上にあらかじめ定義された側頭部の位置を有するシーケンスの画像について、たとえばこれがモニタ上に表示されており、それが表示されたときに人は音を発出しなければならないので人は音を発出している、という仮説を取ると、画像抽出は、発出された音を自動認識せずに行われ得る。
【００７９】
本発明は、抗しわ治療のようなスキンケア処理の前または後の素肌に使用することができる。
【００８０】
本発明はまた、たとえば表現の形を変えるために、たとえば欠陥を修正するためにファンデーションまたはパッチを適用することによって、化粧した肌に使用することもできる。
【００８１】
これは、化粧の保持を可能にし、顔の外観へのその影響を変形時に評価することができる。これはまた、顔の変形に応じて化粧の鮮明度の評価を可能にし得る。
【００８２】
表現「1つ含む(including a)」は、「少なくとも1つ含む(including at least one)」と同じ意味である。
【符号の説明】
【００８３】
31、32、33  サブ画像
【図１】
2017502732.tif 000007
【図２】
2017502732.tif 000008
【図３】
2017502732.tif 000009
【図４】
2017502732.tif 000010
【図５】
2017502732.tif 000011
【図６】
2017502732.tif 000012
【図７】
2017502732.tif 000013
【手続補正書】
【提出日】平成28年8月3日(2016.8.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧を評価し、特に顔の一部のしわまたは小じわを評価する、治療標的のない方法であって、
-  少なくとも1つの音を発出する間に撮影された人の顔画像のシーケンスから、少なくとも1つのあらかじめ定義された音の発出と同時に起こる1つまたは複数の画像を前記シーケンスから抽出するステップ、
-  前記抽出した得られた1つまたは複数の画像から、前記抽出した1つまたは複数の画像に現れる少なくとも1つの顔の臨床徴候を評価し、かつ/または化粧に関連する少なくとも1つの特徴を評価するステップ
を含む、方法。
【請求項２】
前記画像の抽出が自動であり、前記発出された音の分析から得られる、請求項1に記載の方法。
【請求項３】
再現する少なくとも1つの音が、前記撮影された人の前に表示される、請求項1または2に記載の方法。
【請求項４】
前記抽出された画像が参照画像と比較される、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記シーケンスが、唇の角、眼の下、上唇のしわまたは小じわ、目じりのしわ、および/または鼻唇溝の存在に関する画像を含み、前記シーケンスが、好ましくは顔全体の画像を含む、請求項1から4のいずれか一項に記載の方法。
【請求項６】
参照データと比較して、前記抽出された1つまたは複数の画像からの1つまたは複数の前記臨床徴候の評価が自動的に行われる、請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記抽出された1つまたは複数の画像が、少なくとも一部について、評価すべき臨床徴候に応じて自動的にトリミングされ、好ましくは拡大される、請求項1から6のいずれか一項に記載の方法。
【請求項８】
前記画像のシーケンスが、前記人によって連続的に発出されたいくつかの異なる音、特に「A」、「E」、「O」、「OUI」、「STI」、「ART」および「TO」から選択された、特に少なくとも5つの異なる音を含み、いくつかのあらかじめ定義された音、特に前に引用した音「A」、「E」、「O」、「OUI」、「STI」、「ART」および「TO」にそれぞれ対応する画像が抽出され、
前記シーケンスの1つまたは複数の音が、好ましくは音素を含む、請求項1から7のいずれか一項に記載の方法。
【請求項９】
抽出されるべき前記1つまたは複数の画像の選択が、前記シーケンスのサウンドトラックに適用された音声認識および/または収集された音のスペクトル分析によって行われる、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
前記臨床徴候に関連したスコアは、この臨床徴候の評価の結果として自動的に作成される、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記画像が、評価される前記人によって保持されたまたは前記人の前に置かれたデバイス、特にタブレット、スマートフォンまたはコンピュータによって取得され、
前記シーケンスの画像の取得が、毎秒50画像、好ましくは100画像以上の取得頻度で行われる、請求項1から10のいずれか一項に記載の方法。
【請求項１２】
所与の臨床徴候に対してスコアがどのように推移するかについてのいくつかの曲線が、前記音が発出される順序の関数として作成される、請求項1から11のいずれか一項に記載の方法。
【請求項１３】
前記臨床徴候の自動評価と並行して、前記臨床徴候に関して自己評価スコアが前記人によって収集され、かつ/または評価スコアが、前記臨床徴候に関して専門家の参加者によって収集される、請求項1から12のいずれか一項に記載の方法。
【請求項１４】
顔への美容処理、特に抗しわ製品または化粧品の適用の効果を実証するための非治療的方法であって、
-  請求項1から13のいずれか一項に記載されたプロセスを用いて、特に少なくとも1つの顔の臨床徴候の第1の評価を行うステップ、
-  特に顔の美容処理の後に、新しい評価を行うステップ、
-  前記評価を比較するステップ、
-  評価の比較からの処理の効能についての代表的な情報および/または前記評価の間の化粧における変化の代表例を作成するステップ
を含む、方法。
【請求項１５】
プロセッサ、モニタ、スピーカ、カメラおよびマイクロフォンを有するデバイス上で実行される場合、デバイスを、
-  任意選択で、再現する音を前記モニタ上に表示し、かつ/または前記スピーカを用いて前記音を発出し、
-  前記カメラを用いて、あらかじめ定義された音、特に表示および/または拡散される音を再現する人の画像のシーケンスを取得し、
-  前記取得した画像を処理して、前記取得した画像のシーケンスから、前記人によって発出された前記音が前記あらかじめ定義された音に対応する1つまたは複数の画像を抽出する
ように導く命令を含み、
前記命令が、好ましくは、前記発出された音を、それを認識する目的で特に音声認識技術によって分析するように前記デバイスを導き、
前記命令が、好ましくは、得られた前記抽出された1つまたは複数の画像を処理して、臨床徴候の重症度の少なくとも1つの代表的なスコアを作成し、かつ/または前記スコアを配信し返すリモートサーバに前記1つまたは複数の画像を送信するように前記デバイスを導く、コンピュータプログラム製品。
【国際調査報告】
2017502732.tif 000014
2017502732.tif 000015
2017502732.tif 000016