(57)【特許請求の範囲】
【請求項１】
肌の表面のみを含む第１の画像と、前記肌の肌状態の評価を行う評価者によって、前記第１の画像から前記評価に適した領域として選択された１または複数の領域とが対応付けられた教師データを取得する取得ステップと、
前記教師データに基づいて機械学習を行い、評価対象肌の表面のみを含む第２の画像を入力した場合に、前記第２の画像における肌状態の評価を行うための候補となる１または複数の領域を出力する学習済みモデルを生成する学習ステップと、
を備えた学習済みモデル生成方法。
【請求項２】
前記教師データでは、前記第１の画像および前記評価者によって選択された前記複数の領域に、前記評価者によって付与された前記複数の領域における肌状態の相対順位がさらに対応付けられ、
前記学習済みモデルは、前記第２の画像の前記複数の領域における肌状態の相対順位をさらに出力する、請求項１に記載の学習済みモデル生成方法。
【請求項３】
評価対象肌の表面のみを含む第２の画像に基づく肌状態の評価を支援するための支援方法であって、
請求項１または２に記載の学習済みモデル生成方法によって生成された学習済みモデルを用いて、前記第２の画像から前記評価を行うための候補となる１または複数の領域を選択する領域選択ステップを備えた支援方法。
【請求項４】
請求項２に記載の学習済みモデル生成方法によって生成された学習済みモデルを用いて、前記複数の領域における肌状態の相対順位の付与を行うレベル付与ステップをさらに備えた、請求項３に記載の支援方法。
【請求項５】
請求項３または４に記載の支援方法の各ステップをコンピュータに実行させる支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価対象肌の画像に基づく肌状態の評価作業を支援する技術に関する。
【背景技術】
【０００２】
従来より、肌に適正なスキンケア化粧品を選択するには、専門家（カウンセラー）に肌状態を評価してもらいカウンセリングを受ける方法が一般的であるが、専門家によるカウンセリングは機会が得にくい等の問題がある。そこで、本出願人は、スキンケア化粧品の使用効果を評価するために、スキンケア化粧品の使用前および使用後の肌の画像に基づき肌状態を評価するサービスを実施している（特許文献１）。
【０００３】
図７および図８は、サービスを受けるユーザに提供される肌状態評価シートの一例である。肌状態評価シートには、スキンケア化粧品の使用前、使用開始から３０日後および６０日後に肌から採取された採取物（レプリカおよび角質層）の拡大画像に基づく肌状態（肌のキメの良否、毛穴の目立ち、うるおい、ターンオーバーの良否など）の評価結果が示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許６６８６２２３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記サービスにおいて、肌状態の評価を行う評価者は、図９に示すように、ユーザから提供された肌の採取物を撮影した画像Ｐから、肌の評価に特に適した領域Ｒを選択し、領域Ｒの拡大画像を見て肌状態を評価する。また、領域Ｒの拡大画像は、肌状態評価シートに掲載される。
【０００６】
多くの場合、画像Ｐでは、状態の良い領域と悪い領域が混在しているため、どの領域が肌状態の評価に適しているかを見分けるには、経験と熟練を要する。そのため、評価者にとっては、画像Ｐから領域Ｒを選択する作業は少なからず負担となっている。
【０００７】
本発明は、肌状態の評価作業の負担を軽減することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は以下の態様を含む。
項１．
評価対象肌の画像に基づく肌状態の評価を支援するための支援方法であって、
機械学習された学習済みモデルを用いて、前記評価対象肌の画像から前記評価を行うための候補となる１または複数の領域を選択する領域選択ステップを備えた支援方法。
項２．
前記学習済みモデルを用いて、前記複数の領域における肌状態のレベル付けを行うレベル付与ステップをさらに備えた、項１に記載の支援方法。
項３．
項１または２に記載の支援方法の各ステップをコンピュータに実行させる支援プログラム。
項４．
肌の画像と、前記肌の肌状態の評価を行う評価者によって、前記肌の画像から前記評価に適した領域として選択された１または複数の領域とが対応付けられた教師データを取得する取得ステップと、
前記教師データに基づいて機械学習を行い、評価対象肌の画像を入力した場合に、前記評価対象肌の画像における肌状態の評価を行うための候補となる１または複数の領域を出力する学習済みモデルを生成する学習ステップと、
を備えた学習済みモデル生成方法。
項５．
前記教師データでは、前記肌の画像および前記評価者によって選択された前記複数の領域に、前記評価者によって付与された前記複数の領域における肌状態のレベルがさらに対応付けられ、
前記学習済みモデルは、前記評価対象肌の画像の前記複数の領域における肌状態のレベルをさらに出力する、項４に記載の学習済みモデル生成方法。
【発明の効果】
【０００９】
本発明によれば、肌状態の評価作業の負担を軽減することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る肌状態評価システムの概略図である。
【図２】支援装置の処理手順を示すフローチャートである。
【図３】評価対象肌の画像の一例である。
【図４】支援装置によって肌状態の評価を行うための候補となる領域が選択された評価対象肌の画像の一例である。
【図５】図４において、さらに各領域にレベルが付与された画像の一例である。
【図６】本発明の一実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。
【図７】肌状態評価シートの一例である。
【図８】肌状態評価シートの一例である。
【図９】評価者によって肌状態の評価を行うための領域が選択された評価対象肌の画像の一例である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。
【００１２】
（システム構成）
図１は、本発明の一実施形態に係る肌状態評価システム１の概略図である。肌状態評価システム１は、スキンケア化粧品を販売する会社（以下、販売者）によって管理されている。販売者は、商品の販売を促進するために、スキンケア製品購入者または購入検討者（以下、ユーザ）を対象にスキンケア化粧品の使用効果を肌状態（肌のキメの良否、毛穴の目立ち、うるおい、ターンオーバーの良否など）で評価して、評価結果をユーザに提示するサービス（以下、肌状態評価サービス）を実施している。
【００１３】
肌状態評価システム１は、カメラ２と、支援装置３と、表示装置４と、入力装置５とを主に備えている。
【００１４】
カメラ２は、ユーザの肌から採取された採取物７が付着した台紙６の表面を撮影する。肌状態評価サービスでは、販売者がスキンケア製品および採取キットをユーザに提供し、ユーザは、スキンケア製品の使用前、使用開始から３０日後および６０日後の計３回、自身の肌からレプリカおよび角質層を採取する。具体的には、液剤を塗布した肌の上に台紙６を貼り付け、その後、台紙６を剥がすことにより、皮膚表面の状態を示すレプリカを採取することができる。液剤は、例えば、ポリビニルアルコール、水、およびチアゾリン系防腐剤（極少量）を主成分とするものを用いることができる。また、液剤を使用せずに台紙６を肌に貼り付け、その後、台紙６を剥がすことにより、肌の角質層を採取することができる。ユーザは、採取物７が付着した台紙６を所定の方法で販売者に郵送する。
【００１５】
支援装置３は、肌状態の評価を行う評価者（例えば、肌分析を行う部署に所属するスタッフ）が使用する装置であり、例えば汎用のコンピュータで構成することができる。なお、評価者は、医師および医師の指示を受けた者のいずれにも該当しない。支援装置３は、ハードウェア構成として、ＣＰＵやＧＰＵなどのプロセッサ、主記憶装置（メモリ）および補助記憶装置などを備えている。補助記憶装置には、後述する学習済みモデルＭや支援プログラムなどが記憶されている。
【００１６】
また、支援装置３は、機能ブロックとして、取得部３１と、画像処理部３２と、提示部３３とを備えており、画像処理部３２は、領域選択部３２１と、レベル付与部３２２とを備えている。これらの機能ブロックは、集積回路などによってハードウェア的に実現してもよいが、支援装置３のプロセッサが、支援プログラムをメモリに読み出して実行することによりソフトウェア的に実現することもできる。
【００１７】
この場合、上記支援プログラムは、通信ネットワークを介して支援装置３にダウンロードしてもよいし、支援プログラムのプログラムコードを記録したＳＤカードやＣＤ−ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体を介して、支援プログラムを支援装置３に供給してもよい。支援装置３の機能については、後述する。
【００１８】
表示装置４および入力装置５は、支援装置３に接続されている。表示装置４は、液晶ディスプレイや有機ＥＬディスプレイなどで構成することができる。入力装置５は、キーボード、マウス、タッチパネルなどで構成することができる。
【００１９】
（支援方法の手順）
続いて、支援装置３の機能について説明する。本実施形態に係る支援方法は、支援装置３によって実施される。図２は、支援装置３の処理手順を示すフローチャートである。
【００２０】
カメラ２によって、肌のレプリカや角質層などの採取物７の所定範囲が撮影されると、ステップＳ１において、支援装置３の取得部３１がカメラ２から評価対象肌の画像Ｐを取得する。これにより、表示装置４には、図３に示すように、画像Ｐが表示される。画像Ｐのデータは画像処理部３２に入力される。
【００２１】
なお、画像Ｐは、採取物７の画像に限らず、カメラ２をユーザの肌に近接させて撮影することにより取得された画像であってもよい。また、取得部３１は、カメラ２から直接画像を取得する代わりに、採取物７によって撮影を行った後、画像を他の記憶装置などに保存しておき、その後、保存された画像を記憶装置から取得してもよい。
【００２２】
ステップＳ２（領域選択ステップ）では、領域選択部３２１が、画像Ｐから肌状態の評価を行うための候補となる１または複数の領域を選択する。本実施形態では、領域選択部３２１は、図４に示すように、画像Ｐにおける５つの矩形の領域Ｒ１〜Ｒ５を選択する。
【００２３】
ステップＳ３（レベル付与ステップ）では、レベル付与部３２２が、領域Ｒ１〜Ｒ５における肌状態のレベル付与を行う。レベルは、領域Ｒ１〜Ｒ５における肌状態の相対順位で表される。本実施形態では、レベル付与部３２２は、図５に示すように、肌状態の良好な順に１〜５のレベルを各領域Ｒ１〜Ｒ５に付与する。
【００２４】
領域選択部３２１およびレベル付与部３２２の各処理は、学習済みモデルＭを用いることにより行われる。学習済みモデルＭは、画像Ｐが入力されると、領域Ｒ１〜Ｒ５の座標および各領域Ｒ１〜Ｒ５のレベルを出力するように学習されている。学習済みモデルＭは、後述する機械学習によって生成される。
【００２５】
なお、領域選択部３２１によって選択される領域の数は特に限定されない。選択される領域が１つのみの場合は、ステップＳ３は省略される。
【００２６】
ステップＳ４では、提示部３３が、画像Ｐに領域Ｒ１〜Ｒ５およびランクを提示する。これにより、図５に示す画像Ｐが表示装置４に表示される。肌状態の評価を行う評価者は、これを参考に、実際に肌状態の評価を行うための拡大画像を領域Ｒ１〜Ｒ５から選択する。
【００２７】
評価者が領域Ｒ１〜Ｒ５からどのレベルの領域を選択するかは、評価者の裁量であるが、常に同じレベル（例えば３）の領域を選んでもよいし、画像毎に、異なるレベルの領域を選んでもよい。評価者によって選択された領域の拡大画像は、ユーザに提供される肌状態評価シート（図７、図８）に掲載される。
【００２８】
（小括）
〔発明が解決しようとする課題〕に記載のように、画像Ｐでは、状態の良い領域と悪い領域が混在しているため、どの領域が肌状態の評価に適しているかを見分けるには、経験と熟練を要する。これに対し、本実施形態では、支援装置３によって、画像Ｐから評価を行うための候補となる領域Ｒ１〜Ｒ５が自動的に選択され、さらに、各領域Ｒ１〜Ｒ５のレベルも自動的に提示される。評価者は、評価を行うための領域を領域Ｒ１〜Ｒ５から選ぶことができるため、画像Ｐの全体から評価を行うための領域を選択するよりも作業負担が軽減される。これにより、各評価者の作業スピードが向上し、肌状態評価サービスの効率が改善する。また、経験の浅い評価者であっても、不適切な領域を選択することが防止されるため、評価者間の個人差を低減して、評価結果の平準化を図ることができる。
【００２９】
（学習済みモデルの生成）
上述のように、学習済みモデルＭは、機械学習によって生成される。図６は、本実施形態に係る学習済みモデル生成方法の処理手順を示すフローチャートである。
【００３０】
ステップＳ１１（取得ステップ）では、教師データを取得する。教師データでは、肌の画像と、肌の肌状態の評価を行う評価者によって、肌の画像から評価に適した領域として選択された１または複数の領域と、評価者によって付与された、前記複数の領域における肌状態のレベルとが対応付けられている。肌の画像は、肌の採取物の画像であってもよいし、肌を直接撮影した画像であってもよい。
【００３１】
評価者は、自身の経験に基づき、肌の状態を代表的に示す領域を１または複数（本実施形態では５つ）選択し、それらの領域の状態の相対順位を付与する。教師データの質を担保するため、評価者は経験の豊富な熟練者であることが好ましい。なお、選択される領域が１つである場合、レベルの対応付けは省略される。
【００３２】
ステップＳ１１は、教師データが機械学習を行うのに十分な量になるまで（ステップＳ１２においてＹＥＳ）、対象となる肌の画像を変えながら繰り返される。
【００３３】
ステップＳ１３（学習ステップ）では、教師データに基づいて機械学習を行い、学習済みモデルＭを生成する。学習済みモデルＭは、評価対象肌の画像を入力した場合に、前記評価対象肌の画像における肌状態の評価を行うための候補となる１または複数の領域を出力する。機械学習法は特に限定されないが、例えばディープラーニングなどを用いることができる。
【００３４】
（付記事項）
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。
【００３５】
例えば、上記実施形態では、画像Ｐから領域Ｒ１〜Ｒ５を選択するとともに、領域Ｒ１〜Ｒ５におけるレベル付けを行っていたが、領域Ｒ１〜Ｒ５を選択するのみに留め、レベル付けを省略してもよい。この場合でも、評価者は、領域Ｒ１〜Ｒ５から実際に評価を行うための領域を選ぶだけでよいので、画像Ｐの全体から評価を行うための領域を選択するよりも作業負担が軽減される。
【符号の説明】
【００３６】
１      肌状態評価システム
２      カメラ
３      支援装置
３１    取得部
３２    画像処理部
３３    提示部
３２１  領域選択部
３２２  レベル付与部
４      表示装置
５      入力装置
６      台紙
７      採取物
Ｍ      学習済みモデル
Ｐ      画像
Ｒ１〜Ｒ５  領域
【要約】      （修正有）【課題】肌状態の評価作業における、状態の良い領域と悪い領域が混在している中から、評価に適した領域を見分ける作業の負担を軽減する。【解決手段】評価対象肌の画像に基づく肌状態の評価を支援するための支援方法であって、機械学習された学習済みモデルＭを用いて、画像から評価を行うための候補となる複数の領域を選択する領域選択ステップを備える。さらに学習済みモデルMは、複数の評価候補の領域における肌状態のレベルを出力する。【選択図】図１【図１】
0006821852.tif 000002
【図２】
0006821852.tif 000003
【図３】
0006821852.tif 000004
【図４】
0006821852.tif 000005
【図５】
0006821852.tif 000006
【図６】
0006821852.tif 000007
【図７】
0006821852.tif 000008
【図８】
0006821852.tif 000009
【図９】
0006821852.tif 000010