(57)【要約】  メイクアップシミュレーション支援装置は、ユーザーの顔の画像を顔画像として撮像する撮影部により撮像された顔画像に、顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部（２１０）と、生成されたシミュレーション画像を出力するシミュレーション画像出力部（２２０）と、シミュレーション画像が出力された際に撮像部により撮像された顔画像に基づいて、メイク画像に対するユーザーの興味度合いを検知する興味度合い検知部（２３０）と、検知された興味度合いを示す興味度合い情報を出力する興味度合い情報出力部（２４０）と、を備える。
2017115453.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの顔の画像を顔画像として撮像する撮影部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部と、
生成された前記シミュレーション画像を出力するシミュレーション画像出力部と、
前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する興味度合い検知部と、
検知された前記興味度合いを示す興味度合い情報を出力する興味度合い情報出力部と、
を備えるメイクアップシミュレーション支援装置。
【請求項２】
前記興味度合い検知部は、前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記ユーザーが興味を有する顔部品と、前記メイク画像に対応する顔部品との一致度合いを検知することによって前記ユーザーの興味度合いを検知する、
請求項１に記載のメイクアップシミュレーション支援装置。
【請求項３】
前記興味度合いには、前記メイク画像に対する前記ユーザーの満足度合いが含まれる、
請求項１または２に記載のメイクアップシミュレーション支援装置。
【請求項４】
検知された前記興味度合いに基づいて、次に施すことが推奨されるメイクの候補を示すメイク候補情報を出力するメイク候補情報出力部を備える、
請求項１〜３の何れか１項に記載のメイクアップシミュレーション支援装置。
【請求項５】
前記メイク候補情報出力部は、前記興味度合いが高い場合、前記顔部品に対するメイクであって前記メイク画像に対応するメイクとは異なるメイクを前記候補として示すメイク候補情報を出力する一方、前記興味度合いが低い場合、前記顔部品とは別の顔部品に対するメイクを前記候補として示すメイク候補情報を出力する、
請求項４に記載のメイクアップシミュレーション支援装置。
【請求項６】
平均的な顔における顔部品の位置を示す顔部品位置情報を記憶する顔部品位置情報記憶部と、
撮像された前記顔画像に基づいて前記ユーザーの顔における顔部品の位置を検知する顔位置検知部と、
前記顔部品位置情報と、前記顔位置検知部の検知結果とに基づいて、前記ユーザーの顔の特徴である顔部品を特定する顔部品特定部と、
を備え、
前記メイク候補情報出力部は、特定された前記顔部品に対するメイクを前記候補として示すメイク候補情報を出力する、
請求項４に記載のメイクアップシミュレーション支援装置。
【請求項７】
前記興味度合い情報出力部は、前記シミュレーション画像が出力される第１表示部とは異なる第２表示部に前記興味度合い情報を出力する、
請求項１〜６の何れか１項に記載のメイクアップシミュレーション支援装置。
【請求項８】
前記興味度合い検知部は、前記撮影部に対して前記ユーザーが正面に向けている前記顔の顔部品を検知し、その検知結果に基づいて前記興味度合いを検知する、
請求項１〜７の何れか１項に記載のメイクアップシミュレーション支援装置。
【請求項９】
前記興味度合い検知部は、前記シミュレーション画像に表示される前記顔の顔部品のうち前記ユーザーの視線が向いている方向に位置する顔部品を検知し、その検知結果に基づいて前記興味度合いを検知する、
請求項１〜７の何れか１項に記載のメイクアップシミュレーション支援装置。
【請求項１０】
前記シミュレーション画像生成部による前記シミュレーション画像の生成処理が前記ユーザーの希望によるものであるか否かを判定する判定部と、
前記ユーザーの希望によるものでないと判定された場合、前記メイク画像に対応する顔部品と、検知された前記興味度合いとを互いに関連付けた興味度合い履歴情報を興味度合い履歴情報記憶部に記憶させる興味度合い履歴情報記録部と、
を備える請求項１〜９の何れか１項に記載のメイクアップシミュレーション支援装置。
【請求項１１】
前記判定部は、前記興味度合い履歴情報と購買結果とに基づいて、ユーザーが他者の誘導に従う確率であるユーザー柔軟度を判定し、
前記興味度合い情報出力部は前記ユーザー柔軟度に関する判定結果を出力する、
請求項１０に記載のメイクアップシミュレーション支援装置。
【請求項１２】
前記興味度合い検知部は、前記撮像された顔画像に基づいて顔部品の変形に関する情報を抽出し、前記シミュレーション画像出力部により前記シミュレーション画像が出力された後の所定時間経過後における前記抽出した顔部品の変形に関する情報と、購買結果との相関を取得し、前記取得した購買結果との相関に基づいて、購買または不買との相関が所定値以上の前記顔部品の変形を、それぞれ高評価検知基準または低評価検知基準として抽出する、
請求項１〜１０の何れか１項に記載のメイクアップシミュレーション支援装置。
【請求項１３】
ユーザーの顔の画像を顔画像として撮像する撮像部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するステップと、
生成された前記シミュレーション画像を出力するステップと、
前記シミュレーション画像が表示された際に撮影された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知するステップと、
検知された前記興味度合いを示す興味度合い情報を出力するステップと、
を有するメイクアップシミュレーション支援方法。
【請求項１４】
コンピューターに、
ユーザーの顔の画像を顔画像として撮像する撮像部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成する処理と、
生成された前記シミュレーション画像を出力する処理と、
前記シミュレーション画像が表示された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する処理と、
検知された前記興味度合いを示す興味度合い情報を出力する処理と、
を実行させるメイクアップシミュレーション支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、メイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラムに関する。
【背景技術】
【０００２】
メイクアップに関係する商品の一例としての化粧品を製造・販売するメーカーは、百貨店やスーパー等において独自の化粧品販売店（インショップ）を展開し、いわゆる対面販売により顧客と対話しながら販売する販売形態をよく利用している。化粧品の対面販売では、例えば化粧品販売店の美容部員（ＢＡ）が顧客の肌等を観察すると共に、その観察結果に基づいてカウンセリングを行い、顧客に最適と思われる化粧品を選定している。【０００３】
従来、化粧品販売店では美容部員による対面販売を支援する様々なツールが利用されている。美容部員による対面販売を支援するツールの一例としては、実際に顧客の顔へメイクアップを施すことなく、コンピューター上でメイクアップ後の顧客の顔をシミュレーションする技術が提案されている（例えば、特許文献１を参照）。【０００４】
特許文献１に記載の技術では、撮影したユーザーの顔の画像からユーザーの顔の顔特徴分析および肌色分析を行い、顔特徴分析および肌色分析の結果に基づき、ユーザーの顔の顔特徴および肌色に合った商品の情報を表示するとともに、当該商品を使ってメイクアップを仮想的に施したユーザーの顔をシミュレーションして表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２２７３３号公報
【発明の概要】
【０００６】
特許文献１に記載の技術のように対面販売を支援する様々なツールは、最終的に化粧品の販売へ繋げるために開発されている。しかしながら、対面販売を支援する様々なツールを利用したとしても、実際には、メイクアップに対する顧客の潜在的な要望、化粧に関わる悩みを引き出し、顧客が欲している情報を提供しなければ、化粧品の販売に繋げられないという問題があった。実際のところ、メイクアップに対する顧客の潜在的な要望を引き出して化粧品の販売へ効率的に繋げられるかは、美容部員の経験、能力によるところが大きい。さらに言えば、メイクアップに対する顧客の潜在的な要望を引き出すために店員が顧客に問診するという対応も考えられるが、接客中の店員には十分な時間はなく、そのような対応を行うことは困難であった。これは、化粧品を販売する際にメイクアップを仮想的に施したシミュレーションを活用する提案がされているものの、その描画結果の表示までにとどまり、顧客の本音を検知するのは店員のスキルに依存していることによる。
【０００７】
また、この課題は美容部員（ＢＡ）が対面で販売するシチュエーションに限らない。化粧品の流通において、顧客が独力で判断して化粧品を購入するスタイルの店舗や、インターネット等による通信販売（以下、店員無し販売と称する）の比重が高まりつつある中で、装置・プログラムが単にメイクアップのシミュレーションを実施するだけでなく、顧客の潜在的な要望の把握を支援したり、判断する要求は高まっていくと考えられる。
【０００８】
本開示の一態様は、メイクアップに関係する商品の販売へ効率的に繋がるように対面販売ならびに店員無し販売を支援するメイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラムを提供する。
【０００９】
本開示に係るメイクアップシミュレーション支援装置は、
ユーザーの顔の画像を顔画像として撮像する撮影部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部と、
生成された前記シミュレーション画像を出力するシミュレーション画像出力部と、
前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する興味度合い検知部と、
検知された前記興味度合いを示す興味度合い情報を出力する興味度合い情報出力部と、
を備える。
【００１０】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００１１】
本開示によれば、メイクアップに関係する商品の販売へ効率的に繋がるように対面販売、ならびに店員無し販売を支援することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施の形態における対面販売におけるメイクアップシミュレーションシステムの機能構成を示すブロック図である。
【図２】メイクアップシミュレーション時におけるユーザー画面および店員画面の表示例を示す図である。
【図３】本実施の形態における興味情報を示す図である。
【図４】本実施の形態におけるメイク候補決定テーブルを示す図である。
【図５】本実施の形態におけるユーザー情報を示す図である。
【図６】本実施の形態における店員側端末装置の動作を示すフローチャートである。
【図７】対面販売の開始時におけるユーザー画面および店員画面の表示例を示す図である。
【図８】本実施の形態における店員無し販売におけるメイクアップシミュレーションシステムの機能構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本実施の形態を図面に基づいて詳細に説明する。図１は、本開示の実施の形態に係るメイクアップシミュレーションシステム１０の機能構成を示すブロック図である。メイクアップシミュレーションシステム１０は、例えば化粧品販売店において美容部員（以下、「店員」と称する）による対面販売、すなわち顧客（本開示の「ユーザー」に対応、以下「ユーザー」と称する）と対話しながら販売する販売形態）を支援するツールとして利用される。
【００１４】
メイクアップシミュレーションシステム１０は、通信回線を介して互いに接続された顧客側端末装置１００（タブレット端末）と、店員側端末装置２００（ペンタブレット端末）とを備えて構成される。顧客側端末装置１００は、例えばユーザーに向けて縦置きで設置され、ユーザーの顔を用いてメイクアップ後の顔のシミュレーション画像を表示する。店員側端末装置２００は、顧客側端末装置１００によりシミュレーション画像が表示される際、メイクアップに関係する商品（化粧品）の販売へ効率的に繋がるように対面販売を支援する。なお、顧客側端末装置１００は、タブレット端末に限らず、化粧品販売店のカウンターに固定されていても良い。
【００１５】
顧客側端末装置１００（本開示の「メイクアップシミュレーション支援装置」に対応）は、撮影部１１０および第１表示部１２０を備える。
【００１６】
なお、図示しないが、顧客側端末装置１００は、照明手段としての照明部、ストロボ手段としてのストロボ部、マイク手段としてのマイク部を備える。また、顧客側端末装置１００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００１７】
撮影部１１０は、ユーザーの顔の画像を顔画像として撮像する。撮影部１１０は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラやＣＣＤ（Charge Coupled Device）カメラ等である。撮影部１１０は、撮像した顔画像を店員側端末装置２００に出力する。
【００１８】
第１表示部１２０は、ユーザーの顔を等倍で表示可能な大きさを有する液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等であり、顧客側端末装置１００から出力されたシミュレーション画像を表示する。図２Ａは、シミュレーション画像４００を含むユーザー画面の表示例を示す図である。図２Ａに示すように、シミュレーション画像４００は、撮影部１１０により撮像された顔画像４１０と、メイクアップ対象の部位（以下、「顔部品」と称する、例えば目、口）に対するメイク（図２Ａの例では、口紅）の色を選択可能なテーブル画像４２０とが含まれる。４３０は、ユーザーによって現在選択されているメイクの色を示す色画像である。
【００１９】
第１表示部１２０は、顧客側端末装置１００に対するユーザーや店員の操作を受け付けるため、タッチパネルが画面を覆うように配置されることでタッチパネルモニターとなっている。なお、ユーザーや店員の操作を受け付ける仕組みは、タッチパネルモニターに限らず、操作部を別途設けても良い。
【００２０】
店員側端末装置２００は、シミュレーション画像生成部２１０、シミュレーション画像出力部２２０、興味度合い検知部２３０、興味度合い情報出力部２４０、メイク候補情報出力部２５０、第２表示部２６０、顔部品位置情報記憶部２７０、顔位置検知部２８０、顔部品特定部２９０、判定部３００、興味度合い履歴情報記録部３１０および興味度合い履歴情報記憶部３２０を備える。
【００２１】
なお、店員側端末装置２００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Central Processing Unit）、制御プログラム（本開示の「メイクアップシミュレーション支援プログラム」に対応）を格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００２２】
シミュレーション画像生成部２１０は、顧客側端末装置１００に対するユーザーや店員の操作に応じて、顧客側端末装置１００の撮影部１１０から出力された顔画像に、当該顔画像に含まれる顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成する。
【００２３】
シミュレーション画像出力部２２０は、シミュレーション画像生成部２１０により生成されたシミュレーション画像を顧客側端末装置１００の第１表示部１２０に出力する。
【００２４】
興味度合い検知部２３０は、シミュレーション画像出力部２２０によりシミュレーション画像が出力された際に撮影部１１０により撮像された顔画像に基づいて、ユーザーが興味を有する顔部品と、当該シミュレーション画像に含まれるメイク画像に対応する顔部品との一致度合いを検知することによって、当該メイク画像に対するユーザーの興味度合いを検知する。
【００２５】
ここで、ユーザーが興味を有する顔部品と、当該シミュレーション画像に含まれるメイク画像に対応する顔部品との一致度合いとは、それぞれの顔部品の種別（目、口等）が一致しているか否かに関する度合いを意味する。シミュレータション画像に含まれるメイク画像に対応する顔部品とは、顔画像に施されるメイクアイテム（以下「メイクパーツ」という、例えば、口紅、アイシャドウ、チーク等）との関連が強い顔部品である。例えば、口紅であれば口（唇）、アイシャドウであれば目が関連の強い顔部品である。また、当該シミュレーション画像に含まれるメイク画像に対応する顔部品が複数存在する場合には、顔部品をシミュレーション画像に表示する時点または表示を変更する時点との時間的関連性に基づき一部の顔部品との一致度を判定しても良い。なお、顔部品は、目（左右）、眉（左右）、まつ毛（左右）、口、唇（上下）、歯、鼻、頬（左右）、耳（左右）、輪郭、こめかみ、髪等を含み、口角、口元、目元等さらに詳細に分類されてもよく、またこれらに限定されるものではない。
【００２６】
具体的には、興味度合い検知部２３０は、シミュレーション画像に含まれる顔画像の各顔部品に対する興味度合いを検知する。例えば、興味度合い検知部２３０は、公知の手段を用いて、ユーザーの視線が向いている方向に位置する顔部品を検知し、視線が向いている累積時間が長い程、当該顔部品に対する興味度合いが高いことを検知する。図３は、興味度合い検知部２３０がユーザーの視線が向いている方向に位置する顔部品を検知した際に一時的に生成する興味情報を示す、興味情報は、ユーザーの来店日、顔部品および興味度合いを項目として有する。項目「興味度合い」の値は、ユーザーの視線が向いている累積時間が所定の閾値に比較してあるいは相対的に長い場合に「高い」と設定される。一方、ユーザーの視線が向いている累積時間が所定の閾値に比較してあるいは相対的に短い場合に「低い」と設定される。図３に示す例では、目に対するユーザーの興味度合いは高い一方、それ以外の顔部品である鼻、頬および唇等に対するユーザーの興味度合いは低い。すなわち、ユーザーは、口紅のメイクアップシミュレーション実行中に、潜在的に目に興味がありそうなことが推測できる。なお、興味度合いは、「高い」「低い」のような２値的な判定ではなく、累積時間の長さに応じて、時間が長い場合により高い連続的な値または不連続な値が設定されるようにしても良い。
【００２７】
なお、興味度合い検知部２３０は、公知の手段を用いて、撮影部１１０に対してユーザーが正面に向けている顔の顔部品を検知し、撮影部１１０に対して正面に向けている累積時間が長い程、当該顔部品に対する興味度合いが高いことを検知しても良い。また、興味度合い検知部２３０は、公知の手段を用いて、ユーザーによる顔部品の変形具合を検知し、その変形具合が高い程、当該顔部品に対する興味度合いが高いことを検知しても良い。例えば、複数の顔部品（例えば、目、口）に対するメイクアップシミュレーションが実行されている場合に、口周りの変形具合が高ければ、口のメイクパーツである口紅のメイクアップシミュレーションに対しユーザーが興味を持っていることが推定できる。ここで顔部品の変形とは、目の場合は瞼の開閉、視線の移動、眉間の皺、等、口の場合は、開閉、すぼめる、口角が上がる（笑顔）、口角が下がる、唇を舐める、尖らせる、等が含まれ、更に当該顔部品に指をあてるなどの動作が含まれてもよい。またこれらに限定されるものではない。
【００２８】
また、興味度合い検知部２３０は、ユーザーの顔の特徴の解析結果を用い、シミュレーション画像に含まれる顔画像の各顔部品に対する興味度合いと関連付けることにより、より精度良く、コンプレックス（劣等感）等のユーザーの興味の部分を予想することができる。
【００２９】
また、興味度合い検知部２３０は、実行中のメイクアップシミュレーション（メイク画像）に対するユーザーの満足度合いを検知する。例えば、興味度合い検知部２３０は、シミュレーション画像が表示された直後（例えば、１０秒以内など、ユーザーの反応が反射的に表れると予想される所定時間の経過後または期間内、以降において同じ）におけるユーザーの反応を検知し、その検知結果に応じてユーザーの満足度合い、より具体的には興味度合いにユーザーの評価（高評価、低評価）を加味したものを検知する。興味度合い検知部２３０は、検知したユーザーの反応を時系列に記録する。
【００３０】
ユーザーの反応には、ユーザーの表情パラメーター（目線・顔）の角度・変形量、仕草、音声・対話内容、血圧・心拍等の生体信号が含まれる。例えば、興味度合い検知部２３０は、店員の座っている位置が把握されている状態で、店員とユーザーとの間で目線が合っているか否かを検知する。また、興味度合い検知部２３０は、ユーザーの顔の角度を検知し、ユーザーがうつむいているか否かを検知する。また、興味度合い検知部２３０は、ユーザーの仕草として、当該ユーザーが手を顔に当てて、考え込んでいるか否かを検知する。
【００３１】
興味度合い情報出力部２４０は、興味度合い検知部２３０により検知された興味度合い（満足度合いを含む）を示す興味度合い情報を第２表示部２６０に出力する。
【００３２】
メイク候補情報出力部２５０は、興味度合い検知部２３０により検知された興味度合いに基づいて、次に施すことが推奨されるメイクの候補を示すメイク候補情報を第２表示部２６０に出力する。本実施の形態では、メイク候補情報出力部２５０は、シミュレーション画像に含まれるメイク画像に対するユーザーの興味度合いが高い場合、当該メイク画像に対応する顔部品に対するメイクであってメイク画像に対応するメイクとは異なるメイクを候補として決定する一方、当該ユーザーの興味度合いが低い場合、当該メイク画像に対応する顔部品とは別の顔部品に対するメイクを候補として決定する。
【００３３】
具体的には、メイク候補情報出力部２５０は、シミュレーション画像の生成処理が誰の希望によるものであるかを示す主体者（判定部３００の判定結果により特定される）と、興味度合い検知部２３０により興味度合いが高いことが検知された顔部品（以下、「興味部分」とも称する）と、興味度合い検知部２３０により検知された実行中のメイクアップシミュレーションに対するユーザーの満足度合いとに応じて、次に施すことが推奨されるメイクの候補を決定する。メイク候補情報出力部２５０は、図４に示すメイク候補決定テーブルに従って次に施すことが推奨されるメイクの候補を決定する。
【００３４】
図４は、本実施の形態におけるメイク候補決定テーブルを示す図である。図４に示すように、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分がメイク部分（メイク画像に対応する顔部品）であり、満足度合いが高い場合、当該メイク部分に対するメイクに加えて、当該メイクとは異なるメイクも候補として決定する。なお、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分がメイク部分であり、満足度合いが高い場合、当該メイク部分に対するメイクとは異なるメイクとして、当該メイク部分に対するメイクと似た色のメイク等、主体者が店員であるときと比べて変化が少ないメイクを候補として決定することが望ましい。
【００３５】
また、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分がメイク部分であり、満足度合いが低い場合、当該メイク部分に対するメイクに代えて、当該メイクとは異なるメイクを候補として決定する。
【００３６】
また、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分が非メイク部分（メイク画像に対応する顔部品とは別の顔部品）であり、満足度合いが高い場合、実行中のメイク部分に対するメイクに加えて、興味部分に対応する顔部品に対するメイクを候補として決定する。
【００３７】
また、メイク候補情報出力部２５０は、主体者がユーザーであり、興味部分が非メイク部分であり、満足度合いが低い場合、実行中のメイク部分に対するメイクに代えて、興味部分に対応する顔部品に対するメイクを候補として決定する。
【００３８】
また、メイク候補情報出力部２５０は、主体者が店員であり、興味部分がメイク部分であり、満足度合いが高い場合、当該メイク部分に対するメイクに加えて、当該メイクとは異なるメイクも候補として決定する。
【００３９】
また、メイク候補情報出力部２５０は、主体者が店員であり、興味部分がメイク部分であり、満足度合いが低い場合、当該メイク部分に対するメイクに代えて、当該メイクとは異なるメイクを候補として決定する。
【００４０】
また、メイク候補情報出力部２５０は、主体者が店員であり、興味部分が非メイク部分であり、満足度合いが高い場合、実行中のメイク部分に対するメイクに加えて、興味部分に対応する顔部品に対するメイクを候補として決定する。
【００４１】
また、メイク候補情報出力部２５０は、主体者が店員であり、興味部分が非メイク部分であり、満足度合いが低い場合、実行中のメイク部分に対するメイクに代えて、興味部分に対応する顔部品に対するメイクを候補として決定する。
【００４２】
第２表示部２６０は、液晶ディスプレイや有機ＥＬ（organic electroluminescence）ディスプレイ等である。第２表示部２６０は、興味度合い情報出力部２４０から出力された興味度合い情報に対応する興味度合い情報画像や、メイク候補情報出力部２５０から出力されたメイク候補情報に対応するメイク候補情報画像を含む店員画面を表示する。図２Ｂは、興味度合い情報画像５２０およびメイク候補情報画像５４０を含む店員画面５００の表示例を示す図である。図２Ｂに示すように、店員画面５００には、興味度合い情報画像５２０およびメイク候補情報画像５４０の他に、ユーザーの属性情報（氏名、年齢など）を示す属性情報画像５１０、図２Ａに示すシミュレーション画像４００と同様の内容であるシミュレーション画像５３０が含まれる。シミュレーション画像４００とシミュレーション画像５３０とは、リアルタイムで同期して更新表示される。
【００４３】
興味度合い情報画像５２０は、撮影部１１０により撮像された顔画像５２２と、興味度合い検知部２３０により興味度合いが高いことが検知された顔部品を強調するヒートマップ画像５２４とを含む。また、興味度合い情報画像５２０は、シミュレーション画像５３０に含まれるメイク画像に対応する顔部品（図２Ｂの例では、唇）の特徴に関する情報（図２Ｂの例では、唇薄めといった悩み情報）が含まれる。顔部品の特徴に関する情報は、顔部品特定部２９０により特定された特徴によって生成される。また、興味度合い情報画像５２０は、興味度合い検知部２３０により検知された、実行中のメイクアップシミュレーションに対するユーザーの満足度合いの変化に関する情報（図２Ｂの例では、３→２）が含まれる。興味度合い情報画像５２０に含まれる情報から、店員は、実行中のメイクアップシミュレーションに対するユーザーの満足度合いが低下し、ユーザーの興味部分がメイク部分（唇）から非メイク部分（目）に移っていることを容易に把握することができる。
【００４４】
メイク候補情報画像５４０は、撮影部１１０により撮像され、メイク候補情報出力部２５０により、次に施すことが推奨されるメイクの候補（図２Ｂの例では、目に対するメイク）が強調表示された顔画像５４２を含む。また、本実施の形態では、メイク候補情報画像５４０は、次に施すことが推奨されるメイクに適合することが予想される予想適合商品を示す情報（図２Ｂの例では、予想適合商品○○○）を含む。なお、メイク候補情報画像５４０は、興味度合い情報画像５２０に含まれる悩み情報の悩みを解決可能なメイクに関する情報を含んでも良い。また、メイク候補情報画像５４０は、予想適合商品の在庫情報（例えば、在庫の有無、予定納期、戦略商品であるか否か等）を含んでも良い。メイク候補情報画像５４０に含まれる情報から、店員は、次に施すことが推奨されるメイクの候補を容易に把握することができる。
【００４５】
第２表示部２６０は、店員側端末装置２００に対する店員の操作を受け付けるため、タッチパネルが画面を覆うように配置されることでタッチパネルモニターとなっている。
【００４６】
本実施の形態では、店員の操作を受け付ける仕組みとして、タッチパネルモニターに限らず、タッチペン（操作部）が別途設けられている。タッチペンには、シミュレーション画像生成部２１０によるシミュレーション画像の生成処理がユーザーの希望によるものであるか、または店員の希望（誘導）によるものであるかを識別するための識別ボタンが設けられている。例えば、シミュレーション画像生成部２１０によるシミュレーション画像の生成処理がユーザーの希望によるものである場合、店員は、タッチペンに設けられた識別ボタンを押下する。
【００４７】
顔部品位置情報記憶部２７０は、平均的な顔における顔部品の位置等を示す顔部品位置情報を記憶する。
【００４８】
顔位置検知部２８０は、顧客側端末装置１００の撮影部１１０により撮像された顔画像に基づいてユーザーの顔における顔部品の位置を検知する。
【００４９】
顔部品特定部２９０は、顔部品位置情報記憶部２７０に記憶される顔部品位置情報と、顔位置検知部２８０の検知結果とに基づいて、ユーザーの顔の特徴である顔部品を特定する。例えば、顔部品について、顔面中の位置、他の顔部品との位置関係、形状、大きさ、色等により数値化し、同様に数値化した一定数以上の顔部品の平均値との比較から、所定の閾値を超える差異が検出された顔部品を、特徴のある顔部品として特定する等の手法があり得る。ただしこれらに限定はされない。そして、メイク候補情報出力部２５０は、顔部品特定部２９０により特定された顔部品に対するメイクを、次に施すことが推奨されるメイクの候補として示すメイク候補情報を第２表示部２６０に出力する。
【００５０】
判定部３００は、タッチペンに設けられた識別ボタンの押下の有無に応じて、シミュレーション画像生成部２１０によるシミュレーション画像の生成処理がユーザーの希望によるものであるか否かを判定する。なお、判定部３００は、ユーザーと店員との対話内容の解析結果に基づいて、シミュレーション画像生成部２１０によるシミュレーション画像の生成処理がユーザーの希望によるものであるか否かを判定しても良い。
【００５１】
興味度合い履歴情報記録部３１０は、判定部３００によりシミュレーション画像の生成処理がユーザーの希望によるものでない（すなわち店員の誘導によるものである）と判定された場合、今回のメイクアップシミュレーションにおいて、シミュレーション画像に含まれるメイク画像に対応する顔部品と、興味度合い検知部２３０により検知された興味度合いとを互いに関連付けた興味度合い履歴情報を興味度合い履歴情報記憶部３２０に記憶させる。
【００５２】
図５Ａは、本実施の形態における興味度合い履歴情報を示す図である。図５Ａに示すように、興味度合い履歴情報は、来店日、メイク画像に対応する顔部品のメイクパーツ、当該メイクパーツの色、当該メイク画像に対応するメイクに対するユーザーの満足度合い、および、当該メイクパーツに対応する化粧品の最終的な購買結果を項目として含む。本実施の形態では、項目「満足度合い」の値には、１〜５の何れかの整数値が設定される。また、項目「購買結果」の値には、購買を示す「○」、または、不買を示す「×」が設定される。なお、興味度合い履歴情報記録部３１０は、図５Ｂに示すように、判定部３００によりシミュレーション画像の生成処理がユーザーの希望によるものか否かに関係なく、今回のメイクアップシミュレーションにおける興味度合い履歴情報を興味度合い履歴情報記憶部３２０に記憶させても良い。
【００５３】
図５Ａ，５Ｂに示すように、主体者「店員」に関する興味度合い履歴情報から、チークに関しては、他のメイクパーツ「口紅」に比べて満足度合いが高いため、ユーザーは店員の誘導に従っていることが推測できる。また、図５Ｂに示すように、メイクパーツ「口紅」に関する興味度合い履歴情報から、主体者「ユーザー」に関しては、他の主体者「店員」に比べて満足度合いが高いため、ユーザーは口紅に関しては拘りが強く、特にピンクの好みが強そうであることが推測できる。また、図５Ｂに示すように、メイクパーツ「口紅」、主体者「ユーザー」、満足度合い「５」および購買結果「×」に関する興味度合い履歴情報から、ユーザーの次回の来店時に口紅の話が出たら「ピンク」色を推奨する価値が高そうであることが推測できる。以上のように、興味度合い履歴情報を分析することによって、メイクパーツに対するユーザーの柔軟度（店員の誘導に従順か頑固か、拘り）が高いか低いかを把握することができる。また、メイクパーツの色に対するユーザーの柔軟度が高いか低いかを把握することができる。なお、メイクパーツ毎および色毎に、店員が誘導したメイクにユーザーが従った確率（ユーザー柔軟度）を分析し、その分析結果を第２表示部２６０に表示させても良い。また、前回、不買であった場合には、その旨を分析結果とともに第２表示部２６０に表示させても良い。
【００５４】
図６は、本実施の形態における店員側端末装置２００の動作（本開示の「メイクアップシミュレーション支援方法」に対応）を示すフローチャートである。図６における処理は、顧客側端末装置１００に対するユーザーや店員の操作に基づくメイクアップシミュレーションの実行要求が発生することによって開始する。
【００５５】
まず、シミュレーション画像生成部２１０は、顧客側端末装置１００の撮影部１１０から出力された顔画像を取得する（ステップＳ１００）。次に、シミュレーション画像生成部２１０は、取得した顔画像に含まれる顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成する（ステップＳ１２０）。
【００５６】
次に、シミュレーション画像出力部２２０は、シミュレーション画像生成部２１０により生成されたシミュレーション画像を顧客側端末装置１００の第１表示部１２０に出力する（ステップＳ１４０）。第１表示部１２０は、顧客側端末装置１００から出力されたシミュレーション画像を表示する。
【００５７】
次に、興味度合い検知部２３０は、シミュレーション画像出力部２２０によりシミュレーション画像が出力された際に撮影部１１０により撮像された顔画像に基づいて、当該シミュレーション画像に含まれるメイク画像に対するユーザーの興味度合いを検知する（ステップＳ１６０）。
【００５８】
次に、興味度合い情報出力部２４０は、興味度合い検知部２３０により検知された興味度合いを示す興味度合い情報を第２表示部２６０に出力する（ステップＳ１８０）。次に、メイク候補情報出力部２５０は、興味度合い検知部２３０により検知された前記興味度合いに基づいて、次に施すことが推奨されるメイクの候補を示すメイク候補情報を第２表示部２６０に出力する（ステップＳ２００）。第２表示部２６０は、興味度合い情報出力部２４０から出力された興味度合い情報や、メイク候補情報出力部２５０から出力されたメイク候補情報を表示する。
【００５９】
最後に、店員側端末装置２００は、ユーザーや店員の操作に基づくメイクアップシミュレーションの終了要求が発生したか否かについて判定する（ステップＳ２２０）。判定の結果、メイクアップシミュレーションの終了要求が発生していない場合（ステップＳ２２０、ＮＯ）、処理はステップＳ１００の前に戻る。一方、メイクアップシミュレーションの終了要求が発生した場合（ステップＳ２２０、ＹＥＳ）、店員側端末装置２００は、図６における処理を終了する。
【００６０】
以上詳しく説明したように、本実施の形態における店員側端末装置２００（メイクアップシミュレーション支援装置）は、ユーザーの顔の画像を顔画像として撮像する撮影部１１０により撮像された顔画像に、顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部２１０と、生成されたシミュレーション画像を出力するシミュレーション画像出力部２２０と、シミュレーション画像が出力された際に撮像部１１０により撮像された顔画像に基づいて、メイク画像に対するユーザーの興味度合いを検知する興味度合い検知部２３０と、検知された興味度合いを示す興味度合い情報を出力する興味度合い情報出力部２４０とを備える。
【００６１】
このように構成した本実施の形態によれば、顧客側端末装置１００によりシミュレーション画像が表示される際、メイクアップに対するユーザー（顧客）の潜在的な要望、例えば隠れた本音やコンプレックス（劣等感）を引き出し、ユーザーが本当に欲している情報を提供する上で助けとなる情報（興味度合い情報）を店員に提供することができる。そのため、メイクアップに関係する商品（化粧品）の販売へ効率的に繋がるように対面販売を支援することができる。
【００６２】
なお、上記実施の形態では、顧客側端末装置１００と、店員側端末装置２００とが別体化されている例について説明したが、１つの装置で一体化されていても良い。この場合、第１表示部１２０および第２表示部２６０は１つの表示部で良いし、プロセッサとしてのＣＰＵが１つであっても良い。ＣＰＵが２つの場合は、シミュレーション画像の生成・表示と、興味度合い検知等の分析とでＣＰＵを使い分けても良い。
【００６３】
また、上記実施の形態において、顧客側端末装置１００は、店員側端末装置２００が備える構成のうち第２表示部２６０以外の構成を備えても良い。この場合は、顧客側端末装置１００は、本開示の「メイクアップシミュレーション支援装置」に対応する。
【００６４】
また、上記実施の形態において、メイク候補情報画像５４０は、興味度合い履歴情報記憶部３２０に記憶されている興味度合い履歴情報等に基づいて、ユーザーの顔の特徴に好適なメイクの候補に関する情報（例えば、目を強調）や、過去のユーザーの拘りを示す情報（例えば、色は○○に興味が強い）を含んでも良い。
【００６５】
また、上記実施の形態において、対面販売の開始時に、興味度合い履歴情報記憶部３２０に記憶されている興味度合い履歴情報に応じたユーザーの解析結果を第２表示部２６０に表示させても良い。図７Ａは、対面販売の開始時におけるユーザー画面６００の表示例を示す図である。図７Ａに示すように、ユーザー画面には、例えば化粧品に関する一般広告や、ユーザーを意識して当該ユーザーの興味が高そうな化粧品の情報が表示される。
【００６６】
図７Ｂは、対面販売の開始時における店員画面７００の表示例を示す図である。図７Ｂに示すように、店員画面には、ユーザーの属性情報（氏名、年齢、前回来店した店名、担当定員など）を示す属性情報画像７１０、前回のメイクアップシミュレーションの結果を示す前回シミュレーション結果画像７２０、および前回のメイクアップシミュレーションにおけるユーザーの興味を示す前回興味情報画像７３０が表示される。
【００６７】
属性情報画像７１０に表示される属性情報は、撮影部１１０により撮像された顔画像を用いて検索された情報であることが望ましい。対面販売の開始時に、最初から店員が顧客情報（氏名、年齢など）をユーザーに事細かに聞こうとすると、心証が悪いからである。
【００６８】
前回シミュレーション結果画像７２０は、前回のメイクアップシミュレーションにおいて、購買結果が不買であったメイクパーツ（図７Ｂの例では、口紅）によりメイクされたユーザーの顔画像７２４と、購買結果が購買であったメイクパーツ（図７Ｂの例では、チーク）によりメイクされたユーザーの顔画像７２２とを含む。顔画像７２２には、メイクパーツによるメイクを強調する強調画像７２６が含まれる。また、前回シミュレーション結果画像７２０には、不買理由に関する情報（図７Ｂの例では、口紅は色の拘り大）や、購買された具体的な商品名を示す情報（図７Ｂの例では、○）も含まれる。
【００６９】
前回興味情報画像７３０には、ユーザーの興味度合いが高かった顔部品を強調する強調画像７３４を含むユーザーの顔画像７３２、および、当該顔部品に対する興味度合いが高かった旨を示す情報（図７Ｂの例では、目元に興味あり）が含まれる。
【００７０】
店員は、対面販売の開始時に店員画面７００を見ることによって、化粧品の販売へ効率的に繋がるように、今回のメイクアップシミュレーションで注意すべき点について、実際にメイクアップシミュレーションを始める前に把握することができる。特に、前回と今回とでメイクアップシミュレーションの担当店員が例えば熟練度の高い店員から経験の浅い店員に替わった場合でも、前回のメイクアップシミュレーション結果を反映したメイクアップシミュレーションを行うことができる。
【００７１】
また、上記実施の形態において、シミュレーション画像が表示された直後におけるユーザーの反応と、購買結果との間の相関関係をユーザー毎に学習し、その学習結果に応じた解析結果を第２表示部２６０に表示させても良い。店員毎に、ユーザーの反応と、購買結果との間の相関関係を学習しても良い。
【００７２】
具体的には、興味度合い検知部２３０は、シミュレーション画像が表示された直後におけるユーザーの反応を検知して記録しておく。そして、興味度合い検知部２３０は、ユーザーの過去の来店時に、複数の購買の機会があった場合に、購買に繋がった化粧品に関連するメイクアップシミュレーション実行時と、購買に繋がらなかった化粧品に関連するメイクアップシミュレーション実行時との間でユーザーの差異を検出し、購買に繋がった場合と相関が高いユーザーの反応を高評価検知基準として抽出する。興味度合い検知部２３０は、抽出した高評価検知基準が現在実行されているメイクアップシミュレーションでも検知された場合、メイク候補情報出力部２５０にその旨を通知する。そして、高評価検知基準に対応するユーザーの反応（顔部品の変形）、すなわち店員に観察のしどころとなる部分を第２表示部２６０に表示（より具体的には、興味度合い情報画像５２０に含まれる顔画像５２２上に点線状の枠線で表示）させる。なお、店員画面に高評価検知基準をそのまま表示させても良い。また、購買に繋がった場合と相関が高いユーザーの反応は、例えば、何秒経過後のユーザーの目線の合わせ方が購買に繋がったか等、シミュレーション画像が表示された後の経過時間で相関をとっても良い。また、購買に繋がった場合と相関が高いユーザーの反応は、似ている顔の特徴を有する複数のユーザー内で相関をとっても良い。
【００７３】
上記実施の形態において、顧客側端末装置１００を用いたメイクアップシミュレーションは、対面販売を行う化粧品販売店で行われても良いし、顧客が独力で購買を決定する化粧品販売店で行われても良いし、ユーザーの自宅で行われても良い。図８は、後者２つの場合（店員無し販売）のシステム構成を示したものである。図１の場合と異なり、
店員は存在しないため第２の表示部（店員画面）はなく、次に実行すべきメイクシミュレーションは店員に最終判断を仰ぐことなく、メイク候補情報出力部２５０で決定され、シミュレーション画像生成部２１０に伝達される。顧客の興味度合いの検知の状況を反映しつつ、例えば１５秒程度の感覚でメイクシミュレーションする内容を更新していくのが望ましいが、顧客が気になるメイクシミュレーションがあればタッチなどの顧客操作によって一旦更新を停止してもよく、更に顧客が色などのシミュレーションの内容を変更してもよい。判定部３００では、そのような次に実行されるメイクシミュレーションの内容が本実施の形態のシステム１０によるものか、顧客の意思によるものであったかを判断する。この情報は、対面販売での図５および図６で主体者が「ユーザ」か「店員」かを識別したのと同様に、主体者が「ユーザ」か否かを識別するのに活用され、上述したように顧客の好みやユーザー柔軟度の判断に用いることができる。
【００７４】
また、この場合、顧客側端末装置１００を用いたメイクアップシミュレーションが化粧品販売店で行われるか、または、ユーザーの家で行われるかに応じて、メイクアップシミュレーションに対するユーザーの反応が異なることが予想されることを考慮し、興味度合い検知部２３０によるユーザーの興味度合いの検知方法を変更しても良い。また、ユーザーの潜在的な要望（本心）が表情に出やすい時間帯（例えば、夜間、就寝前など）にメイクアップシミュレーションが行われたか否かに応じて、興味度合い検知部２３０によるユーザーの興味度合いの検知方法を変更しても良い。
【００７５】
また、上記実施の形態において、第１表示部１２０にユーザーの顔だけでなく全身を表示することが可能であり、ユーザーの視線が向いている方向に服や髪型が位置する場合、その旨を示す情報を興味度合い情報画像５２０に含めても良い。更には、上記実施の形態では、仮想的に化粧を行うメイクアップのみをシミュレーションの対象としたが、髪型や服装などを含めて仮想的にコーディネートするシミュレーションであってもよい。シミュレーションの対象が広いほど、顧客の興味と反応を把握し、次のアクションを決めることが、より重要になる。
【００７６】
また、上記実施の形態において、顔部品毎にメイクアップシミュレーションを計測し、顔部品毎の購買結果との相関関係（例えば、長々とメイクアップシミュレーションを行っていたにも関わらず、購入されなかった等）を記録しても良い。また、購買結果との相関関係がある時間帯を抽出することにより、ユーザーが素直に（短時間で）本音を出しやすい店員を検索できるような情報を記録しても良い。
【００７７】
また、メイクアップシミュレーション毎に複数の顔画像（例えば、笑顔画像、美人顔など）を撮像しておき、メイクアップシミュレーション後に表示させる購買候補提示画面に含める顔画像を店員側で選択できるようにしても良い。
【００７８】
また、上記実施の形態では、メイクアップシミュレーションシステム１０は、メイクアップに対するユーザーの興味（潜在的な要望）を引き出して取得するために使用される例について説明したが、本開示はこれに限定されない。例えば、メイクアップシミュレーションシステム１０は、メイクアップに用いられる化粧品の分析のために使用されてもよい。より具体的にはどんなユーザーでも購買することが期待される化粧品であるか、店員が推奨すれば、顔の特徴、柔軟度に関係なく、期待を超えて購買したか否か、等を分析するために使用されても良い。また、メイクアップシミュレーションシステム１０は、店員の分析に使用されてもよい。より具体的にはメイクアップシミュレーションを通じてユーザーの興味を引くスキルが高いか低いか、ユーザーの興味は高くはなかったが、店員のコミュニケーション能力により、メイクアップシミュレーション時の低評価を補う形で購買に至ったか否か、等を分析するために使用されても良い。
【００７９】
また、上記実施の形態は、何れも本開示を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００８０】
本開示のメイクアップシミュレーション支援装置は、
ユーザーの顔の画像を顔画像として撮像する撮影部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するシミュレーション画像生成部と、
生成された前記シミュレーション画像を出力するシミュレーション画像出力部と、
前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する興味度合い検知部と、
検知された前記興味度合いを示す興味度合い情報を出力する興味度合い情報出力部と、
を備える。
【００８１】
上記メイクアップシミュレーション支援装置において、
前記興味度合い検知部は、前記シミュレーション画像が出力された際に撮像された顔画像に基づいて、前記ユーザーが興味を有する顔部品と、前記メイク画像に対応する顔部品との一致度合いを検知することによって前記ユーザーの興味度合いを検知しても良い。
【００８２】
上記メイクアップシミュレーション支援装置において、
前記興味度合いには、前記メイク画像に対する前記ユーザーの満足度合いが含まれても良い。
【００８３】
上記メイクアップシミュレーション支援装置において、
検知された前記興味度合いに基づいて、次に施すことが推奨されるメイクの候補を示すメイク候補情報を出力するメイク候補情報出力部を備えても良い。
【００８４】
上記メイクアップシミュレーション支援装置において、
前記メイク候補情報出力部は、前記興味度合いが高い場合、前記顔部品に対するメイクであって前記メイク画像に対応するメイクとは異なるメイクを前記候補として示すメイク候補情報を出力する一方、前記興味度合いが低い場合、前記顔部品とは別の顔部品に対するメイクを前記候補として示すメイク候補情報を出力しても良い。
【００８５】
上記メイクアップシミュレーション支援装置において、
平均的な顔における顔部品の位置を示す顔部品位置情報を記憶する顔部品位置情報記憶部と、
撮像された前記顔画像に基づいて前記ユーザーの顔における顔部品の位置を検知する顔位置検知部と、
前記顔部品位置情報と、前記顔位置検知部の検知結果とに基づいて、前記ユーザーの顔の特徴である顔部品を特定する顔部品特定部と、
を備え、
前記メイク候補情報出力部は、特定された前記顔部品に対するメイクを前記候補として示すメイク候補情報を出力しても良い。
【００８６】
上記メイクアップシミュレーション支援装置において、
前記興味度合い情報出力部は、前記シミュレーション画像が出力される第１表示部とは異なる第２表示部に前記興味度合い情報を出力しても良い。
【００８７】
上記メイクアップシミュレーション支援装置において、
前記興味度合い検知部は、前記撮影部に対して前記ユーザーが正面に向けている前記顔の顔部品を検知し、その検知結果に基づいて前記興味度合いを検知しても良い。
【００８８】
上記メイクアップシミュレーション支援装置において、
前記興味度合い検知部は、前記シミュレーション画像に表示される前記顔の顔部品のうち前記ユーザーの視線が向いている方向に位置する顔部品を検知し、その検知結果に基づいて前記興味度合いを検知しても良い。
【００８９】
上記メイクアップシミュレーション支援装置において、
前記シミュレーション画像生成部による前記シミュレーション画像の生成処理が前記ユーザーの希望によるものであるか否かを判定する判定部と、
前記ユーザーの希望によるものでないと判定された場合、前記メイク画像に対応する顔部品と、検知された前記興味度合いとを互いに関連付けた興味度合い履歴情報を興味度合い履歴情報記憶部に記憶させる興味度合い履歴情報記録部と、
を備えても良い。
【００９０】
上記メイクアップシミュレーション支援装置において、
前記判定部は、前記興味度合い履歴情報と購買結果とに基づいて、ユーザーが他者の誘導に従う確率であるユーザー柔軟度を判定し、
前記興味度合い情報出力部は前記ユーザー柔軟度に関する判定結果を出力しても良い。
【００９１】
上記メイクアップシミュレーション支援装置において、
前記興味度合い検知部は、前記撮像された顔画像に基づいて顔部品の変形に関する情報を抽出し、前記シミュレーション画像出力部により前記シミュレーション画像が出力された後の所定時間経過後における前記抽出した顔部品の変形に関する情報と、購買結果との相関を取得し、前記取得した購買結果との相関に基づいて、購買または不買との相関が所定値以上の前記顔部品の変形を、それぞれ高評価検知基準または低評価検知基準として抽出しても良い。
【００９２】
本開示のメイクアップシミュレーション支援方法は、
ユーザーの顔の画像を顔画像として撮像する撮像部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成するステップと、
生成された前記シミュレーション画像を出力するステップと、
前記シミュレーション画像が表示された際に撮影された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知するステップと、
検知された前記興味度合いを示す興味度合い情報を出力するステップと、
を有する。
【００９３】
本開示のメイクアップシミュレーション支援プログラムは、
コンピューターに、
ユーザーの顔の画像を顔画像として撮像する撮像部により撮像された前記顔画像に、前記顔の顔部品に対してメイクを施したときのメイクの状態を示すメイク画像を重畳して得られるシミュレーション画像を生成する処理と、
生成された前記シミュレーション画像を出力する処理と、
前記シミュレーション画像が表示された際に撮像された顔画像に基づいて、前記メイク画像に対する前記ユーザーの興味度合いを検知する処理と、
検知された前記興味度合いを示す興味度合い情報を出力する処理と、
を実行させる。
【産業上の利用可能性】
【００９４】
本開示は、メイクアップに関係する商品の販売へ効率的に繋がるように対面販売を支援するメイクアップシミュレーション支援装置、メイクアップシミュレーション支援方法およびメイクアップシミュレーション支援プログラムとして有用である。
【符号の説明】
【００９５】
１０  メイクアップシミュレーションシステム
１００  顧客側端末装置
１１０  撮影部
１２０  第１表示部
２００  店員側端末装置
２１０  シミュレーション画像生成部
２２０  シミュレーション画像出力部
２３０  興味度合い検知部
２４０  興味度合い情報出力部
２５０  メイク候補情報出力部
２６０  第２表示部
２７０  顔部品位置情報記憶部
２８０  顔部品位置検出部
２９０  顔部品特定部
３００  判定部
３１０  興味度合い履歴情報記録部
３２０  興味度合い履歴情報記憶部
【図１】
2017115453.tif 000003
【図２】
2017115453.tif 000004
【図３】
2017115453.tif 000005
【図４】
2017115453.tif 000006
【図５】
2017115453.tif 000007
【図６】
2017115453.tif 000008
【図７】
2017115453.tif 000009
【図８】
2017115453.tif 000010
【国際調査報告】
2017115453.tif 000011
2017115453.tif 000012
2017115453.tif 000013
2017115453.tif 000014