(57)【要約】【課題】メイク時の情報を再現できるメイク支援プログラムを提供することを目的とする。【解決手段】メイク支援プログラムは、メイクを施される対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、前記メイクが施される場所に配置されたマイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信する、処理をコンピュータに実行させることを特徴とする。【選択図】図１
2019091315.tif 000002
【特許請求の範囲】
【請求項１】
メイクを施される対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、
前記メイクが施される場所に配置されたマイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、
特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信する、
処理をコンピュータに実行させることを特徴とするメイク支援プログラム。
【請求項２】
前記特定の表情は、喜び、驚き、嫌悪、悲しみ、恐怖、怒りのいずれかを表す顔の表情である、
ことを特徴とする請求項１に記載のメイク支援プログラム。
【請求項３】
前記撮像画像を特定する処理は、前記対象者に対応する第１の端末装置から該第１の端末装置に対する操作に応じて送信された指示に基づいて、前記撮像画像を特定し、
前記撮像画像と、前記音声又は前記データとを送信する処理は、前記撮像画像と、前記音声又は前記データとを前記第１の端末装置に送信する、
ことを特徴とする請求項１又は２に記載のメイク支援プログラム。
【請求項４】
前記撮像画像を特定する処理は、前記メイクを施す者に対応する第２の端末装置から該第２の端末装置に対する操作に応じて送信された指示に基づいて、前記撮像画像を特定し、
前記撮像画像と、前記音声又は前記データとを送信する処理は、前記撮像画像と、前記音声又は前記データとを前記第２の端末装置に送信する、
ことを特徴とする請求項１又は２に記載のメイク支援プログラム。
【請求項５】
化粧台に搭載された前記マイクと前記対象者を撮像するカメラを用いて前記対象者を撮像した撮像画像と収音された音声とを受信し、
受信した前記撮像画像と前記音声とを記憶部に保存する、
ことを特徴とする請求項１から４のいずれか１項に記載のメイク支援プログラム。
【請求項６】
前記撮像画像を特定する処理は、前記対象者が行った前記特定の表情を含む撮像画像を抽出する操作に基づいて生成された指示に基づいて、該特定の表情を含む撮像画像を前記特定の表情が検出される撮像画像として特定する、
ことを特徴とする請求項１から５のいずれか１項に記載のメイク支援プログラム。
【請求項７】
メイクを施される対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、
前記メイクが施される場所に配置されたマイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、
特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信する、
処理をコンピュータが実行することを特徴とするメイク支援方法。
【請求項８】
メイクを施される対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、
前記メイクが施される場所に配置されたマイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、
特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信する、
処理を実行する処理部を備えることを特徴とするメイク支援装置。
【請求項９】
メイクを施される対象者を撮像する撮像装置と前記メイクが施される場所に配置されたマイクとが搭載された化粧台と、
前記対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、前記マイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信するサーバ装置と、
を備えることを特徴とするメイク支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、メイク支援プログラム、メイク支援方法、メイク支援装置、及びメイク支援システムに関する。
【背景技術】
【０００２】
ユーザを撮影するカメラと、カメラが撮影するユーザが視認できる場所に表示面を有するディスプレイと、カメラが撮影したユーザの画像をディスプレイに出力するコントローラとを備えた電子ミラー装置を見ながら、ユーザが化粧をすることが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／１２５８３１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、美容師が美容室で顧客に化粧やヘアメイクなど（以下、単にメイクという。）を施す際に、顧客との会話の中でどの化粧品を使用してどのように化粧を施したかなどを説明することがある。美容師からの説明は顧客にとって有用な情報であるにも関わらず、美容師がメイクを施し終えると、美容師と顧客の記憶を除けば、その情報は残っていないことが多い。このため、顧客が自宅に戻ってから同様のメイクを自身に施したり、美容師が別の顧客に同様のメイクを施したりすることができないという問題がある。
【０００５】
そこで、１つの側面では、メイク時の情報を再現できるメイク支援プログラム、メイク支援方法、メイク支援装置、及びメイク支援システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
１つの実施態様では、メイク支援プログラムは、メイクを施される対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、前記メイクが施される場所に配置されたマイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信する、処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００７】
メイク時の情報を再現することができる。
【図面の簡単な説明】
【０００８】
【図１】図１はメイク支援システムの一例を説明するための図である。
【図２】図２は管理サーバのハードウェア構成の一例である。
【図３】図３は化粧台、管理サーバ、携帯端末、及び管理端末のブロック図の一例である。
【図４】図４は画像記憶部の一例である。
【図５】図５は音声記憶部の一例である。
【図６】図６はメイク支援システムの動作の一例を示す処理シーケンス図である。
【図７】図７はメイク支援システムの動作の他の一例を示す処理シーケンス図（その１）である。
【図８】図８はメイク支援システムの動作の他の一例を示す処理シーケンス図（その２）である。
【図９】図９（ａ）は撮像画像と文字列の表示例である。図９（ｂ）は撮像画像の表示と音声の出力例である。
【発明を実施するための形態】
【０００９】
以下、本件を実施するための形態について図面を参照して説明する。
【００１０】
図１はメイク支援システムＳの一例を説明するための図である。メイク支援システムＳは化粧台又は鏡台（以下、単に化粧台という。）１００、化粧支援装置としての管理サーバ２００、第１の端末装置としての携帯端末３００、及び第２の端末装置としての管理端末４００を備えている。メイク支援システムＳは携帯端末３００と管理端末４００の両方を備えていてもよいし、携帯端末３００と管理端末４００の一方を備えていてもよい。管理サーバ２００は例えばクラウドＣＬ上のデータセンターＤＣ内に設置される。尚、図１では、携帯端末３００の一例としてスマートフォンが示され、管理端末４００の一例としてPersonal Computer（ＰＣ）が示されているが、携帯端末３００及び管理端末４００はこれらの端末装置に限定されない。例えば、携帯端末３００としてＰＣを使用し、管理端末４００としてタブレット端末やウェアラブル端末といった端末装置を使用してもよい。
【００１１】
化粧台１００、管理サーバ２００、携帯端末３００、及び管理端末４００は互いに接続されている。より詳しくは、化粧台１００、管理サーバ２００、携帯端末３００、及び管理端末４００は通信ネットワークＮＷを介して接続されている。特に、携帯端末３００は無線通信ＷＬ及び携帯基地局ＢＳを介して化粧台１００、管理サーバ２００、及び管理端末４００と接続されている。したがって、例えば、携帯基地局ＢＳの通信可能領域ＡＲ内に携帯端末３００が含まれていれば、携帯端末３００は無線通信ＷＬ、携帯基地局ＢＳ、及び通信ネットワークＮＷを介して管理サーバ２００にアクセスすることができる。尚、無線通信ＷＬとしては例えばLong Term Evolution（ＬＴＥ）といった広域無線通信などがある。通信ネットワークＮＷとしては例えばインターネットなどがある。例えば、化粧台１００に近距離用の無線通信機器（例えばルータやアクセスポイントなど）を設け、携帯端末３００が近距離無線通信を利用して化粧台１００にアクセスするようにしてもよい。近距離無線通信としては、例えばＷｉ−Ｆｉ（登録商標）などがある。
【００１２】
化粧台１００は美容室Ｘに設置される。より詳しくは、化粧台１００は顧客１０にメイクが施される施術場所Ｘ１に設置される。顧客１０はメイク対象者である。化粧台１００はカメラ１００Ａ、マイク１００Ｂ、鏡１００Ｃ、並びに化粧台１００の起動と稼働停止をオンとオフにより切り替えるスイッチ（不図示）などを備えている。特に、化粧台１００はディスプレイではなくディスプレイより反射率が高い鏡１００Ｃを備えている。このため、メイクが施される顧客１０の頭部（より詳しくは顔面）及び胸部をディスプレイより忠実に再現することができる。詳細は後述するが、例えば、化粧台１００のスイッチがオフからオンに切り替えられると、化粧台１００に搭載されたカメラ１００Ａは撮像領域内の撮像を開始し、化粧台１００に搭載されたマイク１００Ｂは周囲の音声の収音を開始する。したがって、撮像領域内に顧客１０やメイク施術者である美容師２０が含まれていれば、カメラ１００Ａは顧客１０や美容師２０を撮像する。また、顧客１０と美容師２０が会話を行えば、マイク１００Ｂは顧客１０と美容師２０の音声を収音する。化粧台１００はカメラ１００Ａが撮像した撮像領域内に応じた画像データである撮像画像とマイク１００Ｂが収音した音声（より詳しくは音声データ）とを管理サーバ２００に向けて送信する。尚、スイッチは美容師２０によって切り替えられてもよいし、美容師２０以外の者によって切り替えられてもよい。
【００１３】
管理サーバ２００は化粧台１００から送信された撮像画像と音声を受信すると、受信した撮像画像と音声を記憶する。これにより、顧客１０一人に対するメイクが完了する度にそのメイク時の撮像画像と音声が情報として管理サーバ２００に蓄積される。すなわち、管理サーバ２００はメイク時の情報の履歴を管理する。そして、管理サーバ２００は携帯端末３００又は管理端末４００からのアクセスを検出すると、撮像画像と音声又は音声をテキストに変換して得られた文字列データ（以下、文字列という。）を関連付けて、アクセス元の携帯端末３００又は管理端末４００に送信する。
【００１４】
携帯端末３００はメイクが施された時より後に顧客１０によって操作される。すなわち、携帯端末３００と顧客１０は対応している。携帯端末３００が操作される場所は顧客１０の自宅であってもよいし、自宅以外の場所（例えば公共施設や商業施設の化粧室など）であってもよい。例えば、顧客１０が自宅で美容師２０から施されたメイクと同様のメイクを自身に施す場合、顧客１０は携帯端末３００を操作して管理サーバ２００にアクセスし、メイク時の撮像画像と撮像時刻及びその近傍の時刻の音声に相当する文字列を取得して携帯端末３００に表示させる。これにより、顧客１０は美容師２０から施されたメイクと同様のメイクを再現することができる。
【００１５】
管理端末４００は美容室Ｘに設置される。より詳しくは、管理端末４００は顧客１０にメイクが施される施術場所Ｘ１と異なる場所Ｘ２（例えばスタッフルームなど）に設置される。管理端末４００はメイクが施された時より後に美容師２０によって操作される。すなわち、管理端末４００と美容師２０は対応している。例えば、美容師２０が顧客１０に施したメイクと同様のメイクを別の顧客（不図示）に施す予定がある場合、美容師２０は管理端末４００を操作して管理サーバ２００にアクセスし、メイク時の撮像画像と撮像時刻及びその近傍の時刻の音声に相当する文字列を取得して管理端末４００に表示させる。これにより、美容師２０は顧客１０に施したメイクの成功例や失敗例を確認することができる。
【００１６】
以下、メイク支援システムＳの詳細について説明する。
【００１７】
図２は管理サーバ２００のハードウェア構成の一例である。尚、上述した携帯端末３００及び管理端末４００については基本的に管理サーバ２００と同様のハードウェア構成であるため、説明を省略する。図２に示すように、管理サーバ２００は、少なくともハードウェアプロセッサとしてのCentral Processing Unit（ＣＰＵ）２００Ａ、Random Access Memory（ＲＡＭ）２００Ｂ、Read Only Memory（ＲＯＭ）２００Ｃ及びネットワークＩ／Ｆ（インタフェース）２００Ｄを含んでいる。管理サーバ２００は、必要に応じて、Hard Disk Drive（ＨＤＤ）２００Ｅ、入力Ｉ／Ｆ２００Ｆ、出力Ｉ／Ｆ２００Ｇ、入出力Ｉ／Ｆ２００Ｈ、ドライブ装置２００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ２００Ａからドライブ装置２００Ｉまでは、内部バス２００Ｊによって互いに接続されている。少なくともＣＰＵ２００ＡとＲＡＭ２００Ｂとが協働することによってコンピュータが実現される。尚、ＣＰＵ２００Ａに代えてMicro Processing Unit（ＭＰＵ）をハードウェアプロセッサとして利用してもよい。
【００１８】
入力Ｉ／Ｆ２００Ｆには、入力装置７１０が接続される。入力装置７１０としては、例えばキーボードやマウスなどがある。出力Ｉ／Ｆ２００Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。入出力Ｉ／Ｆ２００Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ２００Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。入力Ｉ／Ｆ２００Ｆ及び入出力Ｉ／Ｆ２００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ２００Ｇは、例えばディスプレイポートを備えている。
【００１９】
ドライブ装置２００Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置２００Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。ネットワークＩ／Ｆ２００Ｄは、例えば通信回路及びLocal Area Network（ＬＡＮ）ポートを備えている。ネットワークＩ／Ｆ２００Ｄは上述した通信ネットワークＮＷと接続される。
【００２０】
上述したＲＡＭ２００Ｂには、ＲＯＭ２００ＣやＨＤＤ２００Ｅに記憶されたプログラムがＣＰＵ２００Ａによって格納される。ＲＡＭ２００Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ２００Ａによって格納される。格納されたプログラムをＣＰＵ２００Ａが実行することにより、ＣＰＵ２００Ａは後述する各種の機能を実現し、また、後述する各種の処理を実行する。尚、プログラムは後述する処理シーケンス図に応じたものとすればよい。
【００２１】
図３は化粧台１００、管理サーバ２００、携帯端末３００、及び管理端末４００のブロック図の一例である。図４は画像記憶部２０３の一例である。図５は音声記憶部２０４の一例である。特に、図３では、化粧台１００、管理サーバ２００、及び携帯端末３００が備える機能の要部が示されている。尚、管理端末４００は基本的に携帯端末３００の同様の機能を有するため、機能の詳細が省略されている。
【００２２】
まず、化粧台１００について説明する。化粧台１００は撮像部１０１、収音部１０２、及び通信部１０３を有する。尚、撮像部１０１は上述したカメラ１００Ａによって実現することができる。収音部１０２は上述したマイク１００Ｂによって実現することができる。通信部１０３は例えば通信回路及びＬＡＮポートによって実現することができる。
【００２３】
撮像部１０１は撮像領域内を撮像する。したがって、撮像領域内に顧客１０が含まれていれば、撮像部１０１は顧客１０を含む撮像領域内を撮像する。撮像領域内に顧客１０と美容師２０が含まれていれば、撮像部１０１は顧客１０と美容師２０を含む撮像領域内を撮像する。また、撮像部１０１は撮像領域内の静止画を連続して又は定期的に撮像する。言い換えれば、撮像部１０１は撮像領域内の動画を撮像する。撮像部１０１は撮像領域内を撮像すると、撮像領域内に応じた撮像画像を撮像日時及び顧客１０を識別する情報（以下、顧客ＩＤという。）と関連付けて通信部１０３に出力する。尚、撮像部１０１は化粧台１００のスイッチがオフからオンに切り替えられたことを検出すると撮像を開始し、そのスイッチがオンからオフに切り替えられたことを検出すると撮像を停止する。
【００２４】
収音部１０２は周囲の音声を収音する。したがって、収音部１０２の周囲で顧客１０と美容師２０が会話を行えば、収音部１０２は顧客１０と美容師２０が行った会話の音声を収音する。収音部１０２の周囲で美容師２０が顧客１０にメイクに関するアドバイスを行えば、収音部１０２は美容師２０が行ったアドバイスの音声を収音する。収音部１０２は音声を収音すると、収音した音声を収音日時及び顧客ＩＤと関連付けて通信部１０３に出力する。尚、収音部１０２は化粧台１００のスイッチがオフからオンに切り替えられたことを検出すると収音を開始し、そのスイッチがオンからオフに切り替えられたことを検出すると収音を停止する。
【００２５】
通信部１０３は化粧台１００と管理サーバ２００との通信を制御する。通信部１０３は撮像部１０１から出力された撮像画像と収音部１０２から出力された音声の入力を受け付けると、撮像画像と音声を物理層及びアプリケーション層等のプロトコルに従って管理サーバ２００に送信する。より詳しくは、通信部１０３は撮像画像と音声の入力を受け付けている限り、撮像画像と音声を管理サーバ２００に向けて送信し続ける。そして、通信部１０３は撮像画像と音声の入力を受け付けなくなると、撮像画像と音声の送信を停止する。すなわち、化粧台１００のスイッチがオンからオフに切り替えられると、通信部１０３は撮像画像と音声の送信を停止する。
【００２６】
次に、管理サーバ２００について説明する。管理サーバ２００は通信部２０１、処理部２０２、画像記憶部２０３、及び音声記憶部２０４を有する。尚、通信部２０１は上述したネットワークＩ／Ｆ２００Ｄによって実現することができる。処理部２０２は上述したＣＰＵ２００Ａによって実現することができる。画像記憶部２０３及び音声記憶部２０４は上述したＨＤＤ２００Ｄによって実現することができる。特に、画像記憶部２０３及び音声記憶部２０４は２つのＨＤＤ２００Ｄによって実現してもよいし、１つのＨＤＤ２００Ｄにおいて記憶領域を分けて実現してもよい。
【００２７】
通信部２０１は管理サーバ２００と化粧台１００、携帯端末３００及び管理端末４００との通信を制御する。例えば、通信部２０１は化粧台１００から送信された撮像画像と音声を物理層のプロトコルに従って受信し、受信した撮像画像と音声を処理部２０２に送信する。例えば、通信部２０１は処理部２０２からアプリケーション層のプロトコルに従って送信された種々のデータを携帯端末３００や管理端末４００に物理層のプロトコルに従って送信する。尚、通信部２０１が送信するデータとしては、例えば撮像画像や音声、文字列などがある。
【００２８】
処理部２０２は通信部２０１から送信された撮像画像と音声をアプリケーション層のプロトコルに従って受信すると、受信した撮像画像を画像記憶部２０３に保存し、受信した音声を音声記憶部２０４に保存する。また、処理部２０２は画像記憶部２０３から撮像画像を抽出し、抽出した撮像画像を再生する。さらに、処理部２０２はアプリケーション層のプロトコルに従って種々のデータを通信部２０１に送信する。その他、処理部２０２は種々の処理を実行するが、処理の詳細については後述する。
【００２９】
ここで、処理部２０２が画像記憶部２０３に保存する撮像画像には顧客ＩＤ及び撮像日時が関連付けられているため、画像記憶部２０３は、図４に示すように、顧客ＩＤ、撮像画像、及び撮像日時を含む撮像履歴データＤ１を顧客ＩＤ毎に記憶する。特に、図４に示す撮像履歴データＤ１によれば、撮像画像に現れる顧客１０の表情は美容師２０から施されたメイクＭＫの内容により変化する。例えば、撮像画像ＩＭ１には怒った顔の顧客１０が現われている。例えば、撮像画像ＩＭ２には悲しんだ顔の顧客１０が現われている。例えば、撮像画像ＩＭ３には喜んだ顔の顧客１０が現われている。これらの表情以外にも、例えば、撮像画像には驚いた顔、嫌悪を示す顔、又は恐怖を示す顔の顧客１０が現わることもある。
【００３０】
また、処理部２０２が音声記憶部２０４に保存する音声には顧客ＩＤ及び収音日時が関連付けられているため、音声記憶部２０４は、図５に示すように、顧客ＩＤ、音声、及び収音日時を含む音声履歴データＤ２を顧客ＩＤ毎に記憶する。特に、図５に示す音声履歴データＤ２によれば、音声にはメイクに関する美容師２０からの説明が含まれる。当該説明としては、メイクの色、メイクの施術箇所や施術手法のほか、使用した化粧品のメーカーや金額などがある。また、美容師２０からの説明に対して顧客１０が返答することもあるため、図示しないが、音声には顧客１０からの感想が含まれることもある。例えば、顧客１０が美容師２０から施されたメイクを気に入れば、肯定的な感想（例えば「素敵」や「良い」など）が音声に含まれる。逆に、顧客１０が美容師２０から施されたメイクを気に入らなければ、否定的な感想（例えば「嫌だ」や「悪い」など）が音声に含まれる。
【００３１】
次に、携帯端末３００について説明する。図３に示すように、携帯端末３００は入力部３０１、表示部３０２、通信部３０３、及び制御部３０４を有する。携帯端末３００に音声を出力する音声出力部を含めてもよい。尚、入力部３０１は例えばタッチパネルによって実現することができる。表示部３０２は液晶ディスプレイによって実現することができる。通信部３０３は広域無線通信回路及びアンテナによって実現することができる。制御部３０４はＣＰＵによって実現することができる。音声出力部は例えばスピーカによって実現することができる。尚、管理端末４００であれば、入力部（不図示）は例えばキーボード及びポインティングデバイスによって実現することができ、通信部（不図示）は通信回路及びＬＡＮポートによって実現することができる。
【００３２】
入力部３０１は顧客１０が行った操作に基づく種々の入力を受け付ける。例えば、顧客１０が顧客ＩＤを入力する操作を行うと、顧客ＩＤの入力を受け付ける。例えば、顧客１０が管理サーバ２００に撮像画像の再生を要求する操作を行うと、再生を要求する操作に基づく入力を受け付ける。例えば、顧客１０が管理サーバ２００によって再生された撮像画像の一部を抽出する抽出操作を画像編集用アプリケーションプログラム（以下、画像編集アプリという。）などの公知技術を用いて行うと、抽出操作に基づく入力を受け付ける。入力部３０１は入力を受け付けると、受け付けた入力を制御部１０４に出力する。
【００３３】
表示部３０２は種々のデータを表示する。例えば、表示部３０２は管理サーバ２００によって再生された撮像画像を表示する。例えば、表示部３０２は管理サーバ２００が特定した一部の撮像画像とその撮像時刻の撮像日時及びその近傍に対応する収音日時の音声を変換した文字列とを関連付けて表示する。尚、表示部３０２が表示する撮像画像は動画であってもよいし、静止画であってもよい。
【００３４】
通信部３０３は携帯端末３００と管理サーバ２００との通信を制御する。例えば、通信部３０３は入力部３０１が受け付けた顧客ＩＤを物理層のプロトコルに従って管理サーバ２００に向けて送信する。例えば、通信部３０３は撮像画像の一部を特定する画像特定指示を物理層のプロトコルに従って送信する。その他、通信部３０３は管理サーバ２００から撮像画像と文字列を物理層のプロトコルに従って受信すると、受信した撮像画像と文字列を制御部３０４に送信する。
【００３５】
制御部３０４は携帯端末３００の動作全体を制御する。例えば、制御部３０４は入力部３０１から出力された入力を受け付けると、入力の種別を判断し、顧客ＩＤの入力であれば、顧客ＩＤをアプリケーション層のプロトコルに従って通信部３０３に送信する。例えば、制御部３０４は入力の種別を判断した結果、撮像画像の再生を要求する操作に基づく入力であれば、通信部３０３に撮像画像の再生を要求させ、抽出操作に基づく入力であれば、画像特定指示を生成してアプリケーション層のプロトコルに従って通信部３０３に送信する。その他、制御部３０４は通信部３０３から撮像画像と文字列をアプリケーション層のプロトコルに従って受信すると、受信した撮像画像と文字列を表示部３０２に出力する。
【００３６】
続いて、メイク支援システムＳの動作について説明する。
【００３７】
図６はメイク支援システムＳの動作の一例を示す処理シーケンス図である。特に、図６は撮像画像及び音声を管理サーバ２００に蓄積する蓄積処理に関する処理シーケンス図を表している。尚、蓄積処理においては、携帯端末３００及び管理端末４００は操作が行われない限り特に処理を実行せずに待機する。尚、図６並びに後述する図７乃至図９では、一例として携帯端末３００について説明し、管理端末４００については携帯端末３００の動作と基本的に同様であるため、説明を省略する。
【００３８】
まず、化粧台１００の撮像部１０１及び収音部１０２はスイッチがオフからオンに切り替えられたことを検出するまで待機する（ステップＳ１０１：ＮＯ）。そして、撮像部１０１及び収音部１０２はスイッチがオフからオンに切り替えられたことを検出すると（ステップＳ１０１：ＹＥＳ）、通信部１０３は撮像画像と音声を管理サーバ２００に送信する（ステップＳ１０２）。
【００３９】
一方、管理サーバ２００の処理部２０２は化粧台１００から送信された撮像画像と音声を受信する（ステップＳ２０１）。処理部２０２は撮像画像と音声を受信すると、処理部２０２は撮像画像と音声を保存する（ステップＳ２０２）。すなわち、処理部２０２は化粧台１００から送信された撮像画像と音声を通信部２０１を介して受信すると、受信した撮像画像と音声をそれぞれ画像記憶部２０３と音声記憶部２０４に分けて保存する。これにより、管理サーバ２００には撮像画像と音声が蓄積される。
【００４０】
図７はメイク支援システムＳの動作の他の一例を示す処理シーケンス図（その１）である。図８はメイク支援システムＳの動作の他の一例を示す処理シーケンス図（その２）である。特に、図７及び図８は撮像画像及び音声を携帯端末３００に表示する表示処理に関する処理シーケンス図を表している。図９（ａ）は撮像画像ＩＭ３と文字列Ｔの表示例である。図９（ｂ）は撮像画像ＩＭ３の表示と音声Ｖの出力例である。尚、表示処理においては、化粧台１００はスイッチがオフからオンに切り替えられない限り特に処理を実行せずに待機する。
【００４１】
まず、図７に示すように、携帯端末３００の制御部３０４は顧客ＩＤの入力を受け付けるまで待機する（ステップＳ３１１：ＮＯ）。そして、制御部３０４は顧客ＩＤの入力を受け付けると（ステップＳ３１１：ＹＥＳ）、制御部３０４は顧客ＩＤを管理サーバ２００に送信する（ステップＳ３１２）。すなわち、制御部３０４は通信部３０３を介して顧客ＩＤを管理サーバ２００に送信する。ステップＳ３１２の処理が完了すると、制御部３０４は撮像画像の再生を要求する入力を受け付けるまで待機する（ステップＳ３１３：ＮＯ）。
【００４２】
一方、管理サーバ２００の処理部２０２は携帯端末３００から送信された顧客ＩＤを受信する（ステップＳ２１１）。ステップＳ２１１の処理が完了すると、次いで、処理部２０２は撮像画像を抽出する（ステップＳ２１２）。より詳しくは、処理部２０２は通信部２０１から送信された顧客ＩＤを受信すると、受信した顧客ＩＤに基づいて画像記憶部２０３から顧客ＩＤを含む撮像履歴データＤ１を抽出する。ステップＳ２１２の処理が完了すると、処理部２０２は撮像画像の再生要求を検出するまで待機する（ステップＳ２１３：ＮＯ）。
【００４３】
ここで、携帯端末３００の制御部３０４は撮像画像の再生を要求する入力を受け付けると（ステップＳ３１３：ＹＥＳ）、制御部３０４は撮像画像の再生を管理サーバ２００に要求する（ステップＳ３１４）。すなわち、制御部３０４は通信部３０３を介して撮像画像の再生を要求する。これにより、管理サーバ２００の処理部２０２は撮像画像の再生要求を検出し（ステップＳ２１３：ＹＥＳ）、撮像画像を再生する（ステップＳ２１４）。処理部２０２が撮像画像を再生し始めると、携帯端末３００の表示部３０２は処理部２０２が再生した撮像画像を表示する（ステップＳ３１５）。より詳しくは、管理サーバ２００の処理部２０２は撮像画像を再生してストリーミングにより送信し、携帯端末３００の制御部３０４はストリーミングにより送信された撮像画像を、通信部３０３を介して受信し、表示部３０２に表示する。これにより、表示部３０２には連続した撮像画像が時系列に出現する。
【００４４】
図８に移り、次いで、携帯端末３００の制御部３０４は抽出操作の入力を受け付けるまで待機する（ステップＳ３１６：ＮＯ）。そして、制御部３０４は抽出操作の入力を受け付けると（ステップＳ３１６：ＹＥＳ）、制御部３０４は通信部３０３を介して画像特定指示を管理サーバ２００に送信する（ステップＳ３１７）。すなわち、表示部３０２が連続して表示する撮像画像の中から特定の表情（例えば喜んだ顔など）を含む撮像画像を顧客１０が画像編集アプリなどの公知技術を用いて抽出する抽出操作を行うと、制御部３０４は抽出操作の入力を受け付け、受け付けた入力に基づいて、その特定の表情を含む撮像画像を特定する画像特定指示を生成して送信する。尚、顧客１０が行う抽出操作によって抽出される撮像画像は１つの静止画であってもよいし、連続した複数の静止画（すなわち、一定時間内の動画）であってもよい。
【００４５】
一方、管理サーバ２００の処理部２０２は通信部２０１を介して携帯端末３００から送信された画像特定指示を受信する（ステップＳ２１５）。ステップＳ２１５の処理が完了すると、次いで、処理部２０２は撮像画像を特定する（ステップＳ２１６）。より詳しくは、処理部２０２は画像特定指示を受信すると、受信した画像特定指示に基づいて、上記特定の表情を含む撮像画像を特定の表情が検出される撮像画像として特定する。例えば、喜んだ顔の表情を含む撮像画像を特定する画像特定指示を受信した場合、喜んだ顔の表情を含む撮像画像を喜んだ顔の表情が検出される撮像画像ＩＭ３として特定する（図４参照）。
【００４６】
ステップＳ２１６の処理が完了すると、次いで、処理部２０２は音声を特定する（ステップＳ２１７）。より詳しくは、処理部２０２は音声記憶部２０４にアクセスし、ステップＳ２１６の処理で特定した撮像画像の撮像時刻とその近傍で収音された音声を特定する。例えば、処理部２０２が上述した撮像画像ＩＭ３を特定した場合、その撮像時刻の音声又はその撮像時刻とその近傍の音声とを特定する（図５参照）。
【００４７】
ステップＳ２１７の処理が完了すると、次いで、処理部２０２は音声を文字列に変換する（ステップＳ２１８）。より詳しくは、処理部２０２はステップＳ２１７の処理で特定した音声を公知の音声認識技術を利用したテキスト変換処理に基づいて文字列に変換する。尚、処理部２０２はステップＳ２１８の処理を実行せずにスキップし、後続の処理を実行してもよい。
【００４８】
ステップＳ２１８の処理が完了すると、次いで、処理部２０２は撮像画像と文字列を送信する（ステップＳ２１９）。より詳しくは、処理部２０２は通信部２０１を介してステップＳ２１６の処理で特定した撮像画像とステップＳ２１８の処理で得られた文字列を携帯端末３００に向けて送信する。尚、処理部２０２がステップＳ２１８の処理をスキップした場合、処理部２０２はステップＳ２１６の処理で特定した撮像画像とステップＳ２１７の処理で特定した音声を携帯端末３００に向けて送信する。
【００４９】
ステップＳ２１９の処理が完了すると、次いで、携帯端末３００の制御部３０４は撮像画像と文字列を受信する（ステップＳ３１８）。より詳しくは、制御部３０４は通信部３０３を介して管理サーバ２００から送信された撮像画像と文字列を受信する。尚、管理サーバ２００から撮像画像と音声が送信された場合、制御部３０４は通信部３０３を介して撮像画像と音声を受信する。
【００５０】
ステップＳ３１８の処理が完了すると、次いで、制御部３０４は撮像画像と文字列を表示する（ステップＳ３１９）。これにより、図９（ａ）に示すように、携帯端末３００の表示部３０２には顧客１０が抽出操作を行って抽出した撮像画像ＩＭ３だけでなく、撮像画像ＩＭ３の撮像時に収音された音声に相当する文字列Ｔが表示される。したがって、顧客１０は美容師２０が施したメイクＭＫと同様のメイクを自宅に戻ってから自分に施すことができる。また、美容師２０は別の顧客に同様のメイクを施す場合に、撮像画像ＩＭ３と文字列Ｔを過去の施術例として参考にすることができる。
【００５１】
尚、制御部３０４が撮像画像と音声を受信した場合、図９（ｂ）に示すように、携帯端末３００の表示部３０２には顧客１０が抽出操作を行って抽出した撮像画像ＩＭ３が表示され、携帯端末３００の音声出力部３０５には撮像画像ＩＭ３の撮像時に収音された音声Ｖが出力される。このように、制御部３０４が文字列ではなく音声を受信した場合であっても、顧客１０は美容師２０が施したメイクＭＫと同様のメイクを自分に施すことができる。また、美容師２０は別の顧客に同様のメイクを施す場合に、撮像画像ＩＭ３と音声Ｖを過去の施術例として参考にすることができる。
【００５２】
以上、本実施形態によれば、管理サーバ２００は処理部２０２を備えている。処理部２０２はメイクＭＫを施される顧客１０を撮像した撮像画像から、特定の表情が検出される撮像画像を特定する。また、処理部２０２はメイクＭＫが施される施術場所Ｘ１に配置されたマイク１００Ｂで収音された音声のうち、特定した撮像画像の撮像時刻とその近傍で収音された音声を特定する。そして、処理部２０２は特定した撮像画像と、特定した音声又は特定した音声をテキスト変換して得られたデータとを送信する。これにより、メイク時の情報を再現することができる。
【００５３】
特に、本実施形態によれば、特定の表情が検出される撮像画像だけでなく、その撮像画像の撮像時刻とその近傍で収音された音声又は音声に相当する文字列が撮像画像と併せて携帯端末３００や管理端末４００に出力される。このため、顧客１０や美容師２０は完成したメイクだけでなく、メイクの開始から特定の表情が検出されるメイク終了時又はその近傍までのメイク過程の情報（具体的にはメイクの施術箇所や施術手法など）を確認でき、過去のメイクの再現精度が向上する。
【００５４】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述した実施形態では美容室を一例として説明したが、美容室に代えて百貨店における化粧品売場（具体的には化粧コーナーや化粧ブースなど）であってもよい。
【００５５】
また、上述した実施形態では、管理サーバ２００が処理部２０２、画像記憶部２０３、及び音声記憶部２０４を有していたが、処理部２０２、画像記憶部２０３、及び音声記憶部２０４を化粧台１００に設け、携帯端末３００や管理端末４００が化粧台１００にアクセスするようにしてもよい。さらに、化粧台１００に処理部２０２と異なる別の処理部を設け、別の処理部が処理部２０２によって実行される処理の一部又は全部を実行するようにしてもよい。さらに、上述した実施形態では、処理部２０２は画像特定指示に基づいて特定の表情が検出される撮像画像を特定したが、例えば、再生した撮像画像の中から顔面の中の特定の部位（パーツ）の角度に基づいて、特定の表情が検出される撮像画像を特定するようにしてもよい。一例を挙げれば、眼尻の角度が下がっていれば、処理部２０２は悲しみの表情が検出される撮像画像を特定し、口角が上がっていれば、処理部２０２は喜びの表情が検出される撮像画像を特定するようにしてもよい。
【００５６】
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）メイクを施される対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、前記メイクが施される場所に配置されたマイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信する、処理をコンピュータに実行させることを特徴とするメイク支援プログラム。
（付記２）前記特定の表情は、喜び、驚き、嫌悪、悲しみ、恐怖、怒りのいずれかを表す顔の表情である、ことを特徴とする付記１に記載のメイク支援プログラム。
（付記３）前記撮像画像を特定する処理は、前記対象者に対応する第１の端末装置から該第１の端末装置に対する操作に応じて送信された指示に基づいて、前記撮像画像を特定し、前記撮像画像と、前記音声又は前記データとを送信する処理は、前記撮像画像と、前記音声又は前記データとを前記第１の端末装置に送信する、ことを特徴とする付記１又は２に記載のメイク支援プログラム。
（付記４）前記撮像画像を特定する処理は、前記メイクを施す者に対応する第２の端末装置から該第２の端末装置に対する操作に応じて送信された指示に基づいて、前記撮像画像を特定し、前記撮像画像と、前記音声又は前記データとを送信する処理は、前記撮像画像と、前記音声又は前記データとを前記第２の端末装置に送信する、ことを特徴とする付記１又は２に記載のメイク支援プログラム。
（付記５）化粧台に搭載された前記マイクと前記対象者を撮像するカメラを用いて前記対象者を撮像した撮像画像と収音された音声とを受信し、受信した前記撮像画像と前記音声とを記憶部に保存する、ことを特徴とする付記１から４のいずれか１項に記載のメイク支援プログラム。
（付記６）前記撮像画像を特定する処理は、前記対象者が行った前記特定の表情を含む撮像画像を抽出する操作に基づいて生成された指示に基づいて、該特定の表情を含む撮像画像を前記特定の表情が検出される撮像画像として特定する、ことを特徴とする付記１から５のいずれか１項に記載のメイク支援プログラム。
（付記７）メイクを施される対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、前記メイクが施される場所に配置されたマイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信する、処理をコンピュータが実行することを特徴とするメイク支援方法。
（付記８）メイクを施される対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、前記メイクが施される場所に配置されたマイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信する、処理を実行する処理部を備えることを特徴とするメイク支援装置。
（付記９）前記処理部は、前記対象者に対応する第１の端末装置から該第１の端末装置に対する操作に応じて送信された指示に基づいて、前記撮像画像を特定し、前記撮像画像と、前記音声又は前記データとを前記第１の端末装置に送信する、ことを特徴とする付記８に記載のメイク支援装置。
（付記１０）前記処理部は、前記メイクを施す者に対応する第２の端末装置から該第２の端末装置に対する操作に応じて送信された指示に基づいて、前記撮像画像を特定し、前記撮像画像と、前記音声又は前記データとを前記第２の端末装置に送信する、ことを特徴とする付記８に記載のメイク支援装置。
（付記１１）前記処理部は、化粧台に搭載された前記マイクと前記対象者を撮像するカメラを用いて前記対象者を撮像した撮像画像と収音された音声とを受信し、受信した前記撮像画像と前記音声とを記憶部に保存する、ことを特徴とする付記８から１０のいずれか１項に記載のメイク支援装置。
（付記１２）前記処理部は、前記対象者が行った前記特定の表情を含む撮像画像を抽出する操作に基づいて生成された指示に基づいて、該特定の表情を含む撮像画像を前記特定の表情が検出される撮像画像として特定する、ことを特徴とする付記８から１１のいずれか１項に記載のメイク支援装置。
（付記１３）メイクを施される対象者を撮像する撮像装置と前記メイクが施される場所に配置されたマイクとが搭載された化粧台と、前記対象者を撮像した撮像画像から、特定の表情が検出される撮像画像を特定し、前記マイクで収音された音声のうち、特定した前記撮像画像の撮像時刻の近傍で収音された音声を特定し、特定した前記撮像画像と、特定した前記音声又は特定した前記音声をテキスト変換して得られたデータとを送信するサーバ装置と、を備えることを特徴とするメイク支援システム。
【符号の説明】
【００５７】
Ｓ  メイク支援システム
１００  化粧台
１０１  撮像部
１０２  収音部
１０３  通信部
２００  管理サーバ
２０１  通信部
２０２  処理部
２０３  画像記憶部
２０４  音声記憶部
３００  携帯端末
３０１  入力部
３０２  表示部
３０３  通信部
３０４  制御部
【図１】
2019091315.tif 000003
【図２】
2019091315.tif 000004
【図３】
2019091315.tif 000005
【図４】
2019091315.tif 000006
【図５】
2019091315.tif 000007
【図６】
2019091315.tif 000008
【図７】
2019091315.tif 000009
【図８】
2019091315.tif 000010
【図９】
2019091315.tif 000011