(57)【要約】【課題】表情の改善を支援できる表情改善支援プログラムを提供する。【解決手段】カメラを備えるコンピュータに処理を実行させる表情改善支援プログラムであって、前記処理は、アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記カメラを共に起動し、前記カメラが撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して前記顔の表情を特定し、特定した前記表情を改善する助言を表すアドバイス情報を出力する、ことを特徴とする。【選択図】図５
2019159533.tif 000002
【特許請求の範囲】
【請求項１】
カメラを備えるコンピュータに処理を実行させる表情改善支援プログラムであって、
前記処理は、
アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記カメラを共に起動し、
前記カメラが撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して前記顔の表情を特定し、
特定した前記表情を改善する助言を表すアドバイス情報を出力する、
ことを特徴とする表情改善支援プログラム。
【請求項２】
前記指示を検出した場合、アプリケーションと該アプリケーションの属性を対応付けて記憶する属性記憶部を参照して、検出した前記指示に対応するアプリケーションに、稼働中に前記コンピュータの利用者が無表情になりやすいことを示す第１の属性が対応付けられている場合には、前記アプリケーションと前記カメラを共に起動する、
ことを特徴とする請求項１に記載の表情改善支援プログラム。
【請求項３】
前記指示を検出した場合、アプリケーションと該アプリケーションの属性を対応付けて記憶する属性記憶部を参照して、検出した前記指示に対応するアプリケーションに、稼働中に前記コンピュータの利用者に複数の表情が出やすいことを示す第２の属性が対応付けられている場合には、前記アプリケーションと前記カメラを共に起動する、
ことを特徴とする請求項１に記載の表情改善支援プログラム。
【請求項４】
前記処理は、前記顔の表情と前記アドバイス情報とを前記顔の表情毎に対応付けて記憶する情報記憶部を参照して、特定した前記表情に応じた前記アドバイス情報を抽出し、抽出した前記アドバイス情報を出力する、
ことを特徴とする請求項１から３のいずれか１項に記載の表情改善支援プログラム。
【請求項５】
前記処理は、前記顔の表情と前記アドバイス情報とを対応付けて前記コンピュータを利用する利用者毎に記憶する情報記憶部を参照して、利用者と特定した前記表情の組み合わせに応じた前記アドバイス情報を抽出し、抽出した前記アドバイス情報を出力する、
ことを特徴とする請求項１から３のいずれか１項に記載の表情改善支援プログラム。
【請求項６】
前記処理は、前記カメラが撮像する画像の中から前記顔に相当する領域を検出した場合、検出した前記領域を分析して化粧後の前記顔の表情を特定し、
特定した前記表情を改善する化粧方法に関する助言を表すアドバイス情報を出力する、
ことを特徴とする請求項１から５のいずれか１項に記載の表情改善支援プログラム。
【請求項７】
前記処理は、検出した前記領域を分析して前記顔の表情を表情毎に分類し、分類した前記表情の中から最も出現頻度が高い表情を特定する、
ことを特徴とする請求項１から６のいずれか１項に記載の表情改善支援プログラム。
【請求項８】
カメラを備えるコンピュータに処理を実行させる表情改善支援プログラムであって、
前記処理は、
アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記カメラを共に起動し、
前記カメラが撮像する画像の中から顔に相当する領域が検出され、検出された前記領域が分析されて前記顔の表情が特定された場合、特定された前記表情を改善する助言を表すアドバイス情報を出力する、
ことを特徴とする表情改善支援プログラム。
【請求項９】
カメラを備えるコンピュータが処理を実行する表情改善支援方法であって、
前記処理は、
アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記カメラを共に起動し、
前記カメラが撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して前記顔の表情を特定し、
特定した前記表情を改善する助言を表すアドバイス情報を出力する、
ことを特徴とする表情改善支援方法。
【請求項１０】
撮像部と、
アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記撮像部を共に起動し、前記撮像部が撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して前記顔の表情を特定し、特定した前記表情を改善する助言を表すアドバイス情報を出力する処理を実行する制御部と、
を有する表情改善支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、表情改善支援プログラム、表情改善支援方法、及び表情改善支援装置に関する。
【背景技術】
【０００２】
画像から顔表情を認識する技術が知られている（例えば特許文献１参照）。また、顔全体の表情を明るく生き生きとした印象に仕上げるための化粧方法も知られている（例えば特許文献２参照）。その他、化粧を支援する種々の技術が知られている（例えば特許文献３乃至５参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１４９０６３号公報
【特許文献２】特開２０１１−１８４４１５号公報
【特許文献３】特開２０１２−１２８５９７号公報
【特許文献４】特開２０１４−１４７５６０号公報
【特許文献５】特開２００７−０９７９５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、化粧の対象者は、自身に化粧を施す際、鏡を見ながら行うことが多い。この際、対象者は、自身に化粧を施しつつ、意識的に様々な表情を顔に出すことがある。例えば、対象者は真剣な表情を出したり、明るい表情を出したりする。すなわち、対象者はこのような表情によって周囲からの見え方を考えながら化粧を施す傾向にある。
【０００５】
しかしながら、対象者は表情がない状態又は表情が乏しい状態（以下、無表情という。）の際の周囲からの見え方を考えながら化粧を施すことは少ない。例えば、明るい表情の状態で施した化粧が無表情の際には暗い表情に見える可能性もある。すなわち、対象者が想定した表情ではない表情で周囲から見られる可能性がある。その他、このような化粧による表情に関わらず、対象者に出る表情によっては、周囲に様々な感情を持たれる可能性がある。
【０００６】
そこで、１つの側面では、表情の改善を支援できる表情改善支援プログラム、表情改善支援方法、及び表情改善支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施態様では、カメラを備えるコンピュータに処理を実行させる表情改善支援プログラムであって、前記処理は、アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記カメラを共に起動し、前記カメラが撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して前記顔の表情を特定し、特定した前記表情を改善する助言を表すアドバイス情報を出力する、ことを特徴とする。
【発明の効果】
【０００８】
表情の改善を支援することができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は第１実施形態に係る端末装置の正面図の一例である。図１（ｂ）はアイメイクを施した利用者の表情を説明するための図である。
【図２】図２は端末装置のハードウェア構成の一例である。
【図３】図３（ａ）は端末装置のブロック図の一例である。図３（ｂ）は情報記憶部の一例である。図３（ｃ）は画像記憶部の一例である。
【図４】図４は情報管理テーブルの一例である。
【図５】図５は第１実施形態に係る端末装置の動作の一例を示すフローチャートである。
【図６】図６は第１実施形態に係る端末装置に表示されるアドバイス情報の一例である。
【図７】図７（ａ）は第２実施形態に係る端末装置の正面図の一例である。図７（ｂ）乃至（ｄ）はそれぞれ利用者の表情の違いを説明するための図である。図７（ｅ）は第２実施形態に係る端末装置から出力されるアドバイス情報の一例である。
【図８】図８は表情改善支援システムの一例である。
【図９】図９（ａ）は端末装置のブロック図の他の一例である。図９（ｂ）は属性記憶部の一例である。
【発明を実施するための形態】
【００１０】
以下、本件を実施するための形態について図面を参照して説明する。
【００１１】
（第１実施形態）
図１（ａ）は第１実施形態に係る端末装置１００の正面図の一例である。図１（ｂ）はアイメイク１１を施した利用者１０の表情を説明するための図である。端末装置１００は表情改善支援装置の一例である。図１（ａ）及び（ｂ）では、端末装置１００の一例としてスマートフォンが示されているが、スマートフォンに限定されず、タブレット端末やPersonal Computer（ＰＣ）などが端末装置１００であってもよい。図１（ａ）に示すように、端末装置１００はカメラ１００Ｇを備えている。図１（ｂ）に示すように、カメラ１００Ｇは撮像領域ＡＲ内を撮像する。したがって、撮像領域ＡＲ内に端末装置１００の利用者１０が含まれていれば、カメラ１００Ｇは利用者１０を撮像する。特に、撮像領域ＡＲ内に利用者１０の頭部（より詳しくは顔面）が含まれていれば、カメラ１００Ｇは利用者１０の顔を撮像する。尚、本実施形態における利用者１０は化粧としてアイメイク１１を施している。
【００１２】
また、端末装置１００は様々な画面を表示する。例えば、図１（ａ）に示すように、端末装置１００はＳＮＳアプリの操作画面を表示する。ＳＮＳアプリはSocial Networking Serviceを実現するアプリケーションソフトウェアである。利用者１０はＳＮＳアプリの操作画面を操作して、通信相手と対話を行うことができる。ここで、利用者１０は操作に意識が集中すると、自分が周囲からどのように見えるかを考えずに無表情になりやすい。したがって、利用者１０が無表情でない状態（例えば明るい表情など）でアイメイク１１を施していた場合、利用者１０が想定した若々しい表情ではなく、老けた表情で周囲から見られる可能性がある。
【００１３】
したがって、端末装置１００はＳＮＳアプリを起動する指示を検出した場合、ＳＮＳアプリの起動と共にカメラ１００Ｇも起動する。そして、端末装置１００はカメラ１００Ｇが撮像する画像の中から利用者１０の顔に相当する顔領域を検出した場合、検出した顔領域を分析して顔の表情を特定し、特定した表情を改善する助言を表す情報（以下、アドバイス情報という。）を出力する。利用者１０はアドバイス情報を確認することにより、自身が想定していなかった表情を確認し改善することができる。特に、利用者１０以外の第三者（例えば友人や知人、家族など）が口頭で利用者１０に直接指摘せず、端末装置１００がアドバイス情報を出力するため、利用者１０の嫌悪感が抑制される。
【００１４】
以下、端末装置１００の詳細について説明する。
【００１５】
図２は端末装置１００のハードウェア構成の一例である。図２に示すように、端末装置１００は、ハードウェアプロセッサとしてのCentral Processing Unit（ＣＰＵ）１００Ａ、Random Access Memory（ＲＡＭ）１００Ｂ、Read Only Memory（ＲＯＭ）１００Ｃ、Non-Volatile Memory（ＮＶＭ）１００Ｄ、及びRadio Frequency（ＲＦ）回路１００Ｅを含んでいる。ＲＦ回路１００Ｅにはアンテナ１００Ｅ´が接続されている。ＲＦ回路１００Ｅに代えて通信機能を実現するＣＰＵ（不図示）が利用されてもよい。
【００１６】
また、端末装置１００は、センサ１００Ｆ、カメラ１００Ｇ、タッチパネル１００Ｈ、ディスプレイ１００Ｉ、及びスピーカ１００Ｊを含んでいる。特に、カメラ１００ＧはComplementary Metal Oxide Semiconductor（ＣＭＯＳ）やCharge Coupled Device（ＣＣＤ）といった画像センサ及びレンズを含んでいる。ＣＰＵ１００Ａからスピーカ１００Ｊまでは、内部バス１００Ｋによって互いに接続されている。すなわち、端末装置１００はコンピュータによって実現することができる。尚、ＣＰＵ１００Ａに代えてMicro Processing Unit（ＭＰＵ）をハードウェアプロセッサとして利用してもよい。
【００１７】
上述したＲＡＭ１００Ｂには、ＲＯＭ１００ＣやＮＶＭ１００Ｄに記憶されたプログラムがＣＰＵ１００Ａによって一時的に格納される。格納されたプログラムをＣＰＵ１００Ａが実行することにより、ＣＰＵ１００Ａは後述する各種の処理を実行する。尚、プログラムは後述するフローチャートに応じたものとすればよい。
【００１８】
図３（ａ）は端末装置１００のブロック図の一例である。図３（ｂ）は情報記憶部１０１の一例である。図３（ｃ）は画像記憶部１０４の一例である。図４は情報管理テーブルＴＢＬの一例である。尚、図３（ａ）では、端末装置１００が備える機能の要部が示されている。したがって、ＲＦ回路１００Ｅによって実現される通信機能やセンサ１００Ｆによって実現されるセンシング機能は省略されて示されている。
【００１９】
端末装置１００は情報記憶部１０１、入力部１０２、撮像部１０３、画像記憶部１０４、制御部１０５、表示部１０６、音声出力部１０７を有する。尚、情報記憶部１０１及び画像記憶部１０４は上述したＲＡＭ１００Ｂ、ＲＯＭ１００Ｃ、ＮＶＭ１００Ｄの少なくとも１つによって実現することができる。入力部１０２は上述したタッチパネル１００Ｈによって実現することができる。撮像部１０３は上述したカメラ１００Ｇによって実現することができる。制御部１０５は上述したＣＰＵ１００Ａによって実現することができる。表示部１０６は上述したディスプレイ１００Ｉによって実現することができる。音声出力部１０７は上述したスピーカ１００Ｊによって実現することができる。
【００２０】
情報記憶部１０１は上述したアドバイス情報を記憶する。アドバイス情報は、図３（ｂ）に示すように、複数の情報管理テーブルＴＢＬによって管理される。情報管理テーブルＴＢＬは、図４に示すように、端末装置１００を利用する利用者１０毎に設けられる。情報管理テーブルＴＢＬは顔領域のフィールドとアドバイス情報のフィールドを含んでいる。顔領域のフィールドには利用者１０の顔領域が顔の表情毎に登録される。例えば、アイメイク１１を施した利用者１０が無表情になった顔領域が登録されたり、アイメイク１１を施していない利用者１０が怒った表情になった顔領域が登録されたりする。一方、アドバイス情報のフィールドにはアドバイス情報が登録される。アドバイス情報は文字情報であってもよいし、音声情報であってもよい。アドバイス情報はそれぞれの顔の表情と対応付けられている。これにより、異なる表情が現れた複数の顔領域のいずれかが特定されると、特定された顔領域に現れる表情に応じたアドバイス情報を特定することができる。尚、利用者１０の表情とアドバイス情報は事前に情報記憶部１０１に記憶させておけばよい。
【００２１】
図３（ａ）に戻り、入力部１０２は利用者１０と端末装置１００とのインタフェースである。例えば、利用者１０が操作画面に対してＳＮＳアプリを起動する操作を行うと、入力部１０２はその操作を受け付けて、ＳＮＳアプリを起動する起動指示を制御部１０５に出力する。撮像部１０３は撮像領域ＡＲ内を撮像すると、撮像領域ＡＲを表す動画の撮像画像を生成し、生成した撮像画像を制御部１０５に出力する。尚、撮像部１０３が生成する撮像画像は連続する複数の静止画であってもよい。
【００２２】
制御部１０５は端末装置１００の動作全体を制御する。例えば、制御部１０５は入力部１０２から出力された起動指示を検出すると、ＳＮＳアプリと撮像部１０３とを共に起動する。これにより、ＳＮＳアプリと撮像部１０３がそれぞれ稼働する。ＳＮＳアプリが稼働すると、表示部１０６にＳＮＳアプリの操作画面が表示される。撮像部１０３が稼働すると、撮像領域ＡＲ内の撮像を開始する。また、制御部１０５は撮像部１０３から出力された撮像画像を受け付けると、受け付けた撮像画像を定期的に分割して静止画を生成し、静止画としての撮像画像を画像記憶部１０４に格納する。これにより、図３（ｃ）に示すように、画像記憶部１０４は連続する複数の撮像画像ＩＭを記憶する。尚、撮像画像が静止画である場合には、制御部１０５は撮像部１０３から出力された撮像画像を順に画像記憶部１０４に格納する。
【００２３】
さらに、制御部１０５は画像記憶部１０４から定期的に撮像画像を取得し、撮像画像の中から利用者１０の顔に相当する領域を表す顔領域を検出したか否かを判断する。制御部１０５は撮像画像内に顔領域を検出した場合、検出した顔領域を分析して利用者１０の顔の表情を特定する。例えば、制御部１０５は顔領域から両目と口の形状の特徴を抽出し、抽出した特徴に基づいて、怒った表情や驚いた表情、これらの表情がない又はこれらの表情が乏しい無表情などを特定する。制御部１０５は表情を特定すると、特定した表情を改善する助言を表すアドバイス情報を出力する。アドバイス情報が文字情報である場合には、制御部１０５は表示部１０６に出力する。アドバイス情報が音声情報である場合には、制御部１０５は音声出力部１０７に出力する。
【００２４】
続いて、図５及び図６を参照して、端末装置１００の動作について説明する。
【００２５】
図５は第１実施形態に係る端末装置１００の動作の一例を示すフローチャートである。図６は第１実施形態に係る端末装置１００に表示されるアドバイス情報の一例である。まず、図５に示すように、端末装置１００の制御部１０５はアプリの起動を検出するまで待機する（ステップＳ１０１：ＮＯ）。より詳しくは、制御部１０５は上述した起動指示を検出するまで待機する。尚、第１実施形態では、制御部１０５はＳＮＳアプリの起動指示を検出するまで待機する。
【００２６】
制御部１０５はアプリの起動を検出すると（ステップＳ１０１：ＹＥＳ）、アプリと撮像部１０３を起動する（ステップＳ１０２）。すなわち、制御部１０５はアプリの起動指示を検出すると、アプリとカメラ１００Ｇを共に起動する。尚、アプリとカメラ１００Ｇの起動順序はアプリの起動とカメラ１００Ｇの起動が連動していれば特に限定されない。制御部１０５はアプリと撮像部１０３を起動すると、次いで、撮像画像を格納する（ステップＳ１０３）。より詳しくは、制御部１０５は撮像部１０３が撮像する撮像領域ＡＲ内の撮像画像を画像記憶部１０４に格納する。
【００２７】
ステップＳ１０３の処理が完了すると、次いで、制御部１０５は顔領域を検出したか否かを判断する（ステップＳ１０４）。より詳しくは、制御部１０５は画像記憶部１０４から撮像画像を取得し、撮像画像の中から利用者１０の顔領域を検出したか否かを判断する。制御部１０５は顔領域を検出しなかったと判断した場合（ステップＳ１０４：ＮＯ）、制御部１０５は処理を終了する。具体的には、撮像画像の中に利用者１０の胸部の領域が含まれており、頭部の領域が含まれていない場合、制御部１０５は顔領域を検出しなかったと判断し、処理を終了する。
【００２８】
一方、制御部１０５は顔領域を検出したと判断した場合（ステップＳ１０４：ＹＥＳ）、顔領域を分析して（ステップＳ１０５）、顔の表情を分類する（ステップＳ１０６）。これにより、制御部１０５が複数の撮像画像を取得した場合、各撮像画像に含まれる顔の表情が、怒った表情が現れた顔領域、驚いた表情が現れた顔領域、無表情の顔領域などに分類される。ステップＳ１０６の処理が完了すると、次いで、制御部１０５は顔の表情を特定する（ステップＳ１０７）。例えば、予め無表情を特定することが制御部１０５に設定されている場合、制御部１０５は複数種類の表情の中から無表情を特定する。尚、制御部１０５は分類した表情の中から最も出現頻度が高い表情を特定してもよい。
【００２９】
ステップＳ１０７の処理が完了すると、次いで、制御部１０５はアドバイス情報を抽出する（ステップＳ１０８）。より詳しくは、制御部１０５は情報記憶部１０１を参照し、情報記憶部１０１から利用者１０の利用者名と特定した表情が現れた顔領域の組み合わせに応じたアドバイス情報を抽出する。したがって、利用者１０の撮像画像の中からアイメイク１１を施した無表情の顔領域が検出された場合、制御部１０５は情報記憶部１０１から利用者１０の利用者名とアイメイク１１を施した無表情の顔領域の組み合わせに応じたアドバイス情報を抽出する（図４参照）。尚、利用者名は、例えばステップＳ１０１の処理の直前に、利用者名の入力を求める入力画面を表示部１０６に出力し、入力画面に入力された利用者名を取得する処理を設けることにより特定することができる。
【００３０】
ステップＳ１０８の処理が完了すると、次いで、制御部１０５はアドバイス情報を表示部１０６に出力する（ステップＳ１０９）。例えば、アドバイス情報が文字情報である場合には、図６に示すように、制御部１０５はアドバイス情報を含むメッセージ画面Ｍ１をディスプレイ１００Ｉに出力する。ステップＳ１０９の処理が完了すると、制御部１０５は処理を終える。
【００３１】
以上、第１実施形態によれば、制御部１０５は、稼働中に端末装置１００の利用者１０が無表情になりやすいＳＮＳアプリを起動する指示を検出した場合に、ＳＮＳアプリと撮像部１０３を共に起動する。制御部１０５は、撮像部１０３が撮像する画像の中から顔に相当する領域を表す顔領域を検出した場合、検出した顔領域を分析して化粧後の顔の表情を特定する。そして、制御部１０５は、情報記憶部１０１を参照して、その利用者と特定した表情の組み合わせに応じた化粧方法に関するアドバイス情報を抽出し、抽出したアドバイス情報を出力する。制御部１０５が化粧方法に関するアドバイス情報を出力することにより、利用者１０の化粧後の顔の表情の改善を支援することができる。特に、情報記憶部１０１には利用者１０毎の表情とその表情に対するアドバイス情報が記憶されているため、個々に異なる利用者１０の表情に応じたアドバイス情報を出力することができる。
【００３２】
（第２実施形態）
続いて、図７を参照して、本件の第２実施形態について説明する。図７（ａ）は第２実施形態に係る端末装置１００の正面図の一例である。図７（ｂ）乃至（ｄ）はそれぞれ利用者１０の表情の違いを説明するための図である。図７（ｅ）は第２実施形態に係る端末装置１００から出力されるアドバイス情報の一例である。
【００３３】
上述した第１実施形態では第１アプリの一例としてＳＮＳアプリを利用して説明したが、第２実施形態では、ゲームアプリを利用して説明する。具体的には、図７（ａ）に示すように、第２実施形態に係る端末装置１００はゲームアプリの操作画面を表示する。ゲームアプリは例えばコンピュータゲームを実現するアプリケーションソフトウェアである。利用者１０は手指ＦＧによりゲームアプリの操作画面を操作して、端末装置１００の外部に設置されたコンピュータなどを対戦相手にゲームを行うができる。ゲームアプリの稼働中（特に操作中など）には利用者１０の顔に様々な表情が出やすい。
【００３４】
例えば、ゲームの進行状況によっては、図７（ｂ）に示すように、利用者１０の顔には悲しんだ表情が出ることがある。また、ゲームの進行状況によっては、図７（ｃ）に示すように、怒った表情が出ることもあるし、図７（ｄ）に示すように、驚いた表情が出ることもある。したがって、例えば電車や飛行機といった公共交通機関や、駅や空港といった公共施設の中で利用者１０にこれらの表情が出ていると、利用者１０が視界に入る様々な人が様々な感情を持つ可能性がある。例えば、人によっては憐みを感じる可能性があり、人によっては恐怖などを感じる可能性がある。
【００３５】
したがって、第２実施形態に係る端末装置１００の制御部１０５は、稼働中に端末装置１００の利用者１０に複数の表情が出やすいゲームアプリを起動する指示を検出した場合に、ゲームアプリと撮像部１０３を共に起動する。制御部１０５は、撮像部１０３が撮像する画像の中から顔に相当する顔領域を検出した場合、検出した顔領域を分析して分類し、顔の表情を特定する。特に、制御部１０５は分類した表情の中から最も出現頻度が高い表情（例えば怒った表情など）を特定する。そして、制御部１０５は、情報記憶部１０１を参照して、その利用者と特定した表情の組み合わせに応じたアドバイス情報を抽出し、抽出したアドバイス情報を音声出力部１０７から出力する（図４参照）。
【００３６】
これにより、例えば、アドバイス情報が音声情報である場合には、図７（ｅ）に示すように、制御部１０５はアドバイス情報を含むメッセージ音声Ｍ２をスピーカ１００Ｊから出力する。制御部１０５がアドバイス情報を出力することにより、利用者１０の顔の表情の改善を支援することができる。
【００３７】
（第３実施形態）
続いて、図８を参照して、本件の第３実施形態について説明する。図８は表情改善支援システムＳＹＳの一例である。表情改善支援システムＳＹＳは端末装置１００とサーバ装置２００とを備えている。サーバ装置２００はクラウド型のサーバ装置（いわゆるクラウドサーバ）であってもよいし、オンプレミス型のサーバ装置（いわゆるオンプレサーバ）であってもよい。したがって、前者であれば、サーバ装置２００はデータセンタに設置され、後者であればサーバ装置はサーバルームに設置される。
【００３８】
端末装置１００とサーバ装置２００は通信ネットワークＮＷを介して接続されている。通信ネットワークＮＷとしては、例えばインターネットやLocal Area Network（ＬＡＮ）などがある。尚、通信ネットワークＮＷの通信形態は無線通信であってもよいし、有線通信であってもよい。
【００３９】
ここで、図８に示すように、第３実施形態に係る端末装置１００は、第１実施形態に係る端末装置１００と異なり、通信部１０８を有し、情報記憶部１０１及び画像記憶部１０４を含んでいない。尚、通信部１０８は例えば上述したＲＦ回路１００Ｅによって実現することができる。
【００４０】
一方、サーバ装置２００は情報記憶部２０１、通信部２０２、処理部２０３、及び画像記憶部２０４を有する。すなわち、第１実施形態で説明した情報記憶部１０１及び画像記憶部１０４はそれぞれ情報記憶部２０１及び画像記憶部２０４としてサーバ装置２００に設けられる。尚、通信部２０２は例えばＬＡＮポートや通信回路などを含む通信インタフェースによって実現することができる。処理部２０３はＣＰＵやＭＰＵといったハードウェアプロセッサによって実現することができる。
【００４１】
また、第１実施形態では、端末装置１００の制御部１０５が図５に示すフローチャートによって特定される全ての処理を実行したが、その処理の一部をサーバ装置２００の処理部２０３が実行してもよい。例えば、制御部１０５が第１実施形態で説明したステップＳ１０１，Ｓ１０２の処理を実行し、通信部１０８が撮像画像をサーバ装置２００に向けて送信する。そして、サーバ装置２００の通信部２０２は端末装置１００から送信された撮像画像を受信すると、処理部２０３は第１実施形態で説明したステップＳ１０３〜Ｓ１０８の処理を実行し、通信部２０２がアドバイス情報を端末装置１００に向けて送信する。端末装置１００の通信部１０８はサーバ装置２００から送信されたアドバイス情報を受信すると、制御部１０５は第１実施形態で説明したステップＳ１０９の処理を実行する。このように、第１実施形態で説明した処理の一部をサーバ装置２００が実行することにより、端末装置１００の処理負荷を軽減することができる。
【００４２】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、第１実施形態では、無表情になりやすいＳＮＳアプリを利用したが、無表情になりやすいアプリであればＳＮＳアプリに限定されず、情報を閲覧するための閲覧アプリや情報を検索する検索アプリ、情報を視聴するための視聴アプリなどであってもよい。
【００４３】
また、図９（ａ）及び（ｂ）に示すように、アプリとアプリの属性とを対応付けて記憶する属性記憶部１０９を端末装置１００に設けてもよい。アプリとアプリの属性は属性情報として属性管理テーブルＺにより管理される。制御部１０５はアプリの起動指示を検出した場合、属性記憶部１０９を参照して、起動指示を検出したアプリに、アプリとカメラを共に起動させる特定の属性が対応付けられているか否かを判断する。このような特定の属性としては、例えば、稼働中に端末装置１００の利用者１０が無表情になりやすいことを示す第１属性や、稼働中に端末装置１００の利用者１０に複数の表情が出やすいことを示す第２属性などがある。特定の属性に第１属性や第２属性と異なる別の属性をさらに定めてもよい。そして、制御部１０５はアプリにこのような特定の属性が対応付けられている場合に、アプリとカメラ１００Ｇを共に起動する。
【００４４】
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）カメラを備えるコンピュータに処理を実行させる表情改善支援プログラムであって、前記処理は、アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記カメラを共に起動し、前記カメラが撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して前記顔の表情を特定し、特定した前記表情を改善する助言を表すアドバイス情報を出力する、ことを特徴とする表情改善支援プログラム。
（付記２）前記指示を検出した場合、アプリケーションと該アプリケーションの属性を対応付けて記憶する属性記憶部を参照して、検出した前記指示に対応するアプリケーションに、稼働中に前記コンピュータの利用者が無表情になりやすいことを示す第１の属性が対応付けられている場合には、前記アプリケーションと前記カメラを共に起動する、ことを特徴とする付記１に記載の表情改善支援プログラム。
（付記３）前記指示を検出した場合、アプリケーションと該アプリケーションの属性を対応付けて記憶する属性記憶部を参照して、検出した前記指示に対応するアプリケーションに、稼働中に前記コンピュータの利用者に複数の表情が出やすいことを示す第２の属性が対応付けられている場合には、前記アプリケーションと前記カメラを共に起動する、ことを特徴とする付記１に記載の表情改善支援プログラム。
（付記４）前記処理は、前記顔の表情と前記アドバイス情報とを前記顔の表情毎に対応付けて記憶する情報記憶部を参照して、特定した前記表情に応じた前記アドバイス情報を抽出し、抽出した前記アドバイス情報を出力する、ことを特徴とする付記１から３のいずれか１項に記載の表情改善支援プログラム。
（付記５）前記処理は、前記顔の表情と前記アドバイス情報とを対応付けて前記コンピュータを利用する利用者毎に記憶する情報記憶部を参照して、利用者と特定した前記表情の組み合わせに応じた前記アドバイス情報を抽出し、抽出した前記アドバイス情報を出力する、ことを特徴とする付記１から３のいずれか１項に記載の表情改善支援プログラム。
（付記６）前記処理は、前記カメラが撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して化粧後の前記顔の表情を特定し、特定した前記表情を改善する化粧方法に関する助言を表すアドバイス情報を出力する、ことを特徴とする付記１から５のいずれか１項に記載の表情改善支援プログラム。
（付記７）前記処理は、検出した前記領域を分析して前記顔の表情を表情毎に分類し、分類した前記表情の中から最も出現頻度が高い表情を特定する、ことを特徴とする付記１から６のいずれか１項に記載の表情改善支援プログラム。
（付記８）カメラを備えるコンピュータに処理を実行させる表情改善支援プログラムであって、前記処理は、アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記カメラを共に起動し、前記カメラが撮像する画像の中から顔に相当する領域が検出され、検出された前記領域が分析されて前記顔の表情が特定された場合、特定された前記表情を改善する助言を表すアドバイス情報を出力する、ことを特徴とする表情改善支援プログラム。
（付記９）カメラを備えるコンピュータが処理を実行する表情改善支援方法であって、前記処理は、アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記カメラを共に起動し、前記カメラが撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して前記顔の表情を特定し、特定した前記表情を改善する助言を表すアドバイス情報を出力する、ことを特徴とする表情改善支援方法。
（付記１０）撮像部と、アプリケーションを起動する指示を検出した場合に、前記アプリケーションと前記撮像部を共に起動し、前記撮像部が撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して前記顔の表情を特定し、特定した前記表情を改善する助言を表すアドバイス情報を出力する処理を実行する制御部と、を有する表情改善支援装置。
（付記１１）前記指示を検出した場合、アプリケーションと該アプリケーションの属性を対応付けて記憶する属性記憶部を参照して、検出した前記指示に対応するアプリケーションに、稼働中に前記表情改善支援装置の利用者が無表情になりやすいことを示す第１の属性が対応付けられている場合には、前記アプリケーションと前記カメラを共に起動する、ことを特徴とする付記１０に記載の表情改善支援装置。
（付記１２）前記指示を検出した場合、アプリケーションと該アプリケーションの属性を対応付けて記憶する属性記憶部を参照して、検出した前記指示に対応するアプリケーションに、稼働中に前記表情改善支援装置の利用者に複数の表情が出やすいことを示す第２の属性が対応付けられている場合には、前記アプリケーションと前記カメラを共に起動する、ことを特徴とする付記１０に記載の表情改善支援装置。
（付記１３）前記制御部は、前記顔の表情と前記アドバイス情報とを前記顔の表情毎に対応付けて記憶する情報記憶部を参照して、特定した前記表情に応じた前記アドバイス情報を抽出し、抽出した前記アドバイス情報を出力する、ことを特徴とする付記１０から１２のいずれか１項に記載の表情改善支援装置。
（付記１４）前記制御部は、前記顔の表情と前記アドバイス情報とを対応付けて前記表情改善支援装置を利用する利用者毎に記憶する情報記憶部を参照して、前記利用者と特定した前記表情の組み合わせに応じた前記アドバイス情報を抽出し、抽出した前記アドバイス情報を出力する、ことを特徴とする付記１０から１２のいずれか１項に記載の表情改善支援装置。
（付記１５）前記制御部は、前記撮像部が撮像する画像の中から顔に相当する領域を検出した場合、検出した前記領域を分析して化粧後の前記顔の表情を特定し、特定した前記表情を改善する化粧方法に関する助言を表すアドバイス情報を出力する、ことを特徴とする付記１０から１４のいずれか１項に記載の表情改善支援装置。
（付記１６）前記制御部は、検出した前記領域を分析して前記顔の表情を表情毎に分類し、分類した前記表情の中から最も出現頻度が高い表情を特定する、ことを特徴とする付記１０から１５のいずれか１項に記載の表情改善支援装置。
【符号の説明】
【００４５】
ＳＹＳ  表情改善支援システム
１００  端末装置
１０１  情報記憶部
１０２  入力部
１０３  撮像部
１０４  画像記憶部
１０５  制御部
１０６  表示部
１０７  音声出力部
１０８  通信部
１０９  属性記憶部
２００  サーバ装置
【図１】
2019159533.tif 000003
【図２】
2019159533.tif 000004
【図３】
2019159533.tif 000005
【図４】
2019159533.tif 000006
【図５】
2019159533.tif 000007
【図６】
2019159533.tif 000008
【図７】
2019159533.tif 000009
【図８】
2019159533.tif 000010
【図９】
2019159533.tif 000011