(57)【要約】【課題】  ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供する。【解決手段】  スマートフォンやＡＩスピーカ等のユーザ端末５において撮影したユーザの画像をサーバ３に送信すると、サーバ３は、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末５に送信する。ユーザ端末５は、取得した健康度を出力する。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。また、サーバ３は顔画像から健康度、肌の状態、美顔率を時系列に示したグラフや健康度との相関関係を示す相関画像、アドバイス情報、顔画像の動画（フォトムービー）を作成し、ユーザ端末５に提供できる。【選択図】図７
2020052505.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムであって、
前記ユーザ端末は、
ユーザの画像を撮影する撮影手段と、
前記撮影手段により撮影したユーザの画像を前記サーバに送信する送信手段と、
前記サーバからユーザの健康状態を示す値である健康度を取得する健康度取得手段と、
取得した健康度を出力する出力手段と、を備え、
前記サーバは、
前記ユーザ端末から送信された画像を受信する受信手段と、
受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、
前記健康度を前記ユーザ端末に送信する送信手段と、
を備えることを特徴とする健康状態判定システム。
【請求項２】
前記健康状態は、肌の状態に基づいて求められることを特徴とする請求項１に記載の健康状態判定システム。
【請求項３】
前記健康状態は、前記顔画像から算出される美顔率に基づいて求められることを特徴とする請求項１または請求項２に記載の健康状態判定システム。
【請求項４】
前記サーバは、
前記健康状態をユーザの識別情報と対応づけてデータベースに蓄積記憶する記憶手段を更に備え、
前記解析手段は、前記顔画像からユーザを特定し、前記データベースに記憶されている特定したユーザの健康状態の履歴を参照して前記健康度を算出することを特徴とする請求項１から請求項３のいずれかに記載の健康状態判定システム。
【請求項５】
前記サーバは、
前記健康状態の推移を示すグラフを作成し、前記ユーザ端末にて閲覧可能に提供するグラフ作成手段を更に備えることを特徴とする請求項１から請求項４のいずれかに記載の健康状態判定システム。
【請求項６】
前記サーバは、
現在の美顔率と健康度との相関関係を示す画像を作成し、前記ユーザ端末にて閲覧可能に提供する相関画像作成手段を更に備えることを特徴とする請求項３に記載の健康状態判定システム。
【請求項７】
前記サーバは、
前記顔画像に基づきアドバイス情報を生成し、前記ユーザ端末にて閲覧または音声出力可能に提供するアドバイス情報生成部を更に備えることを特徴とする請求項１から請求項６のいずれかに記載の健康状態判定システム。
【請求項８】
前記アドバイス情報はユーザの健康状態に関するアドバイス情報であることを特徴とする請求項７に記載の健康状態判定システム。
【請求項９】
前記アドバイス情報は、前記ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報であることを特徴とする請求項７に記載の健康状態判定システム。
【請求項１０】
前記サーバは、
前記データベースに記憶した顔画像を連続的に再生する動画像を作成し、前記ユーザ端末にて再生可能に提供する動画作成手段を更に備えることを特徴とする請求項１から請求項９のいずれかに記載の健康状態判定システム。
【請求項１１】
前記ユーザ端末は、
ユーザの音声を入力する音声入力手段と、
前記音声入力手段により入力されたユーザの音声情報に基づいてユーザを特定する音声認識手段と、を備え、
前記健康度取得手段は、前記音声認識手段により特定したユーザについての健康度を前記サーバから取得し、
前記出力手段は、前記健康度を表示または音声出力する
ことを特徴とする請求項１から１０のいずれかに記載の健康状態判定システム。
【請求項１２】
画像を撮影する撮影手段と、
前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、
前記健康度を出力する出力手段と、
を備えることを特徴とする健康状態判定装置。
【請求項１３】
ユーザ端末とネットワークを介して通信接続されたサーバであって、
前記ユーザ端末から送信された画像を受信する受信手段と、
受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、
前記健康度を前記ユーザ端末に送信する送信手段と、
を備えることを特徴とするサーバ。
【請求項１４】
ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムにおける健康状態判定方法であって、
前記ユーザ端末がユーザの画像を撮影するステップと、
前記ユーザ端末が撮影したユーザの画像を前記サーバに送信するステップと、
前記サーバが、前記ユーザ端末から送信された画像を受信するステップと、
前記サーバが、受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出するステップと、
前記サーバが、前記健康度を前記ユーザ端末に送信するステップと、
前記ユーザ端末が、前記サーバからユーザの健康状態を示す値である健康度を取得するステップと、
前記ユーザ端末が、取得した健康度を出力するステップと、
を含むことを特徴とする健康状態判定方法。
【請求項１５】
コンピュータを、
撮影した画像を取得する画像取得手段、
前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、
前記健康度を出力する出力手段、
として機能させることを特徴とするプログラム。
【請求項１６】
ユーザ端末とネットワークを介して通信接続されたコンピュータを、
前記ユーザ端末から送信された画像を受信する受信手段、
受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段、
前記健康度を前記ユーザ端末に送信する送信手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムに関し、詳細には、顔画像に基づく健康状態の判定に関する。
【背景技術】
【０００２】
スマートフォン等のカメラ付き電子機器が普及し、ユーザが気軽に写真を撮影し、撮影画像を活用する機会が増えている。また、撮影した顔画像から本人を確認する技術や、顔の表情から感情を認識する技術等が提案されている。また、近年では顔画像を解析し、顔の美しさを数値化して出力するアプリケーションも開発されている（非特許文献１）。このアプリケーションでは、機械学習（Deep Learning）を利用して、人や物をはじめとした様々な「見た目」に対する抽象的な評価を、一般的な社会での評価に近い形で数値化している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】株式会社PARTY、２０１６年、"Deeplooks見えないものを見るテクノロジー"、[online]、[平成３０年８月２２日検索]、インターネット、<URL:https://deeplooks.com/>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ユーザの関心は美しさに限るものではない。例えば、自分の健康状態について客観的な評価を得たいユーザも多い。
【０００５】
本発明は、前述した問題点に鑑みてなされたものであり、その目的は、ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
前述した課題を解決するため第１の発明は、ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムであって、前記ユーザ端末は、ユーザの画像を撮影する撮影手段と、前記撮影手段により撮影したユーザの画像を前記サーバに送信する送信手段と、前記サーバからユーザの健康状態を示す値である健康度を取得する健康度取得手段と、取得した健康度を出力する出力手段と、を備え、前記サーバは、前記ユーザ端末から送信された画像を受信する受信手段と、受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、前記健康度を前記ユーザ端末に送信する送信手段と、を備えることを特徴とする健康状態判定システムである。
【０００７】
第１の発明によれば、ユーザ端末において撮影したユーザの画像をサーバに送信すると、サーバは、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末に送信する。ユーザ端末は、取得した健康度を出力する。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。
【０００８】
第１の発明において、前記健康状態は、肌の状態に基づいて求められることが望ましい。また、前記健康状態は、前記顔画像から算出される美顔率に基づいて求められることが望ましい。健康状態を、肌の状態や美顔率に基づいて評価できるため客観的な評価を得ることができる。
【０００９】
また、前記サーバは、前記健康状態をユーザの識別情報と対応づけてデータベースに蓄積記憶する記憶手段を更に備え、前記解析手段は、前記顔画像からユーザを特定し、前記データベースに記憶されている特定したユーザの健康状態の履歴を参照して前記健康度を算出することが望ましい。これにより、ユーザの健康状態の履歴を参照して現在の健康状態を相対的に分析できる。
【００１０】
また、前記サーバは、前記健康状態の推移を示すグラフを作成し、前記ユーザ端末にて閲覧可能に提供するグラフ作成手段を更に備えることが望ましい。これによりユーザは健康状態の推移をグラフで分かりやすく確認できる。また、前記サーバは、現在の美顔率と健康度との相関関係を示す画像を作成し、前記ユーザ端末にて閲覧可能に提供する相関画像作成手段を更に備えることが望ましい。これによりユーザは、現在の美顔率と健康度との相関関係を分かりやすく確認できる。
【００１１】
また、前記サーバは、前記顔画像に基づきアドバイス情報を生成し、前記ユーザ端末にて閲覧または音声出力可能に提供するアドバイス情報生成部を更に備えることが望ましい。また、前記アドバイス情報はユーザの健康状態に関するアドバイス情報、または、前記ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報であることが望ましい。これによりユーザは、健康状態に関するアドバイスや適切な表情、化粧、または髪型のアドバイスを閲覧したり音声で聴取したりすることが可能となる。
【００１２】
また、前記サーバは、前記データベースに記憶した顔画像を連続的に再生する動画像を作成し、前記ユーザ端末にて再生可能に提供する動画作成手段を更に備えることが望ましい。これにより、顔の変化を動画で確認することが可能となる。
【００１３】
前記ユーザ端末は、ユーザの音声を入力する音声入力手段と、前記音声入力手段により入力されたユーザの音声情報に基づいてユーザを特定する音声認識手段と、を備え、前記健康度取得手段は、前記音声認識手段により特定したユーザについての健康度を前記サーバから取得し、前記出力手段は、前記健康度を表示または音声出力することが望ましい。これにより、音声による操作でユーザの健康度を得ることができる。
【００１４】
第２の発明は、画像を撮影する撮影手段と、前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、前記健康度を出力する出力手段と、を備えることを特徴とする健康状態判定装置である。
【００１５】
第２の発明によれば、撮影したユーザの顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、出力する健康状態判定装置を提供できる。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。
【００１６】
第３の発明は、ユーザ端末とネットワークを介して通信接続されたサーバであって、前記ユーザ端末から送信された画像を受信する受信手段と、受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、前記健康度を前記ユーザ端末に送信する送信手段と、を備えることを特徴とするサーバである。
【００１７】
第３の発明により、第１の発明の健康状態判定システムにおけるサーバを提供できる。
【００１８】
第４の発明は、ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムにおける健康状態判定方法であって、前記ユーザ端末がユーザの画像を撮影するステップと、前記ユーザ端末が撮影したユーザの画像を前記サーバに送信するステップと、前記サーバが、前記ユーザ端末から送信された画像を受信するステップと、前記サーバが、受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出するステップと、前記サーバが、前記健康度を前記ユーザ端末に送信するステップと、前記ユーザ端末が、前記サーバからユーザの健康状態を示す値である健康度を取得するステップと、前記ユーザ端末が、取得した健康度を出力するステップと、を含むことを特徴とする健康状態判定方法である。
【００１９】
第４の発明によれば、ユーザ端末において撮影したユーザの画像をサーバに送信すると、サーバは、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末に送信する。ユーザ端末は、取得した健康度を出力する。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。
【００２０】
第５の発明は、コンピュータを、撮影した画像を取得する画像取得手段、前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、前記健康度を出力する出力手段、として機能させることを特徴とするプログラムである。
第５の発明により、コンピュータを第３の発明の健康状態判定装置として機能させることが可能となる。
【００２１】
第６の発明は、ユーザ端末とネットワークを介して通信接続されたコンピュータを、前記ユーザ端末から送信された画像を受信する受信手段、受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段、前記健康度を前記ユーザ端末に送信する送信手段、として機能させることを特徴とするプログラムである。第６の発明により、コンピュータを第１の発明の健康状態判定システムにおけるサーバとして機能させることが可能となる。
【発明の効果】
【００２２】
本発明により、ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供できる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る健康状態判定システム１のシステム構成を示すブロック図
【図２】健康状態判定システム１の機能構成を示すブロック図
【図３】データベース３４の内容を示す図
【図４】サーバ３のハードウェア構成の例を示す図
【図５】ユーザ端末５のハードウェア構成の例を示す図
【図６】健康状態判定処理の流れを示すフローチャート
【図７】ユーザ端末５の表示画面例。（ａ）ユーザを撮影した段階、（ｂ）健康度６５を表示した段階
【図８】ステップＳ１０６の健康状態解析処理を説明するフローチャート
【図９】美顔率の判定に用いる画像
【図１０】健康状態分析処理の流れを示すフローチャート
【図１１】健康状態分析処理において提供されるダッシュボード８０の例を示す図
【図１２】動画作成処理の流れを示すフローチャート
【発明を実施するための形態】
【００２４】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
【００２５】
図１は本発明に係る健康状態判定システム１のシステム構成を示すブロック図、図２は健康状態判定システム１の機能構成を示すブロック図である。
【００２６】
図１に示すように、健康状態判定システム１は、サーバ３とユーザ端末５とがネットワーク７を介して通信接続されて構成される。
【００２７】
サーバ３は、画像に含まれる顔画像からユーザの健康状態を解析し、健康度を算出するコンピュータである。図２に示すように、サーバ３は、受信部３１、解析部３２、送信部３３、データベース３４を有する。またサーバ３は付加的な機能として、グラフ作成部３５、相関画像作成部３６、アドバイス情報作成部３７、動画作成部３８等を備えるものとしてもよい。
【００２８】
サーバ３の受信部３１は、ユーザ端末５から送信された画像を受信する。
解析部３２は、受信した画像に含まれる顔画像に基づきユーザ（顔画像の人物）の健康状態を解析し、健康状態を示す値である健康度を算出する。解析部３２は、例えば肌の状態や美顔率に基づいてユーザの健康状態を分析する。そして健康状態を数値化し、健康度として表す。また、解析部３２は、顔画像からユーザを特定し、データベース３４に記憶されている該ユーザの過去の顔画像や健康状態（肌の状態、美顔率）を参照して健康度を算出するようにしてもよい。
【００２９】
送信部３３は、解析部３２が算出した健康度を画像の送信元のユーザ端末５に送信する。
【００３０】
データベース３４は、解析部３２が解析した健康状態に関する情報（健康度３４６、美顔率３４５、肌の状態３４４等）、ユーザの顔画像３４２、及び顔画像３４２の撮影日時情報３４３をユーザの識別情報（ユーザＩＤ）３４１と対応づけて蓄積記憶する。図３はデータベース３４の内容を示す図である。ユーザＩＤ３４１は予め登録されたユーザのユーザＩＤ３４１であり、例えば「０００１」、「０００２」のような識別情報が記憶される。顔画像３４２はユーザ端末５から送信された画像から顔領域を抽出した顔画像のファイル名または顔画像の格納先を示す情報が記憶される。撮影日時３４３は、顔画像３４２の撮影日時を示す情報である。肌の状態３４４は、顔画像３４２に含まれるシミや吹き出物の位置情報が格納される。シミや吹き出物の位置情報は、解析部３２により過去のユーザの顔画像またはユーザの基準画像との比較により求められる。美顔率３４５は、解析部３２により求められた美顔率の値が格納される。健康度は、解析部３２により求められた健康度の値が格納される。
【００３１】
グラフ作成部３５は、データベース３４に記憶されている健康状態の推移を時系列に示すグラフを作成する。作成したグラフは、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示される。
【００３２】
相関画像作成部３６は、現在の美顔率と健康度との相関関係を示す画像（相関画像という）を作成する。作成した相関画像は、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示される。
【００３３】
アドバイス情報作成部３７は、顔画像に基づきアドバイス情報を生成する。アドバイス情報は、例えば、ユーザの健康状態に関するアドバイス情報としてもよいし、ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報としてもよい。作成したアドバイス情報は、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示されるか、或いは音声出力可能に提供される。
【００３４】
動画作成部３８は、データベース３４に蓄積記憶した同じユーザの顔画像を連続的に再生する動画像を作成する。作成した動画像は、ユーザ端末５或いは任意の端末で再生可能に提供される。
【００３５】
図４は、サーバ３のハードウェア構成の例を示す図である。図４に示すように、サーバ３は、制御部３０１、記憶部３０２、及び通信部３０３をバス３０９等により接続して構成したコンピュータにより実現できる。但し、これに限ることなく、適宜様々な構成をとることができる。
【００３６】
制御部３０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部３０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス３０９を介して接続された各装置を駆動制御し、サーバ３が行う処理を実現する。
【００３７】
記憶部３０２は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等であり、制御部３０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、健康状態を解析する処理をサーバ３に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部３０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００３８】
通信部３０３は、通信制御装置、通信ポート等を有し、サーバ３とネットワーク７との間の通信を媒介する通信インタフェースであり、ネットワーク７を介して、ユーザ端末５や他のコンピュータとの通信制御を行うことが可能である。バス３０９は、各部間の制御信号、データ信号等の授受を媒介する経路である。
【００３９】
図１に説明に戻る。
ユーザ端末５は、サーバ３にネットワーク７を介して通信接続可能な端末であり、例えば、スマートフォン、ＡＩスピーカ、ゲーム機、ノート型ＰＣ、デスクトップＰＣ、その他の電子機器である。ユーザ端末５は、図２に示すように、カメラ（撮影手段）５１、送信部５２、健康度取得部５３、出力部５４、ＷＥＢブラウザ５５を備える。
【００４０】
カメラ（撮影手段）５１は、ユーザの画像を撮影するカメラであり、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子により構成される。
送信部５２は、カメラ５１により撮影した画像をサーバ３に送信する。
健康度取得部５３は、サーバ３において算出されたユーザの健康度３４６を取得（受信）する。
出力部５４は、健康度取得部５３により取得（受信）した健康度３４６を出力する。
【００４１】
ＷＥＢブラウザ５５はネットワーク７を介してサーバ３にアクセスし、ログイン認証を行うことで、サーバ３のユーザの健康状態に関する情報を取得（ダウンロード）する。健康状態に関する情報には、解析部３２により求められた健康度３４６、肌の状態３４４、及び美顔率３４５の履歴、グラフ作成部３５により作成されたグラフ、相関画像作成部３６により作成された相関画像、アドバイス情報作成部３７により作成されたアドバイス情報、動画作成部３８により作成された動画等が含まれる。
【００４２】
図５は、ユーザ端末５のハードウェア構成の例を示す図である。図５に示すように、ユーザ端末５は、制御部５０１、記憶部５０２、通信部５０３、表示部５０４、入力部５０５、カメラ５０６、及び音声処理部５０７をバス５０８等により接続して構成したコンピュータにより実現できる。但し、これに限ることなく、適宜様々な構成をとることができる。
【００４３】
制御部５０１、記憶部５０２、通信部５０３の機能は上述した制御部３０１、記憶部３０２、通信部３０３と略同様である。なお、ユーザ端末５の記憶部５０２には後述する処理をユーザ端末５に実行させるためのプログラムが格納される。
【００４４】
表示部５０４は、入力部５０５を兼ねたタッチパネル付ディスプレイ等により実現される。表示部５０４は、ユーザの操作・選択に係る各種の画面を表示し、画面上のタッチ操作によるユーザの指示入力等を受付ける。
入力部５０５は、タッチパネル及び各種のボタン等により構成され、入力された信号を制御部５０１に入力する。
【００４５】
音声処理部５０７は、マイク（音声入力部）、スピーカ（音声出力部）、音声認識部、音声合成部等を備え、マイクから入力された音声を認識して制御部５０１へ入力する。また、制御部５０１から出力された音声をスピーカから出力する。
【００４６】
ネットワーク７は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク７は有線、無線を問わない。
【００４７】
次に、図６〜図９を参照して、健康状態判定システム１が実行する各処理について説明する。
【００４８】
まず、図６を参照して健康状態判定処理について説明する。
ユーザ端末５においてユーザから撮影指示が入力されると（ステップＳ１０１）、ユーザ端末５の制御部５０１は、カメラ５１を起動し撮影を行う（ステップＳ１０２）。ここで、ユーザの顔を含む画像が撮影されるものとする。ユーザ端末５（送信部５２）は、撮影した画像をサーバ３に送信する（ステップＳ１０３）。
【００４９】
図７（ａ）はユーザ端末５においてユーザを撮影した段階（ステップＳ１０２）での表示画面例である。表示部５０４には、撮影された画像６２が表示されるとともに、「キャンセル」ボタン６３及び「送信」ボタン６４が表示される。ユーザにより「送信」ボタン６４がタッチされると制御部５０１は、撮影画像６２をサーバ３に送信する。ユーザにより「キャンセル」ボタン６３がタッチされた場合は、制御部５０１は撮影画像を破棄し、再撮影を行う。
【００５０】
サーバ３（受信部３１）は、ユーザ端末５から送信された画像６２を受信する（ステップＳ１０４）。すると、サーバ３の制御部３０１（解析部３２）は受信した画像６２から顔領域を抽出し、顔画像３４２を取得する（ステップＳ１０５）。なお、顔画像３４２のサイズが所定の画像サイズとなるように処理されることが望ましい。これは、解析部３２が肌の状態（シミの位置や吹き出物の位置）３４４を求める際に過去の顔画像と比較するためである。そしてサーバ３の制御部３０１（解析部３２）は、取得した顔画像３４２に基づきユーザの健康状態を解析する（ステップＳ１０６）。
【００５１】
図８は、ステップＳ１０６の健康状態解析処理を説明するフローチャートである。
図８に示すように、サーバ３の制御部３０１（解析部３２）は、顔画像３４２からユーザを特定する（ステップＳ２０１）。なお、ユーザの過去の顔画像３４２はサーバ３の記憶部３０２（データベース３４）にユーザを識別する情報であるユーザＩＤ３４１に対応付けて登録されているものとする。ステップＳ２０１においてユーザが特定できない場合は、未登録ユーザであるため、新規ユーザ登録処理へ移行する。新規ユーザ登録処理は、新規ユーザＩＤを発行し、顔画像、ユーザ情報（ユーザ名、年齢、性別等の属性情報、メールアドレス等の連絡先情報）の登録を受け付け、ユーザＩＤ、顔画像、ユーザ情報を記憶部３０２に登録する。
【００５２】
ステップＳ２０１においてユーザを特定すると、次にサーバ３の制御部３０１はユーザの基準顔画像を記憶部３０２から読み出す（ステップＳ２０２）。ユーザの基準顔画像は、最初に登録した顔画像としてもよいし、複数の過去のユーザの顔画像の中からユーザが選択した顔画像としてもよいし、サーバ３の制御部３０１により生成したユーザの顔画像（例えば、顔のパーツを組み合わせた合成画像）を基準画像としてもよい。また、基準顔画像は、真顔のみとしてもよいが、笑顔、怒った顔、悲しい顔等の表情毎に用意しておくようにしてもよい。
【００５３】
サーバ３の制御部３０１（解析部３２）は、ユーザ端末５から受信したユーザの顔画像３４２とステップＳ２０２で読み出した基準顔画像とを比較して肌の状態（シミ、肌荒れの有無や位置等）３４４を判定する（ステップＳ２０３）。肌の状態判定では、基準顔画像と受信した顔画像３４２とを比較して、シミや肌荒れの位置を検出し、シミや肌荒れの個数や大きさ、位置から肌の状態３４４を示す指標値を求める。なお、肌荒れ（吹き出物やニキビ）ができる位置はその原因と関係があるとの見解もあるため、肌荒れの位置から原因を分析するようにしてもよい。例えば、額のニキビは赤身の肉や飽和脂肪酸 、アルコールの摂り過ぎが原因、頬にできるニキビは肉、砂糖、乳製品の摂り過ぎが原因、フェイスラインのニキビは加工食品の摂り過ぎや大腸の消化不良等が原因等である。
【００５４】
また、サーバ３の制御部３０１（解析部３２）は、ユーザ端末５から受信したユーザの顔画像３４２とステップＳ２０２で読み出した基準顔画像とを比較して美顔率３４５を判定する（ステップＳ２０４）。図９は美顔率３４５の判定に用いる画像である。美顔率３４５は、例えば、顔の各部位（目、鼻、口、眉、頬、顎）の位置や大きさ等を基準顔画像と比較したり、各パーツの間隔や比率、左右比等に基づいて求められる値である。なお、美顔率３４５は、一般的な美人顔を基準画像とするのではなく、本人の過去の画像（若いころの画像）や本人が選択した本人の顔画像を基準顔画像とすることが望ましい。
【００５５】
また、美顔率３４５の判定は、真顔の顔画像３４２で行ってもよいが、真顔の他に、笑顔、怒った顔、悲しい顔等、表情のある顔画像についても追加判定を行ってもよい。この場合、予めユーザ端末５は、真顔、笑顔、怒った顔、悲しい顔を順に撮影し、それらの画像をすべてサーバ３に送信し、サーバ３は、真顔の顔画像と真顔の基準顔画像、笑顔の顔画像と笑顔の基準顔画像、怒った顔の顔画像と怒った顔の基準顔画像、悲しい顔の顔画像と悲しい顔の基準顔画像をそれぞれ比較して、総合的な美顔率３４５を算出する。
【００５６】
制御部３０１（解析部３２）は、ステップＳ２０３で求めた肌の状態３４４やステップＳ２０４で求めた美顔率３４５からユーザの健康度３４６を算出する（ステップＳ２０５）。健康度３４６は、例えば、肌の状態３４４が良好（シミや吹き出物の個数が少ない、大きさが小さい）であり、美顔率３４５が高いほど高い値となるように算出される。
【００５７】
制御部３０１（解析部３２）は、算出した健康度３４６、肌の状態３４４、美顔率３４５等を顔画像３４２、日時情報３４３とともにユーザＩＤ３４１と対応づけてデータベース３４（記憶部３０２）に保存する（ステップＳ２０６）。
【００５８】
上述のように健康状態の解析を行うと（図５のステップＳ１０６）、サーバ３の制御部３０１（送信部３３）は算出した健康度３４６をユーザ端末５に送信する（ステップＳ１０７）。
【００５９】
ユーザ端末５（健康度取得部５３）は、健康度３４６を受信する（ステップＳ１０８）。そして、ユーザ端末５（出力部５４）は、取得した健康度３４６を表示部５０４に表示したり、音声処理部５０７のスピーカから音声出力する（ステップＳ１０９）。図７（ｂ）は、健康度６５（健康度３４６）を表示したユーザ端末５の表示画面例を示す図である。図７（ｂ）に示すように、ユーザ端末５の表示部５０４には例えば、顔画像６２（顔画像３４２）とともに受信した健康度６５（健康度３４６）の値が「９２」ポイントのように表示される。
【００６０】
このように、健康状態判定処理では、ユーザの顔画像３４２から簡単に数値化されたユーザの健康状態（健康度３４６）を得ることが可能となる。また、ユーザは毎日、ユーザ端末５で顔画像を撮影し、サーバ３に送信するだけで、健康状態の記録をサーバ３に蓄積することが可能となる。
【００６１】
次に、図１０、図１１を参照して、健康状態判定システム１において実行される健康状態分析処理について説明する。なお、図１０の処理において、ユーザ端末５は、音声操作を受け付けているものとする。
【００６２】
ユーザ端末５に対してユーザが「健康アプリ」等のように当該アプリケーションを起動する音声を入力すると、ユーザ端末５は音声処理部５０７により入力された音声情報を認識し、ＷＥＢブラウザ５５を起動してサーバ３にアクセスし、ユーザの音声情報を送信する（ステップＳ３０１）。サーバ３はユーザ端末５から音声情報を受信すると、音声による認証処理を行い、ユーザを特定する。認証成功した場合はログイン処理を行う（ステップＳ３０２）。サーバ３はユーザ端末５に認証結果を送信する。ユーザ端末５は認証結果を受信する。認証失敗した場合は、音声の再入力や、ログイン画面を表示してログイン情報の入力を受け付ける。認証成功の場合は、トップ画面を表示する。
【００６３】
トップ画面（不図示）には、健康状態判定システム１で実行可能な各機能へ移行するためのボタンが表示される。ここでは、「健康状態の閲覧」メニューがユーザにより選択されるものとする。ユーザ端末５は、健康状態の閲覧要求をサーバ３に送信する（ステップＳ３０４）。メニューの選択は、画面のタッチ操作により行ってもよいし、音声入力により行ってもよい。
【００６４】
サーバ３は、ログインしたユーザ端末５から健康状態の閲覧要求を受信すると、データベース３４から当該ユーザ（音声により特定されたユーザ）の美顔率３４５、肌の状態３４４、健康度３４６等の健康状態に関する情報の履歴（過去の情報）を取得する（ステップＳ３０５）。サーバ３の制御部３０１は、取得した健康状態に関する情報の履歴（過去の情報）に基づいて健康状態の推移を示すグラフを作成する（ステップＳ３０６）。グラフは、例えば、図１１に示すような、美顔率３４５を時系列（週単位、月単位、または年単位）に示したグラフ８１、シミの個数を時系列（週単位、月単位、または年単位）に示したグラフ８２、肌荒れの個数を時系列（週単位、月単位、または年単位）に示したグラフ８３である。グラフ８１、８２、８３はダッシュボード８０にレイアウトされる。
【００６５】
また、サーバ３の制御部３０１は、現在の顔画像３４２について美顔率３４５と健康度３４６との相関画像８４を作成する（ステップＳ３０７）。相関画像８４とは、美顔率３４５と健康度３４６との相関関係を示す画像である。例えば、図１１に示すように、ユーザの顔画像３４２の各パーツに美顔率３４５を算出するための補助線を重ね、各補助線の間隔の比率を各補助線の近傍に示すとともに、美顔率３４５と健康度３４６とを示した画像８４である。
【００６６】
また、サーバ３の制御部３０１は、現在の顔画像３４２についてのアドバイス情報８５を作成する（ステップＳ３０８）。アドバイス情報８５は、ユーザの健康状態に関するアドバイスや、ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス等である。
【００６７】
健康状態に関するアドバイスは、肌荒れやシミ等の位置から分析される原因に基づき生活習慣や食事、睡眠等の改善点を提案する情報である。健康状態と肌荒れをリンクさせて、発生から完治までの状況から肌荒れに最適な食事や睡眠など健康へのアドバイスを行う。健康状態に関するアドバイスの情報は、サーバ３の記憶部３０２に予め記憶された複数パターンのアドバイス用の定型文や画像の中から、肌荒れやシミ等の位置と原因に基づいて適切ないくつかの情報を抽出し、組み合せて生成される。
【００６８】
また、ユーザの顔画像３４２と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイスは、テキストだけでなくアドバイス画像８６を作成してもよい。図１１のアドバイス画像８６は、左側領域に撮影された顔画像３４２の左側部分を表示し、右側領域に撮影された顔画像３４２の右側部分をメイクアップ加工した加工画像を表示したものである。メイクアップ加工は、一般的なメイクアプリにより実施できる。
【００６９】
グラフ８１、８２、８３、相関画像８４、アドバイス情報８５、アドバイス画像８６等が作成されると、サーバ３の制御部３０１は、作成したグラフ８１、８２、８３、相関画像８４、アドバイス情報８５、アドバイス画像８６等をレイアウトしたダッシュボード８０を作成し（ステップＳ３０９）、ユーザ端末５に送信する（ステップＳ３１０）。
【００７０】
ユーザ端末５（ＷＥＢブラウザ５５）は、サーバ３からユーザの健康状態を示したダッシュボード８０を受信し（ステップＳ３１１）、表示部５０４に閲覧可能に表示する。また、このときアドバイス情報８５のテキストを音声で読み上げ（音声出力）するようにしてもよい（ステップＳ３１２）。ユーザは、表示されたダッシュボード８０を閲覧したり、読み上げられたアドバイス情報を聴取することで、健康状態の推移や健康や美容に関するアドバイスを得ることができる。以上が、健康状態解析処理（グラフ作成処理、相関画像作成処理、アドバイス情報作成処理を含む）の説明である。
【００７１】
なお、図１０に示す健康状態解析処理は、音声操作でログイン処理を行うものとしたが、音声によるログインに限定されず、ログイン画面を表示し、認証情報（ユーザＩＤ、パスワード）の入力を受け付けてログイン処理を行うものとしてもよい。また、上述したグラフ作成処理におけるグラフの作成方法、相関画像作成処理における相関画像の作成方法、アドバイス情報作成処理におけるアドバイス情報の作成方法は一例であり、本発明は上述の例に限定されず、その他の方法を用いてもよい。
【００７２】
次に、図１２を参照して動画作成部３８による動画作成について説明する。図１２は、動画作成処理について説明するフローチャートである。
図１２に示すように、ユーザ端末５に対してユーザが「健康アプリ」等のように当該アプリケーションを起動する音声を入力すると、ユーザ端末５は音声処理部５０７により入力された音声情報を認識し、ＷＥＢブラウザ５５を起動してサーバ３にアクセスし、ユーザの音声情報を送信する（ステップＳ４０１）。サーバ３はユーザ端末５から音声情報を受信すると、音声による認証処理を行い、ユーザを特定する。認証成功した場合はログイン処理を行う（ステップＳ４０２）。サーバ３はユーザ端末５に認証結果を送信する。ユーザ端末５は認証結果を受信する。認証失敗した場合は、音声の再入力や、ログイン画面を表示してログイン情報の入力を受け付ける。認証成功の場合は、トップ画面を表示する。
【００７３】
トップ画面において、「動画作成」メニューがユーザにより選択されると、ユーザ端末５は、動画作成要求をサーバ３に送信する（ステップＳ４０４）。メニューの選択は、タッチ操作により行ってもよいし、音声入力により行ってもよい。
【００７４】
サーバ３は、ログインしたユーザ端末５から動画作成要求を受信すると、データベース３４に記憶されている当該ユーザの顔画像３４２を複数読出し（ステップＳ４０５）、読み出した顔画像を時系列に再生する動画（フォトムービー）を作成する（ステップＳ４０６）。フォトムービーには、任意の音楽やユーザ端末５から受信した音声コメント等を付加してもよい。サーバ３は、作成した動画（フォトムービー）をユーザ端末５に送信する（ステップＳ４０７）。ユーザ端末５は、サーバ３から動画（フォトムービー）を受信（ダウンロード）し（ステップＳ４０８）、ユーザ端末５に保存する。これにより、ユーザ端末５において動画（フォトムービー）を再生したり、音声出力したりすることが可能となる（ステップＳ４０９）。またユーザ端末５は受信した動画（フォトムービー）をＳＮＳで共有することも可能である。
【００７５】
なお、図１２に示す動画作成析処理は、音声操作でログイン処理を行うものとしたが、音声によるログインに限定されず、ログイン画面を表示し、認証情報（ユーザＩＤ、パスワード）の入力を受け付けてログイン処理を行うものとしてもよい。
【００７６】
以上説明したように、本発明の健康状態判定システム１によれば、ユーザ端末５において撮影したユーザの画像をサーバ３に送信すると、サーバ３は、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度３４６を算出し、ユーザ端末５に送信する。ユーザ端末５は、取得した健康度３４６を出力する。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。
【００７７】
また、付加的な機能として、撮影された顔画像から健康度、肌の状態、美顔率を時系列に示したグラフや健康度との相関関係を示す相関画像、アドバイス情報、顔画像の動画（フォトムービー）をサーバ３で作成し、ユーザ端末５に提供することも可能である。また、ユーザ端末５で音声操作が行われた場合は、音声によりユーザを特定してサーバ３にログインし、特定したユーザについての健康状態に関する情報（グラフ、相関画像、アドバイス情報等）を取得できる。
【００７８】
なお、上述の例では、ユーザ端末５で撮影した画像をサーバ３に送信してサーバ３により算出された健康度や健康状態に関する情報をユーザ端末５が受信し、出力する構成としたが、この処理をユーザ端末５単体で行う構成としてもよい。
すなわち、ユーザ端末５は、カメラ５１、送信部５２、出力部５４の他、解析部３２、データベース３４、グラフ作成部３５、相関画像作成部３６、アドバイス情報作成部３７、動画作成部３８の機能を備えるものとしてもよい。この場合、ユーザ端末５は、ネットワーク７を介してサーバ３に接続しなくても、撮影した顔画像３４２に基づき健康度３４６を算出して出力することが可能となる。
【００７９】
以上、添付図面を参照して、本発明に係る健康状態判定システム等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８０】
１………………健康状態判定システム
３………………サーバ
５………………ユーザ端末
７………………ネットワーク
３１………………受信部
３２………………解析部
３３………………送信部
３４………………データベース
３５………………グラフ作成部
３６………………相関画像作成部
３７………………アドバイス情報作成部
３８………………動画作成部
５１………………カメラ（撮影手段）
５２………………送信部
５３………………健康度取得部
５４………………出力部
５５………………ＷＥＢブラウザ
６２………………顔画像
８０………………ダッシュボード
３４１……………ユーザＩＤ
３４２……………顔画像
３４３……………撮影日時
３４４……………肌の状態
３４５……………美顔率
３４６……………健康度
５０４……………表示部
【図１】
2020052505.tif 000003
【図２】
2020052505.tif 000004
【図３】
2020052505.tif 000005
【図４】
2020052505.tif 000006
【図５】
2020052505.tif 000007
【図６】
2020052505.tif 000008
【図７】
2020052505.tif 000009
【図８】
2020052505.tif 000010
【図９】
2020052505.tif 000011
【図１０】
2020052505.tif 000012
【図１１】
2020052505.tif 000013
【図１２】
2020052505.tif 000014