(57)【要約】【課題】ユーザにとって適切なタイミングで表示装置の表示制御を行なう。【解決手段】表示装置１は、生体情報値取得部１１３と、比較部１１６と、被写体状態判定部１１７と、を備える。生体情報値取得部１１３は、被写体の生体情報値を逐次取得する。比較部１１６は、生体情報値取得部１１３により逐次取得された第１の生体情報値と、生体情報値取得部１１３により逐次取得された第１の生体情報値とは異なる第２の生体情報値とを比較する。被写体状態判定部１１７は、比較部１１６による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する。【選択図】図５
2020054633.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの生体情報値を逐次取得する生体情報値取得手段と、
前記生体情報値取得手段により逐次取得された第１の生体情報値と、前記生体情報値取得手段により逐次取得された前記第１の生体情報値とは異なる第２の生体情報値とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定手段と、
を備えることを特徴とする判定装置。
【請求項２】
前記前記第１の生体情報値に対して所定の補正を行なうことにより、補正後の第１の生体情報値とする補正手段を更に備え、
前記比較手段は、前記補正後の第１の生体情報値と、前記第２の生体情報値とを比較する、
ことを特徴とする請求項１に記載の判定装置。
【請求項３】
前記判定手段は、前記比較手段による比較において前記補正後の第１の生体情報値と、前記第２の生体情報値とが略同一となった場合に前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する、
ことを特徴とする請求項２に記載の判定装置。
【請求項４】
表示手段を備え、
前記判定手段による判定結果に応じて第１の報知情報を前記表示手段に表示する表示制御手段を更に備えることを特徴とする請求項１乃至３の何れか１項に記載の判定装置。
【請求項５】
前記表示制御手段は、前記判定手段により前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定された場合に、前記第１の報知情報とは異なる第２の報知情報を前記表示手段に表示する、
ことを特徴とする請求項４に記載の判定装置。
【請求項６】
前記表示手段と表示方向に対して重畳する反射手段を更に備え、
前記表示制御手段は、前記判定手段による判定結果に応じて、前記反射手段に反射される鏡像に重畳する前記表示手段の所定の位置の表示を制御する、
ことを特徴とする請求項４又は５に記載の判定装置。
【請求項７】
前記第１の生体情報値は前記ユーザに対する所定の処置の開始時の値である、
ことを特徴とする請求項１乃至６の何れか１項に記載の判定装置。
【請求項８】
前記第１の生体情報値及び前記第２の生体情報値は、前記生体情報値取得手段により生体情報が取得されている所定の時間若しくは周期の範囲である所定期間に取得される、
ことを特徴とする請求項１乃至７の何れか１項に記載の判定装置。
【請求項９】
生体情報値から平均値を算出する算出手段を更に備え、
前記生体情報値取得手段により逐次取得された第１の生体情報値及び第２の生体情報値は、前記所定期間に取得された平均値である、
ことを特徴とする請求項８に記載の判定装置。
【請求項１０】
撮像手段を更に備え、
前記生体情報値取得手段は、前記撮像手段により撮像された被写体を含む画像から前記生体情報値を逐次取得する、
ことを特徴とする請求項１乃至８の何れか１項に記載の判定装置。
【請求項１１】
画像取得手段を更に備え、
前記生体情報値取得手段は、前記画像取得手段により取得されたユーザを含む画像から前記生体情報値を逐次取得する、
ことを特徴とする請求項１乃至１０の何れか１項に記載の判定装置。
【請求項１２】
前記判定手段は、前記比較手段による比較において、前記第１の生体情報値が取得されてから所定の時間以内に前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定できない場合であっても、所定の条件が満たされたならば前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する、
ことを特徴とする請求項１乃至１１の何れか１項に記載の判定装置。
【請求項１３】
コンピュータが行う判定方法であって、
ユーザの生体情報値を逐次取得する生体情報値取得ステップと、
前記生体情報値取得ステップにより逐次取得された第１の生体情報値と、前記生体情報値取得ステップにより逐次取得された前記第１の生体情報値とは異なる第２の生体情報値とを比較する比較ステップと、
前記比較ステップによる比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定ステップと、
を備えることを特徴とする判定方法。
【請求項１４】
ユーザの生体情報値を逐次取得する生体情報値取得機能と、
前記生体情報値取得機能により逐次取得された第１の生体情報値と、前記生体情報値取得機能により逐次取得された前記第１の生体情報値とは異なる第２の生体情報値とを比較する比較機能と、
前記比較機能による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定機能と、
をコンピュータに実現することを特徴とする判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判定装置、判定方法及び判定プログラムに関する。
【背景技術】
【０００２】
従来、ユーザから取得した生体情報に基づいて、所定の判定を行なう判定装置が知られている。例えば、特許文献１には、取得した生体情報に基づいて、ユーザの体調を定量化判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１５３６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１等の一般的な技術では、或る時点でのユーザの体調等が判定できるのみであり、時間の経過に伴うユーザの変化について判定することはできなかった。例えば、施術の実行等の何らかの要因に伴い、ユーザの体調等が変化することについて判定することはできなかった。
【０００５】
本発明はこのような問題点に鑑みてなされたものであり、ユーザの変化に関する判定を行なうことを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の表示装置は、
被写体の生体情報値を逐次取得する生体情報値取得手段と、
前記生体情報値取得手段により逐次取得された第１の生体情報値と、前記生体情報値取得手段により逐次取得された前記第１の生体情報値とは異なる第２の生体情報値とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザの変化に関する判定を行なうことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る表示システムの構成を示す構成図である。
【図２】本発明の一実施形態に係る表示装置の前面の外観構成を示す構成図である。
【図３】本発明の一実施形態に係る表示装置の側面の外観構成を示す構成図である。
【図４】本発明の一実施形態に係る表示装置のハードウェアの構成を示すブロック図である。
【図５】本発明の一実施形態に係る表示装置の機能的構成のうち、表示制御処理を実行するための機能的構成を示す機能ブロック図である。
【図６】本発明の一実施形態に係る表示装置が実行する表示制御処理における施術に伴うユーザの変化について示す模式図である。
【図７】本発明の一実施形態に係る表示装置が実行する表示制御処理における施術前の脈波データを示す模式図である。
【図８】本発明の一実施形態に係る表示装置が実行する表示制御処理における施術後の脈波データを示す模式図である。
【図９】本発明の一実施形態に係る表示装置が実行する表示制御処理の流れを説明するフローチャートである。
【図１０】本発明の一実施形態に係る表示装置が実行する表示制御処理での表示例の遷移を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る表示装置１は、ユーザが携帯可能な自立式の鏡として構成される。そして、表示装置１は、鏡を視認するユーザに対して、鏡部に反射する鏡像と、表示部に表示したガイド画像等の所定の情報とを重畳することにより、ユーザに対するガイダンスを行う。ユーザは、このガイダンスと、自身の顔の鏡像を参照しながら、ガイダンスに対応する施術等（例えば、マッサージやツボ押しや笑顔のトレーニング）を行なうことができる。
【００１０】
この場合に、表示装置１は、ユーザを被写体として撮像し、撮像したユーザに対してフェイストラッキングを行うことにより、ユーザの顔の各部の座標と、各部に対応するユーザの画像とを検出する。また、表示装置１は、検出したユーザの画像を解析することにより、ユーザの生体情報値を取得する。更に、表示装置１は、この生体情報値の変化に基づいて、ユーザが所定の状態となったか否かを判定する。そして、表示装置１は、この判定結果に基づいて表示制御を行なう。
【００１１】
一例として、表示装置１は、ユーザの画像に基づいて脈波を測定する。そして、第１の所定期間において測定した脈波の波形の平均値と、第２の所定期間において測定した脈波の波形の平均値を比較する。ここで、例えば、ユーザが顔の頬の施術を行うことで顔全体の血流量が増えるため、施術前と後を比べると脈波の波形の平均値がプラス方向に変化する（以下、この変化を「ＤＣ（Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）オフセット」と称する。）。このＤＣオフセットを測定し、変化分が規定のレベル以上プラス分に変化した場合、施術が行われたと判定する。
そのために、表示装置１は、第１の所定期間において測定した脈波の波形の平均値を、規定のレベル以上プラス分に補正する。そして、表示装置１は、補正後の第１の所定期間において測定した脈波の波形の平均値と、第２の所定期間において測定した脈波の波形の平均値が略同一となった場合に、施術が終了したと判定する。そして、表示装置１は、既に終了した施術に対応する情報（例えば、既に終了した施術のやり方についてのガイダンス情報）から、新たな施術に対応する情報（例えば、新たな施術のやり方についてのガイダンス情報）を表示するように、表示制御を行なう。
【００１２】
このような表示装置１によれば、生体情報値の変化に基づいて、被写体となったユーザが処理の状態となったか否かを判定できる。すなわち、ユーザの変化に関する判定を行なうことができる。そして、このような判定結果に基づいて、表示制御を行なうことができる。
つまり、表示装置１によれば、ユーザにとって適切なタイミングで表示装置の表示制御を行なうことができる。
【００１３】
［システム構成］
図１は、本実施形態に係る表示装置１が含まれる表示システムＳの全体構成を示す構成図である。図１に示すように、表示システムＳは、複数の表示装置１、ネットワーク２及びサーバ群３を含む。
表示装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の表示装置１が表示システム１に含まれていてよい。なお、以下の説明において、ｎ台の表示装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「表示装置１」と称する。
【００１４】
表示装置１は、上述したとおり、ユーザにとって適切なタイミングで表示制御を行なう表示装置である。表示装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。
【００１５】
ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
【００１６】
サーバ群３には、表示装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、表示装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、表示装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる表示装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。
ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
【００１７】
［外観構成］
図２は、本発明の一実施形態に係る表示装置１の前面の外観構成を示す構成図である。また、図３は、表示装置１の側面の外観構成を示す構成図である。表示装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。
【００１８】
図２及び図３に示すように、表示装置１は、本体部３０と、脚部３１と、ヒンジ部３２を含んで構成される。本体部３０は、鏡部１８や表示部１９、及びその他のハードウェアを含む本体部分である。また、脚部３１とヒンジ部３２は、表示装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に接合される。
図３（Ａ）に示すように、ユーザは、表示装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、表示装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、表示装置１を自立させることができる。なお、表示装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。
【００１９】
本体部３０は、鏡部１８と表示部１９とを含む。
鏡部１８は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーである。鏡部１８は、図示するように本体部３０の前面に配置される。
表示部１９は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１９は、例えば、マッサージ等のガイダンスを行うためのガイド画像や、文字等のメッセージや、ユーザの生体情報等を表示する。
【００２０】
表示装置１では、鏡部１８の反射面と、表示部１９の表示面とが、鏡部１８に正対するユーザから同時に視認可能に、ユーザの視認方向に重畳して配置される。例えば、液晶ディスプレイにより構成された表示部１９が、ハーフミラーにより構成された鏡部１８の視認方向における奥側に、並行に重ねて配置される。
このような配置により、ユーザは、例えば、鏡部１８により反射された自身の顔（図中の鏡像４１に相当）と、表示部１９に表示されると共に鏡部１８を透過した各種の情報（図中のガイド画像４２に相当）とを同時に視認することができる。
【００２１】
図２に示すように、表示装置１は、外観構成として、更に、撮像部１６及び入力部１７を備えている。
【００２２】
撮像部１６は、表示装置１の利用時に、鏡部１８に正対するユーザを被写体として撮像する部分である。撮像部１６は、鏡部１８に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、鏡部１８の上部に配置される。
【００２３】
入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、表示装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。
【００２４】
以上、表示装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、表示装置１の外観構造は、この例に限定されない。
【００２５】
例えば、表示装置１は、鏡部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、表示装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、鏡部１８の上部や下部に配置されてもよく、鏡部１８の周辺全体に配置されてもよい。
【００２６】
また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１９の一部がタッチパネルとして構成され、入力部１７と表示部１９とが一体に構成されてもよい。
【００２７】
更に、例えば、上述したようにハーフミラーにより鏡部１８を構成し、一般的な液晶ディスプレイにより表示部１９を構成するのではなく、一般的な鏡により鏡部１８を構成し、透過型の液晶ディスプレイにより表示部１９を構成するようにしてもよい。この場合、一般的な鏡により構成された鏡部１８が、透過型の液晶ディスプレイにより構成された表示部１９の視認方向における奥側に、並行に重ねて配置されるようにするとよい。
【００２８】
［ハードウェア構成］
図４は、表示装置１のハードウェアの構成を示すブロック図である。
図４に示すように、表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、鏡部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、リムーバブルメディア１００と、を備えている。
【００２９】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００３０】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００３１】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２とが接続されている。
【００３２】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００３３】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。
【００３４】
入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
【００３５】
鏡部１８は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーである。鏡部１８は、表示部１９による表示がなされている領域において、表示部１９による表示を透過する。一方で、鏡部１８は、表示部１９による表示がなされていない領域において、表示装置１に生体するユーザ等の像を、鏡像として反射する。
【００３６】
表示部１９は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。これら表示部１９と、鏡部１８の配置については、図２を参照して上述した通りである。
【００３７】
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
【００３８】
通信部２１は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。
【００３９】
ドライブ２２は、リムーバブルメディア１００が装着可能なインターフェースにより構成される。ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の表示制御処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２２によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部２０にインストールされる。
【００４０】
なお、表示装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、表示装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。
【００４１】
［機能的構成］
図５は、表示装置１の機能的構成のうち、表示制御処理を実行するための機能的構成を示す機能ブロック図である。
表示制御処理とは、表示装置１が、ユーザから取得した生体情報値の変化に基づいて、表示制御を行なう一連の処理である。
【００４２】
表示制御処理が実行される場合、図５に示すように、ＣＰＵ１１において、設定処理部１１１と、表示制御部１１２と、生体情報値取得部１１３と、平均値算出部１１４と、補正部１１５と、比較部１１６と、被写体状態判定部１１７とが機能する。
また、記憶部２０の一領域には、ガイダンス情報記憶部２０１と、比較基準値記憶部２０２とが設定される。
【００４３】
ガイダンス情報記憶部２０１には、表示制御処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部２０１には、表示制御処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等が格納される。また、ガイダンス情報記憶部２０１には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部２０１には、表示制御処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ（Ｃｏｍｐｕｔｅｒ  ｇｒａｐｈｉｃｓ）等であってもよい。
【００４４】
比較基準値記憶部２０２には、後述の生体情報値取得部１１３、平均値算出部１１４、及び補正部１１５が作成した、比較部１１６が比較を行なうための情報（以下、「比較基準値」と称する。）が格納される。比較基準値については、これら機能ブロックの説明において後述する。
【００４５】
なお、上述したようなガイダンス情報記憶部２０１や比較基準値記憶部２０２に格納される各情報は、記憶部２０にのみ格納されていてもよいが、ドライブ２２によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部２０１や比較基準値記憶部２０２に格納される各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。
【００４６】
また、以下に説明する各機能ブロックでは、表示制御処理を行う前提として座標情報が設定されている。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、鏡部１８の反射面についての座標系である鏡部座標系、及び表示部１９の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、及び各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。以下に説明する各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより表示制御処理を行うことができる。これら各座標系の対応関係は、例えば、表示装置１の製造時に、撮像部１６における撮像レンズの方向調整や、ズーム率の調整等による、対応関係の補正を伴うキャリブレーションを行うことにより設定される。例えば、ズーム率の調整は、撮像部１６のレンズ位置の調整によって行われる所謂光学ズーム、及び、画像処理における所謂デジタルズーム、の双方又は何れかを用いて行われる。
【００４７】
設定処理部１１１は、表示制御処理に関する設定等の制御を行う部分である。設定処理部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、表示制御処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、表示制御処理を行うユーザを認証する。更に設定処理部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、表示制御処理におけるユーザのプロファイル情報を更新する。
【００４８】
また、設定処理部１１１は、表示制御処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部１１１は、メニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、表示制御処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。
【００４９】
表示制御部１１２は、表示制御処理において、各種の情報（例えば、ガイダンス情報）の表示を制御する部分である。また、表示制御部１１２は、後述の被写体状態判定部１１７の判定結果に基づいて、ガイダンス情報を切り替えて表示部１９に表示をさせることによって、一連のガイダンスを実現する。
そのために、表示制御部１１２はガイダンス情報記憶部２０１からガイダンス情報を読み込む。そして、表示制御部１１２は、後述の被写体状態判定部１１７の判定結果に基づいて、読み込んだガイダンス情報に定められた順番で、読み込んだガイダンス情報に定められた位置に、ガイド画像情報を表示する。
【００５０】
そして、表示制御部１１２は、例えば、後述の被写体状態判定部１１７の判定結果が、施術を継続中であることを示す判定結果であった場合には、現在継続中の施術についてのガイダンス情報の表示を継続する。一方で、表示制御部１１２は、例えば、後述の被写体状態判定部１１７の判定結果が、施術が終了したことを示す判定結果であった場合には、既に終了した施術に対応するガイダンス情報から、新たな施術に対応するガイダンス情報を表示するように、表示制御を行なう。
【００５１】
また、表示制御部１１２は、更に他の条件に基づいてガイダンス情報の表示を切り替えてもよい。例えば、表示制御部１１２は、或る施術のガイダンス情報の表示を開始してから所定時間が経過したにも関わらず、後述の被写体状態判定部１１７の判定結果が、施術を継続中であることを示す判定結果であった場合には、自動的にガイダンス情報の表示を切り替えたり、終了したりしてもよい。また、表示制御部１１２は、ユーザの切り替え指示操作や、終了指示操作に基づいて、ガイダンス情報の表示を切り替えたり、終了したりしてもよい。
【００５２】
具体的なガイダンス情報の表示方法として、表示制御部１１２は、例えば、鏡部１８によりユーザの顔等の所定の部位領域の鏡像が反射している位置に重畳するように、ガイド画像を表示する。例えば、マッサージについてのガイダンスを行うタイミングで、マッサージの際の手の動きを示す矢印のガイド画像を、ユーザの顔のマッサージを行う部位領域の鏡像が反射している位置に重畳するように表示する。ユーザは、この重畳された表示を参照することにより、マッサージを行う部位領域や、マッサージの方向等を、自身の鏡像と重畳して、分かりやすく視認することができる。
【００５３】
なお、このような重畳表示を行う場合、例えば、生体情報値取得部１１３は、フェイストラッキングにより、撮像部１６が撮像したユーザの所定の部位領域を検出する。そして、上述した各座標系の対応関係に基づいて、検出した部位領域の撮像座標系における座標に対応する、表示部座標系の座標を取得する。そして、表示制御部１１２は、表示部１９の生体情報値取得部１１３が取得した表示部座標系の座標に、前記加工後ガイド画像を表示することにより、重畳表示を行うことができる。
【００５４】
また、表示制御部１１２は、ユーザの顔等の鏡像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、一連のガイダンスにおいてユーザが向くべき方向や、マッサージの方法を画像やテキストで自動配置し表示するようにしてもよい。他にも、表示制御部１１２は、例えば、ユーザの顔等の鏡像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、生体情報を表示するための波形データや必要な文字、画像情報を自動配置し表示するようにしてもよい。
【００５５】
また、表示制御部１１２は、これらの表示を組み合わせるようにしてもよい。例えば、表示制御部１１２は、マッサージの際の手の動きを示す矢印はユーザの顔等の鏡像と重複する領域に重畳して表示し、マッサージの内容を示すテキストはユーザの顔等の鏡像と重複しない領域に表示するようにしてもよい。
【００５６】
表示制御部１１２が、このような情報を、後述の被写体状態判定部１１７の判定結果に基づいてリアルタイムに表示することで、一連のガイダンスを、ユーザに伝わりやすく、適切に行うことができる。
【００５７】
なお、表示制御部１１２は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部１１２は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部１１２は、発光部による発光状態を変化させるようにしてもよい。
【００５８】
生体情報値取得部１１３は、表示制御処理において、撮像部１６による撮像の被写体となったユーザに関する情報（以下、「被写体情報」と称する。）を取得する部分である。被写体情報とは、例えば、ユーザの顔等における各部位の位置を示す座標や、ユーザの顔等における各部位の色や、ユーザの生体情報等である。
【００５９】
被写体情報の取得のために、生体情報値取得部１１３は、撮像部１６が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの状態を検出する。
例えば、生体情報値取得部１１３は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。そして、生体情報値取得部１１３は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザの顔の角度（すなわち、ユーザの顔の向き）といった状態を検出する。
【００６０】
また、生体情報値取得部１１３は、他にも、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報値（バイタルデータと呼ばれることもある。）の計測を逐次行うことにより、生体情報値を逐次取得する。この場合、上記の検出された検出された所定の領域は、非接触で生体情報を取得するための関心領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）に相当する。この場合に、生体情報値取得部１１３は、１つの関心領域の画像を対象として計測を行ってもよいが、複数の関心領域の画像を対象として計測を行ってもよい。例えば、生体情報値取得部１１３は、ユーザの顔画像中の、例えば輪郭と眼の位置を検出して、それらとの相対位置に基づき、自動的に、額、瞼、頬、鼻周辺、唇周り、顎、首、デコルテ等の複数の領域を関心領域として認識する。
【００６１】
そして、生体情報値取得部１１３は、例えば、この関心領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより計測を行う。例えば、生体情報値取得部１１３は、生体情報値取得部１１３は、脈拍の遅延がわかる離れた２点（例えば頬と額、又は、額か頬と手のひら等）の関心領域を対象として測定を行なうことにより、緑色信号に基づいて血液量の変化分を求め、この変化分に基づいて、脈拍、脈波、及び血流等の生体情報を求める。あるいは、生体情報値取得部１１３は、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。この場合に、生体情報値取得部１１３は、測定した生体情報に対してノイズ除去等を行うようにしてもよい。また、他にも赤外線カメラを使用した肌の表面温度差を測定するようにしてもよい。
【００６２】
本実施形態では、一例として、生体情報値取得部１１３は、脈拍の遅延がわかる離れた２点の関心領域を対象として皮下の血液中ヘモグロビンが吸収する緑色信号の輝度の測定を逐次行なうことにより、脈波に対応する波形を逐次取得する。
【００６３】
なお、生体情報値取得部１１３による生体情報の取得は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
＜参考文献＞
東北大学  サイバーサイエンスセンター  先端情報技術研究部、東北大学  革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成３０年９月２７日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞
【００６４】
生体情報値取得部１１３は、このようにして逐次取得した、生体情報値（ここでは、脈波に対応する波形を示す緑色信号の輝度）を、後述の処理を行なうために平均値算出部１１４に対して出力する。また、その他の被写体情報を、表示制御部１１２による表示制御のために表示制御部１１２に対して出力する。
【００６５】
平均値算出部１１４は、生体情報値取得部１１３が逐次取得した生体情報値の平均値を算出する。例えば、平均値算出部１１４は、所定期間（例えば、数秒程度の複数の脈波の波形が含まれる期間）の生体情報値の平均値を算出する。そのために平均値算出部１１４は、所定期間において、所定の周期で生体情報値をサンプリングし、このサンプリングした値を平均することにより所定期間の生体情報値の平均値として算出する。
【００６６】
あるいは、平均値算出部１１４は、所定期間連続してサンプリングを行なうことにより、所定期間に含まれる脈波の波形のプラスのピークにおける生体情報値と、マイナスのピークにおける生体情報値とを検出する。そして、平均値算出部１１４は、検出した脈波の波形のプラスのピークにおける生体情報値と、マイナスのピークにおける生体情報値とを平均することにより所定期間の生体情報値の平均値を算出する。
そして、平均値算出部１１４は、このようにして算出した所定期間における生体情報値の平均値を後述の補正部１１５及び比較部１１６に対して出力する。
【００６７】
補正部１１５は、平均値算出部１１４が出力した第１の所定期間（例えば、ガイダンス開始時の所定期間）の生体情報値の平均値を補正する。例えば、補正部１１５は、平均値算出部１１４が出力した第１の所定期間の生体情報値の平均値をプラス方向に補正する。そして、補正部１１５は、補正後の第１の所定期間の生体情報値の平均値を、比較基準値として比較基準値記憶部２０２に格納する。
【００６８】
比較部１１６は、比較基準値記憶部２０２に格納された比較基準値（すなわち、補正後の第１の所定期間の生体情報値の平均値）と、平均値算出部１１４が出力した第２の所定期間（例えば、ガイダンス開始時から数分経過後に、周期的に訪れる所定期間）の生体情報値の平均値とを比較する。そして、比較部１１６は、比較結果を被写体状態判定部１１７に対して出力する。
【００６９】
被写体状態判定部１１７は、比較部１１６の比較結果に基づいて、ユーザが所定の状態となったか否かを判定する。例えば、被写体状態判定部１１７は、比較部１１６による比較において比較基準値と、第２の所定期間の生体情報値の平均値とが略同一となった場合にユーザが所定の状態となったと判定する。一方で、被写体状態判定部１１７は、比較部１１６による比較において比較基準値と、第２の所定期間の生体情報値の平均値とが略同一となっていない場合には、ユーザが所定の状態となっていないと判定する。なお、補正部１１５による補正量や、被写体状態判定部１１７の判定における略同一となった基準は、測定対象とする生体情報値の種類や、ガイダンスの内容に応じて適宜設定することができる。また、各ユーザの生体情報値の測定履歴の平均値や、複数ユーザの生体情報値の測定履歴の平均値等に応じて、適宜設定を変更することができる。
【００７０】
このようにして判定を行った被写体状態判定部１１７は、判定結果を表示制御部１１２に対して出力する。上述したように表示制御部１１２は、この被写体状態判定部１１７による判定結果に基づいて、表示部１９における表示の表示制御を行なう。例えば、表示制御部１１２は、ユーザが所定の状態となっていない場合には、現在表示しているガイダンス情報の表示を継続する。一方で、表示制御部１１２は、ユーザが所定の状態となっている場合には、現在表示しているガイダンス情報の表示を切り替えて、新たなガイダンス情報の表示を開始する。
【００７１】
［比較判定の考え方］
以上、各機能ブロックについて説明をした。次に、図６、図７、及び図８を参照して、上述した各機能ブロックが協働することにより行われる、比較判定の考え方について説明をする。ここで、図６は、表示制御処理における施術に伴うユーザの変化について示す模式図である。また、図７は、表示制御処理における施術前の脈波データを示す模式図である。更に、図８は、表示制御処理における施術後の脈波データを示す模式図である。
【００７２】
上述したように、本実施形態では、ユーザの画像に基づいて脈波を測定する。ここで、ユーザが顔の頬の施術（例えば、マッサージ）を行うことで、時間の経過と共に顔全体の血流量が増えるため、施術前と後を比べると脈波の波形の平均値がプラス方向に変化する。すなわち、ＤＣオフセットが生じる。例えば、図６（Ａ）、図６（Ｂ）、及び図６（Ｃ）として示すように、マッサージ開始後、時間の経過と共に、顔全体の血流量を示す、皮下の血液中ヘモグロビンが吸収する緑色信号の輝度が高くなる。なお、図示の都合上、図中では、輝度をハッチングの濃度にて示している。
【００７３】
これを、生体情報値取得部１１３が取得する生体情報値が示す波形（ここでは、脈波の波形）として捉えると、図７に示すような時間と共に変化する波形となる。図７に示すのは施術前の脈波の波形であり、すなわち、第１の所定期間における波形である。なお、図中では、波形を模式的に正弦波として示しているが、これは説明の便宜のためであり、必ずしもこのような正弦波にはならない。この波形を平均値算出部１１４により平均化した値を、図中に脈波平均値として示す。
同様にして、図８に、施術後の脈波の波形、すなわち、第２の所定期間における波形を示す。また、この波形を平均値算出部１１４により平均化した値も、図７と同様に図中に脈波平均値として示す。
【００７４】
ここで、施術前後の脈波平均値は、ＤＣオフセット分だけ変化している。本実施形態では、このＤＣオフセットを測定し、変化分が規定のレベル以上プラス分に変化した場合、施術が行われたと判定する。
そのために、上述したように、補正部１１５は、第１の所定期間において測定した脈波の波形の平均値を、規定のレベル以上プラス分に補正することにより比較基準値とする。そして、被写体状態判定部１１７は、比較部１１６の比較結果に基づいて、比較基準値と、第２の所定期間において測定した脈波の波形の平均値が略同一となった場合に、施術が終了したと判定する。そして、表示制御部１１２は、この判定結果に基づいて、既に終了した施術に対応する情報（例えば、既に終了した施術のやり方についてのガイダンス情報）から、新たな施術に対応する情報（例えば、新たな施術のやり方についてのガイダンス情報）を表示するように、表示制御を行なう。
以上が、本実施形態における比較判定の考え方である。
【００７５】
なお、施術の種類及び生体情報値の種類によっては、ＤＣオフセットがマイナス分に生じることがある。例えば、ユーザをリラックスさせる施術であって、生体情報値がリラックスに伴い低下する血圧や脈拍の場合には、ＤＣオフセットがマイナス分に生じることがある。このような場合には、第１の所定期間において測定した脈波の波形の平均値を、規定のレベル以上マイナス分に補正することにより比較基準値とすればよい。
【００７６】
［表示制御処理］
図９は、図５の機能的構成を有する図１の表示装置１が実行する表示制御処理の流れを説明するフローチャートである。また、図１０は、表示制御処理での表示例の遷移を示す模式図である。
表示制御処理は、例えば、表示装置１の電源投入や、ユーザによる表示制御処理の開始時操作と共に開始される。
【００７７】
ステップＳ１１において、設定処理部１１１は、初期設定を行う。例えば、設定処理部１１１は、サーバ群３に含まれるアプリケーション配信サーバから、表示制御処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、アプリケーションソフトウェアの動作に伴い、撮像部１６等の各ハードウェアに対して、アプリケーションソフトウェアに応じた設定を行う。そして、設定処理部１１１は、撮像部１６による撮像を開始させる。
【００７８】
ステップＳ１２において、設定処理部１１１は、メニュー選択を行なう。例えば、ユーザの選択操作に応じて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択する。
【００７９】
ステップＳ１３において、生体情報値取得部１１３は、トラッキング等を行い被写体情報の取得を開始する。この場合、鏡部１８及び表示部１９における重畳表示としては、例えば、図１０（Ａ）に示すように、ユーザの顔の鏡像に、トラッキング用のガイド情報が表示される。ユーザは、このガイド情報に基づいて顔の位置を調整する。これにより、迅速にトラッキングを行なうことができる。
【００８０】
ステップＳ１４において、生体情報値取得部１１３は、所定期間の生体情報値を取得する。これは、上述した第１の所定期間に相当する。この場合、鏡部１８及び表示部１９における重畳表示としては、例えば、図１０（Ｂ）に示すように、ユーザの顔の鏡像に、ＲＯＩの位置と、測定されている生体情報値（ここでは、緑色信号の輝度）が表示される。ユーザは、この表示を参照することにより、生体情報値を取得中であることを認識することができる。
【００８１】
ステップＳ１５において、表示制御部１１２は、ステップＳ１２おけるメニュー選択に基づいて、新たなガイダンス情報を表示する。この場合、鏡部１８及び表示部１９における重畳表示としては、例えば、図１０（Ｃ）に示すように、ユーザの顔の鏡像に、施術を行なうためのガイダンス情報が表示される。ユーザは、このガイダンス情報を参照して、適切に施術を行なうことができる。
【００８２】
ステップＳ１６において、平均値算出部１１４は、ステップＳ１４において取得した第１の所定期間の生体情報値の平均値を算出する。
ステップＳ１７において、補正部１１５は、補正により比較基準値を算出する。
【００８３】
ステップＳ１８において、生体情報値取得部１１３は、ステップＳ１５におけるガイダンス情報の表示から（すなわち、ユーザによる施術開始から）所定時間が経過し、第２の所定期間となったか否かを判定する。所定時間が経過し、第２の所定期間となった場合は、ステップＳ１８においてＹｅｓと判定され、処理はステップＳ１９に進む。一方で、所定時間が経過し、第２の所定期間となっていない場合は、ステップＳ１８においてＮｏと判定され、ステップＳ１８の判定は繰り返される。
【００８４】
ステップＳ１９において、生体情報値取得部１１３は、所定期間の生体情報値を取得する。これは、上述した第２の所定期間に相当する。
ステップＳ２０において、平均値算出部１１４は、ステップＳ１９において取得した第２の所定期間の生体情報値の平均値を算出する。
【００８５】
ステップＳ２１において、比較部１１６は、ステップＳ１７において補正部１１５により算出された比較基準値と、ステップＳ２０において平均値算出部１１４により算出された第２の所定期間の生体情報値とを比較する。
ステップＳ２２において、被写体状態判定部１１７は、比較部１１６による比較の結果に基づいて、比較基準値と、第２の所定期間において測定した脈波の波形の平均値が略同一となったか否かを判定する。略同一となった場合は、ステップＳ２２においてＹｅｓと判定され、処理はステップＳ２４に進む。一方で、略同一となっていない場合は、ステップＳ２３においてＮｏと判定され、処理はステップＳ２３に進む。
【００８６】
ステップＳ２３において、表示制御部１１２は、所定の条件が満たされたか否かを判定する。所定の条件とは、表示制御部１１２の機能ブロックの説明の際に上述したように、ガイダンス情報の表示を開始してから所定時間が経過したことや、ユーザの切り替え指示操作があったことである。所定の条件が満たされた場合は、ステップＳ２３においてＹｅｓと判定され、処理はステップＳ２４に進む。一方で、所定の条件が満たされない場合は、ステップＳ２３においてＮｏと判定され、処理はステップＳ１８に戻り、再度所定時間が経過し、次回の第２の所定の期間が訪れるまで判定を繰り返すに進む。この場合、鏡部１８及び表示部１９における重畳表示としては、例えば、図１０（Ｃ）に示す表示が継続される。
【００８７】
ステップＳ２４において、表示制御部１１２は、次に表示すべきガイダンス情報が有るか否かを判定する。次に表示すべきガイダンス情報が有る場合は、ステップＳ２４においてＹｅｓと判定され、処理はステップＳ１５に戻る。そして、表示制御部１１２は、次に表示すべきガイダンス情報を新たに表示し、ステップＳ１６以後の処理が繰り返される。この場合、鏡部１８及び表示部１９における重畳表示としては、例えば、図１０（Ｄ）に示すように、ユーザの顔の鏡像に、新たな施術を行なうための新たなガイダンス情報が表示される。ユーザは、この新たなガイダンス情報を参照して、適切に新たな施術を行なうことができる。
一方で、次に表示すべきガイダンス情報が無い場合は、ステップＳ２４においてＮｏと判定され、本表示制御処理は終了する。
【００８８】
以上説明した表示制御処理によれば、生体情報値の変化に基づいて、被写体となったユーザが処理の状態となったか否かを判定できる。そして、このような判定結果に基づいて、表示制御を行なうことができる。すなわち、ユーザの変化に関する判定を行なうことができる。
つまり、表示装置１が表示制御処理を行なうことにより、ユーザにとって適切なタイミングで表示装置の表示制御を行なうことができる。
【００８９】
なお、次回以降に行われる表示制御処理では、ステップＳ１１におけるアプリケーションの取得等の処理を省略してよい。
【００９０】
以上のように構成される表示装置１は、生体情報値取得部１１３と、比較部１１６と、被写体状態判定部１１７と、を備える。
生体情報値取得部１１３は、ユーザの生体情報値を逐次取得する。
比較部１１６は、生体情報値取得部１１３により逐次取得された第１の生体情報値と、生体情報値取得部１１３により逐次取得された第１の生体情報値とは異なる第２の生体情報値とを比較する。
被写体状態判定部１１７は、比較部１１６による比較結果に基づいて、ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する。
これにより、生体情報値の変化に基づいて、被写体となったユーザが処理の状態となったか否かを判定できる。すなわち、ユーザに対する施術により当該ユーザが所定の改善が得られたか否かを判定できる。このような判定を行なうことから、ユーザにとって適切なタイミングで表示装置の表示制御を行なうことができる。
【００９１】
表示装置１は、補正部１１５を更に備える。
補正部１１５は、第１の生体情報値に対して所定の補正を行なうことにより、補正後の第１の生体情報値とする。
比較部１１６は、補正後の第１の生体情報値と、第２の生体情報値とを比較する。
これにより、生体情報値の変化に基づいて、被写体となったユーザが処理の状態となったか否かを判定できる。
【００９２】
被写体状態判定部１１７は、比較部１１６による比較において補正後の第１の生体情報値と、第２の生体情報値とが略同一となった場合にユーザに対する施術により当該ユーザが所定の改善が得られたと判定する。
これにより、２つの生体情報が略同一となったか否かという定量的な基準に基づいて、ユーザに対する施術により当該ユーザが所定の改善が得られたか否かを判定することができる。
【００９３】
表示装置１は、表示部１９と、表示制御部１１２を更に備える。
表示制御部１１２は、被写体状態判定部１１７による判定結果に応じて第１の報知情報を表示部１９に表示する。
これにより、判定結果に応じて、ユーザにとって適切なタイミングで、所定の報知情報を表示することができる。
【００９４】
表示部１９は、被写体状態判定部１１７によりユーザに対する施術により当該ユーザが所定の改善が得られたと判定された場合に、第１の報知情報とは異なる第２の報知情報を表示部１９に表示する。
これにより、判定結果に応じて、ユーザにとって適切なタイミングで、所定の報知情報を切り替えて表示することができる。
【００９５】
表示装置１は、表示部１９と表示方向に対して重畳する鏡部１８を更に備える。
表示制御部１１２は、被写体状態判定部１１７による判定結果に応じて、鏡部１８に反射される鏡像に重畳する表示部１９の所定の位置の表示を制御する。
これにより、鏡像と、表示部における表示とを、適切に重畳することができる。
【００９６】
第１の生体情報値はユーザに対する所定の処置の開始時の値である。
これにより、所定の処置（例えば、マッサージ）の開始時との比較を行なうことができる。
【００９７】
第１の生体情報値及び第２の生体情報値は、生体情報値取得部１１３により生体情報が取得されている所定の時間若しくは周期の範囲である所定期間に取得される。
これにより、例えば、脈波等の瞬時値を観察するのみでは把握しにくい生体情報に基づいて判定ができる。
【００９８】
表示装置１は、平均値算出部１１４を更に備える。
平均値算出部１１４は、生体情報値から平均値を算出する。
生体情報値取得部１１３により逐次取得された第１の生体情報値及び第２の生体情報値は、所定期間に取得された平均値である。
これにより、平均値同士を比較して、判定をすることができる。
【００９９】
表示装置１は、撮像部１６を更に備える。
生体情報値取得部１１３は、撮像部１６により取得されたユーザを含む画像から生体情報値を逐次取得する。
これにより、ユーザに直接接触することなく判定をすることができる。
【０１００】
被写体状態判定部１１７は、比較部１１６による比較において、第１の生体情報値が取得されてから所定の時間以内にユーザに対する施術により当該ユーザが所定の改善が得られたと判定できない場合であっても、所定の条件が満たされたならばユーザに対する施術により当該ユーザが所定の改善が得られたと判定する。
これにより、ユーザの操作や規定時間の経過等の所定の条件が満たされた場合に、判定を行なうことができる。
【０１０１】
［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
【０１０２】
＜ハーフミラーを省略した変形例＞
鏡部１８を省略した構造の装置によって表示装置１を実現するようにしてもよい。
この場合、撮像部１６によりユーザを撮像し、撮像したユーザの画像を表示部１９に表示するようにすればよい。例えば、上述したガイダンス情報や、生体情報や生体情報から生成される情報と、撮像したユーザの画像を合成し、表示部１９に表示するようにすればよい。この場合には、撮像したユーザの画像と、他の情報との配置を適切に行い、重畳するべき情報（例えば、ユーザのツボの位置と、ツボに対応するユーザの画像部分）はユーザの画像の対応する場所に重畳して表示し、重畳すべきでない情報（例えば、生体情報と、ユーザの顔の中央部等）はユーザの画像と重畳しないように表示してもよい。
このようにしても、上述した実施形態と同様の効果を奏することができる。
【０１０３】
＜比較基準値を用いない変形例＞
上述の実施形態では、被写体状態判定部１１７は、比較部１１６による比較において比較基準値と、第２の所定期間の生体情報値の平均値とが略同一となったか否かに基づいて、ユーザが所定の状態となったか否かを判定していた。これに限らず、被写体状態判定部１１７は、比較部１１６による比較において、第１の所定期間の生体情報値の平均値と、第２の所定期間の生体情報値の平均値との変化（すなわち、ＤＣオフセット）の量が所定値以上となったか否かに基づいて、ユーザが所定の状態となったか否かを判定するようにしてもよい。すなわち、比較基準値を用いずに、第１の所定期間の生体情報値の平均値と、第２の所定期間の生体情報値の平均値とを直接比較して、ユーザが所定の状態となったか否かを判定するようにしてもよい。
【０１０４】
＜生体センサを用いた変形例＞
上述の実施形態では、生体情報値取得部１１３はユーザに対して非接触で生体情報の計測を行うとしたが、これに限らない。例えば、生体情報値取得部１１３は、ユーザに接触する生体センサを用いて生体情報の計測を行ってもよい。
このようにしても、上述した実施形態と同様の効果を奏することができる。
【０１０５】
＜他の変形例＞
例えば、上述の実施形態において、表示装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を表示装置１に追加して、表示装置１のみで全ての処理を行うようにしてもよい。
【０１０６】
また、上述の実施形態では、本発明が適用される表示装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
【０１０７】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が表示装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
【０１０８】
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
【０１０９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１０】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部２０に含まれるハードディスク等で構成される。
【０１１１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１１２】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１３】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
ユーザの生体情報値を逐次取得する生体情報値取得手段と、
前記生体情報値取得手段により逐次取得された第１の生体情報値と、前記生体情報値取得手段により逐次取得された前記第１の生体情報値とは異なる第２の生体情報値とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定手段と、
を備えることを特徴とする判定装置。
［付記２］
前記前記第１の生体情報値に対して所定の補正を行なうことにより、補正後の第１の生体情報値とする補正手段を更に備え、
前記比較手段は、前記補正後の第１の生体情報値と、前記第２の生体情報値とを比較する、
ことを特徴とする付記１に記載の判定装置。
［付記３］
前記判定手段は、前記比較手段による比較において前記補正後の第１の生体情報値と、前記第２の生体情報値とが略同一となった場合に前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する、
ことを特徴とする付記２に記載の判定装置。
［付記４］
表示手段を備え、
前記判定手段による判定結果に応じて第１の報知情報を前記表示手段に表示する表示制御手段を更に備えることを特徴とする付記１乃至３の何れか１に記載の判定装置。
［付記５］
前記表示制御手段は、前記判定手段により前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定された場合に、前記第１の報知情報とは異なる第２の報知情報を前記表示手段に表示する、
ことを特徴とする付記４に記載の判定装置。
［付記６］
前記表示手段と表示方向に対して重畳する反射手段を更に備え、
前記表示制御手段は、前記判定手段による判定結果に応じて、前記反射手段に反射される鏡像に重畳する前記表示手段の所定の位置の表示を制御する、
ことを特徴とする付記４又は５に記載の判定装置。
［付記７］
前記第１の生体情報値は前記ユーザに対する所定の処置の開始時の値である、
ことを特徴とする付記１乃至６の何れか１に記載の判定装置。
［付記８］
前記第１の生体情報値及び前記第２の生体情報値は、前記生体情報値取得手段により生体情報が取得されている所定の時間若しくは周期の範囲である所定期間に取得される、
ことを特徴とする付記１乃至７の何れか１に記載の判定装置。
［付記９］
生体情報値から平均値を算出する算出手段を更に備え、
前記生体情報値取得手段により逐次取得された第１の生体情報値及び第２の生体情報値は、前記所定期間に取得された平均値である、
ことを特徴とする付記８に記載の判定装置。
［付記１０］
撮像手段を更に備え、
前記生体情報値取得手段は、前記撮像手段により撮像された被写体を含む画像から前記生体情報値を逐次取得する、
ことを特徴とする付記１乃至８の何れか１に記載の判定装置。
［付記１１］
画像取得手段を更に備え、
前記生体情報値取得手段は、前記画像取得手段により取得されたユーザを含む画像から前記生体情報値を逐次取得する、
ことを特徴とする付記１乃至１０の何れか１に記載の判定装置。
［付記１２］
前記判定手段は、前記比較手段による比較において、前記第１の生体情報値が取得されてから所定の時間以内に前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定できない場合であっても、所定の条件が満たされたならば前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する、
ことを特徴とする付記１乃至１１の何れか１に記載の判定装置。
［付記１３］
コンピュータが行う判定方法であって、
ユーザの生体情報値を逐次取得する生体情報値取得ステップと、
前記生体情報値取得ステップにより逐次取得された第１の生体情報値と、前記生体情報値取得ステップにより逐次取得された前記第１の生体情報値とは異なる第２の生体情報値とを比較する比較ステップと、
前記比較ステップによる比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定ステップと、
を備えることを特徴とする判定方法。
［付記１４］
ユーザの生体情報値を逐次取得する生体情報値取得機能と、
前記生体情報値取得機能により逐次取得された第１の生体情報値と、前記生体情報値取得機能により逐次取得された前記第１の生体情報値とは異なる第２の生体情報値とを比較する比較機能と、
前記比較機能による比較結果に基づいて、前記ユーザに対する施術により当該ユーザが所定の改善が得られたと判定する判定機能と、
をコンピュータに実現することを特徴とする判定プログラム。
［符号の説明］
【０１１４】
１・・・表示装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・鏡部，１９・・・表示部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・設定処理部，１１２・・・表示制御部，１１３・・・生体情報値取得部，１１４・・・平均値算出部，１１５・・・補正部，１１６・・・比較部，１１７・・・被写体状態判定部，２０１・・・ガイダンス情報記憶部，２０２・・・比較基準記憶部，Ｓ・・・表示システム
【図１】
2020054633.tif 000003
【図２】
2020054633.tif 000004
【図３】
2020054633.tif 000005
【図４】
2020054633.tif 000006
【図５】
2020054633.tif 000007
【図６】
2020054633.tif 000008
【図７】
2020054633.tif 000009
【図８】
2020054633.tif 000010
【図９】
2020054633.tif 000011
【図１０】
2020054633.tif 000012