(57)【要約】【課題】ユーザは自身の生体情報に係る状況を容易に認識可能とする。【解決手段】表示制御装置１は、表示部１８と、取得解析部１１２と、表示制御部１１５と、を備える。表示部１８は、ユーザに対応したキャラクタとしてアバター画像を表示する。取得解析部１１２は、ユーザに係る第１の生体情報を取得する。表示制御部１１５は、取得解析部１１２により取得された第１の生体情報に基づいて、表示部１８によるキャラクタの動的な表示を制御する。【選択図】図５
2020057153.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに対応したキャラクタを表示する表示手段と、
前記ユーザに係る第１の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御手段と、
を備えることを特徴とする表示制御装置。
【請求項２】
前記第１の生体情報に応じて前記キャラクタの色を設定する色設定手段を更に備え、
前記表示制御手段は、前記色設定手段により設定された色を用いて、前記キャラクタの動的な表示を制御することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記生体情報取得手段は、前記ユーザにおける異なる位置の複数の生体情報を取得することを特徴とする、請求項１又は２に記載の表示制御装置。
【請求項４】
前記ユーザを撮像する撮像手段を更に備え、
前記生体情報取得手段は、前記撮像手段により撮像された前記ユーザの画像から、前記第１の生体情報、又は第２の生体情報を取得することを特徴とする、請求項１乃至３のいずれか１項に記載の表示制御装置。
【請求項５】
前記生体情報取得手段は、前記第１の生体情報とは異なる時間に第２の生体情報を取得し、
前記表示制御手段は、前記生体情報取得手段により取得された前記第１の生体情報と前記第２の生体情報とに基づいて前記キャラクタの動的な表示を制御することを特徴とする、請求項１乃至４のいずれか１項に記載の表示制御装置。
【請求項６】
前記生体情報取得手段は、前記第１の生体情報と前記第２の生体情報との差分情報を取得し、
前記表示制御手段は、前記差分情報に基づいて前記キャラクタの動的な表示を制御することを特徴とする、請求項５に記載の表示制御装置。
【請求項７】
被写体としての前記ユーザの行動を認識する行動認識手段を更に備え、
前記生体情報取得手段は、前記行動認識手段により所定の行動が認識された場合に前記第２の生体情報を取得することを特徴とする、請求項１乃至６のいずれか１項に記載の表示制御装置。
【請求項８】
前記撮像手段により撮像された画像を記録する画像記録手段を更に備え、
前記生体情報取得手段は、前記行動認識手段により所定の行動が認識された場合に、前記画像記録手段に記録されている前記所定の行動が認識される前の画像から、前記ユーザの第１の生体情報を取得することを特徴とする、請求項７に記載の表示制御装置。
【請求項９】
生体情報の基準値を記録する基準値記録手段を更に備え、
前記表示制御手段は、前記生体情報取得手段により取得された生体情報と前記基準値記録手段に記録されている基準値との差に応じて、前記キャラクタの動的な表示を制御することを特徴とする、請求項１乃至８のいずれか１項に記載の表示制御装置。
【請求項１０】
前記撮像手段により撮像された前記ユーザの画像に基づいて、前記キャラクタを作成するキャラクタ作成部を更に備える、請求項１乃至９のいずれか１項に記載の表示制御装置。
【請求項１１】
前記表示手段に対して、前記ユーザの視線方向に重なって配置される反射手段を更に備え、
前記反射手段は、前記ユーザの鏡像を表示することを特徴とする請求項１乃至１０の何れか１項に記載の表示制御装置。
【請求項１２】
前記表示制御手段は、前記鏡像に対して前記生体情報を重畳表示することを特徴とする、請求項１１に記載の表示制御装置。
【請求項１３】
表示手段によって表示される前記キャラクタと、反射手段によって表示される前記鏡像とは同時に表示されることを特徴とする、請求項１１又は１２に記載の表示制御装置。
【請求項１４】
前記表示制御手段は、前記表示手段と前記反射手段の双方に前記生体情報及び／又は前記生体情報から生成される情報を表示することを特徴とする、請求項１１〜１３のいずれか１項に記載の表示制御装置。
【請求項１５】
前記表示制御手段は、前記生体情報としての血流に係る情報に基づいて、前記キャラクタの動的な表示を制御することを特徴とする、請求項１〜１４のいずれか１項に記載の表示制御装置。
【請求項１６】
前記表示制御手段は、前記生体情報としての脈拍数に係る情報に基づいて、前記キャラクタの動的な表示又は前記脈拍数の表示を制御する、請求項１〜１５のいずれか１項に記載の表示制御装置。
【請求項１７】
前記表示制御手段は、前記脈拍数の高さに応じて、前記キャラクタの動的な表示又は前記脈拍数の動的な表示を制御する、請求項１〜１６のいずれか１項に記載の表示制御装置。
【請求項１８】
表示手段を備えたコンピュータが行う表示制御方法であって、
ユーザに対応したキャラクタを前記表示手段に表示する表示ステップと、
前記ユーザに係る第１の生体情報を取得する生体情報取得ステップと、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御ステップと、
を備えることを特徴とする表示制御方法。
【請求項１９】
表示手段を備えたコンピュータに、
ユーザに対応したキャラクタを前記表示手段に表示する表示機能と、
前記ユーザに係る第１の生体情報を取得する生体情報取得機能と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御機能と、
を実現することを特徴とする表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関する。
【背景技術】
【０００２】
医療機器やヘルスケア機器においてバイタルセンシングをしてセンシングした結果を表示する際、数値やグラフを用いて表示することが一般的である。この場合、数値の意味やグラフの見方や読み方を予め理解しておく必要があり、直感的にわかるような表示方法は無かった。
【０００３】
この点、特許文献１は、ユーザの生体情報を検出し、生体情報に基づいて表示キャラクタの表情又は動作を制御する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０３９１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、ユーザの状況としての生体情報に基づいて、予め記録されている複数の表示キャラクタ画像から表示キャラクタの表情又は動作を決定することが記載されているが、このような表示ではユーザは自身の生体情報に係る状況を容易に認識することが難しい場合があった。
【０００６】
本発明はこのような問題点に鑑みてなされたものであり、ユーザは自身の生体情報に係る状況を容易に認識可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様の表示制御装置は、
ユーザに対応したキャラクタを表示する表示手段と、
前記ユーザに係る第１の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザの状況を容易に認識可能とすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る表示制御システムの構成を示す構成図である。
【図２】本発明の一実施形態に係る表示制御装置の前面の外観構成を示す構成図である。
【図３】本発明の一実施形態に係る表示制御装置の側面の外観構成を示す構成図である。
【図４】本発明の一実施形態に係る表示制御装置のハードウェアの構成を示すブロック図である。
【図５】本発明の一実施形態に係る表示制御装置の機能的構成のうち、合成表示処理を実行するための機能的構成を示す機能ブロック図である。
【図６】本発明の一実施形態に係る表示制御装置の機能的構成のうち、取得解析部によって解析される関心領域（ＲＯＩ）の例を示す図である。
【図７Ａ】本発明の一実施形態に係る表示制御装置が実行する合成表示処理での表示の一例を示す模式図である。
【図７Ｂ】本発明の一実施形態に係る表示制御装置が実行する合成表示処理での表示の一例を示す模式図である。
【図８】本発明の一実施形態に係る表示制御装置が実行する合成表示処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る表示制御装置１は、ユーザが携帯可能な自立式の鏡として構成される。そして、表示制御装置１は、鏡を視認するユーザに対して、時間、若しくはユーザの指示に応じてガイダンス内容が変更される一連のガイダンスを行うための補助情報を、所定のタイミングで切り換えながら表示することにより、ユーザに対するガイダンスを実現する。
この場合に、表示制御装置１は、補助情報を、ユーザの実際の画像の代替となる、代替画像に合成することにより合成画像を生成する。また、表示制御装置１は、一連のガイダンスを行う場合に、この合成画像と、ユーザの実際の画像とを、それぞれ表示画面上に切り換えながら表示する。
更に、表示制御装置１は、ユーザが一連のガイダンスに従って、例えばマッサージ等の行動をした結果、ユーザの生体情報が変化することに応じて、合成画像の表示を変化させる。
【００１１】
このような表示制御装置１によれば、人為的な像である補助情報の画像と、同様に人為的な像である代替画像とを合成することから、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。これに加えて、ユーザは生体情報の変化をきめ細かく認識することができる。
つまり、表示制御装置１によれば、ユーザの状況を容易に認識可能となる。
【００１２】
［システム構成］
図１は、本実施形態に係る表示制御装置１が含まれる表示制御システムＳの全体構成を示すブロック図である。図１に示すように、表示制御システムＳは、複数の表示制御装置１、ネットワーク２及びサーバ群３を含む。
表示制御装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の表示制御装置１が表示制御システムＳに含まれていてよい。なお、以下の説明において、ｎ台の表示制御装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「表示制御装置１」と称する。
【００１３】
表示制御装置１は、上述した通り、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を行うことにより、ガイダンスを行うと共に、ユーザの生体情報等の状況に応じた表示を行う装置である。表示制御装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。
【００１４】
ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
【００１５】
サーバ群３には、表示制御装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、表示制御装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、表示制御装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる表示制御装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。
ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
【００１６】
［外観構成］
図２は、本発明の一実施形態に係る表示制御装置１の前面の外観構成を示す構成図である。また、図３は、表示制御装置１の側面の外観構成を示す構成図である。表示制御装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。
【００１７】
図２及び図３に示すように、表示制御装置１は、本体部３０と、脚部３１と、ヒンジ部３２を含んで構成される。本体部３０は、表示部１８や、図４を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、表示制御装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に接合される。
図３（Ａ）に示すように、ユーザは、表示制御装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、表示制御装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、表示制御装置１を自立して設置することができる。なお、表示制御装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。
【００１８】
本体部３０は、上述したように表示部１８を含む。表示部１８は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となるアバターの画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）、ユーザの生体情報を示す生体情報画像（図中の生体情報画像５４に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。
ユーザは、表示部１８を視認することにより、これらの多様な情報を一度に把握することができる。なお、このような表示部１８の表示が、見た目上のギャップがない、ユーザが視認するのに適した一体感のあるものである点については、上述した通りである。
【００１９】
図２に示すように、表示制御装置１は、外観構成として、更に、撮像部１６、入力部１７及び表示部１８を備えている。
【００２０】
撮像部１６は、表示制御装置１の利用時に、表示部１８に正対するユーザを被写体として撮像する部分である。撮像部１６は、表示部１８に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。
【００２１】
入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、表示制御装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。
【００２２】
以上、表示制御装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、表示制御装置１の外観構造は、この例に限定されない。
【００２３】
例えば、表示制御装置１は、表示部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、表示制御装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、表示部１８の上部や下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。
【００２４】
また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１８の一部がタッチパネルとして構成され、入力部１７と表示部１８とが一体に構成されてもよい。
【００２５】
［ハードウェア構成］
図４は、表示制御装置１のハードウェアの構成を示すブロック図である。
図４に示すように、表示制御装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００２６】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００２７】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００２８】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１とが接続されている。
【００２９】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００３０】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。
【００３１】
入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
【００３２】
表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。
【００３３】
記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
【００３４】
通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。
【００３５】
ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェースにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。
【００３６】
なお、表示制御装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、表示制御装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。
【００３７】
［機能的構成］
図５は、表示制御装置１の機能的構成のうち、合成表示処理を実行するための機能的構成を示す機能ブロック図である。
合成表示処理とは、表示制御装置１が、補助情報を、代替画像に合成することにより合成画像を生成し、一連のガイダンスを行う場合に、この合成画像と、ユーザの実際の画像とを、それぞれ表示画面上に切り換えながら表示すると共に、ユーザの生体情報に基づいて、合成画像の動的な表示を制御する一連の処理である。
【００３８】
合成表示処理が実行される場合、図５に示すように、ＣＰＵ１１において、設定処理部１１１と、取得解析部１１２と、タイミング制御部１１３と、画像合成部１１４と、表示制御部１１５と、行動認識部１１６と、キャラクタ作成部１１７が機能する。
また、記憶部１９の一領域には、画像情報記憶部１９１と、ガイダンス情報記憶部１９２と、アバター情報記憶部１９３と、基準値情報記憶部１９４が設定される。
【００３９】
画像情報記憶部１９１は、ユーザの顔画像情報を格納する。この顔画像情報は、撮像部１６によって撮像されたユーザの顔画像であってよく、この顔画像は静止画でも動画でもよい。更に、顔画像情報は顔画像に加えて、顔画像中の特徴点、例えば顔の輪郭や、顔の中での目・鼻・口の位置（座標）、肌の色味等に係る数値情報を含んでもよい。とりわけ画像情報記憶部１９１は、ユーザが表示制御装置１の電源を入れた時点でのユーザの顔画像情報や、後述のようにユーザが一連のガイダンスに基づいた行動を行う前後での顔画像情報を格納することが可能である。
【００４０】
ガイダンス情報記憶部１９２には、合成表示処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部１９２には、合成表示処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等のコンテンツデータが格納される。また、ガイダンス情報記憶部１９２には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部１９２には、合成表示処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ等であってもよい。また、各データは一連のガイダンスを実現する際に読み出しやすいように、各ガイダンス単位で、１つのライブラリとして格納されてもよい。
【００４１】
アバター情報記憶部１９３には、ユーザの実像の代替となるアバターに関する各種のデータが格納される。例えば、アバター情報記憶部１９３には、合成表示処理において表示されるアバター画像を生成するための、アバター画像のデータや、ガイダンス等において何れのアバター画像を表示するかの条件等が格納される。なお、アバター画像は、予め生成された画像データであってもよく、例えば後述のキャラクタ作成部１１７によって、演算に基づいてリアルタイムに生成されるＣＧ等であってもよい。アバター画像は、例えば、人間や動物を模したキャラクタの画像である。また、アバター画像は、任意の数だけ用意されていてよく、ユーザの属性（例えば、ユーザの性別や年齢や嗜好）や、ガイダンスの内容に応じて適宜選択されてもよい。また、アバター画像は、キャラクタ等の動的なアニメーション表示を実現するための、連続した画像群であってもよい。また、各データは一連のガイダンスを実現する際に読み出しやすいように、各ガイダンス単位で、１つのライブラリとして格納されてもよい。
【００４２】
基準値情報記憶部１９４には、生体情報の基準値が格納される。この基準値としては、例えば、ユーザが初めて表示制御システムＳにログインした際の生体情報の値を格納してもよい。あるいは、ユーザがこれまでに表示制御システムＳにログインしてきた際の生体情報の平均値を格納してもよい。あるいは、ユーザが前回表示制御システムＳにログインした際の生体情報の値を格納してもよい。あるいは、ユーザが今回表示制御システムＳにログインすると同時に、撮像部１６によって撮像された顔画像情報から取得される生体情報の値を格納してもよい。
【００４３】
なお、上述したような画像情報記憶部１９１、ガイダンス情報記憶部１９２、アバター情報記憶部１９３、及び基準値情報記憶部１９４に格納される各情報は、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部１９２やアバター情報記憶部１９３に格納される各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。
【００４４】
また、以下に説明する各機能ブロックでは、合成表示処理を行う前提として座標情報が設定されている。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、及び表示部１８の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、並びに、各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。以下に説明する各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより合成表示処理を行うことができる。これら各座標系の対応関係は、例えば、表示制御装置１の製造時に、各座標系を定義し、撮像部１６の光軸の方向やズーム率の調整を伴うキャリブレーションを行うことにより設定される。
【００４５】
設定処理部１１１は、合成表示処理に関する設定等の制御を行う部分である。
設定処理部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、合成表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。
また、設定処理部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、合成表示処理を行うユーザを認証する。例えば、設定処理部１１１は、撮像部１６によって撮像されたユーザの顔画像を含む顔画像情報を認証サーバに送信し、認証サーバで登録済みの顔画像情報と照合することにより、合成表示処理を行うユーザを認証すると共に、ログイン処理を行ってもよい。
更に設定処理部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、合成表示処理におけるユーザのプロファイル情報を更新する。
【００４６】
また、設定処理部１１１は、合成表示処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部１１１は、メニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、合成表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。
【００４７】
取得解析部１１２は、合成表示処理において、撮像部１６による撮像の被写体となったユーザの画像を取得すると共に、取得したユーザの画像を解析し、解析結果に基づいてユーザに関する情報（以下、「被写体情報」と称する。）を取得する部分である。被写体情報とは、例えば、ユーザの顔等における各部位の位置を示す座標や、ユーザの顔等における各部位の色や、ユーザの生体情報等である。更に、取得解析部１１２は、ユーザの画像と被写体情報とを紐づけて、画像情報記憶部１９１に格納する。
【００４８】
被写体情報の取得のために、取得解析部１１２は、撮像部１６が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの状態を検出する。
例えば、取得解析部１１２は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。そして、取得解析部１１２は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザの顔の角度（すなわち、ユーザの顔の向き）や、ユーザの視線の方向や、ユーザの口角の開き具合といった状態を検出する。
【００４９】
また、取得解析部１１２は、他にも、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報（バイタルデータと呼ばれることもある。）の計測を行う。この場合、上記の検出された所定の領域は、非接触で生体情報を取得するための関心領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）に相当する。
そして、取得解析部１１２は、例えば、この関心領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより計測を行う。取得解析部１１２が計測する生体情報は、例えば、脈拍、脈波、及び血流等である。より具体的には、取得解析部１１２は、例えば、緑色信号に基づいて血液量の変化分を求め、この変化分に基づいて、脈拍、脈波、及び血流等の生体情報を求めることが可能である。
【００５０】
また、取得解析部１１２は、１つの関心領域の画像を対象として計測を行ってもよいが、複数の関心領域の画像を対象として計測を行ってもよい。とりわけ、取得解析部１１２は、ユーザの顔画像中、例えば輪郭と眼の位置を検出して、それらとの相対位置に基づき、自動的に、額、瞼、頬、鼻周辺、唇周り、顎、首、デコルテ等の複数の領域を関心領域として認識することが可能である。図６は、顔画像中の関心領域の配置例を示す。図６の例において、取得解析部１１２は、首、顎、頬、額を関心領域として自動的に認識している。
この場合、取得解析部１１２は、脈拍の遅延がわかる離れた２点（例えば頬と額、又は、額か頬と手のひら等）の関心領域を対象として測定を行なうことにより、例えば、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。
また、取得解析部１１２は、場所の異なる複数の領域から複数の生体情報を取得するのみならず、同一の領域において互いに異なる複数の時点において生体情報を計測することにより、複数の生体情報を取得してもよい。この場合、取得解析部１１２は、第１の生体情報を取得した後、後述の行動認識部１１６によってユーザによる所定の行動が認識されたことをトリガとして、第２の生体情報を取得してもよい。あるいは、取得解析部１１２は、後述の行動認識部１１６によってユーザによる所定の行動（例えばマッサージ）が認識されたことをトリガとして、先んじて第２の生体情報を取得し、第２の生体情報を取得した後に、画像情報記憶部１９１に記憶されたユーザの顔画像情報から、第１の生体情報を取得してもよい。
また、取得解析部１１２は、測定した生体情報に対してノイズ除去等を行うことにより、平均化処理を施すようにしてもよい。
更に、取得解析部１１２は、映像脈波の解析、脈拍数や脈波波形や脈波の揺らぎを測定することで、ストレス度（例えば、心拍間隔時系列（ＦＦＩ）や脈波振幅時系列（ＰＡ）に基づいたＬＦ／ＨＦ指標や、ローレンツプロット指標等）を算出して取得するようにしてもよい。
【００５１】
なお、取得解析部１１２による生体情報の測定は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
＜参考文献＞
東北大学  サイバーサイエンスセンター  先端情報技術研究部、東北大学  革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成２９年１２月１５日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞
【００５２】
取得解析部１１２は、このようにして取得した、ユーザの顔の向きや、生体情報といった被写体情報を、後述のタイミング制御部１１３等に対して出力する。
タイミング制御部１１３は、一連のガイダンスにおいて、ガイド画像や、アバター画像や、これらを合成した合成画像等の各画像を表示したり、音データ等を出力したりするタイミング（以下、「ガイダンスタイミング」と称する。）を制御する部分である。タイミング制御部１１３は、ガイダンス情報記憶部１９２に格納されている情報（例えば、上述した、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件）と、アバター情報記憶部１９３に格納されている情報（例えば、上述した、ガイダンス等において何れのアバター画像を表示するかの条件）と、その他の情報（例えば、経過時間や被写体情報）に基づいて、ガイダンスタイミングを制御する。
【００５３】
例えば、表示を行う条件が時間経過に関するものであれば、タイミング制御部１１３は、時間経過した場合に、表示を行うべきガイダンスタイミングであると判定し、ガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力する。また、例えば、表示を行う条件が被写体情報の変化に関するもの（例えば、ユーザの顔の向きが所定の向きに変化した、生体情報が所定の値に変化した等）であれば、タイミング制御部１１３は、被写体情報が変化した場合に、表示を行うべきガイダンスタイミングであると判定し、ガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力する。
【００５４】
この場合に、例えば、ユーザの顔の向きが横向きになった場合に、横向きのアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングであると判定し、横向きのアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力するようにしてもよい。このようにすれば、表示制御部１１５は、ユーザの顔の動きと一致するようにアバター画像（又は、このアバター画像を含む合成画像）を表示することができる。
【００５５】
また、例えば、マッサージによりユーザの血流や脈拍が所定の値となった場合に、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングであると判定し、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力するようにしてもよい。このようにすれば、表示制御部１１５は、マッサージの効果が十分に出て、血流や脈拍が変化した場合に、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示することができる。
【００５６】
画像合成部１１４は、ガイダンス情報記憶部１９２に格納されているガイド画像と、アバター情報記憶部１９３に格納されているアバター画像とを合成することにより、アバター画像にガイド画像が合成された画像（以下、「合成画像」と称する。）を生成する部分である。画像合成部１１４は、ガイダンス情報記憶部１９２からガイダンスにおいて表示すべきガイド画像を取得する。また、画像合成部１１４は、アバター情報記憶部１９３からガイダンスにおいて表示すべきアバター画像を取得する。
【００５７】
そして、画像合成部１１４は、取得したアバター画像とガイド画像とを合成することにより、合成画像を生成する。合成は、例えば、アバター画像とガイド画像を重畳させたり、アバター画像とガイド画像を並べたりすることにより行うことができる。
具体的に、画像合成部１１４は、例えば、アバター画像の顔等の所定の部位領域に、ガイド画像が重畳するように合成画像を生成する。例えば、マッサージについてのガイダンスを行う場合に、マッサージの際の手の動きを示す矢印のガイド画像が、マッサージを行う対象の部位領域に重畳するように合成画像を生成する。
【００５８】
画像合成部１１４は、このようにして生成した合成画像を、後述の表示制御部１１５等に対して出力する。
【００５９】
表示制御部１１５は、ガイダンス情報を表示する部分である。表示制御部１１５は、上述したタイミング制御部１１３が制御するガイダンスタイミングに基づいて、合成画像や、その他のガイダンス情報を切り替えて表示部１８に表示をさせることによって、一連のガイダンスを実現する。
【００６０】
そのために、表示制御部１１５は、画像合成部１１４から、合成画像の入力を受け付ける。また、表示制御部１１５は、ガイダンス情報記憶部１９２からガイダンス情報を読み込む。
そして、表示制御部１１５は、タイミング制御部１１３が制御するガイダンスタイミングに基づいて、読み込んだガイダンス情報に定められた順番で、読み込んだガイダンス情報に定められた位置に、合成画像や、ユーザ画像や、その他の画像を切換表示する。
【００６１】
ユーザは、表示制御部１１５が表示する、合成画像を参照することにより、マッサージを行う部位領域や、マッサージの方向等を、分かりやすく視認することができる。ここで、この合成画像は、人為的な像であるガイド画像と、同様に人為的な像であるアバター画像とを合成したものである。つまり、本実施形態では、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。
【００６２】
更に、表示制御部１１５は、この場合に、ユーザ自身の実像であるユーザ画像を更に表示することもできる。これにより、ユーザは実像と合成画像とを見比べながら、より分かりやすく所定の処置（例えば、マッサージ等）を行うことができる。
【００６３】
また、表示制御部１１５は、ユーザの顔等の実像であるユーザ画像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、一連のガイダンスにおいてユーザが向くべき方向や、マッサージの方法を画像やテキストで自動配置し表示するようにしてもよい。他にも、表示制御部１１５は、例えば、ユーザの顔等の実像であるユーザ画像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、生体情報を表示するための波形データや必要な文字、画像情報を自動配置し表示するようにしてもよい。
【００６４】
このようなユーザ画像との表示や、ユーザ画像とは重畳しない表示を行う場合、例えば、取得解析部１１２は、フェイストラッキングにより、撮像部１６が撮像したユーザの所定の部位領域を検出する。そして、上述した各座標系の対応関係に基づいて、検出した部位領域の撮像座標系における座標に対応する、表示部座標系の座標を取得する。そして、表示制御部１１５は、表示部１８の取得解析部１１２が取得した表示部座標系の座標に、所定の画像を表示することにより、表示を行うことができる。
【００６５】
また、表示制御部１１５は、これらの表示を組み合わせるようにしてもよい。例えば、表示制御部１１５は、所定の画像はユーザの顔等の実像であるユーザ画像と重複する領域に重畳して表示し、マッサージの内容を示すテキストはユーザの顔等の実像であるユーザ画像と重複しない領域に表示するようにしてもよい。
【００６６】
表示制御部１１５が、このような情報をリアルタイムに表示することで、一連のガイダンスを、ユーザに伝わりやすく、適切に行うことができる。
【００６７】
なお、表示制御部１１５は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部１１５は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部１１５は、発光部による発光状態を変化させるようにしてもよい。
【００６８】
更に、表示制御部１１５は、取得解析部１１２によって取得された生体情報に基づいて、合成画像に含まれるアバター画像の動的な表示を制御する。表示制御部１１５は、例えば、生体情報に応じてアバター画像の色を設定し、この色を用いてアバター画像の動的な表示を制御してもよい。
【００６９】
図７Ａは、取得解析部１１２が、関心領域（ＲＯＩ）を１つのみ検知できた場合の、アバター画像の表示例を示す。図７Ａの例においては、検知できた関心領域における生体情報としての脈波に応じて、アバター画像内の顔画像全体の色が変化することがアニメーションで動的に表示され、脈波の脈動が早いほど、顔画像内の色の変化のスピードも速くなる。なお、図７Ａの画面例においては、画面左上に、例えば脈拍やリラックス度等の生体情報が数値表示される。
【００７０】
また、取得解析部１１２によって複数の生体情報が取得された場合、表示制御部１１５は、これらの複数の生体情報に基づいて、アバター画像の動的な表示を制御する。なお、ここで「複数の生体情報」とは、例えば顔画像内で異なる箇所の生体情報であってもよく、異なる時間に取得された同一の箇所の生体情報であってもよい。例えば、表示制御部１１５は、ユーザが一連のガイダンスに従ってマッサージした場合に、ある位置における、マッサージ前の生体情報とマッサージ後の生体情報とから、アバター画像の表示を制御してもよい。
更に、とりわけ「複数の生体情報」が同一箇所で異なる時間に取得された複数の生体情報である場合、表示制御部１１５は、複数の生体情報間の差分情報に基づいて、アバター画像の表示を制御してもよい。
【００７１】
図７Ｂは、取得解析部１１２が、関心領域（ＲＯＩ）を複数認識できたために複数の生体情報を取得できる場合のアバター画像の表示例を示す。複数の関心領域（ＲＯＩ）間での脈波のディレイに応じて、アバター画像内の血流の動きがアニメーションで動的に表示される。なお、血流の動きがアニメーションで動的に表示されるためには、脈波に互いにディレイがある２か所の関心領域（ＲＯＩ）の生体情報を取得できれば足りるため、取得解析部１１２は、３つ以上検知された関心領域（ＲＯＩ）から、互いにできるだけ遠くに離れた２か所の関心領域（ＲＯＩ）を選択し、これら２か所の関心領域（ＲＯＩ）の生体情報を解析することにより、アニメーションで動的に表示してもよい。これにより、取得解析部１１２による計算量を節約することが可能となる。
なお、図７Ｂの例では、アバター画像内の顔全体の中で下から上へと色が変化するアニメーションを示しているが、これはあくまで一例であってこれには限定されない。色が変化する方向は、複数の関心領域（ＲＯＩ）の位置に応じて任意とすることが可能である。
【００７２】
また、表示制御部１１５は、取得解析部１１２によって取得された生体情報と、基準値情報記憶部１９４に記憶された基準値との差に応じて、アバター画像の表示を制御してもよい。
【００７３】
行動認識部１１６は、被写体としてのユーザの行動を認識する部分である。例えば、ユーザが一連のガイダンスに従って、顔のマッサージをする場合には、行動認識部１１６はユーザが顔のマッサージをしたことを認識する。この場合、ユーザがマッサージ終了後に、入力部１７の電源ボタンに短時間触れることをもってマッサージの終了を表示制御装置１に通知する場合には、行動認識部１１６はユーザによる電源ボタンへの短時間の接触をトリガとして、ユーザがマッサージを終えたことを認識する。あるいは、行動認識部１１６は、表示制御部１１５がガイダンスの表示を終了したことをマッサージの終了とみなし、ガイダンスの表示の終了をトリガとして、ユーザがマッサージを終えたことを認識してもよい。あるいは、行動認識部１１６は、ユーザの顔画像に含まれる複数の特徴点の動きが所定量以下となったことをトリガとして、ユーザがマッサージを終えたことを認識してもよい。
【００７４】
キャラクタ作成部１１７は、撮像部１６によって撮像されたユーザの顔画像に基づいてキャラクタを作成し、このキャラクタをアバター画像として、アバター情報記憶部１９３に格納する部分である。例えば、キャラクタ作成部１１７は、ユーザの顔画像から演算に基づいてリアルタイムでユーザの似顔絵のＣＧを作成し、このＣＧのキャラクタをアバター画像としてアバター情報記憶部１９３に格納してもよい。
【００７５】
［合成表示処理］
図８は、図５の機能的構成を有する図１の表示制御装置１が実行する合成表示処理の流れを説明するフローチャートである。
合成表示処理は、例えば、表示制御装置１の電源投入と共に開始される。
【００７６】
図８に示すように、ステップＳ１１において、設定処理部１１１は、初期設定を行う。例えば、設定処理部１１１は、サーバ群３に含まれるアプリケーション配信サーバから、合成表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、アプリケーションソフトウェアの動作に伴い、撮像部１６等の各ハードウェアに対して、アプリケーションソフトウェアに応じた設定を行う。そして、設定処理部１１１は、撮像部１６による撮像を開始させる。
【００７７】
ステップＳ１２において、設定処理部１１１は、撮像部１６によって撮像されたユーザの顔画像を用いて、サーバ群３の認証サーバと通信することによりユーザの認証処理を行う。ユーザの識別情報（ユーザの顔画像情報、あるいは顔画像から抽出される特徴点情報）が、認証サーバに登録されている場合（Ｓ１２：ＹＥＳ）には、処理はステップＳ１３に移行する。ユーザの顔画像情報、あるいは顔画像から抽出される特徴点情報が、認証サーバに登録されていない場合（Ｓ１２：ＮＯ）には、処理はステップＳ１４に移行する。
【００７８】
ステップＳ１３において、設定処理部１１１は、ユーザの表示制御システムＳへのログイン処理をする。
【００７９】
ステップＳ１４において、ユーザの識別情報を新規登録する場合（Ｓ１４：ＹＥＳ）には、処理はステップＳ１５に移行する。ユーザの識別情報を新規登録しない場合（Ｓ１４：ＮＯ）には、処理はステップＳ１２に移行する。
【００８０】
ステップＳ１５において、設定処理部１１１はユーザの識別情報の登録処理をする。より詳細には、設定処理部１１１は、ユーザの顔画像情報あるいは顔画像から抽出される特徴点情報を認証サーバに送信し、認証サーバはこれらの情報を登録する。
【００８１】
ステップＳ１６において、取得解析部１１２は、関心領域（ＲＯＩ）を検知すると共に、関心領域（ＲＯＩ）から得られる生体情報を解析する。
【００８２】
ステップＳ１７において、取得解析部１１２が関心領域（ＲＯＩ）から得られる生体情報の解析を終了した場合（Ｓ１７：ＹＥＳ）には、処理はステップＳ１８に移行する。取得解析部１１２が関心領域（ＲＯＩ）から得られる生体情報の解析をまだ終了していない場合（Ｓ１７：ＮＯ）には、処理はステップＳ１６に移行する。
【００８３】
ステップＳ１８において、取得解析部１１２が認識できた関心領域（ＲＯＩ）が１つのみの場合（Ｓ１８：ＹＥＳ）には、処理はステップＳ１９に移行する。取得解析部１１２が認識できた関心領域（ＲＯＩ）が複数ある場合（Ｓ１８：ＮＯ）には、処理はステップＳ２０に移行する。
【００８４】
ステップＳ１９において、表示制御部１１５は、例えば図７Ａに示されるような、アバター画像内での脈波の変化を表示する。
【００８５】
ステップＳ２０において、表示制御部１１５は、例えば図７Ｂに示されるような、アバター画像内での血流の変化を表示する。
【００８６】
以上説明した合成表示処理によれば、ユーザの生体情報、とりわけ生体情報の変化に応じて、合成画像に含まれるアバター画像の表示を変化させることにより、ユーザは生体情報の変化をきめ細かく認識することが出来ると共に、動的なアニメーション表示により容易に認識することが可能となる。
【００８７】
以上のように構成される表示制御装置１は、表示部１８と、取得解析部１１２と、表示制御部１１５と、を備える。
表示部１８は、ユーザに対応したキャラクタとしてアバター画像を表示する。
取得解析部１１２は、ユーザに係る第１の生体情報を取得する。
表示制御部１１５は、取得解析部１１２により取得された第１の生体情報に基づいて、表示部１８によるキャラクタの動的な表示を制御する。
これにより、ユーザは生体情報の変化をきめ細かく認識することができると共に、動的なアニメーション表示によりユーザの状況を容易に認識可能となる。
延いては、鏡を利用したバイタルセンシング可能な顔のトレーニング、マッサージ機器において、トレーニングを指示するために自分と同じ表情を行う顔のアニメを表示する際に、測定した脈波データから血流の量や脈拍数を判断してアニメの顔の色を変化させることで、数値やグラフのような表示よりイメージで伝えることが出来るため、顔の肌の変化や健康状態をわかりやすくユーザに伝えることができる。
また、非接触センシングにより取れる領域をすべてＣＧキャラクタに反映することで血流の流れを詳細に表現できるようになり、改善部位を明確にユーザに伝えられる効果がある。
【００８８】
表示制御装置１は、キャラクタの色を設定する色設定手段を更に備え、表示制御部１１５は、色設定手段により設定された色を用いて、キャラクタの動的な表示を制御する。
これにより、ユーザは生体情報としての数値やグラフを解釈するためのノウハウを学習する必要なく、自身の生体情報の変化を直感的に認識することができる。
【００８９】
取得解析部１１２は、ユーザにおける異なる位置の複数の生体情報を取得する。
複数の位置の生体情報を取得し、これらの複数の生体情報間をファクターとしてアバター画像の表示を制御することにより、ユーザは直感的にアバター画像内での生体情報の違いや変化を直感的に認識することが可能となる。
【００９０】
表示制御装置１は、ユーザを撮像する撮像部１６を更に備え、取得解析部１１２は、撮像部１６により撮像されたユーザの画像から、第１の生体情報又は第２の生体情報を取得する。
単一の生体情報のみならず複数の生体情報を取得し、複数の生体情報に基づいてアバター画像の表示を制御することにより、ユーザは生体情報を動的に認識することが可能となる。
【００９１】
取得解析部１１２は、第１の生体情報とは異なる時間に第２の生体情報を取得する。
表示制御部１１５は、取得解析部１１２により取得された第１の生体情報と第２の生体情報とに基づいてキャラクタの動的な表示を制御する。
これにより、互いに異なる時間に取得された複数の生体情報に基づいてアバター画像の表示を制御することにより、ユーザは生体情報の変化を認識することが可能となる。
【００９２】
取得解析部１１２は、第１の生体情報と第２の生体情報との差分情報を取得する。
表示制御部１１５は、この差分情報に基づいてキャラクタの動的な表示を制御する。
これにより、ユーザは生体情報の変化を直感的に認識することが可能となる。
【００９３】
表示制御装置１は、被写体としてのユーザの行動を認識する行動認識部１１６を更に備える。
取得解析部１１２は、行動認識部１１６により所定の行動が認識された場合に第２の生体情報を取得する。
これにより、ユーザが所定の行動を取った場合を特定して生体情報を直感的に認識することが可能となる。
【００９４】
表示制御装置１は、撮像部１６により撮像された画像を記録する画像情報記憶部１９１を更に備える。
取得解析部１１２は、行動認識部１１６により所定の行動が認識された場合に、画像情報記憶部１９１に記録されている所定の行動が認識される前の画像から、ユーザの第１の生体情報を取得する。
これにより、ユーザが所定の行動をとる前後での生体情報の変化を直感的に認識することが可能となる。
【００９５】
表示制御装置１は、生体情報の基準値を記録する基準値情報記憶部１９４を更に備える。
表示制御部１１５は、取得解析部１１２により取得された生体情報と基準値情報記憶部１９４に記録されている基準値との差に応じて、キャラクタの動的な表示を制御する。
これにより、現在の生体情報が基準値からどれだけ離れているかについて、直感的に認識することが可能となる。
【００９６】
表示制御装置１は、キャラクタ作成部１１７を更に備える。
キャラクタ作成部１１７は、撮像部１６により撮像されたユーザの画像に基づいて、キャラクタを作成する。
ユーザ自身に類似したキャラクタをアバター画像として用いることにより、実際のユーザにおける生体情報の変化をより正確に認識することが可能となる。
【００９７】
表示制御装置１は、表示部１８に対してユーザの視線方向に重なって配置される鏡部を更に備える。
鏡部は、ユーザの鏡像を表示する。
これにより、ハーフミラー等を用いた表示を行う装置においても、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。
【００９８】
表示制御部１１５は、鏡像に対して生体情報を重畳表示する。
これにより、ユーザは自身の鏡像を見ながら生体情報を確認することが可能となる。
【００９９】
表示部１８によって表示されるキャラクタと、鏡部によって表示される鏡像とは同時に表示される。
これによりユーザは、例えば自身の顔の実画像である鏡像を見ながら、アバター画像に表示されるガイダンスに従った行動をすることが可能となる。
【０１００】
表示制御部１１５は、表示部１８と鏡部の双方に生体情報及び／又は生体情報から生成される情報を表示する。
これにより、ユーザは、自身の顔の実画像である鏡像を見ながら、アバター画像に表示されるガイダンスに従った行動をする際、生体情報や生体情報から生成される情報を確認しながら行動することが可能となる。
【０１０１】
表示制御部１１５は、生体情報としての血流に係る情報に基づいて、キャラクタの動的な表示を制御する。
これにより、ユーザは自身の生体情報としての血流の状態を直感的に認識することが可能となる。
【０１０２】
表示制御部１１５は、生体情報としての脈拍数に係る情報に基づいて、キャラクタの動的な表示又は脈拍数の情報の表示を制御する。
これにより、ユーザは自身の生体情報としての脈拍数の状態を直感的に認識することが可能となる。
【０１０３】
表示制御部１１５は、脈拍数の高さに応じて、キャラクタの動的な表示又は脈拍数の動的な表示を制御する。
これにより、ユーザは自身の生体情報としての脈拍数の変化を直感的に認識することが可能となる。
【０１０４】
［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
【０１０５】
＜ハーフミラーを用いた変形例＞
上述した表示部１８と、反射面を有する鏡部とを組み合わせた構造の装置によって表示制御装置１を実現するようにしてもよい。
この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。
このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されると共に鏡部を透過した各種の情報（例えば、合成画像や生体情報）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。
また、表示制御部１１５は、表示部１８と鏡部の双方に、生体情報や生体情報から生成される情報を表示してもよい。
このようにしても、上述した実施形態と同様の効果を奏することができる。
【０１０６】
＜生体センサを用いた変形例＞
上記の実施形態では、取得解析部１１２はユーザに対して非接触で生体情報の計測を行うとしたが、これには限定されない。例えば、取得解析部１１２は、ユーザに接触する生体センサを用いて生体情報の計測を行ってもよい。
このようにしても、上述した実施形態と同様の効果を奏することができる。
【０１０７】
＜顔画像以外の画像を用いた変形例＞
上記の実施形態では、主としてユーザの顔をマッサージする前後での生体情報の変化を、ユーザの顔に対応するアバター画像にアニメーション表示するとしたが、これには限られない。例えば、ユーザの腕や足等、他の身体部位に対して所定の行動をする前後での生体情報の変化を動的にアニメーション表示してもよい。
【０１０８】
＜他の変形例＞
例えば、上述の実施形態において、表示制御装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を表示制御装置１に追加して、表示制御装置１のみで全ての処理を行うようにしてもよい。
【０１０９】
また、上述の実施形態では、本発明が適用される表示制御装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
【０１１０】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が表示制御装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
【０１１１】
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
【０１１２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１３】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部１９に含まれるハードディスク等で構成される。
【０１１４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１１５】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１６】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
ユーザに対応したキャラクタを表示する表示手段と、
前記ユーザに係る第１の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御手段と、
を備えることを特徴とする表示制御装置。
［付記２］
前記第１の生体情報に応じて前記キャラクタの色を設定する色設定手段を更に備え、
前記表示制御手段は、前記色設定手段により設定された色を用いて、前記キャラクタの動的な表示を制御することを特徴とする付記１に記載の表示制御装置。
［付記３］
前記生体情報取得手段は、前記ユーザにおける異なる位置の複数の生体情報を取得することを特徴とする、付記１又は２に記載の表示制御装置。
［付記４］
前記ユーザを撮像する撮像手段を更に備え、
前記生体情報取得手段は、前記撮像手段により撮像された前記ユーザの画像から、前記第１の生体情報、又は第２の生体情報を取得することを特徴とする、付記１乃至３のいずれか１に記載の表示制御装置。
［付記５］
前記生体情報取得手段は、前記第１の生体情報とは異なる時間に第２の生体情報を取得し、
前記表示制御手段は、前記生体情報取得手段により取得された前記第１の生体情報と前記第２の生体情報とに基づいて前記キャラクタの動的な表示を制御することを特徴とする、付記１乃至４のいずれか１に記載の表示制御装置。
［付記６］
前記生体情報取得手段は、前記第１の生体情報と前記第２の生体情報との差分情報を取得し、
前記表示制御手段は、前記差分情報に基づいて前記キャラクタの動的な表示を制御することを特徴とする、付記５に記載の表示制御装置。
［付記７］
被写体としての前記ユーザの行動を認識する行動認識手段を更に備え、
前記生体情報取得手段は、前記行動認識手段により所定の行動が認識された場合に前記第２の生体情報を取得することを特徴とする、付記１乃至６のいずれか１に記載の表示制御装置。
［付記８］
前記撮像手段により撮像された画像を記録する画像記録手段を更に備え、
前記生体情報取得手段は、前記行動認識手段により所定の行動が認識された場合に、前記画像記録手段に記録されている前記所定の行動が認識される前の画像から、前記ユーザの第１の生体情報を取得することを特徴とする、付記７に記載の表示制御装置。
［付記９］
生体情報の基準値を記録する基準値記録手段を更に備え、
前記表示制御手段は、前記生体情報取得手段により取得された生体情報と前記基準値記録手段に記録されている基準値との差に応じて、前記キャラクタの動的な表示を制御することを特徴とする、付記１乃至８のいずれか１に記載の表示制御装置。
［付記１０］
前記撮像手段により撮像された前記ユーザの画像に基づいて、前記キャラクタを作成するキャラクタ作成部を更に備える、付記１乃至９のいずれか１に記載の表示制御装置。
［付記１１］
前記表示手段に対して、前記ユーザの視線方向に重なって配置される反射手段を更に備え、
前記反射手段は、前記ユーザの鏡像を表示することを特徴とする付記１乃至１０の何れか１に記載の表示制御装置。
［付記１２］
前記表示制御手段は、前記鏡像に対して前記生体情報を重畳表示することを特徴とする、付記１１に記載の表示制御装置。
［付記１３］
表示手段によって表示される前記キャラクタと、反射手段によって表示される前記鏡像とは同時に表示されることを特徴とする、付記１１又は１２に記載の表示制御装置。
［付記１４］
前記表示制御手段は、前記表示手段と前記反射手段の双方に前記生体情報及び／又は前記生体情報から生成される情報を表示することを特徴とする、付記１１〜１３のいずれか１に記載の表示制御装置。
［付記１５］
前記表示制御手段は、前記生体情報としての血流に係る情報に基づいて、前記キャラクタの動的な表示を制御することを特徴とする、付記１〜１４のいずれか１に記載の表示制御装置。
［付記１６］
前記表示制御手段は、前記生体情報としての脈拍数に係る情報に基づいて、前記キャラクタの動的な表示又は前記脈拍数の表示を制御する、付記１〜１５のいずれか１に記載の表示制御装置。
［付記１７］
前記表示制御手段は、前記脈拍数の高さに応じて、前記キャラクタの表示又は前記脈拍数の動的な表示を制御する、付記１〜１６のいずれか１に記載の表示制御装置。
［付記１８］
表示手段を備えたコンピュータが行う表示制御方法であって、
ユーザに対応したキャラクタを前記表示手段に表示する表示ステップと、
前記ユーザに係る第１の生体情報を取得する生体情報取得ステップと、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御ステップと、
を備えることを特徴とする表示制御方法。
［付記１９］
表示手段を備えたコンピュータに、
ユーザに対応したキャラクタを前記表示手段に表示する表示機能と、
前記ユーザに係る第１の生体情報を取得する生体情報取得機能と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御機能と、
を実現することを特徴とする表示制御方法。
【符号の説明】
【０１１７】
１・・・表示制御装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・表示部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・設定処理部，１１２・・・取得解析部，１１３・・・タイミング制御部，１１４・・・画像合成部，１１５・・・表示制御部，１１６・・・行動認識部，１１７・・・キャラクタ作成部，１９１・・・画像情報記憶部，１９２・・・ガイダンス情報記憶部，１９３・・・アバター情報記憶部，１９４・・・基準値情報記憶部，Ｓ・・・表示制御システム
【図１】
2020057153.tif 000003
【図２】
2020057153.tif 000004
【図３】
2020057153.tif 000005
【図４】
2020057153.tif 000006
【図５】
2020057153.tif 000007
【図６】
2020057153.tif 000008
【図７Ａ】
2020057153.tif 000009
【図７Ｂ】
2020057153.tif 000010
【図８】
2020057153.tif 000011