(57)【要約】【課題】  疑似的な対面状態でのコミュニケーションを維持することが可能な面談システムを提供する。【解決手段】  面談者用の情報端末１３０と被面談者用の情報端末１４０との間における、画像データ及び音声データの双方向の通信を制御する面談用サーバ１１０であって、情報端末１４０より受信した被面談者２２０の画像データ及び音声データを解析し、被面談者２２０の過去の状態との差異を示す補助データを導出する手段と、前記導出した補助データが、情報端末１４０より受信した画像データにおける、被面談者２２０が写っている領域の周囲に表示されるように、前記導出した補助データを、情報端末１４０より受信した画像データに重畳する手段と、前記導出した補助データが重畳された画像データと、情報端末１４０より受信した音声データとを、情報端末１３０に送信する手段とを有する。【選択図】図２
2016126587.tif 000002
【特許請求の範囲】
【請求項１】
１以上のサーバ装置から構成され、面談者により利用される第１の情報端末と被面談者により利用される第２の情報端末との間における、画像データ及び音声データの双方向の通信を制御するサーバシステムであって、
前記第２の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出手段と、
前記被面談者の過去の状態との差異を示す情報が、前記第２の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該第２の情報端末より受信した画像データに重畳する画像生成手段と、
前記画像生成手段により前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記第２の情報端末より受信した音声データとを、前記第１の情報端末に送信する送信手段と
を有することを特徴とするサーバシステム。
【請求項２】
前記第１の情報端末より受信した画像データは、
前記画像生成手段により前記被面談者の過去の状態との差異を示す情報が重畳された画像データが表示される前記第１の情報端末の表示画面の近傍に配された撮像部であって、該表示画面の表示方向を撮影方向とする該撮像部により撮影された画像データであることを特徴とする請求項１に記載のサーバシステム。
【請求項３】
前記画像生成手段は、
前記被面談者の過去の状態との差異を示す情報の中から、前記第１の情報端末より指示されたカテゴリに応じた情報を抽出して、前記第２の情報端末より受信した画像データに重畳することを特徴とする請求項１に記載のサーバシステム。
【請求項４】
前記画像生成手段は、
前記被面談者の過去の状態との差異を示す情報が、前記被面談者が写っている領域の周囲に設けられた複数の領域に分類して表示されるように、該被面談者の過去の状態との差異を示す情報を、該第２の情報端末より受信した画像データに重畳することを特徴とする請求項１に記載のサーバシステム。
【請求項５】
前記画像生成手段は、
前記複数の領域のうち、前記第１の情報端末より表示指示のあった領域に分類される前記被面談者の過去の状態との差異を示す情報を、前記第２の情報端末より受信した画像データに重畳することを特徴とする請求項４に記載のサーバシステム。
【請求項６】
前記画像生成手段は、
前記複数の領域のうち、前記第１の情報端末より共有指示のあった領域に分類される前記被面談者の過去の状態との差異を示す情報が、前記第１の情報端末より受信した画像データにおける、面談者が写っている領域の周囲に表示されるように、該共有指示のあった領域に分類される該被面談者の過去の状態との差異を示す情報を、該第１の情報端末より受信した画像データに重畳し、
前記送信手段は、
前記画像生成手段により、前記共有指示のあった領域に分類される前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記第１の情報端末より受信した音声データとを、前記第２の情報端末に送信することを特徴とする請求項４に記載のサーバシステム。
【請求項７】
前記画像生成手段は、
前記複数の領域のうち、所定の領域について前記第１の情報端末より詳細情報の表示指示があった場合、該所定の領域に分類される前記被面談者の過去の状態との差異を示す情報を前記導出手段が導出する際に用いた情報を、前記第２の情報端末より受信した画像データに重畳することを特徴とする請求項４に記載のサーバシステム。
【請求項８】
前記導出手段が前記被面談者の過去の状態との差異を示す情報を導出する際に用いる、前記被面談者の過去の状態を示す情報を格納する格納手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載のサーバシステム。
【請求項９】
１以上のサーバ装置から構成され、面談者により利用される第１の情報端末と被面談者により利用される第２の情報端末との間における、画像データ及び音声データの双方向の通信を制御するサーバシステムにおける情報処理方法であって、
前記第２の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出工程と、
前記被面談者の過去の状態との差異を示す情報が、前記第２の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該第２の情報端末より受信した画像データに重畳する画像生成工程と、
前記画像生成工程において前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記第２の情報端末より受信した音声データとを、前記第１の情報端末に送信する送信工程と
を有することを特徴とする情報処理方法。
【請求項１０】
面談者により利用される第１の情報端末と被面談者により利用される第２の情報端末との間における、画像データ及び音声データの双方向の通信を制御するサーバ装置であって、
前記第２の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出手段と、
前記被面談者の過去の状態との差異を示す情報が、前記第２の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該第２の情報端末より受信した画像データに重畳する画像生成手段と、
前記画像生成手段により前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記第２の情報端末より受信した音声データとを、前記第１の情報端末に送信する送信手段と
を有することを特徴とするサーバ装置。
【請求項１１】
面談者により利用される第１の情報端末と被面談者により利用される第２の情報端末との間における、画像データ及び音声データの双方向の通信を制御するサーバ装置のコンピュータに、
前記第２の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出工程と、
前記被面談者の過去の状態との差異を示す情報が、前記第２の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該第２の情報端末より受信した画像データに重畳する画像生成工程と、
前記画像生成工程において前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記第２の情報端末より受信した音声データとを、前記第１の情報端末に送信する送信工程と
を実行させるためのプログラム。
【請求項１２】
面談者により利用される第１の情報端末と、
１以上のサーバ装置から構成され、前記第１の情報端末と被面談者により利用される第２の情報端末との間における、画像データ及び音声データの双方向の通信を制御するサーバシステムと、
を有する面談システムであって、
前記第２の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出手段と、
前記被面談者の過去の状態との差異を示す情報が、前記第２の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該第２の情報端末より受信した画像データに重畳する画像生成手段と、
前記画像生成手段により前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記第２の情報端末より受信した音声データとが、前記第１の情報端末において出力されるように制御する制御手段と
を有することを特徴とする面談システム。
【請求項１３】
面談者により利用される第１の情報端末と、
１以上のサーバ装置から構成され、前記第１の情報端末と被面談者により利用される第２の情報端末との間における、画像データ及び音声データの双方向の通信を制御するサーバシステムと、
を有する面談システムにおける面談方法であって、
前記第２の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出工程と、
前記被面談者の過去の状態との差異を示す情報が、前記第２の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該第１の情報端末より受信した画像データに重畳する画像生成工程と、
前記画像生成工程において前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記第２の情報端末より受信した音声データとが、前記第１の情報端末において出力されるように制御する制御工程と
を有することを特徴とする面談方法。
【請求項１４】
被面談者により利用される他の情報端末との間において、サーバ装置を介して画像データ及び音声データの双方向の通信を行う情報端末であって、
前記他の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出手段と、
前記被面談者の過去の状態との差異を示す情報が、前記他の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該他の情報端末より受信した画像データに重畳する画像生成手段と、
前記画像生成手段により前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記他の情報端末より受信した音声データとを出力する出力手段と
を有することを特徴とする情報端末。
【請求項１５】
被面談者により利用される他の情報端末との間において、サーバ装置を介して画像データ及び音声データの双方向の通信を行う情報端末のコンピュータに、
前記他の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出工程と、
前記被面談者の過去の状態との差異を示す情報が、前記他の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該他の情報端末より受信した画像データに重畳する画像生成工程と、
前記画像生成工程において前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記他の情報端末より受信した音声データとを出力する出力工程と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、面談システム、サーバシステム、サーバ装置、情報端末、面談方法、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、医師等の医療従事者が、遠隔地にいる被面談者と医療面談（例えば、被面談者の健康状態を把握するための面談）を行うための、医療面談システムが知られている。医療面談システムとは、医療従事者の情報端末と遠隔地の情報端末とをネットワークを介して接続し、画像及び音声の双方向の通信を行うことで被面談者の医療面談を行うシステムである。
【０００３】
当該医療面談システムを用いれば、疑似的な対面状態でのコミュニケーションを行うことができ、医療従事者は、遠隔地にいる被面談者の表情や顔色、挙動、発話の状態等を通じて被面談者の健康状態を把握し、適宜アドバイスを行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、医療従事者が医療面談において適切なアドバイスを行うためには、例えば、被面談者の過去のデータ（過去の医療面談や健康診断の結果に関するデータ）等と現在の状態とを比較するなど、医療面談中に被面談者の過去の情報を逐次参酌する必要がある。
【０００５】
しかしながら、被面談者に関する過去の情報を参酌するために、医療従事者が被面談者の方向（つまり、撮影方向）とは異なる方向を向いて作業を行うこととすると、疑似的な対面状態でのコミュニケーションが中断されることになる。この結果、被面談者に疎外感が生じるなどの不都合が生じる。
【０００６】
本発明は上記課題に鑑みてなされたものであり、疑似的な対面状態でのコミュニケーションを維持することが可能な面談システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の実施形態に係るサーバシステムは、以下のような構成を有する。すなわち、
１以上のサーバ装置から構成され、面談者により利用される第１の情報端末と被面談者により利用される第２の情報端末との間における、画像データ及び音声データの双方向の通信を制御するサーバシステムであって、
前記第２の情報端末より受信した被面談者の画像データ及び音声データを解析し、該被面談者の過去の状態との差異を示す情報を導出する導出手段と、
前記被面談者の過去の状態との差異を示す情報が、前記第２の情報端末より受信した画像データにおける、前記被面談者が写っている領域の周囲に表示されるように、該被面談者の過去の状態との差異を示す情報を、該第２の情報端末より受信した画像データに重畳する画像生成手段と、
前記画像生成手段により前記被面談者の過去の状態との差異を示す情報が重畳された画像データと、前記第２の情報端末より受信した音声データとを、前記第１の情報端末に送信する送信手段とを有する。
【発明の効果】
【０００８】
本発明の各実施形態によれば、疑似的な対面状態でのコミュニケーションを維持することが可能な面談システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】医療面談システムの全体構成を示す図である。
【図２】医療面談システムの利用例及びデータの流れを示す図である。
【図３】面談用サーバのハードウェア構成を示す図である。
【図４】情報端末のハードウェア構成を示す図である。
【図５】健康診断情報群の一例を示す図である。
【図６】勤怠情報群の一例を示す図である。
【図７】質問情報の一例を示す図である。
【図８】アドバイス情報の一例を示す図である。
【図９】第１及び第２の取得情報の一例を示す図である。
【図１０】グラフ情報の一例を示す図である。
【図１１】面談用サーバの機能構成を示す図である。
【図１２】健康診断情報解析部の処理を説明するための図である。
【図１３】勤怠情報解析部の処理を説明するための図である。
【図１４】画像データ解析部の処理を説明するための図である。
【図１５】表情解析部による解析結果の一例を示す図である。
【図１６】音声データ解析部の処理を説明するための図である。
【図１７】面談中の被面談者の発話時間帯及び沈黙時間帯と、医療従事者の発話時間帯と沈黙時間帯とを模式的に示した図である。
【図１８】補助データ提供部の処理を説明するための図である。
【図１９】医療従事者が利用する情報端末に表示される表示画面の一例を示す図である。
【図２０】医療面談システムによる医療面談処理の流れを示すシーケンス図である。
【図２１】医療従事者が利用する情報端末に表示される表示画面の他の一例を示す図である。
【図２２】医療面談システムにおけるデータの流れを示す図である。
【図２３】医療従事者が利用する情報端末に表示される表示画面の他の一例を示す図である。
【図２４】医療面談システムの他の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の各実施形態について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１１】
［第１の実施形態］
＜１．医療面談システムの全体構成＞
はじめに、医療面談システムの全体構成について説明する。図１は、医療面談システムの全体構成を示す図である。
【００１２】
図１に示すように、医療面談システム１００は、面談用サーバ１１０と、情報端末１３０と、情報端末１４０とを有する。面談用サーバ１１０と、情報端末１３０及び情報端末１４０とは、ネットワーク１５０を介して通信可能に接続されている。
【００１３】
面談用サーバ１１０は、情報端末１３０と情報端末１４０との間で画像データ及び音声データの双方向の通信を制御するサーバ装置である。面談用サーバ１１０は、面談プログラム１２０と、健康診断情報データベース（以下、ＤＢと略す）１２１と、勤怠情報ＤＢ１２２と、質問情報ＤＢ１２３と、アドバイス情報ＤＢ１２４と、取得情報ＤＢ１２５と、グラフ情報ＤＢ１２６とを有する。
【００１４】
面談プログラム１２０は、医師等の医療従事者（面談者）が、情報端末１３０を介して遠隔地にいる被面談者と医療面談（例えば、被面談者の健康状態を把握するための面談）を行うための医療面談処理を制御する。なお、面談プログラム１２０を利用する医療従事者として、本実施形態では産業医を想定して説明を行う。また、遠隔地にいる被面談者として、本実施形態では産業医が契約している会社の社員を想定して説明を行う。
【００１５】
健康診断情報ＤＢ１２１は、被面談者の健康診断情報を格納する。勤怠情報ＤＢ１２２は、被面談者の会社での勤務実態を記録した勤怠情報を格納する。
【００１６】
質問情報ＤＢ１２３は、被面談者の状態をより的確に把握するために、被面談者に対して行う質問内容をまとめた質問情報を格納する。質問情報には、複数の質問内容の中から、被面談者に応じた質問内容を自動的に選択するための条件が規定されている。これにより、医療従事者は被面談者に適した質問を行うことができる。
【００１７】
アドバイス情報ＤＢ１２４は、被面談者の状態を改善させるためのアドバイス内容をまとめたアドバイス情報を格納する。アドバイス情報には、複数のアドバイス内容の中から、被面談者の状態に応じたアドバイス内容を自動的に選択するための条件が規定されている。これにより、医療従事者は被面談者に適したアドバイスを行うことができる。
【００１８】
取得情報ＤＢ１２５は、医療面談中に取得された被面談者の画像データ及び音声データと、取得された被面談者の画像データ及び音声データを解析することで導出される、被面談者の状態を示す情報とを、医療面談の実施日ごとにわけて格納する。
【００１９】
グラフ情報ＤＢ１２６は、被面談者の状態を示す情報に基づいて導出された、被面談者の過去の状態との差異を示す情報の一部であって、グラフにより表現するためのグラフ情報を、医療面談の実施日にごとにわけて格納する。
【００２０】
情報端末１３０は、医師等の医療従事者が医療面談時に利用する端末である。情報端末１３０には、表示画面１３１の表示方向を撮影方向とする撮像部１３２が配されている。これにより、表示画面１３１に対向する位置に着座した医療従事者を正面から撮影することができる。また、情報端末１３０は、当該医療従事者が発する音声を取得するマイク部１３３と、当該医療従事者に向けて音声を出力するスピーカ部１３４とを有する。
【００２１】
情報端末１４０は、被面談者が医療面談時に利用する端末である。情報端末１４０には、表示画面１４１の表示方向を撮影方向とする撮像部１４２が配されている。これにより、表示画面１４１に対向する位置に着座した被面談者を正面から撮影することができる。また、情報端末１４０は、当該被面談者が発する音声を取得するマイク部１４３と、当該被面談者に向けて音声を出力するスピーカ部１４４とを有する。
【００２２】
なお、図１の例では、１台の面談用サーバ１１０が面談プログラム１２０を実行する場合について示したが、面談プログラム１２０は、その一部が、他のサーバにより実行されてもよい。また、図１の例では、１台の面談用サーバ１１０が健康診断情報ＤＢ１２１、勤怠情報ＤＢ１２２、質問情報ＤＢ１２３、アドバイス情報ＤＢ１２４、取得情報ＤＢ１２５、グラフ情報ＤＢ１２６を有する場合について示した。しかしながら、健康診断情報ＤＢ１２１、勤怠情報ＤＢ１２２、質問情報ＤＢ１２３、アドバイス情報ＤＢ１２４、取得情報ＤＢ１２５、グラフ情報ＤＢ１２６は、それぞれ異なるサーバが有していてもよい。
【００２３】
つまり、面談用サーバ１１０は、複数のサーバからなる「サーバシステム」として構成されてもよい。
【００２４】
＜２．医療面談システムの利用例及びデータの流れ＞
次に、医療面談システム１００の利用例及びデータの流れについて説明する。図２は、医療面談システム１００の利用例及びデータの流れを示す図である。
【００２５】
上述したように、情報端末１３０の表示画面１３１の近傍には、表示画面１３１の表示方向を撮影方向とする撮像部１３２が配されている。これにより、撮像部１３２は、表示画面１３１に対向する位置に着座した医療従事者２１０の正面画像を撮影する。
【００２６】
図２に示すように、撮像部１３２が撮影することにより得られた画像データは、ネットワーク１５０を介して情報端末１４０に送信され、情報端末１４０の表示画面１４１に表示される。このため、情報端末１４０の表示画面１４１には医療従事者２１０の正面画像２１１が表示される。
【００２７】
また、情報端末１３０の表示画面１３１の近傍には、スピーカ部１３４が配されており、医療従事者２１０に向けて音声を出力する。更に、情報端末１３０の表示画面１３１の近傍にはマイク部１３３が配されており、医療従事者２１０が発する音声を取得する。
【００２８】
図２に示すように、マイク部１３３により取得された音声データは、ネットワーク１５０を介して情報端末１４０に送信され、情報端末１４０のスピーカ部１４４より出力される。
【００２９】
同様に、情報端末１４０の表示画面１４１の近傍には、表示画面１４１の表示方向を撮影方向とする撮像部１４２が配されており、表示画面１４１に対向する位置に着座した被面談者２２０の正面画像を撮影する。
【００３０】
図２に示すように、撮像部１４２の撮影により得られた画像データは、ネットワーク１５０を介して情報端末１３０に送信され、情報端末１３０の表示画面１３１に表示される。このため、情報端末１３０の表示画面１３１には被面談者２２０の正面画像２２１が表示される。
【００３１】
また、情報端末１４０の表示画面１４１の近傍には、スピーカ部１４４が配されており、被面談者２２０に向けて音声を出力する。更に、情報端末１４０の表示画面１４１の近傍にはマイク部１４３が配されており、被面談者２２０が発する音声を取得する。
【００３２】
図２に示すように、マイク部１４３により取得された音声データは、ネットワーク１５０を介して情報端末１３０に送信され、情報端末１３０のスピーカ部１３４より出力される。
【００３３】
なお、情報端末１４０より送信される画像データ及び音声データは、面談用サーバ１１０により解析され、被面談者の現在の状態を示す情報と被面談者の過去の状態との差異を示す情報とを含む補助データが生成される。生成された補助データは、情報端末１３０に向けて送信される画像データに重畳される。なお、補助データを画像データに重畳するにあたり、面談用サーバ１１０では、被面談者２２０の正面画像２２１が写っている領域の周囲の複数の領域２５０に補助データが分類して表示されるように、画像データ上の適切な位置に補助データを配置する。
【００３４】
これにより、情報端末１３０の表示画面１３１には、被面談者２２０の正面画像２２１が写っている領域の周囲に、被面談者の現在の状態を示す情報と被面談者の過去の状態との差異を示す情報とを含む補助データが複数の領域２５０に分類して表示される。
【００３５】
このように、補助データが被面談者２２０の正面画像２２１が写っている領域の周囲に表示されることで、医療従事者２１０は、表示画面１３１を向いたまま、補助データを閲覧することができる。つまり、補助データを閲覧するために、医療従事者２１０が撮影方向とは異なる方向を向いて作業を行う必要がなくなり、被面談者２２０との疑似的な対面状態でのコミュニケーションが中断されることを回避することができる。この結果、被面談者２２０に疎外感が生じることもない。
【００３６】
＜３．面談用サーバのハードウェア構成＞
次に、面談用サーバ１１０のハードウェア構成について説明する。図３は、面談用サーバ１１０のハードウェア構成を示す図である。
【００３７】
図３に示すように、面談用サーバ１１０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、記憶部３０４を備える。更に、面談用サーバ１１０は、入力部３０５、表示部３０６、通信部３０７を備える。なお、面談用サーバ１１０の各部は、バス３０８を介して相互に接続されている。
【００３８】
ＣＰＵ３０１は、記憶部３０４に格納された各種プログラム（例えば、面談プログラム１２０）を実行するコンピュータである。
【００３９】
ＲＯＭ３０２は不揮発性メモリである。ＲＯＭ３０２は、記憶部３０４に格納された各種プログラムを、ＣＰＵ３０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラムなどを格納する。
【００４０】
ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ３０３は、記憶部３０４に格納された各種プログラムがＣＰＵ３０１によって実行される際に展開される、作業領域として機能する。
【００４１】
記憶部３０４は、ＣＰＵ３０１により実行される各種プログラム及び各種プログラムがＣＰＵ３０１により実行される際に利用される各種ＤＢを格納する。なお、各種ＤＢには、例えば、健康診断情報ＤＢ１２１、勤怠情報ＤＢ１２２、質問情報ＤＢ１２３、アドバイス情報ＤＢ１２４、取得情報ＤＢ１２５、グラフ情報ＤＢ１２６等が含まれる。
【００４２】
入力部３０５は、面談用サーバ１１０に各種情報を入力するためのインタフェースである。表示部３０６は、面談用サーバ１１０が有する各種情報を表示する。
【００４３】
通信部３０７は、ネットワーク１５０を介して、情報端末１３０及び情報端末１４０と通信を行う。
【００４４】
＜４．情報端末のハードウェア構成＞
次に、情報端末１３０、１４０のハードウェア構成について説明する。図４は、情報端末１３０、１４０のハードウェア構成を示す図である。
【００４５】
図４に示すように、情報端末１３０、１４０は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、記憶部４０４を備える。更に、情報端末１３０、１４０は、操作部４０５、表示部４０６、通信部４０７、Ｉ／Ｆ部４０８を備える。なお、情報端末１３０、１４０の各部は、バス４０９を介して相互に接続されている。
【００４６】
ＣＰＵ４０１は、記憶部４０４に格納された各種プログラムを実行するコンピュータである。
【００４７】
ＲＯＭ４０２は不揮発性メモリである。ＲＯＭ４０２は、記憶部４０４に格納された各種プログラムを、ＣＰＵ４０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラムなどを格納する。
【００４８】
ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ４０３は、記憶部４０４に格納された各種プログラムがＣＰＵ４０１によって実行される際に展開される、作業領域として機能する。
【００４９】
記憶部４０４は、ＣＰＵ４０１により実行される各種プログラム及び各種プログラムがＣＰＵ４０１により実行される際に利用される各種情報を格納する。
【００５０】
操作部４０５は、情報端末１３０、１４０に各種指示を入力する際に用いられる。表示部４０６は表示画面を有し、例えば、情報端末１３０、１４０が受信した画像データを表示する。通信部３０７は、ネットワーク１５０を介して、面談用サーバ１１０と通信を行う。
【００５１】
Ｉ／Ｆ部４０８は、撮像部１３２（または撮像部１４２）、マイク部１３３（またはマイク部１４３）、スピーカ部１３４（またはスピーカ部１４４）と接続するためのインタフェースである。
【００５２】
＜５．各種情報の説明＞
次に、面談用サーバ１１０が有する各ＤＢに格納される各種情報について説明する。なお、以下に説明する各種情報のうち、健康診断情報、勤怠情報、取得情報、グラフ情報は、被面談者２２０の過去の状態との差異を示す情報を導出を導出する際に、被面談者２２０の過去の状態を示す情報として用いられる。つまり、これらの情報を格納する健康診断情報ＤＢ１２１、勤怠情報ＤＢ１２２、取得情報ＤＢ１２５、グラフ情報ＤＢ１２６は、被面談者２２０の過去の状態を示す情報を格納する格納手段として機能する。
【００５３】
（１）健康診断情報の説明
はじめに、健康診断情報ＤＢ１２１に格納される健康診断情報について説明する。図５は、健康診断情報群の一例を示す図である。図５に示すように、健康診断情報ＤＢ１２１には、複数の被面談者の健康診断情報が格納されている。それぞれの健康診断情報は、同様のフォーマットにより構成されているため、ここでは健康診断情報５００を例に説明する。
【００５４】
健康診断情報５００は、被面談者の属性が記入される基礎情報欄と、被面談者の健康診断の結果が記入される健康診断情報欄とを有する。
【００５５】
基礎情報欄には、情報の項目として"氏名"、"年齢"、"性別"、"社員番号"、"入社年"、"所属部署"が含まれる。健康診断情報欄には、情報の項目として"身長"、"体重"、"自覚症状"、"タバコの量"、"お酒の量"、"運動の頻度"、"食事の状況"、"病名、経過観察項目"、"入院履歴"、"家族の病歴"が含まれる。
【００５６】
なお、健康診断情報欄のそれぞれの情報の項目に対しては、被面談者の健康診断の結果が複数年分記入される。これにより、面談用サーバ１１０では、過去の健康診断の結果と現在の健康診断の結果との差分値を算出することができる。
【００５７】
（２）勤怠情報の説明
次に、勤怠情報ＤＢ１２２に格納される勤怠情報について説明する。図６は、勤怠情報群の一例を示す図である。図６に示すように、勤怠情報ＤＢ１２２には、複数の被面談者の勤怠情報が格納されている。それぞれの勤怠情報は、同様のフォーマットにより構成されているため、ここでは勤怠情報６００を例に説明する。
【００５８】
勤怠情報６００は、被面談者の属性が記入される基礎情報欄と、被面談者の勤怠情報欄とを有する。なお、勤怠情報６００の基礎情報欄は、健康診断情報５００の基礎情報欄と同じであるため、ここでは説明を省略する。
【００５９】
勤怠情報欄には、各月の各日付と対応付けて、被面談者の出勤時間と退勤時間とが記入される。なお、勤怠情報６００では、勤怠情報欄に過去１年間分の出勤時間と退勤時間とが記入されるように構成されているが、記入期間は１年間に限定されない。
【００６０】
（３）質問情報の説明
次に、質問情報ＤＢ１２３に格納される質問情報について説明する。図７は、質問情報の一例を示す図である。図７に示すように、質問情報７００には、情報の項目として、"質問内容"と"表示条件"とが含まれる。
【００６１】
"質問内容"には、被面談者の状態をより的確に把握するために、被面談者に対して行う質問の内容が記入される。それぞれの質問内容には、"表示条件"に規定された条件が対応付けられている。
【００６２】
"表示条件"には、"質問内容"に記入されたそれぞれの質問内容を自動的に選択し、表示画面１３１に表示させるための条件が規定されている。"表示条件"の項目には、"睡眠不足"、"肥満"、"ストレス増加"、"飲酒増加"、"うつ傾向"が含まれる。
【００６３】
面談用サーバ１１０では、情報端末１４０より送信される画像データ及び音声データと、健康診断情報５００と、勤怠情報６００とをそれぞれ解析することで、睡眠不足、肥満、ストレス増加、飲酒増加、うつ傾向のいずれの項目に該当するかを判定する。
【００６４】
例えば、画像データを解析することで、被面談者２２０が睡眠不足であると判定した場合には、ＩＤ＝２の質問内容を表示するための条件が成立したと判断され、ＩＤ＝２の質問内容が自動的に選択される。これにより、ＩＤ＝２の質問内容が補助データとして情報端末１３０に送信され、表示画面１３１に表示される。
【００６５】
また、健康診断情報５００を解析することで、被面談者２２０が肥満であると判定した場合には、ＩＤ＝３の質問内容を表示するための条件が成立したと判断され、ＩＤ＝３の質問内容が自動的に選択される。これにより、ＩＤ＝３の質問内容が補助データとして情報端末１３０に送信され、表示画面１３１に表示される。
【００６６】
また、健康診断情報５００を解析することで、被面談者２２０が肥満であると判定され、勤怠情報６００と画像データ及び音声データとを解析することで、ストレス増加及びうつ傾向であると判定されたとする。この場合、ＩＤ＝４の質問内容を表示するための条件が成立したと判断され、ＩＤ＝４の質問内容が自動的に選択される。これにより、ＩＤ＝４の質問内容が補助データとして情報端末１３０に送信され、表示画面１３１に表示される。以下、同様に、"表示条件"に規定された条件が成立した場合に、対応する質問内容が自動的に選択されることとなる。
【００６７】
（４）アドバイス情報の説明
次に、アドバイス情報ＤＢ１２４に格納されるアドバイス情報について説明する。図８は、アドバイス情報の一例を示す図である。図８に示すように、アドバイス情報８００には、情報の項目として、"アドバイス内容"と"表示条件"とが含まれる。
【００６８】
"アドバイス内容"には、被面談者に対して行うアドバイスの内容が記入される。それぞれのアドバイス内容には、"表示条件"が対応付けられている。
【００６９】
"表示条件"には、"アドバイス内容"に記入されたそれぞれのアドバイス内容を自動的に選択し、表示画面１３１に表示させるための条件が規定されている。なお、"表示条件"の項目は、質問情報７００の"表示条件"の項目と同じであるため、ここでは説明を省略する。
【００７０】
すなわち、アドバイス情報８００の各ＩＤと、質問情報７００の各ＩＤとは対応しており、表示条件が成立した場合に選択される質問内容とアドバイス内容とは、同じＩＤの質問内容とアドバイス内容となる。
【００７１】
（５）取得情報の説明
次に、情報端末１４０より送信される画像データ及び音声データに基づいて取得され、取得情報ＤＢ１２５に格納される第１及び第２の取得情報について説明する。図９は、第１及び第２の取得情報の一例を示す図である。
【００７２】
このうち、図９（ａ）は、画像データ及び画像データの解析結果を含む第１の取得情報の一例を示している。図９（ａ）に示すように、第１の取得情報９００には、情報の項目として"基礎情報欄"と"画像情報欄"とが含まれる。なお、第１の取得情報９００の基礎情報欄は、健康診断情報５００の基礎情報欄と同じであるため、ここでは説明を省略する。
【００７３】
画像情報欄には、情報の項目として"脈拍または心拍"、"表情"、"心情"、"挙動"、"外見"、"画像データ"が含まれる。
【００７４】
"脈拍または心拍"には、画像データに基づいて算出した単位時間あたりの脈拍数が記録される。なお、画像データに基づく拍動の検出は、血液中のヘモグロビンが緑の光を吸収する特性を利用する。具体的には、血流による顔表面の輝度（ＲＧＢ）値の平均値を算出し、算出した緑成分の変化量から脈波形を構築することで、拍動を検出する。"脈拍または心拍"には、検出した拍動に基づいて算出された、被面談者の単位時間あたりの脈拍数が記録される。
【００７５】
"表情"には、画像データに含まれる被面談者の顔領域から抽出される特徴量に基づいて算出された被面談者の表情が、いずれの表情パラメータに該当するかを所定周期ごとにカウントした結果が記録される。"表情"に含まれる表情パラメータには、"怒り"、"侮り"、"嫌気"、"不安"、"喜び"、"悲しみ"、"驚き"、"中立"がある。
【００７６】
"心情"には、画像データに含まれる被面談者の顔領域における所定の部位の色が解析されることで得られた解析結果が記録される。"心情"に含まれる心情パラメータには、"顔の色"、"唇の色"がある。
【００７７】
"挙動"には、画像データに含まれる被面談者の各部位の移動量を算出することで得られた算出結果が記録される。"挙動"に含まれる挙動パラメータには、"頭の動き"、"体の動き"、"唇の動き"、"目の動き"がある。例えば、"頭の動き"には、画像データより被面談者の頭部の位置が検出され、当該頭部の位置の医療面談中の移動量が算出されることで導出された、所定時間ごとの移動量の平均値が記録される。
【００７８】
"外見"には、画像データに含まれる被面談者の顔領域以外の領域における所定の部位が解析されることで得られた解析結果が記録される。"外見"に含まれる外見パラメータには、"髪の毛の色"、"髪型"、"服装"がある。例えば、"髪の毛の色"には、画像データより被面談者の髪の毛の領域が抽出され、抽出された領域が解析されることで得られた色データが記録される。"髪型"には、画像データより被面談者の髪の毛の領域が抽出され、抽出された領域が解析されることで得られた、形状を示す特徴量が記録される。"服装"には、画像データより被面談者の服装の領域が抽出され、抽出された服装の領域が解析されることで得られた、服装の乱れを示す特徴量が記録される。
【００７９】
"画像データ"には、医療面談中に取得された画像データのファイルの格納場所及びファイル名が記録される。
【００８０】
なお、画像情報欄のそれぞれの情報の項目には、過去複数回分の医療面談の結果が記入される。これにより、面談用サーバ１１０では、過去の医療面談の結果と現在実行中の医療面談の結果との差分値を算出することができる。
【００８１】
図９（ｂ）は、音声データ及び音声データの解析結果を含む第２の取得情報の一例を示している。図９（ｂ）に示すように、第２の取得情報９１０には、情報の項目として"基礎情報欄"と"音声情報欄"とが含まれる。なお、第２の取得情報９１０の基礎情報欄は、健康診断情報５００の基礎情報欄と同じであるため、ここでは説明を省略する。
【００８２】
音声情報欄には、情報の項目として、"会話"、"音声データ"が含まれる。"会話"には、医療面談中に取得された音声データの解析結果が記録される。"会話"に含まれる会話パラメータには、 "トーン"、"発話回数／発話時間"、"沈黙回数／沈黙時間"、"ネガティブ表現"がある。
【００８３】
"トーン"には、音声データを言語解析し、言語において意味の区別に用いる音の高低パターンを算出することで得られた特徴量が記録される。
【００８４】
"発話回数／発話時間"には、医療面談中に被面談者が発話した回数または被面談者が発話した時間が算出され、記録される。"沈黙回数／沈黙時間"には、医療面談中に被面談者が沈黙した回数または被面談者が沈黙した時間が算出され、記録される。
【００８５】
"ネガティブ表現"には、音声データを言語解析することで算出された、被面談者の発話内容に含まれるネガティブな表現の個数が記録される。"音声データ"には、医療面談中に取得した音声データの格納場所及びファイル名が記録される。
【００８６】
なお、音声情報欄のそれぞれの情報の項目には、過去複数回分の医療面談の結果が記入される。これにより、面談用サーバ１１０では、過去の医療面談の結果と現在実行中の医療面談の結果との差分値を算出することができる。
【００８７】
（６）グラフ情報の説明
次に、グラフ情報ＤＢ１２６に格納されるグラフ情報について説明する。図１０は、グラフ情報の一例を示す図である。図１０に示すように、グラフ情報１０００には、情報の項目として"基礎情報欄"と"グラフ情報欄"とが含まれる。なお、グラフ情報１０００の基礎情報欄は、健康診断情報５００の基礎情報欄と同じであるため、ここでは説明を省略する。
【００８８】
グラフ情報欄には、情報の項目として、以下の項目が含まれる。
・"元気がなくなった"
・"精神的に不安定になった"
・"身なりに構わなくなった"
・"急に無口になった"
・"弱音を吐くようになった"
・"急に痩せてきた（太ってきた）"
・"お酒の量が増えた"
・"遅刻・欠勤が増えた"
これらの情報の項目には、健康診断情報５００、勤怠情報６００、第１の取得情報９００、第２の取得情報９１０が解析されることで医療面談中に導出された、各情報の項目のレベル値が記入される。
【００８９】
なお、グラフ情報１０００のそれぞれの情報の項目には、過去複数回分の医療面談の結果が記入される。これにより、面談用サーバ１１０では、過去の医療面談の結果と現在実行中の医療面談の結果との差分値を算出することができる。
【００９０】
＜６．面談用サーバの機能構成＞
次に、面談用サーバ１１０の面談プログラム１２０がＣＰＵ３０１により実行されることで実現される機能について説明する。図１１は、面談用サーバ１１０の機能構成を示す図である。
【００９１】
図１１に示すように、面談プログラム１２０がＣＰＵ３０１により実行されることで、面談用サーバ１１０において実現される機能には、通信制御部１１０１、健康診断情報解析部１１０２、勤怠情報解析部１１０３が含まれる。更に、画像データ解析部１１０４、音声データ解析部１１０５、補助データ提供部１１０６が含まれる。
【００９２】
通信制御部１１０１は、情報端末１３０と情報端末１４０との間の通信を制御する。具体的には、情報端末１３０からの接続要求に基づいて、情報端末１４０に問い合わせを行い、情報端末１４０からの承諾する旨の情報（承諾情報）を受信した場合に、情報端末１３０と情報端末１４０との接続を行う。通信制御部１１０１では、情報端末１３０と情報端末１４０とを接続すると、情報端末１３０から送信される画像データ及び音声データを情報端末１４０に送信し、情報端末１４０から送信される画像データ及び音声データを情報端末１３０に送信する。なお、通信制御部１１０１では、情報端末１４０から送信される画像データを情報端末１３０に送信するにあたり、補助データ提供部１１０６により提供される補助データが重畳された画像データを送信する。
【００９３】
健康診断情報解析部１１０２は、健康診断情報ＤＢ１２１に格納されている健康診断情報群のうち、被面談者２２０の健康診断情報５００を抽出して解析を行い、後述するグラフエリア表示情報、ヘルス情報、表示条件情報を導出する。また、導出したグラフエリア表示情報、ヘルス情報、表示条件情報を補助データ提供部１１０６に通知する。
【００９４】
勤怠情報解析部１１０３は、勤怠情報ＤＢ１２２に格納されている勤怠情報群のうち、被面談者２２０の勤怠情報６００を抽出して解析を行い、グラフエリア表示情報、表示条件情報を導出する。また、導出したグラフエリア表示情報、表示条件情報を補助データ提供部１１０６に通知する。
【００９５】
画像データ解析部１１０４は、情報端末１４０から受信した画像データを解析し、表情パラメータ、心情パラメータ、挙動パラメータ、外見パラメータを抽出する。更に、抽出した各パラメータに基づいて、グラフエリア表示情報、表示条件情報を導出し、補助データ提供部１１０６に通知する。また、情報端末１４０から受信した画像データを解析して単位時間あたりの脈拍数を算出し、算出した脈拍数をメンタル情報として補助データ提供部１１０６に通知する。また、脈拍数を算出する際の脈波形に基づいて表示条件情報を導出し、導出した表情条件情報を補助データ提供部１１０６に通知する。更に、画像データ解析部１１０４は、医療面談終了時に、表情パラメータ、心情パラメータ、挙動パラメータ、外見パラメータ、及び脈拍数を第１の取得情報９００に記録し、第１の取得情報９００を取得情報ＤＢ１２５に格納する。
【００９６】
音声データ解析部１１０５は、情報端末１４０から受信した音声データを解析し、会話パラメータを抽出する。また、抽出した会話パラメータに基づいて、グラフエリア表示情報、表示条件情報を導出し、補助データ提供部１１０６に通知する。更に、音声データ解析部１１０５は、医療面談終了時に、会話パラメータを第２の取得情報９１０に記録し、第２の取得情報９１０を取得情報ＤＢ１２５に格納する。
【００９７】
補助データ提供部１１０６は、健康診断情報解析部１１０２、勤怠情報解析部１１０３、画像データ解析部１１０４、音声データ解析部１１０５から、グラフエリア表示情報、ヘルス情報、メンタル情報、表示条件情報を受信する。
【００９８】
また、補助データ提供部１１０６は、受信したグラフエリア表示情報に基づいて、表示画面１３１のグラフ領域に表示するグラフ画像を生成し、受信したヘルス情報に基づいて、表示画面１３１のヘルス情報領域に表示するヘルス情報領域画像を生成する。また、受信したメンタル情報に基づいて、表示画面１３１のメンタル情報領域に表示するメンタル情報領域画像を生成する。
【００９９】
更に、補助データ提供部１１０６は、質問情報ＤＢ１２３を参照し、受信した表示条件情報に合致する質問内容を選択し、表示画面１３１の質問領域に表示する質問領域画像を生成する。また、補助データ提供部１１０６は、アドバイス情報ＤＢ１２４を参照し、受信した表示条件情報に合致するアドバイス内容を選択し、表示画面１３１のアドバイス領域に表示するアドバイス領域画像を生成する。
【０１００】
更に、補助データ提供部１１０６は、生成したグラフ画像、ヘルス情報画像、質問領域画像、アドバイス領域画像を、補助データとして通信制御部１１０１に出力する。なお、補助データ提供部１１０６は、医療面談終了時に、グラフ画像の生成に用いた各グラフエリア表示情報をグラフ情報１０００に記録し、グラフ情報１０００をグラフ情報ＤＢ１２６に格納する。
【０１０１】
＜７．面談用サーバの各機能の詳細＞
次に、面談用サーバ１１０が有する各機能の処理の詳細について説明する。
【０１０２】
（１）健康診断情報解析部の詳細
図１２は、健康診断情報解析部１１０２による処理を説明するための図である。図１２に示すように、健康診断情報解析部１１０２は、健康診断情報ＤＢ１２１より被面談者２２０の健康診断情報５００を読み出し、読み出した健康診断情報５００を解析する。これにより、健康診断情報解析部１１０２は、グラフエリア表示情報、ヘルス情報、表示条件情報を導出し、補助データ提供部１１０６に通知する。
【０１０３】
具体的には、健康診断情報５００の"体重"に記録された被面談者２２０の現在の体重と他の年の体重との差分が所定の閾値以上であった場合に、急に痩せてきた（または太ってきた）と判定し、"急に痩せてきた（または太ってきた）の項目のレベルを上げる。一方、現在の体重が他の年の体重と概ね等しければ、レベルを下げる。
【０１０４】
また、健康診断情報５００の"お酒の量"に記録された被面談者２２０の現在の酒量が他の年の酒量よりも増えていた場合に、お酒の量が増えてきたと判定し、"お酒の量が増えてきた"の項目のレベルを上げる。一方、現在の酒量が他の年の酒量と概ね等しければ、レベルを下げる。
【０１０５】
更に、"急に痩せてきた（または太ってきた）"の項目についてのレベル値及び"お酒の量が増えてきた"の項目についてのレベル値をグラフエリア表示情報として補助データ提供部１１０６に通知する。すなわち、健康診断情報解析部１１０２より通知されるグラフエリア表示情報には、被面談者２２０の過去の状態との差異を示す情報が含まれる。
【０１０６】
また、健康診断情報５００の"体重"に記録された被面談者２２０の現在の体重と、"身長"に記録された被面談者２２０の現在の身長とに基づいて、現在のＢＭＩ（Body Mass Index）値を算出する。また、１年前の体重と身長とに基づいて１年前のＢＭＩ値を算出する。更に、健康診断情報５００の"体重"に記録された被面談者２２０の、１年前の体重と現在の体重との差分から、体重増加量を算出する。
【０１０７】
更に、１年前のＢＭＩ値と現在のＢＭＩ値、ならびに、体重増加量をヘルス情報として補助データ提供部１１０６に通知する。すなわち、健康診断情報解析部１１０２より通知されるヘルス情報には、被面談者２２０の過去の状態との差異を示す情報が含まれる。
【０１０８】
また、健康診断情報５００の"体重"に記録された被面談者２２０の体重と、"身長"に記録された被面談者２２０の身長とに基づいて算出される健康体重を算出する。また、健康体重と肥満度との関係を予め定義した一覧表を参照することで、被面談者が肥満か否かを判定する。また、健康診断情報５００の"お酒の量"に記録された被面談者２２０の酒量の１年ごとの変化量を算出し、各年の変化量がプラスであれば、飲酒傾向が増加していると判定する。
【０１０９】
更に、肥満か否かの判定結果と飲酒傾向が増加しているか否かの判定結果とを、表示条件情報として、補助データ提供部１１０６に通知する。すなわち、健康診断情報解析部１１０２より通知される表示条件情報には、被面談者２２０の現在の状態を示す情報と過去の状態との差異を示す情報とが含まれる。
【０１１０】
（２）勤怠情報解析部の詳細
図１３は、勤怠情報解析部１１０３による処理を説明するための図である。図１３に示すように、勤怠情報解析部１１０３は、勤怠情報ＤＢ１２２より被面談者２２０の勤怠情報６００を読み出し、読み出した勤怠情報６００を解析する。これにより、勤怠情報解析部１１０３では、グラフエリア表示情報、表示条件情報を補助データ提供部１１０６に通知する。
【０１１１】
具体的には、勤怠情報６００に記録された出勤時間と退勤時間とに基づいて、所定期間ごとの遅刻、欠勤の回数を算出して、遅刻、欠勤の回数が増えているか否かを判定する。遅刻、欠勤の回数が増えたと判定した場合には"遅刻、欠勤が増えた"の項目のレベルを上げ、減ったと判定した場合にはレベルを下げる。また、"遅刻、欠勤が増えた"の項目についてのレベル値をグラフエリア表示情報として補助データ提供部１１０６に通知する。すなわち、勤怠情報解析部１１０３より通知されるグラフエリア表示情報には、被面談者２２０の過去の状態との差異を示す情報が含まれる。
【０１１２】
また、勤怠情報６００に記録された出勤時間に基づいて遅刻と判断した日が、休み明けの日であるか否かを判定し、休み明けの日であると判定した場合には、被面談者２２０がうつ傾向にあると判定する。また、うつ傾向にあるか否かの判定結果を、表示条件情報として、補助データ提供部１１０６に通知する。すなわち、勤怠情報解析部１１０３より通知される表示条件情報には、被面談者２２０の過去の状態との差異を示す情報が含まれる。
【０１１３】
（３）画像データ解析部の詳細
図１４は、画像データ解析部１１０４による処理を説明するための図である。図１４に示すように、画像データ解析部１１０４は、拍動解析部１４０１、表情解析部１４０２、心情解析部１４０３、挙動解析部１４０４、外見解析部１４０５、比較部１４０６〜１４０９、判定部１４１０を有する。
【０１１４】
拍動解析部１４０１は、画像データに基づいて脈波形を検出し、単位時間あたりの脈拍数を算出する。また、検出した脈波形の変動幅を算出し、所定の変動幅より小さい場合に、被面談者が睡眠不足であると判定する。算出した脈拍数はメンタル情報として補助データ提供部１１０６に通知し、睡眠不足であるか否かの判定結果は表示条件情報として補助データ提供部１１０６に通知する。すなわち、画像データ解析部１１０４より通知されるメンタル情報及び表示条件情報には、被面談者２２０の現在の状態を示す情報が含まれる。
【０１１５】
表情解析部１４０２は、画像データに含まれる被面談者２２０の顔領域から抽出される特徴量に基づいて、被面談者２２０の表情を判定し、いずれの表情パラメータに該当するかを所定周期ごとにカウントした結果を出力する。
【０１１６】
図１５は、医療面談中の被面談者２２０の画像データに基づいて、被面談者２２０の表情がいずれの表情パラメータに該当するかを５分ごとにカウントし、医療面談終了時にそれぞれの表情パラメータのカウント値を集計した結果を示す図である。図１５の例では、はじめの５分間で表情パラメータ＝怒りと判定された回数は１回、表情パラメータ＝侮りと判定された回数は２回、表情パラメータ＝嫌気と判定された回数は１０回である。また、表情パラメータ＝不安と判定された回数は８回、表情パラメータ＝喜びと判定された回数は０回、表情パラメータ＝悲しみと判定された回数は１回、表情パラメータ＝驚きと判定された回数は０回である。なお、いずれの表情パラメータにも該当しない中立と判定された回数は１６回である。
【０１１７】
このように、所定時間（例えば、５分）内にカウントされたそれぞれの表情パラメータの回数を算出することで、医療面談中のそれぞれの時間帯における被面談者２２０の心情を推定することができる。
【０１１８】
また、表情解析部１４０２では、５分ごとのカウントを、医療面談終了時まで繰り返す。例えば、表情パラメータ＝怒りと判定された回数は、はじめの５分間は１回、５分から１０分の間は２回、１０分から１５分の間は３回、以降、医療面談が終了するまでは０回である。
【０１１９】
このように、所定時間単位で行うそれぞれの表情パラメータのカウントを、医療面談中、継続して実行することで、医療面談中の被面談者の心情の変化を推定することができる。
【０１２０】
更に、表情解析部１４０２では、医療面談終了時にそれぞれの表情パラメータのカウント値を集計する。図１５の例では、医療面談中に表情パラメータ＝怒りと判定された回数は６回、表情パラメータ＝侮りと判定された回数は９回、表情パラメータ＝嫌気と判定された回数は２３回、表情パラメータ＝不安と判定された回数は４２回である。また、表情パラメータ＝喜びと判定された回数は２０回、表情パラメータ＝悲しみと判定された回数は１２回、表情パラメータ＝驚きと判定された回数は２４回、表情パラメータ＝中立と判定された回数は９０回である。
【０１２１】
このように、医療面談終了時にそれぞれの表情パラメータのカウント値を集計することで、医療面談を通しての被面談者の全体的な心情を推定することができる。
【０１２２】
図１４の説明に戻る。比較部１４０６は、第１の取得情報９００より前回の医療面談時の各表情パラメータの集計結果を読み出し、５分ごとの平均値を算出し、現在医療面談中の被面談者の５分ごとの各表情パラメータのカウント値と比較する。比較の結果、所定の閾値以上の差分がある表情パラメータがあった場合には、当該表情パラメータを判定部１４１０に通知する。
【０１２３】
心情解析部１４０３は、画像データより被面談者２２０の顔領域を抽出し、心情パラメータである顔の色及び唇の色の色データを検出する。
【０１２４】
比較部１４０７は、第１の取得情報９００より、前回の医療面談時に記録された心情パラメータと、現在医療面談中の被面談者２２０の心情パラメータとを比較する。比較の結果、所定の閾値以上の差分がある心情パラメータがあった場合には、当該心情パラメータを判定部１４１０に通知する。
【０１２５】
挙動解析部１４０４は、画像データより被面談者２２０の頭の位置、体の位置、唇の位置、眼球の黒目の位置をそれぞれ検出し、検出した頭の位置、体の位置、唇の位置、黒目の位置の所定時間ごとの移動量を算出する。
【０１２６】
比較部１４０８は、第１の取得情報９００より、前回の医療面談時に記録された挙動パラメータである、頭の位置、体の位置、唇の位置、黒目の位置の移動量の所定時間ごとの平均値を読み出す。そして、現在医療面談中の被面談者の頭の位置、体の位置、唇の位置、黒目の位置の所定時間ごとの移動量と比較する。比較の結果、所定の閾値以上の差分がある挙動パラメータがあった場合には、当該挙動パラメータを判定部１４１０に通知する。
【０１２７】
外見解析部１４０５は、画像データより被面談者の髪の毛の領域及び服装の領域をそれぞれ抽出し、髪の毛の領域については、髪の毛の色を算出するとともに髪の毛の領域の形状を示す特徴量を外見パラメータとして算出する。また、服装の領域については、服装の乱れを示す特徴量を外見パラメータとして算出する。
【０１２８】
比較部１４０９は、第１の取得情報９００より、前回の医療面談時に記録された外見パラメータと、現在医療面談中の被面談者２２０の外見パラメータとを比較する。比較の結果、所定の閾値以上の差分がある外見パラメータがあった場合には、当該外見パラメータを判定部１４１０に通知する。
【０１２９】
判定部１４１０は、比較部１４０６〜１４０９より通知された通知内容に基づいて、グラフエリア表示情報及び表示条件情報を出力する。
【０１３０】
例えば、比較部１４０７において、前回の医療面談時の被面談者２２０の顔の色と現在医療面談中の被面談者２２０の顔の色との差分が大きいと判定されたとする。また、比較部１４０６において、前回の医療面談時の被面談者２２０の表情の変化よりも現在医療面談中の被面談者２２０の表情の変化の方が少ないと判断されたとする。この場合、判定部１４１０では、被面談者２２０の元気がなくなったと判断し、グラフエリアの表示情報の"元気がなくなった"の項目のレベルを上げる。一方、被面談者２２０の顔の色の差分が小さく、表情の変化も同等であった場合、判定部１４１０では、"元気がなくなった"の項目のレベルを下げる。
【０１３１】
また、比較部１４０６において、前回の医療面談時の被面談者２２０の表情パラメータの所定時間ごとのカウント値の変化と比較して、現在医療面談中の被面談者２２０の表情パラメータの所定時間ごとのカウント値の変化が大きくなったと判定されたとする。この場合、判定部１４１０では、被面談者２２０の感情の起伏の幅が大きくなったと判断する。また、比較部１４０６において、前回の医療面談時の被面談者２２０の表情パラメータのカウント値の集計結果と比較して、現在医療面談中の被面談者２２０の表情パラメータのカウント値の集計結果が大きくなったとする。この場合、判定部１４１０では、被面談者２２０が、前回よりも感情が多く表現されるようになったと判断する。このように、感情の起伏の幅が大きくなり、かつ、表情が多く表現されるようになった場合、判定部１４１０では、グラフエリア表示情報の"精神的に不安定になってきた"の項目のレベルを上げる。一方、被面談者２２０の感情の起伏の幅が変わらず、また、表現される表情の数を変わらない場合、判定部１４１０では、"精神的に不安定になってきた"の項目のレベルを下げる。
【０１３２】
また、比較部１４０９により、髪の毛の領域の形状を示す特徴量に基づいて、前回の医療面談時と比較して被面談者２２０の髪が乱れたと判断され、服装の領域の色に基づいて、前回の医療面談時と比較して暗い服装になったと判断されたとする。また、服装の領域における服装の乱れを示す特徴量に基づいて、前回の医療面談時と比較して被面談者の服装が乱れたと判断されたとする。この場合、判定部１４１０では、被面談者２２０が身なりに構わなくなったと判断し、グラフエリア表示情報の"身なりに構わなくなった"の項目のレベルを上げる。一方、前回の医療面談時と比較して髪の乱れや服装の乱れもなく、服装の色味も変わっていない場合、判定部１４１０では、"身なりに構わなくなった"の項目のレベルを下げる。
【０１３３】
更に、判定部１４１０では、"元気がなくなった"の項目のレベル値、"精神的に不安定になってきた"の項目のレベル値、"身なりに構わなくなってきた"の項目のレベル値を、グラフエリア表示情報として補助データ提供部１１０６に通知する。すなわち、画像データ解析部１１０４より通知されるグラフエリア表示情報には、被面談者２２０の過去の状態との差異を示す情報が含まれる。
【０１３４】
更に、判定部１４１０では、グラフエリア表示情報において、"元気がなくなった"の項目のレベルが上がり、かつ、"身なりに構わなくなってきた"の項目のレベルが上がった場合、表示条件情報の項目である"ストレス"が増加傾向にあると判定する。一方、"元気がなくなった"の項目のレベルが下がり、かつ、"身なりに構わなくなってきた"の項目のレベルが下がった場合、表示条件情報の項目である"ストレス"が減少傾向にある判定する。
【０１３５】
また、判定部１４１０では、グラフエリア表示情報において、"精神的に不安定になってきた"のレベルが上がった場合、表示条件情報の項目である"うつ傾向"について、「あり」と判定する。一方、"精神的に不安定になってきた"のレベルが下がった場合、表示条件情報の項目である"うつ傾向"について、「なし」と判定する。
【０１３６】
更に、判定部１４１０では、ストレスについての判定結果とうつ傾向の有無についての判定結果とを、表示条件情報として補助データ提供部１１０６に通知する。すなわち、画像データ解析部１１０４より通知される表示条件情報には、被面談者２２０の過去の状態との差異を示す情報が含まれる。
【０１３７】
（４）音声データ解析部の詳細
図１６は、音声データ解析部１１０５による処理を説明するための図である。図１６に示すように、音声データ解析部１１０５は、時間解析部１６０１、会話内容解析部１６０２、トーン解析部１６０３、比較部１６０４〜１６０６、判定部１６０７を有する。
【０１３８】
時間解析部１６０１は、音声データに基づいて、被面談者２２０の発話時間と沈黙時間とを算出する。図１７は、医療面談中の被面談者２２０の発話時間帯及び沈黙時間帯と、医療従事者２１０の発話時間帯及び沈黙時間帯とを模式的に示した図である。
【０１３９】
図１７（ａ）は、前回の医療面談時における被面談者２２０の発話時間帯及び沈黙時間帯と、医療従事者２１０の発話時間帯及び沈黙時間帯とを模式的に示したものである。図１７（ａ）において、横軸は医療面談の経過時間を示しており、上段は、被面談者２２０の発話時間帯（白塗り部分）及び沈黙時間帯（網掛け部分）を示している。また、下段は、医療従事者２１０の発話時間帯（白塗り部分）及び沈黙時間帯（網掛け部分）を示している。
【０１４０】
一方、図１７（ｂ）は、今回の医療面談時における被面談者２２０の発話時間帯及び沈黙時間帯と、医療従事者２１０の発話時間帯及び沈黙時間帯とを模式的に示したものである。図１７（ｂ）において、横軸は医療面談の経過時間を示しており、上段は、被面談者２２０の発話時間帯（白塗り部分）及び沈黙時間帯（網掛け部分）を示している。また、下段は、医療従事者２１０の発話時間帯（白塗り部分）及び沈黙時間帯（網掛け部分）を示している。
【０１４１】
時間解析部１６０１では、被面談者２２０の発話時間帯（白塗り部分）の長さを集計することで、被面談者２２０の発話時間を算出する。また、被面談者２２０の沈黙時間帯（網掛け部分）の長さを集計することで、被面談者２２０の沈黙時間を算出する。
【０１４２】
比較部１６０４は、時間解析部１６０１において算出された、医療面談中の被面談者２２０の発話時間及び沈黙時間と、第２の取得情報９１０に記録された、前回の医療面談時の被面談者２２０の発話時間及び沈黙時間と、の差分を算出する。また、算出した差分が所定の閾値以上であった場合に判定部１６０７に通知する。
【０１４３】
図１７（ｃ）は、算出した差分の一例を示す図である。図１７（ｃ）の例は、前回の医療面談時における被面談者２２０の発話時間の合計と今回の医療面談時における被面談者２２０の発話時間の合計との差分を算出した結果を含む。また、前回の医療面談時における被面談者２２０の沈黙時間の合計と今回の医療面談時における被面談者２２０の沈黙時間の合計との差分を算出した結果を含む。比較部１６０４では、図１７（ｃ）に示す差分値が所定の閾値以上であるか否かを判定し、判定結果を判定部１６０７に通知する。
【０１４４】
会話内容解析部１６０２は、音声データに対して音声認識処理を行い言語解析することで、音声データに含まれる会話内容の中から、被面談者２２０が発したネガティブな表現を抽出する。また、抽出したネガティブな表現の数をカウントする。
【０１４５】
比較部１６０５は、前回の医療面談時に被面談者２２０が発したネガティブな表現の数を、第２の取得情報９１０より読み出す。また、会話内容解析部１６０２においてカウントしたネガティブな表現の数と、第２の取得情報９１０より読み出した、前回の医療面談時に被面談者２２０が発したネガティブな表現の数とを比較する。更に、比較の結果、所定の閾値以上であった場合に、判定部１６０７に通知する。
【０１４６】
トーン解析部１６０３は、音声データに対して音声認識処理を行い言語解析することで、言語において意味の区別に用いる音の高低パターンの特徴量（トーン特徴量）を算出する。比較部１６０６は、トーン解析部１６０３により算出されたトーン特徴量と、第２の取得情報９１０より読み出した、前回の医療面談時における音声データより算出されたトーン特徴量とを比較する。比較の結果、所定の閾値以上の差分があった場合、比較部１６０６は、判定部１６０７に通知する。
【０１４７】
判定部１６０７は、比較部１６０４〜１６０６より通知された通知内容に基づいて、グラフエリア表示情報及び表示条件情報を出力する。
【０１４８】
例えば、比較部１６０４において、前回の医療面談時の被面談者２２０の沈黙時間と、今回の医療面談時の被面談者２２０の沈黙時間との差分が大きいと判断されたとする。この場合、判定部１６０７では、被面談者２２０が急に無口になったと判定し、グラフエリア表示情報の"急に無口になった"の項目のレベルを上げる。一方、被面談者２２０の沈黙時間の差分が小さい場合、判定部１６０７では、"急に無口になった"の項目のレベルを下げる。
【０１４９】
また、比較部１６０５において、前回の医療面談時の会話での被面談者２２０によるネガティブな表現の数と、今回の医療面談時の会話での被面談者２２０によるネガティブな表現の数との差分が大きくなったと判断されたとする。更に、比較部１６０６において、前回の医療面談時の会話での被面談者２２０のトーン特徴量と、今回の医療面談時の会話での被面談者２２０のトーン特徴量との差分が大きく、今回の医療面談時の会話では、被面談者２２０のトーンが下がったと判断されたとする。この場合、判定部１６０７では、被面談者２２０が弱音を吐くようになったと判定し、グラフエリア表示情報の"弱音を吐くようになった"の項目のレベルを上げる。一方、被面談者２２０のネガティブ表現の数が減り、トーンも上がったと判断された場合には、グラフエリア表示情報の"弱音を吐くようになった"の項目のレベルを下げる。
【０１５０】
更に、判定部１６０７では、"急に無口になった"の項目についてのレベル値、"弱音を吐くようになった"の項目についてのレベル値を、グラフエリア表示情報として補助データ提供部１１０６に通知する。すなわち、音声データ解析部１１０５より通知されるグラフエリア表示情報には、被面談者２２０の過去の状態との差異を示す情報が含まれる。
【０１５１】
更に、判定部１６０７では、グラフエリア表示情報において、"急に無口になった"の項目のレベルが上がった場合、表示条件情報の項目である"ストレス"が増加傾向にあると判定する。一方、"急に無口になった"の項目のレベルが下がった場合、表示条件情報の項目である"ストレス"が減少傾向にあると判定する。
【０１５２】
また、判定部１６０７では、グラフエリア表示情報において、"弱音を吐くようになった"の項目のレベルが上がった場合、表示条件情報の項目である"うつ傾向"について、「あり」と判定する。一方、"弱音を吐くようになった"の項目のレベルが下がった場合、表示条件情報の項目である"うつ傾向"について、「なし」と判定する。
【０１５３】
更に、判定部１６０７では、ストレスについての判定結果とうつ傾向の有無についての判定結果とを、表示条件情報として補助データ提供部１１０６に通知する。すなわち、音声データ解析部１１０５より通知される表示条件情報には、被面談者２２０の過去の状態との差異を示す情報が含まれる。
【０１５４】
（５）補助データ提供部の詳細
図１８は、補助データ提供部１１０６による処理を説明するための図である。図１８に示すように、補助データ提供部１１０６は、ヘルス情報領域画像生成部１８０１、メンタル情報領域画像生成部１８０２、グラフ生成部１８０３を有する。また、補助データ提供部１１０６は、表示条件判定部１８０４、質問領域画像生成部１８０５、予測部１８０６、アドバイス領域画像生成部１８０７を有する。
【０１５５】
ヘルス情報領域画像生成部１８０１は、健康診断情報解析部１１０２より通知されたヘルス情報に基づいて、ヘルス情報領域画像を生成する。なお、健康診断情報解析部１１０２より通知されるヘルス情報には、ＢＭＩ変化及び体重増加量が含まれる。
【０１５６】
メンタル情報領域画像生成部１８０２は、画像データ解析部１１０４より通知されるメンタル情報に基づいて、メンタル情報領域画像を生成する。なお、画像データ解析部１１０４より通知されるメンタル情報には、単位時間あたりの脈拍数が含まれる。
【０１５７】
グラフ生成部１８０３は、健康診断情報解析部１１０２、画像データ解析部１１０４、音声データ解析部１１０５、勤怠情報解析部１１０３より通知されるグラフエリア表示情報に基づいて、グラフを生成する。グラフ生成部１８０３は、健康診断情報解析部１１０２より、"急に痩せてきた（太ってきた）"の項目のレベル値、"お酒の量が増えてきた"の項目のレベル値を受け付ける。また、画像データ解析部１１０４より、"元気がなくなった"の項目のレベル値、"精神的に不安定になっている"の項目のレベル値、"身なりに構わなくなってきた"の項目のレベル値を受け付ける。また、音声データ解析部１１０５より、"急に無口なった"の項目のレベル値、"弱音を吐くようになった"の項目のレベル値を受け付ける。更に、勤怠情報解析部１１０３より、"遅刻、欠勤が増えた"の項目のレベル値を受け付ける。
【０１５８】
グラフ生成部１８０３は、受け付けた各項目のレベル値をプロットすることで、グラフを生成し、グラフ画像を出力する。
【０１５９】
表示条件判定部１８０４は、健康診断情報解析部１１０２、画像データ解析部１１０４、音声データ解析部１１０５、勤怠情報解析部１１０３より通知される、表示条件情報を受け付ける。また、質問情報７００を読み出し、受け付けた表示条件情報に基づいて、質問情報７００に規定された表示条件のいずれを具備するかを判定する。更に、具備する表示条件に対応する質問内容を選択する。
【０１６０】
質問領域画像生成部１８０５は、表示条件判定部１８０４において選択した質問内容に基づいて、質問領域画像を生成する。
【０１６１】
また、表示条件判定部１８０４は、アドバイス情報８００を読み出し、受け付けた表示条件情報に基づいて、アドバイス情報８００に規定された表示条件のいずれを具備するかを判定する。更に、具備する表示条件に対応するアドバイス内容を選択する。
【０１６２】
予測部１８０６は、表示条件判定部１８０４において選択したアドバイス内容に応じた予測値を抽出する。例えば、表示条件判定部１８０４において、表示条件の肥満に該当すると判断され、"間食を控えてバランスよく食事をとって下さい"というアドバイス内容を選択したとする。
【０１６３】
この場合、予測部１８０６では、健康診断情報５００に基づいて、これまでのＢＭＩ値を算出し、今後のＢＭＩ値の増加予測を行う。更に、ＢＭＩ値と糖尿病の発生リスクとの関係を所定の統計情報より抽出し、増加予測に応じた糖尿病の発生リスクを算出する。
【０１６４】
また、例えば、表示条件判定部１８０４において、表示条件の飲酒増加に該当すると判断され、"週に１度以上、運動を行うようにしてください"というアドバイス内容を選択したとする。
【０１６５】
この場合、予測部１８０６では、健康診断情報５００に基づいて、これまでの酒量を算出し、今後の酒量の増加予測を行う。更に、酒量と肝臓がんの発生リスクとの関係を所定の統計情報より抽出し、増加予測に応じた肝臓がんの発生リスクを算出する。
【０１６６】
アドバイス領域画像生成部１８０７は、表示条件判定部１８０４において選択されたアドバイス内容と、予測部１８０６において算出した発生リスクとを用いて、アドバイス領域画像を生成する。
【０１６７】
補助データ提供部１１０６では、ヘルス情報領域画像、メンタル情報領域画像、グラフ画像、質問領域画像、アドバイス領域画像を、補助データとして通信制御部１１０１に通知する。
【０１６８】
＜８．表示画面の説明＞
次に、医療従事者が利用する情報端末１３０に表示される表示画面１３１について説明する。図１９は、医療従事者が利用する情報端末１３０に表示される表示画面１３１の一例を示す図である。
【０１６９】
図１９に示すように、医療従事者が利用する情報端末１３０に表示される表示画面１３１には、メンタル情報領域１９０１、ヘルス情報領域１９０２、質問領域１９０３、グラフ領域１９０４、アドバイス領域１９０５が含まれる。
【０１７０】
メンタル情報領域１９０１には、メンタル情報領域画像生成部１８０２において生成されたメンタル情報領域画像が表示される。図１９の例では、１分間あたりの脈拍数＝６５ｂｐｍを含むメンタル情報領域画像が表示されている。
【０１７１】
ヘルス情報領域１９０２には、ヘルス情報領域画像生成部１８０１において生成されたヘルス情報領域画像が表示される。図１９の例では、被面談者２２０のＢＭＩ値が２２から３０に増えたこと、及び、被面談者２２０の体重が１０ｋｇ増えたことを示すヘルス情報領域画像が表示されている。
【０１７２】
質問領域１９０３には、質問領域画像生成部１８０５において生成された質問領域画像が表示される。図１９の例では、表示条件に対して、睡眠不足、肥満、うつ傾向に該当すると判断されたことで、質問内容として、"休みは取りやすいですか"、"お昼休みはどのように過ごしていますか"、"間食は多いですか"が選択された場合を示している。このため、これらの質問内容を含む質問領域画像が表示されている。
【０１７３】
グラフ領域１９０４には、グラフ生成部１８０３において生成されたグラフ画像が表示される。図１９に示すように、グラフ領域１９０４には、前回の医療面談時に生成したグラフ画像（点線）と、現在の医療面談において生成したグラフ画像（実線）とが合わせて表示される。これにより、前回の医療面談時との比較を容易に行うことができる。また、前回の医療面談時との変化が大きい項目については、他の項目とは異なる表示態様で表示し、変化の大きい項目を医療従事者２１０が見落とすことなく確実に認識できるようにしてもよい。
【０１７４】
図１９の例では、"元気がなくなった"の項目（１）のレベル値が、前回の医療面談時も今回の医療面談時も２．５のままであり、"精神的に不安定になった"の項目（２）のレベル値が、前回の医療面談時が２であったところ、今回の医療面談時は１になっている。また、"身なりに構わなくなった"の項目（３）のレベル値が、前回の医療面談時は１であったところ、今回の医療面談時は４に増えている。また、"急に無口になった"の項目（４）のレベル値は、前回の医療面談時も今回の医療面談時も２．５のままである。また、"弱音を吐くようになった"の項目（５）のレベル値が、前回の医療面談時が４であったところ、今回の医療面談時は５に増えている。"急に痩せてきた（太ってきた）"の項目（６）のレベル値は、前回の面談時も今回の医療面談時の１のままである。また、"お酒の量が増えてきた"の項目（７）のレベル値が、前回の医療面談時は１であったところ、今回の医療面談時は５に増えている。更に、"遅刻・欠勤が増えた"の項目（８）のレベル値が、前回の医療面談時は１であったところ、今回の医療面談時は２．５に増えている。
【０１７５】
アドバイス領域１９０５には、アドバイス領域画像生成部１８０７において生成されたアドバイス領域画像が表示される。図１９の例では、表示条件に対して、睡眠不足、肥満、うつ傾向に該当すると判断されたことで、アドバイス領域画像には、睡眠不足、肥満、うつ傾向が注意事項として含まれている。また、表示条件の睡眠不足、肥満、うつ傾向を具備すると判断されたことで、アドバイス領域画像には、"推奨睡眠時間（７時間）以上"、"昼休みの小仮眠"、"間食を行わない"のアドバイス内容が含まれている。
【０１７６】
更に、表示条件の肥満を具備すると判断されたことで、予測部１８０６が、統計情報として"推奨摂取カロリ＝２００ｋｃａｌ／日"を取得したため、アドバイス領域画像には、当該統計情報が表示されている。更に、表示条件の肥満を具備すると判断されたことで、予測部１８０６が糖尿病の発生リスクを算出したため、アドバイス領域画像には、当該発生リスクが表示されている。
【０１７７】
＜９．医療面談システムによる医療面談処理の流れ＞
次に、医療面談システム１００による医療面談処理の流れについて説明する。図２０は、医療面談システム１００による医療面談処理の流れを示すシーケンス図である。
【０１７８】
図２０に示すように、ステップＳ２００１において、医療従事者２１０は、情報端末１３０を介して面談用サーバ１１０にログインする。ログインに成功すると、ステップＳ２００２において、医療従事者２１０は、情報端末１３０を介して、医療面談を行う対象者である被面談者２２０のＩＤ（例えば、社員番号等）を入力する。医療従事者２１０により入力された被面談者２２０のＩＤは、面談用サーバ１１０に送信される。
【０１７９】
ステップＳ２００３において、面談用サーバ１１０は、受信した被面談者２２０のＩＤに対応する健康診断情報５００を健康診断情報ＤＢ１２１より取得する。また、面談用サーバ１１０は、取得した健康診断情報５００を解析し、グラフエリア表示情報、ヘルス情報、表示条件情報を導出する。
【０１８０】
ステップＳ２００４において、面談用サーバ１１０は、受信した被面談者２２０のＩＤに対応する勤怠情報６００を勤怠情報ＤＢ１２２より取得する。また、面談用サーバ１１０は、取得した勤怠情報６００を解析し、グラフエリア表示情報、表示条件情報を導出する。
【０１８１】
ステップＳ２００５において、医療従事者２１０は、情報端末１３０に対して面談指示を入力する。これにより、情報端末１３０では、被面談者２２０との医療面談に際して被面談者２２０が用いる情報端末１４０との接続要求を面談用サーバ１１０に対して送信する。
【０１８２】
接続要求を受信した面談用サーバ１１０は、ステップＳ２００６において、被面談者２２０が用いる情報端末１４０に対して接続要求を送信する。
【０１８３】
面談用サーバ１１０より接続要求を受信した情報端末１４０では、ステップＳ２００７において、被面談者２２０が承諾操作を行う。これにより、情報端末１４０から面談用サーバ１１０に対して承諾情報が送信される。この結果、情報端末１３０と情報端末１４０とが面談用サーバ１１０を介して接続されることとなる。
【０１８４】
ステップＳ２００８において、情報端末１３０は画像データ及び音声データの送信を開始する。ステップＳ２００９において、面談用サーバ１１０は、受信した画像データ及び音声データを情報端末１４０に送信する。これにより、情報端末１４０には、医療従事者２１０の画像データが表示され、医療従事者２１０の音声データが出力される。
【０１８５】
また、ステップＳ２０１０において、情報端末１３０は画像データ及び音声データの送信を開始する。
【０１８６】
ステップＳ２０１１において、面談用サーバ１１０は、受信した画像データ及び音声データを解析する。更に、ステップＳ２０１２において、面談用サーバ１１０は補助データを生成し、画像データに重畳する。
【０１８７】
ステップＳ２０１３において、面談用サーバ１１０は、補助データが重畳された画像データと音声データとを、情報端末１３０に送信する。これにより、情報端末１３０には、補助データが重畳された、被面談者２２０の画像データが表示され、被面談者２２０の音声データが出力される。
【０１８８】
以降、医療従事者２１０が情報端末１３０を介して切断要求を入力するまでの間、ステップＳ２００８からステップＳ２０１３までのステップが繰り返される。これにより、医療従事者２１０による被面談者２２０との医療面談が実現される。
【０１８９】
なお、表示画面１３１の各領域に表示される表示内容のうち、メンタル情報領域１９０１、質問領域１９０３、アドバイス領域１９０５に表示される表示内容は、画像データ及び音声データに依存するため、医療面談中の時間経過に伴って変動する。また、グラフ領域１９０４のうち、"元気がなくなった"の項目（１）、"精神的に不安定になった"の項目（２）、"急に無口になった"の項目（４）、"弱音を吐くようになった"の項目（５）も、画像データ及び音声データに依存する。このため、医療面談中の時間経過に伴って変動する。
【０１９０】
一方、表示画面１３１の各領域に表示される表示内容のうち、ヘルス情報領域１９０２に表示される表示内容は、画像データ及び音声データに依存しないため、医療面談中の時間経過に関わらず表示内容に変更はない。また、グラフ領域１９０４のうち、"身なりに構わなくなった"の項目（３）、"急に痩せてきた（太ってきた）"の項目（６）、"お酒の量が増えてきた"の項目（７）、"遅刻・欠勤が増えた"の項目（８）も、画像データ及び音声データに依存しない。このため、医療面談中の時間経過に関わらず表示内容に変更はない。
【０１９１】
＜１０．まとめ＞
以上の説明から明らかなように、本実施形態に係る医療面談システム１００では、
・医療面談時に被面談者の画像データが表示される表示画面の表示方向を撮影方向として、医療従事者を撮影する撮像部を配置する構成とした。
・医療面談時に被面談者の画像データが表示される表示画面に、被面談者との医療面談に必要な補助データを表示する構成とした。
・被面談者との医療面談に必要な補助データを、被面談者の健康診断情報及び勤怠情報と、医療面談中に取得される被面談者の画像データ及び音声データに基づいて導出する構成とした。
【０１９２】
これにより、医療従事者は、被面談者との医療面談に必要な補助データを、表示画面の方向を向いたまま閲覧することができるようになる。この結果、医療面談中、被面談者との疑似的な対面状態でのコミュニケーションを維持することが可能となる。
【０１９３】
［第２の実施形態］
上記第１の実施形態では、補助データを表示する領域として、メンタル情報領域１９０１、ヘルス情報領域１９０２、質問領域１９０３、グラフ領域１９０４、アドバイス領域１９０５を配する構成とした。しかしながら、本発明はこれに限定されず、例えば、補助データを表示する領域の一部を、非表示としてもよい。
【０１９４】
また、上記第１の実施形態では、医療従事者が利用する情報端末１３０の表示画面にのみ、補助データを表示する構成とした。しかしながら、本発明はこれに限定されず、例えば、補助データの一部を、被面談者２２０が利用する情報端末１４０の表示画面にも表示させ、医療従事者２１０と被面談者２２０とが補助データの一部を共有する構成としてもよい。以下、第２の実施形態について詳説する。
【０１９５】
＜１．表示画面の説明＞
図２１は、第２の実施形態に係る医療面談システム１００において、医療従事者２１０が利用する情報端末１３０に表示される表示画面１３１の一例を示す図である。なお、上記第１の実施形態において、図１９を用いて説明した表示画面１３１と同じ構成については、同じ参照番号を付すこととし、ここでは説明を省略する。
【０１９６】
図１９との相違点は、メンタル情報領域画像が表示されていない点、メンタル情報領域１９０１にタブが表示されている点、ヘルス情報領域画像の内容が変わっている点、ヘルス情報領域画像及びアドバイス領域画像にタブが付されている点である。
【０１９７】
メンタル情報領域１９０１に表示されているタブ２１０１は、メンタル情報領域画像の表示内容を変更する際に用いられる。
【０１９８】
タブ２１０１の"詳細"は、メンタル情報領域画像に含まれる情報についての詳細情報を表示する際に用いられる。タブ２１０１の"詳細"をタップすると、メンタル情報領域画像に含まれる情報についての詳細情報が表示される。一方、"概要"をタップすれば、詳細情報からメンタル情報領域画像に戻すことができる。
【０１９９】
タブ２１０１の"共有"は、メンタル情報領域画像を、被面談者２２０が利用する情報端末１４０にも表示させることで、被面談者２２０とメンタル情報領域画像を共有する場合に用いられる。タブ２１０１の"共有"をタップすると、メンタル情報領域画像が、被面談者２２０が利用する情報端末１４０にも表示されるようになる。一方、"非共有"（医療従事者２１０にのみ表示する状態）をタップすれば、共有されたメンタル情報領域画像を非共有に戻すことができる。
【０２００】
タブ２１０１の"非表示"は、メンタル情報領域画像を、医療従事者２１０が利用する情報端末１３０において非表示にする際に用いられる。タブ２１０１の"非表示"をタップすると、メンタル情報領域画像が非表示となる。一方、"表示"をタップすれば、メンタル情報領域画像を再び表示させることができる。
【０２０１】
なお、図２１の例では、メンタル情報領域１９０１において、タブ２１０１の"非表示"がタップされた状態を示している。
【０２０２】
同様に、ヘルス情報領域１９０２において、ヘルス情報領域画像にはタブ２１０２が付されている。図２１の例では、タブ２１０２の"詳細"がタップされた様子を示している。具体的には、タブ２１０２の"詳細"がタップされたことで、ヘルス情報領域画像に含まれる情報についての詳細情報が表示された状態を示している。ヘルス情報領域画像には、被面談者２２０のＢＭＩ値の変化が含まれているため、変化前のＢＭＩ値と変化後のＢＭＩ値の算出にそれぞれ用いられた、被面談者２２０の身長と体重のデータが詳細情報として表示される。また、ヘルス情報領域画像には、被面談者２２０の体重増加量が含まれているため、増加前の体重と増加後の体重が詳細情報として表示される。
【０２０３】
なお、ヘルス情報領域画像に含まれる情報についての詳細情報が表示されている状態で、"概要"がタップされると、ヘルス情報領域画像が表示されることとなる。
【０２０４】
同様に、アドバイス領域１９０５において、アドバイス領域画像にはタブ２１０３が付されている。図２１の例では、タブ２１０３の"共有"がタップされた様子を示している。具体的には、タブ２１０３の"共有"がタップされたことで、アドバイス領域画像が、被面談者２２０が利用する情報端末１４０にも表示され、医療従事者２１０と被面談者２２０とでアドバイス領域画像を共有している状態を示している。
【０２０５】
なお、アドバイス領域画像が共有されている状態で、"非共有"がタップされると、アドバイス領域画像は再び非共有となり、医療従事者２１０が利用する情報端末１３０にのみアドバイス領域画像が表示されることとなる。
【０２０６】
＜２．医療面談システムにおけるデータの流れ＞
次に、図２１に示す表示画面１３１と、医療面談システム１００におけるデータの流れとの関係について説明する。図２２は、図２１に示す表示画面１３１と、医療面談システム１００におけるデータの流れとの関係を示す図である。
【０２０７】
情報端末１３０の表示画面１３１において、タブ２１０１の"非表示"がタップされると、図２２に示すように情報端末１３０から面談用サーバ１１０に対して、操作指示としてメンタル情報領域画像を非表示にする旨の非表示指示が送信される。これにより、面談用サーバ１１０では、メンタル情報領域画像を補助データとして画像データに重畳するのを停止する。これにより、メンタル情報領域１９０１においてメンタル情報領域画像が非表示となる。
【０２０８】
また、タブ２１０２の"詳細"がタップされると、図２２に示すように情報端末１３０から面談用サーバ１１０に対して、操作指示としてヘルス情報領域画像に含まれる情報についての詳細情報を要求する旨の詳細表示指示が送信される。これにより、面談用サーバ１１０では、ヘルス情報領域画像に含まれる情報についての詳細情報を用いて、ヘルス情報領域画像を生成し、補助データとして画像データに重畳する。これにより、ヘルス情報領域１９０２において、詳細情報が表示される。
【０２０９】
また、タブ２１０３の"共有"がタップされると、図２２に示すように情報端末１３０から面談用サーバ１１０に対して、操作指示としてアドバイス領域画像を共有する旨の共有指示が送信される。これにより、面談用サーバ１１０では、被面談者２２０が利用する情報端末１４０に送信する画像データにもアドバイス領域画像を重畳する。これにより、情報端末１４０の表示画面１４１には、医療従事者２１０が写る画像データに加え、アドバイス領域２２０１にアドバイス領域画像が表示される。この結果、医療従事者２１０と被面談者２２０との間で、アドバイス領域画像を共有することができる。
【０２１０】
＜３．まとめ＞
以上の説明から明らかなように、本実施形態に係る医療面談システム１００では、
・医療従事者が利用する情報端末の表示画面に、補助データの表示内容を変更するための指示機能を付加する構成とした。
・指示機能を介して補助データの表示内容を変更するための操作指示が入力された場合に、面談用サーバにて、当該操作指示に応じた補助データを生成し、当該操作指示に応じた送信先に、生成した補助データを画像データに重畳して送信する構成とした。
【０２１１】
これにより、医療従事者が利用する情報端末からの操作指示に応じて、補助データの表示・非表示、概要表示・詳細表示、共有・非共有を実現することが可能となる。
【０２１２】
［第３の実施形態］
上記第１の実施形態では、補助データとして表示可能な全ての情報を表示する構成とした。しかしながら、本発明はこれに限定されず、例えば、医療面談の目的に応じて医療従事者２１０が指定するカテゴリに合致した情報のみを表示する構成としてもよい。
【０２１３】
例えば、被面談者２２０が生活習慣について医療面談を行う場合には、生活習慣に関連する情報を抽出して、補助データとして表示する構成としてもよい。また、被面談者２２０が健康診断結果について医療面談を行う場合には、健康診断情報５００に関連する情報を抽出して、補助データとして表示する構成としてもよい。
【０２１４】
なお、医療面談の目的に応じて医療従事者２１０がカテゴリを指定するにあたっては、表示画面１３１上に予め選択可能に表示されたカテゴリを、医療従事者２１０が選択することでカテゴリを指定するようにしてもよい。あるいは、医療従事者２１０が所定のキーワードを入力することでカテゴリを指定するようにしてもよい。
【０２１５】
図２３は、医療面談の目的に応じて医療従事者２１０が指定するカテゴリに合致した情報のみを表示した表示画面１３１の一例を示す図である。図２３の例では、表示画面１３１の下部に、カテゴリを入力する入力欄２３０１が設けられている。医療従事者２１０は、入力欄２３０１にカテゴリを入力することで、表示内容の絞り込みを行うことができる。
【０２１６】
なお、図２３の例では、入力欄２３０１に"生活習慣"が入力された様子を示している。図２３に示すように、入力欄２３０１にカテゴリとして"生活習慣"が入力されると、当該カテゴリが指定された旨の操作指示が面談用サーバ１１０に送信される。
【０２１７】
これにより、面談用サーバ１１０では、"生活習慣"に関連する情報を抽出したうえで、補助データを生成する。
【０２１８】
この結果、医療従事者は医療面談の目的に合致した情報のみを閲覧することが可能となり、医療面談をスムーズに進行させることが可能となる。
【０２１９】
［第４の実施形態］
上記第１乃至第３の実施形態では、面談用サーバ１１０において補助データを生成する構成としたが、本発明はこれに限定されない。例えば、補助データを生成するのに必要な情報を、医療従事者２１０が利用する情報端末１３０に格納する構成としてもよい。これにより、通信環境に適した医療面談システムを構築することが可能となる。
【０２２０】
図２４は、第４の実施形態に係る医療面談システム２４００の一例を示す図である。なお、上記第１の実施形態において図１を用いて説明した医療面談システム１００と同じ構成については、同じ参照番号を付すこととし、ここでは説明を省略する。
【０２２１】
図１との相違点は、面談用サーバ１１０が有する機能及びＤＢのうち、通信制御部１１０１以外の機能及びＤＢを、情報端末１３０に配した点である。これにより、面談用サーバ１１０と情報端末１３０との間で、補助データの送受信を行う必要がなくなる。
【０２２２】
なお、図２４に示す機能分担は一例にすぎず、図２４とは異なる機能分担としてもよい。例えば、画像データ解析部１１０４の一部（拍動解析部１４０１、表情解析部１４０２、心情解析部１４０３、挙動解析部１４０４、外見解析部１４０５）は、被面談者２２０が利用する情報端末１４０に配する構成としてもよい。また、音声データ解析部１１０５の一部（時間解析部１６０１、会話内容解析部１６０２、トーン解析部１６０３）は、被面談者２２０が利用する情報端末１４０に配する構成としてもよい。
【０２２３】
［第５の実施形態］
上記第１乃至第４の実施形態では、画像データに基づいて被面談者２２０の単位時間あたりの脈拍数を算出する構成としたが、本発明はこれに限定されない。被面談者２２０に脈拍センサを装着し、脈拍センサで検知されたデータを面談用サーバ１１０に送信する構成としてもよい。
【０２２４】
また、脈拍以外の生体データを取得するためのセンサを被面談者２２０に装着し、当該センサの出力を、補助データの生成に利用する構成としてもよい。
【０２２５】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０２２６】
１００            ：医療面談システム
１１０            ：面談用サーバ
１２０            ：面談プログラム
１３０            ：情報端末
１４０            ：情報端末
５００            ：健康診断情報
６００            ：勤怠情報
７００            ：質問情報
８００            ：アドバイス情報
９００            ：第１の取得情報
９１０            ：第２の取得情報
１１０１          ：通信制御部
１１０２          ：健康診断情報解析部
１１０３          ：勤怠情報解析部
１１０４          ：画像データ解析部
１１０５          ：音声データ解析部
１１０６          ：補助データ提供部
１９０１          ：メンタル情報領域
１９０２          ：ヘルス情報領域
１９０３          ：質問領域
１９０４          ：グラフ領域
１９０５          ：アドバイス領域
【先行技術文献】
【特許文献】
【０２２７】
【特許文献１】特開２００２−２２４０５３号公報
【図１】
2016126587.tif 000003
【図２】
2016126587.tif 000004
【図３】
2016126587.tif 000005
【図４】
2016126587.tif 000006
【図５】
2016126587.tif 000007
【図６】
2016126587.tif 000008
【図７】
2016126587.tif 000009
【図８】
2016126587.tif 000010
【図９】
2016126587.tif 000011
【図１０】
2016126587.tif 000012
【図１１】
2016126587.tif 000013
【図１２】
2016126587.tif 000014
【図１３】
2016126587.tif 000015
【図１４】
2016126587.tif 000016
【図１５】
2016126587.tif 000017
【図１６】
2016126587.tif 000018
【図１７】
2016126587.tif 000019
【図１８】
2016126587.tif 000020
【図１９】
2016126587.tif 000021
【図２０】
2016126587.tif 000022
【図２１】
2016126587.tif 000023
【図２２】
2016126587.tif 000024
【図２３】
2016126587.tif 000025
【図２４】
2016126587.tif 000026