(57)【特許請求の範囲】
【請求項１】
生体センサにより取得されたユーザの生体データを収集して活用するためのコンピュータシステムであって、
収集した生体データを蓄積するための生体データ蓄積手段と、
前記生体データ蓄積手段に蓄積されている生体データにより判別可能な生体部位の状態について、ユーザとの間でのコミュニケーションを実現するためのコミュニケーション手段とを備え、
前記コミュニケーション手段は、
ユーザから自然言語による問いかけがあった場合に、その問いかけを認識する自然言語認識手段と、
前記問いかけに対応する前記生体部位の状態を自然言語で表現するための自然言語化手段と、
前記自然言語化手段により表現された自然言語をユーザに伝達するための伝達手段とを含む、
コンピュータシステム。
【請求項２】
前記生体部位に影響を与えるユーザの行動データを収集して蓄積するための行動データ蓄積手段を備え、
前記行動データ蓄積手段に蓄積されているユーザの行動データと、前記生体データ蓄積手段に蓄積されている生体データとに基づいて、両者間の相関関係を見つけ出すための相関関係発見手段を備えた、
請求項１に記載のコンピュータシステム。
【請求項３】
前記生体データ蓄積手段と前記行動データ蓄積手段は、複数のユーザからのデータを収集して蓄積し、
前記相関関係発見手段は、複数のユーザについての行動データと生体データとを含むデータ集合からデータマイニングにより相関関係を見つけ出す、
請求項２に記載のコンピュータシステム。
【請求項４】
前記相関関係発見手段により見つけ出された新たな相関関係の行動データに該当する行動を行っているユーザを、前記行動データ蓄積手段に蓄積されているユーザの行動データから割出すための該当ユーザ割出手段と、
前記該当ユーザ割出手段により割出されたユーザに対し所定のメッセージを伝達するためのメッセージ伝達手段とを備える、
請求項３に記載のコンピュータシステム。
【請求項５】
前記自然言語認識手段は、ユーザの音声を認識するための音声認識手段を含み、
前記伝達手段は、前記自然言語化手段により表現された自然言語を音声によりユーザに伝達するための音声伝達手段を含み、
前記コミュニケーション手段は、ユーザからの音声による問いかけがあった場合に、その問いかけを前記音声認識手段が認識し、該認識内容に対応する前記生体部位の状態を前記自然言語化手段が表現した自然言語を前記音声伝達手段が音声によりユーザに伝達することにより、前記問いかけに音声で答える、請求項１〜４のいずれかに記載のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体センサにより取得されたユーザの生体データを収集して活用するためのコンピュータシステムに関する。
【背景技術】
【０００２】
この種のコンピュータシステムに関して、例えば、サーバがユーザの生体情報を収集し、その生体情報に基づいてユーザに行わせるべき運動プログラムを決定してユーザ端末に送信し、ユーザに行わせるべき運動に関する情報をユーザに提示するものがあった（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１３５２８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、このようなコンピュータシステムにおいては、収集したユーザの生体情報に基づいてユーザがとるべき運動等の行動が決定されてユーザにフィードバックされるだけである。一方、ユーザにしてみれば、自分の心臓や肝臓等の生体部位の状況を把握したいというニーズがあり、そのニーズに応えることができないという欠点があった。
【０００５】
本発明は上記事情に鑑みてなされたものであり、その目的は、自分の生体部位の状況を把握したいというユーザのニーズに応えることのできるコンピュータシステムを提供することである。
【課題を解決するための手段】
【０００６】
以下には、課題を解決するための各手段に対応する実施形態の一例を括弧書き挿入して示す。
【０００７】
本発明は、生体センサ（例えば、各種生体センサ２、外部センサ群５）により取得されたユーザの生体データ（例えば、心拍数、体温、血圧、尿酸値、γＧＴＰ、体臭中のアセトン等）を収集して活用するためのコンピュータシステム（例えば、サーバ７、対話ＤＢ１１、ユーザＤＢ１２、パターンＤＢ１３、ルールＤＢ１４）であって、
収集した前記生体データを蓄積するための生体データ蓄積手段（例えば、Ｓ２３、ユーザＤＢ１２）と、
前記生体データ蓄積手段により蓄積されている生体データにより判別可能な生体部位の状態に基づいて、該生体部位とユーザとのコミュニケーションを実現するための制御を行うコミュニケーション手段（例えば、Ｓ３９〜Ｓ４６）とを備え、
前記コミュニケーション手段は、
自然言語認識手段（例えば、Ｓ５０〜Ｓ５４）と、
前記生体部位の状態を自然言語で表現するための自然言語化手段（例えば、Ｓ４２、対話ＤＢ１１）と、
前記自然言語化手段により表現された自然言語をユーザに伝達するための伝達手段（例えば、Ｓ４３）と、を含み、
ユーザからの自然言語による問いかけがあった場合に、該問いかけを前記自然言語認識手段が認識し、該認識内容に対応する前記生体部位の状態を前記自然言語化手段が表現した自然言語を前記伝達手段がユーザに伝達することにより、前記問いかけに答える（例えば、Ｓ６６〜Ｓ６９で問いかけに対する発話内容を決定し、Ｓ４２で発話内容に応じた発話データを生成し、Ｓ４３でユーザに送信する）、コンピュータシステム。
【０００８】
また、前記生体部位に影響を与えるユーザの行動データを収集して蓄積するための行動データ蓄積手段（例えば、Ｓ６４、Ｓ６５、ユーザＤＢ１２）と、
前記行動データ蓄積手段により蓄積されているユーザの行動データと、前記生体データ蓄積手段により蓄積されている生体データと、に基づいて、両者間の相関関係を見つけ出すための相関関係発見手段（例えば、図８（ａ）の機械学習処理）と、をさらに備えてもよい。
【０００９】
また、前記生体データ蓄積手段と前記行動データ蓄積手段とは、複数のユーザからのデータを収集して蓄積し（例えば、図１、ユーザＩＤ毎にアクションデータとセンサ検出データとを蓄積）、
前記相関関係発見手段は、複数のユーザについての前記行動データと前記生体データとを含むデータ集合からデータマイニングにより相関関係を見つけ出すようにしてもよい（例えば、Ｓ８２、Ｓ８６）。
【００１０】
また、前記相関関係発見手段により見つけ出された新たな相関関係の前記行動データに該当する行動を行っているユーザを、前記行動データ蓄積手段により蓄積されているユーザの行動データから割出すための該当ユーザ割出手段（例えば、Ｓ９３、ユーザＤＢ１２）と、
前記該当ユーザ割出手段により割出されたユーザに対し所定のメッセージを伝達するためのメッセージ伝達手段（例えば、Ｓ９４、Ｓ９６）と、をさらに備えてもよい。
【００１１】
また、前記自然言語認識手段は、ユーザの音声を認識するための音声認識手段（例えば、Ｓ５０〜Ｓ５４）を含み、
前記伝達手段は、前記自然言語化手段により表現された自然言語を音声によりユーザに伝達するための音声伝達手段（例えば、Ｓ４３）を含み、
前記コミュニケーション手段は、ユーザからの音声による問いかけがあった場合に、該問いかけを前記音声認識手段が認識し、該認識内容に対応する前記生体部位の状態を前記自然言語化手段が表現した自然言語を前記音声伝達手段が音声によりユーザに伝達することにより、前記問いかけに音声で答える（例えば、Ｓ６６〜Ｓ６９で問いかけに対する発話内容を決定し、Ｓ４２で発話内容に応じた発話データを生成し、Ｓ４３でユーザに送信する）ようにしてもよい。
【発明の効果】
【００１２】
本発明によれば、ユーザは、生体データ蓄積手段に蓄積されている自分の生体データにより判別可能な生体部位の状態に基づいて、自分の生体部位の状況を把握することができる。                                                                            
【図面の簡単な説明】
【００１３】
【図１】健康サービスシステムの全体を示す機能ブロック図である。
【図２】ウェアラブルコンピュータおよびそれに接続された各種生体センサと外部センサ群との制御回路を示すブロック図である。
【図３】サーバの制御回路を示すブロック図である。
【図４】（ａ）はウェアラブルコンピュータおよびサーバのメインルーチンを示すフローチャートであり、（ｂ）はデータ送信処理およびデータ収集処理のサブルーチンプログラムを示すフローチャートである。
【図５】（ａ）はウェアラブルコンピュータとサーバとの対話処理のサブルーチンプログラムを示すフローチャートであり、（ｂ）は音声認識処理のサブルーチンプログラムを示すフローチャートである。
【図６】（ａ）は認識した結果に応じた対応処理のサブルーチンプログラムを示すフローチャートであり、（ｂ）はメッセージ生成処理のサブルーチンプログラムを示すフローチャートであり、（ｃ）は外部センサ処理のサブルーチンプログラムを示すフローチャートであり、（ｄ）は撮像処理のサブルーチンプログラムを示すフローチャートである。
【図７】ウェアラブルコンピュータの表示部に表示される画面図である。
【図８】（ａ）は機械学習処理のサブルーチンプログラムを示すフローチャートであり、（ｂ）は機械学習結果に基づいた対話処理のサブルーチンプログラムを示すフローチャートである。
【図９】（ａ）はパターンＤＢに記憶されているデータを示す図であり、（ｂ）はルールＤＢに記憶されているデータを示す図である。
【図１０】（ａ）はルール化処理のサブルーチンプログラムを示すフローチャートであり、（ｂ）は効果検証処理のサブルーチンプログラムを示すフローチャートであり、（ｃ）はその他の対応のサブルーチンプログラムを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面に基づいて詳述する。まず、図１の全体システムを参照し、ユーザ４は、スマートグラス等を含むウェアラブルコンピュータ３を装着しており、ユーザ４の生体を検出するための各種生体センサ２がそのウェアラブルコンピュータ３に接続されている。この各種生体センサ２の検出データ（生体データ）がウェアラブルコンピュータ３、インターネット１を経由してサーバ７へ転送され、そのサーバ７がユーザデータベース（以下、データベースを「ＤＢ」と略す）１２に各種センサ検出データを記憶する。例えばトイレに設けられた尿センサ５９や体重センサ６０からなる外部センサ群５にユーザ４が近づきその外部センサ群５によりユーザ４の生体データが検出されれば、そのユーザ４のウェアラブルコンピュータ３と外部センサ群５とが通信してその外部センサ群５によるセンサデータがウェアラブルコンピュータ３、インターネット１を経由してサーバ７へ送信される。
【００１５】
ユーザ４がベッド等により睡眠をとった場合にそのベッド等に設置されている睡眠センサ６がユーザの睡眠状態を検知してその検出データがインターネット１を経由してサーバ７へ送信される。さらに、サプリメント（以下「サプリ」という）等の健康食品メーカ８には、サーバ８ａと商品開発ＤＢ８ｂとが設置されており、サーバ８ａがインターネット１に接続されて健康サービス提供業者１０のサーバ７と通信可能に構成されている。商品開発ＤＢ８ｂには、開発されたサプリ等の商品データや開発中の商品のデータが蓄積されている。また、製薬メーカ９には、サーバ９ａと商品開発ＤＢ９ｂとが設置されており、サーバ９ａがインターネット１に接続されて健康サービス提供業者１０のサーバ７と通信可能に構成されている。商品開発ＤＢ９ｂには、開発された製薬等の商品データや開発中の商品のデータが蓄積されている。
【００１６】
健康サービス提供業者１０には前述のサーバ７が設置されており、そのサーバ７に、対話ＤＢ１１とユーザＤＢ１２とパターンＤＢ１３とルールＤＢ１４とが接続されている。また、ユーザ４の生体に影響を及ぼすようなアクション、例えば、食事、薬の服用、サプリの摂取等のユーザのアクションのデータが、ウェアラブルコンピュータ３、インターネット１を経由してサーバ７に送信される。例えばユーザが食事をしたときに、その食事をウェアラブルコンピュータ３のカメラ入力部２９により撮像してサーバ７へ送信する。サーバ７では、その撮像データに基づいてユーザ４が食した食材（例えばサラダ，牛肉，パン）を割り出し、ユーザＤＢ１２に記憶する。また、ユーザ４が薬を服用した場合に「風邪薬服用」と喋ればその音声がウェアラブルコンピュータ３、インターネット１を経由してサーバ７へ転送され、サーバ７で音声認識されてユーザＤＢ１２に「薬：風邪薬服用」と記憶される。さらにユーザ４がサプリを摂取した場合に「ウコン摂取」と喋ればその音声がウェアラブルコンピュータ３、インターネット１を経由してサーバ７へ送信され、サーバ７において音声認識されてユーザＤＢ１２に「サプリ：ウコン摂取」と記憶される。
【００１７】
健康サービス提供業者１０は、その健康サービス提供システムに加盟しているユーザごとにユーザＩＤを割り振っており、多数のユーザ４から送信されてくる前述したセンサ検出データとアクションデータとをユーザＩＤごとに分類してユーザＤＢ１２に記憶する。そのセンサ検出データおよびアクションデータは、時間ｔとともに変化するものであり、例えば１分ごとあるいは１秒ごとにセンサ検出データとアクションデータとを記憶する。図１では、ユーザＩＤ：０５１３９２７０４の日時２０１５年４月９日７時３０分１５秒のデータとして、
（アクションデータ）
食事：サラダ＋牛肉＋パン
薬：風邪薬服用
サプリ：ウコン摂取
（センサ検出データ）
心拍数センサ：７５
体温センサ：３６．７
血圧センサ：１４０〜７５
尿センサ：ＰＨ６，尿酸８．２
血液センサ：γＧＴＰ１５３，中性脂肪１６０，コレステロール１３０，ビリルビン１．２
体臭センサ：アセトン
等が記憶されている。このようなデータが時間軸ｔに沿ってユーザＤＢ１２に記憶される。
【００１８】
健康サービス提供業者１０は、ユーザＤＢ１２に記憶されている前述した各種データに基づいて、ユーザ４の健康を支援するための各種サービスを提供する。
【００１９】
次に図２を参照して、ウェアラブルコンピュータの制御回路のハードウェア構成を説明する。このウェアラブルコンピュータ３はスマートグラス等で代表されるものであり、制御中枢としてのＣＰＵ（Central Processing Unit）２３、ＣＰＵ２３のワークエリアであるＲＡＭ（Random Access Memory）２５、各種機能を実行するためのプログラムを保存したＲＯＭ（Read Only Member）２４、およびＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）２６が、バス２７により接続されている。
【００２０】
バス２７は、インタフェース部２８を介して種々のデバイスが接続されている。例えば、ユーザ４の周辺の映像（ユーザの視線方向の映像等）を撮影するデジタルビデオカメラ入力部２９、各種情報等をユーザに表示する表示部３０、基地局と無線通信してインターネット１を介してサーバ等とデータ通信する無線通信処理部３１、ユーザがウェアラブルコンピュータ３のＣＰＵ２３に希望する機能を実行させるための入力操作部３２、ユーザが音声により通話をするための音声出力部３３と音声入力部３４、衛星からのＧＰＳ情報と基地局からの電波と無線ＬＡＮアクセスポイントからの無線電波とに基づいて、現在位置を取得するための位置情報取得部３５、Wi-FiやBluetooth（登録商標）、Wi-Fi Direct、Zigbee（登録商標）、Zwave、Ant+などを用いて各種センサ２や外部センサ群５と通信する無線通信インタフェース部３６、ユーザの視線位置を検出して、デジタルビデオカメラ入力部２９で撮影した映像でのユーザ視線の位置を特定するための視線位置検出部３７、各種センサ３８などが、インタフェース部２８に接続されている。
【００２１】
入力操作部３２は、ユーザによる手動操作を受付けるものばかりでなく、ユーザのジェスチャや特定のウインク等による指示も受付ける。なお、ユーザの音声による指示は音声入力部３４により受付ける。各種センサ３８は、ウェアラブルコンピュータ３に取り付けられた気温や湿度や照度や紫外線等のセンサである。
【００２２】
各種生体センサ２は、無線通信インタフェース部５７が設けられており、この無線通信インタフェース部５７によりウェアラブルコンピュータ３の無線通信インタフェース部３６と無線通信することにより、センサ検出データをウェアラブルコンピュータ３に送信する。各種生体センサの種類としては、ユーザ４の心拍数を検出する心拍数センサ１５、ユーザ４の体温を検出する体温センサ１６、ユーザ４の血圧を検出する血圧センサ１７、ユーザ４の血液を非侵襲で検出する非侵襲血液センサ１８、ユーザ４の体臭を検出する体臭センサ１９、ユーザ４の歩いた歩数を検出する歩数センサ５０、ユーザ４の涙の成分を検出する涙センサ５１、ＡＧＥｓセンサ５２等である。
【００２３】
血圧センサ１７は、例えば位相シフト法を用いてユーザの指だけで血圧を測るもの（例えば光センサを利用）が考えられる。非侵襲血液センサ１８は、採血することなく血液成分を測定するセンサであり、生体を透過させた近赤外光を高感度かつ高速に分光計測することにより、生体を透過した光の連続的な変動をとらえて、例えば血中の脂質あるいは血糖値を測定する。
【００２４】
体臭センサ１９は、バイオセンサを用いてにおい物質の微量検知を行うのであり、検出されたにおい成分により病名を特定することができる。例えば、検出されたにおい成分が、アセトンなどのケトン体である場合には糖尿病が疑われ、アンモニアである場合には腎臓病や肝臓病が疑われ、塩化メチルなどの硫化化合物の場合には胃腸病が疑われ、トルエンの場合には肺がんや乳がんが疑われる。
【００２５】
涙センサ５１は、例えばコンタクトレンズに設けられたバイオセンサであり、ブドウ糖を認識する素子（グルコース酸化酵素）をコンタクトレンズ上に固定して涙の中のグルコース（血糖）を計測することにより、血糖値を測定する。
【００２６】
ＡＧＥｓセンサ５２は、血管内でタンパク質が糖化してできる終末糖化産物（ＡＧＥｓ）の蓄積度を数値化できるセンサである。日常生活で糖分を過剰に摂取すると、タンパク質が糖化し、本来の働きを発揮できなくなる。この糖化反応は糖尿病のほか、認知症やがん、高血圧、動脈硬化症などにも関与している。このＡＧＥｓは万病のもとと言われている物質であり、血糖値と相関することが知られているが、血糖値とは異なり、測定前の食事内容などによって測定値がばらつきにくいという利点がある。このＡＧＥｓを検出することにより、血管の老化度が判別でき、糖尿病などの早期発見となる。
【００２７】
以上説明した各種生体センサがインタフェース部５３を介してＣＰＵ５５に定期的に接続されている。ＣＰＵ５５は、制御用のプログラムおよびデータを記憶しているＲＯＭ５４と定期的に接続されているとともに、ＣＰＵ５５のワークエリアとして機能するＲＡＭ５６と接続されている。そして、前述の各種生体センサからの検出信号を無線通信インタフェース部５７を介してウェアラブルコンピュータ３の無線通信インタフェース部３６へ送信する。
【００２８】
外部センサ群５は、トイレセンサ５８とその他のセンサの６１等からなる。トイレセンサ５８は、尿の成分を検出する尿センサ５９と、トイレに座ったユーザの体重を検出する体重センサ６０とからなる。これらトイレセンサ５８およびその他のセンサ６１がウェアラブルコンピュータ３の無線通信インタフェース部３６と無線通信し、センサ検出データがウェアラブルコンピュータ３に送信される。
【００２９】
ウェアラブルコンピュータ３は、各種生体センサ２および外部センサ群５から送信されてきたセンサ検出データ（生体データ）を無線通信処理部３１からインターネット１を経由してサーバ７へ送信する。
【００３０】
次に、図３に基づいて、サーバ７の制御回路のハードウェア構成を説明する。前述と同様に、ＣＰＵ４０、ＲＡＭ４１およびＲＯＭ４２がバス４３により接続されている。そのバス４３が接続されているインタフェース部４４には、インターネット１等との通信部４５、オペレータに映像や情報を表示する表示部４６、オペレータからの操作を受付ける入力操作部４７が接続されている。
【００３１】
次に、図４（ａ）を参照して、サーバ７およびウェアラブルコンピュータ３のメインルーチンの制御動作を説明する。ウェアラブルコンピュータ３のＣＰＵ２３は、ステップＳ（以下単に「Ｓ」という）１０により、収集した生体データをサーバ７へ送信する処理を行い、次にＳ１１により対話処理を行い、次にＳ１２より外部センサ処理を行い、次にＳ１３により撮像処理を行ってＳ１０へ制御が戻る。
【００３２】
サーバ７は、Ｓ１により、ウェアラブルコンピュータ３から送信されてきた生体データを収集するデータ収集処理を行い、Ｓ２により、ウェアラブルコンピュータ３との対話処理を行い、Ｓ３により、機械学習処理を行い、Ｓ４によりその学習結果に基づいた対話処理を行い、Ｓ５によりルール化処理を行い、Ｓ６により効果検証処理を行い、Ｓ７によりパターン販売処理を行って制御がＳ１に戻る。
【００３３】
Ｓ３の機械学習処理は、例えばユーザＤＢ１２に記憶された多数のユーザのアクションデータとセンサ検出データ（生体データ）とをデータ集合としてデータマイニング等を行うものである。学習結果に基づいた対応処理（Ｓ４）は、Ｓ３による機械学習処理の結果を各ユーザにフィードバックするための処理である。Ｓ５のルール化処理は、Ｓ３による機械学習処理の結果をルールとしてルールＤＢ１４に記憶する処理である。
【００３４】
次に図４（ｂ）を参照して、Ｓ１０のデータ送信処理とＳ１のデータ収集処理とのサブルーチンプログラムの制御動作を説明する。ウェアラブルコンピュータ３のＣＰＵ２３によりセンサからの検出データがあるか否かの判定がなされる（Ｓ１８）、生体センサからの検出データ（生体データ）がない場合には制御がＳ２０へ進み、食事の撮像画像データがあるか否かの判定がなされ、ない場合にはこのデータ送信処理がリターンして前述のＳ１１へ制御が移行する。
【００３５】
各種生体センサ２からの検出データがあった場合にはＳ１９により、ユーザＩＤとセンサ特定ＩＤとその検出データとをサーバ７へ送信する処理が行われる。センサ特定ＩＤとは、例えば心拍数センサ１５、体温センサ１６、血圧センサ１７…の各種生体センサに割り振られているＩＤのことである。
【００３６】
サーバ７のＣＰＵ４０は、Ｓ２２により検出データを受信したか否かの判定を行い、受信していない場合には制御がＳ２４へ進み、撮像画像データを受信したか否かの判定を行い、受信していない場合にはこのデータ収集処理がリターンして前述のＳ２の処理に移行する。ウェアラブルコンピュータ３から検出データが送られてくればＳ２２によりＹＥＳの判断がなされて制御がＳ２３へ進み、受信したユーザＩＤに対応づけてセンサ特定ＩＤで特定される種類のセンサの検出データをユーザＤＢ１２に記憶する処理が行われる。その結果、図１に示したセンサ検出データがユーザＤＢ１２に記憶されることとなる。
【００３７】
ユーザがウェアラブルコンピュータ３のカメラ入力部２９により食事の料理を撮像してサーバ７へ送信してくれば、Ｓ２４によりＹＥＳの判断がなされて制御がＳ２５へ進み、その撮像画像データに基づいて食物の種類とカロリーとを割り出してユーザＤＢ１２に記憶する処理が行われる。その結果、図１に示すような「食事：サラダ＋牛肉＋パン」のような食物の種類が記憶されるとともにカロリー（図示省略）がユーザＤＢ１２に記憶される。この料理の撮像画像から食物の種類とカロリーとを割り出す制御は、多数の料理の画像を記憶しているデータベースと受信した撮像画像とを対比し、適合する料理をデータベースの料理画像から割出し、カロリーを算出する。なお、料理の撮像画像から食物の種類とカロリーとを割り出すことを人為的に行ってもよい。
【００３８】
次に図５（ａ）を参照して、ウェアラブルコンピュータ３のＳ１１による対話処理とサーバ７のＳ２による対話処理とのサブルーチンプログラムの制御動作を説明する。ウェアラブルコンピュータ３のＣＰＵ２３がＳ２９により音声入力があるか否かを判定し、音声入力がない場合には制御がＳ３３へ進み、サーバ７からメッセージを受信したか否かの判定を行い、受信していない場合にはこの対話処理がリターンして前述のＳ３へ制御が移行する。ユーザ４がしゃべった音声が音声入力部３４から入力されれば、Ｓ２９によりＹＥＳの判断がなされてＳ３０によりその入力された音声データがサーバ７へ送信される。
【００３９】
サーバ７では、ＣＰＵ４０が音声を受信したか否か判定し（Ｓ３９）、受信していない場合には制御がＳ４４へ進み、メッセージ生成処理を行い、Ｓ４５によりメッセージがあるか否か判定され、ない場合にはこの対話処理が終了してリターンし制御がＳ３へ移行する。
【００４０】
Ｓ３１によりウェアラブルコンピュータ３から音声データがサーバ７へ送信されてくれば、Ｓ３９によりＹＥＳの判断がなされて制御がＳ４０へ進み、音声認識処理が行われ、Ｓ４１によりその認識化に応じた対応処理が行われ、Ｓ４２によりその対応処理に基づいた発話データの生成処理が行われ、Ｓ４３によりその発話データと画像データとをウェアラブルコンピュータ３へ送信する処理が行われる。ウェアラブルコンピュータ３では、Ｓ３１によりそのデータを受信し、Ｓ３２により、その受信した発話データに基づいて音声出力部３３から音声を発して発話し、受信した画像データに基づいて表示部３０により画像を表示する処理を行う。
【００４１】
ここで、Ｓ４０の音声認識処理の具体的制御動作とＳ４１による認識結果に応じた対応処理の具体的制御動作とを説明する。
【００４２】
まず、Ｓ４０による音声認識処理のサブルーチンプログラムの制御動作を図５（ｂ）に基づいて説明する。まずＳ５０により形態素解析処理を行い、Ｓ５１により構文解析処理を行い、Ｓ５２により意味解析処理行い、Ｓ５３により文脈解析処理を行い、Ｓ５４により意図解析処理（意図解釈処理）を行う。これらの解析処理は自然言語処理エンジンで実行される。
【００４３】
形態素解析とは、文章を意味のある単語に区切り、辞書を利用して品詞や内容を判別することである。構文解析とは、文節と文節の係り受け関係を判定する処理である。意味解析とは、ベクトル空間モデルを利用した自然言語処理の技法の１つで、文書群とそこに含まれる用語群について、それらに関連した概念の集合を生成することで、その関係を分析することである。文脈解析とは、複数の文のつながりをチェックするものである。意図解析（意図解釈）とは、文章の意味を理解する処理である。
【００４４】
次に、次にＳ４１の認識結果に応じた対応処理のサブルーチンプログラムの制御動作を図６（ａ）に基づいて説明する。まず、Ｓ６４により、ユーザ４からのアクションの報告があったか否かの判定がなされる。例えばユーザが音声により「風邪薬服用」としゃべってその音声が前述の音声認識処理により認識された場合にはＳ６４により「風邪薬服用」というアクションの報告があったと判定され、制御がＳ６５へ進み、その報告されたアクションをユーザＤＢ１２に記憶する処理がなされる。一方アクションの報告でないと判定された場合には制御がＳ６６へ進み、体内部位（生体部位）に関する対話か否かの判定がなされる。ユーザ４が音声により例えば「肝臓を指定して調子はどうだい。」としゃべってその音声が前述の音声認識処理により音声認識された場合にはＳ６６によりＹＥＳの判断がなされて制御がＳ６７へ進み、認識結果に関連する体内部位のＩＤを割り出す処理が行われる。肝臓、胃、腎臓等の各体内部位（各生体部位）にはそれぞれＩＤが割り振られており、その部位ＩＤを割り出す処理がＳ６７により行われる。次にＳ６８により、その割り出された部位ＩＤのデータをユーザＤＢ１２から検索する処理がなされる。例えば、Ｓ６７により割り出された部位ＩＤが肝臓のＩＤであった場合には、ユーザＤＢ１２に記憶されているセンサ検出データのうち血液センサの項目における「γＧＴＰ１５３、ビリルビン１．２」のデータがＳ６８により検索される。次にＳ６９により、その検索されたデータに基づいて発話内容が決定される。例えば、「γＧＴＰとビリルビンとの数値データが時間軸ｔに沿ってユーザＤＢ１２に記憶されており、それらデータが時間の経過とともに改善されている場合には、「だいぶん回復したよ」の発話内容がＳ６９により決定される。このような発話内容は、対話ＤＢ１１に記憶されている。サーバ７は、対話ＤＢ１１を検索してテンプレートマッチングによりマッチするテンプレートに基づいて発話内容を決定する。
【００４５】
一方、Ｓ６６によりＮＯと判断がなされた場合には制御がＳ７０に進み、その他の対応処理が実行される。このその他の対応処理については、図１０（ｃ）に基づいて後述する。
【００４６】
図５（ａ）に戻り、前述の図６（ａ）の認識した結果に応じた対話処理により決定された発話内容の発話データがＳ４２により生成され、その発話データが画像データとともにＳ４３によりウェアラブルコンピュータ３へ送信される。このＳ４３により送信される画像データは、Ｓ６８により割り出された部位ＩＤに対応する体内部位（例えば肝臓等）を表すマーク（アイコン）と発話内容を表す文章等であり、例えば図７に示すような画像である。
【００４７】
ウェアラブルコンピュータ３は、その発話データと画像とを受信して発話するとともに図７に示すような画像を表示部３０より表示する。次に、Ｓ４４に示したメッセージ生成処理のサブルーチンプログラムの制御動作を図６（ｂ）に基づいて説明する。Ｓ７５により、ユーザＤＢ１２を検索して悪化した体内部位のＩＤを割り出す処理がなされる。例えば図１に示したデータが記憶されているユーザＤＢ１２を検索した場合に、γＧＴＰの値が１５３と、基準値５５を大幅に超えているために、体内部位のうちの肝臓が悪化していると判断してその肝臓のＩＤを割り出すその処理がＳ７４により行われる。次にＳ７６により報知が必要であるか否かの判断がなされる。具体的には、センサ検出データ（生体データ）の数値が基準値を上回っている度合いが閾値を超えているか否かで判断する。例えばγＧＴＰの場合には、基準値が５５であるために、閾値を１００と定めている。ユーザＩＤ：０５１３９２７０４のユーザの場合、γＧＴＰの値が１５３であり、閾値１００を超えているために、Ｓ７６によりＹＥＳの判断がなされて制御がＳ７７へ進み、報知用のメッセージが生成される。この報知用のメッセージは、Ｓ７５により割り出されたＩＤに相当する体内部位が悪化している旨を報知するものであってもよいが、該当するユーザの最近のアクションデータを考慮したメッセージにしてもよい。例えば、図７に示すような「連日の宴会でもう駄目。助けて〜。γＧＴＰ１５３」のようなものであってもよい。
【００４８】
図５（ａ）に戻り、このようにして生成されたメッセージがある場合には、Ｓ４５によりＹＥＳの判断がなされて、Ｓ４６によりその生成されたメッセージがウェアラブルコンピュータ３へ送信される。それを受けたウェアラブルコンピュータ３では、Ｓ３４により、その受信したメッセージに基づいて発話するとともに画像表示する制御がなされる。
【００４９】
次に図４（ａ）のＳ１２に示した外部センサ処理のサブルーチンプログラムの制御動作を図６（ｃ）に基づいて説明する。この外部センサ処理は、図１に示した外部センサ群５によるユーザ４の検出データ（生体データ）をサーバ７へ送信するための処理である。まずＳ６０により、外部センサからの信号受信があったか否かの判断がなされる。ない場合にはリターンしてＳ１３に移行する。
【００５０】
ユーザ４が外部センサ群５に近づいて、外部センサ群５により生体データが検出されれば、ウェアラブルコンピュータ３の無線通信インタフェース部３６と当該センサとの交信により、センサ検出データ（生体データ）がウェアラブルコンピュータ３へ送信される。それを受信したウェアラブルコンピュータ３のＣＰＵ２３は、Ｓ６０によりＹＥＳの判断を行い、受信したセンサのセンサ特定ＩＤとその受信した検出データ（生体データ）をＥＥＰＲＯＭ２６に記憶する処理を行う。この外部センサ群５の各センサにも、各種生体センサ２と同様にセンサの処理を特定するためのセンサ特定ＩＤが割り振られており、センサ検出データとともにそのセンサ特定ＩＤがウェアラブルコンピュータ３へ送信されてくる。このＳ６１によりセンサ特定ＩＤと検出データとが記憶された場合には、前述したＳ１８によりセンサからの検出データがあると判断されて制御がＳ１９へ進み、その記憶されたセンサ特定ＩＤと検出データ（生体データ）とをユーザＩＤとともにサーバ７へ送信する処理が行われる。
【００５１】
次に、図４（ａ）のＳ１３に示した撮像処理のサブルーチンプログラムの制御動作を図６（ｄ）に基づいて説明する。Ｓ７２により、撮像操作があったか否かの判断がなされ、ない場合にはリターンして、Ｓ１０に制御が移行する。ユーザがウェアラブルコンピュータ３の入力操作部３２を操作して、撮像操作を行えば制御がＳ７３へ進み、被写体（食事の料理等）をカメラ入力部２９により撮像する制御が行われる。そしてＳ７４により、その撮像した画像データを記憶する処理がなされる。Ｓ７４により撮像画像データが記憶されることにより、前述したＳ２０によりＹＥＳの判断がなされてＳ２１によりその撮像画像データをサーバ７へ送信する処理が行われる。
【００５２】
次に、前述したＳ３２およびＳ３４により行われる表示部３０への画像表示の一例を図７に基づいて説明する。図７の上半分の画像は、ユーザの肝臓、胃、腎臓等の各体内部位（生体部位）のアイコンが表示されるとともに、その各体内部位の最新の会話文字および会話日時が合わせて表示される。これら体内部位のうち、ユーザが新たに会話したい体内部位に相当するアイコンをタップすることにより、そのタップされた体内部位との過去の会話履歴が表示されるとともに（図７下半分参照）、その体内部位との新たなコミュニケーションが可能となる。図７の場合には、ユーザが肝臓のアイコンをタップした状態が示されている。肝臓との対話履歴は、図７の下半分の画像で示されているように、４月８日２２時２５分に、肝臓からのメッセージとして「連日の宴会でもう駄目。助けて〜。γＧＴＰ１５３」が表示されている。これを、ユーザＩＤ：０５１３９２７０４の血液センサの検出データ中のγＧＴＰの値が１５３となっており（図１参照）、基準値５５を大幅に上回っているために、図６（ｂ）のメッセージ生成処理により報知用のメッセージが生成されて、Ｓ３４による画像表示がなされた結果である。このようなメッセージが表示部３０によりユーザに表示されるとともに、音声出力部３３から音声によってもユーザに報知される。それを聞いた（見た）ユーザは、音声により「分かった。ウコンのサプリを飲むよ。」をしゃべることにより、その音声が音声入力部３４から入力されて、音声認識処理（図５（ｂ）参照）により解析処理され、その解析処理された認識結果に応じた対応処理が行われ（図６（ａ）参照）、その対応処理に基づいた画像データがウェアラブルコンピュータ３へ送信されてＳ３２により画像表示される。その結果が「分かった。ウコンのサプリを飲むよ。」が画像表示されることとなる。
【００５３】
後日ユーザが肝臓のアイコンをタップして「調子はどうだい。」としゃべれば、前述と同様の処理がなされてそのしゃべった言葉が画像表示されるとともに、Ｓ６６によりＹＥＳの判断がなされてＳ６７〜Ｓ６９の処理により発話内容が決定され、その発話データと画像データとがウェアラブルコンピュータ３に送信されてＳ３２により発話されるとともに画像表示される。その結果、図７に示すように「だいぶん回復したよ。γＧＴＰ７０」の音声が音声出力部３３から出力されるとともに表示部３０により画像表示される。
【００５４】
なお、図７では、ユーザが会話したい体内部位のアイコンをタップすることにより新たな会話が可能となるものを示したが、タップの代わりにユーザが音声で会話したい体内臓器を指定するように制御してもよい。次に、図４（ａ）の機械学習処理Ｓ３および学習結果に基づいた対応処理Ｓ４のサブルーチンプログラムの制御動作を図８（ａ）、（ｂ）に基づいて説明する。
【００５５】
サーバ７には、人工知能による機械学習エンジンがインストールされている。この機械学習エンジンでは、定期的に機械学習を行う。Ｓ８０により、機械学習時期になったか否かの判断がなされ、いまだ機械学習時期になっていない場合にはリターンしてＳ４に制御が移行する。一方、機械学習時期になった場合には制御がＳ８１へ進み、容態が悪化したユーザＩＤのデータのみをユーザＤＢ１２から抽出する処理が行われる。そして、その抽出されたデータに基づいて、Ｓ８２によりデータマイニングを行ってＮＧパターンＮＧＰｉ（ｉ＝１,２,３・・・）を見つけ出す処理が行われる。具体的には、ユーザのアクションデータとセンサ検出データとからなるデータ集合の中から、センサ検出データ（生体データ）が悪化した前兆となるアクションをデータマイニングにより見つけ出す。なお、後述するＳ８６は、その逆で、センサ検出データ（生体データ）が改善された前兆となるアクションをデータマイニングにより見つけ出す処理である。サーバ７は、ノイマン型の一般的なコンピュータを用いているが、ニューラル・ネット・プロセッサー（ＮＮＰ）を用いてもよい。ＮＮＰのチップ上には本物のニューロンをモデルにした「人工ニューロン」が多数搭載されており、各ニューロンはネットワークでそれぞれ連携し合う。また、「量子アニーリング方式」を採用した量子コンピュータを用いてもよい。これにより、機械学習における最適化計算の所要時間を大幅に短縮できる。
【００５６】
次にＳ８３により、ＮＧＰｉは今まで見つけ出したものと異なるか否か判定される。今まで見つけ出されたＮＧＰｉ（ｉ＝１,２,３・・・）は、パターンＤＢ１３に記憶されている（図９（ａ）参照）。このパターンＤＢ１３を検索して既に記憶されているＮＧパターンであるか否か判定する。既に記憶されている場合には制御がＳ８５へ進むが、いまだに記憶されていない新たなものの場合には制御がＳ８４へ進み、その新たに見つけ出されたＮＧＰｉをパターンＤＢ１３に追加記憶する制御が行われる。
【００５７】
次にＳ８５により、ユーザＤＢ１２を検索して容態が改善したユーザＩＤのデータのみを抽出する制御が行われる。次にＳ８６により、データマイニングを行ってポジティブパターン（ＰＧパターン）ＰＧＰｉ（ｉ＝１,２,３・・・）を見つけ出す制御がなされる。次にＳ８７には、その見つけ出されたＰＧＰｉは今まで見つけ出したものと異なるか否かの判定をパターンＤＢ１３を検索して行う。既に見つけ出されているものと同じ場合にはリターンするが、新たに見つけ出されたものである場合には制御がＳ８８へ進み、ＰＧＰｉをパターンＤＢ１３に追加記憶する制御が行われる。
【００５８】
Ｓ８４およびＳ８８によってパターンＤＢ１３に記憶されたＮＧＰｉ（ｉ＝１,２,３・・・）とＰＧＰｉ（ｉ＝１,２,３・・・）との一例を、図９（ａ）に基づいて説明する。Ｓ８２およびＳ８６により見つけ出されるパターンは、すべてのユーザに当てはまるものは少なく、ユーザの生体的特性に基づいて、ユーザをセグメント化し、あるセグメントに属するユーザにのみ当てはまる場合が多い。図９（ａ）の場合には、ユーザの生体属性として、体脂肪率２５〜３５％で男性でかつ年齢が３５〜５５歳に限定されたパターンが示されている。
【００５９】
まずＮＧパターン（ＮＧＰｉ）として、
１  大量の発汗ののちの飲酒で脳梗塞の危険性が高まる
２  飲酒中に脂質を多く食べると消化不良を起こす
３  早朝または深夜に高カロリーの食事をとると肥満になりやすい
等である。
また、ＰＧパターン（ＰＧＰｉ）としては、
１  飲酒前または飲酒中に生卵を食べるとγＧＴＰの上昇を抑えられる
２  飲酒中にゴマ油（ラー油）を摂取するとγＧＴＰの上昇を抑えられる
３  高カロリーの食事は午後２時前後にとると肥満になりにくい
等である。
【００６０】
次に、図８（ｂ）に基づいて、機械学習結果に基づいた対応処理のサブルーチンプログラムの制御動作を説明する。Ｓ９３により、パターンＤＢ１３に新たに追加記憶されたＮＧＰｉに該当するユーザＩＤをユーザＤＢ１２から検索する制御がなされる。次にＳ９４により、その検索されたユーザＩＤのユーザに対しＮＧ報知を行う制御がなされる。次にＳ９５により、パターンＤＢ１３に新たに追加記憶されたＰＧＰｉに該当するユーザＩＤをユーザＤＢ１２から検索する制御がなされる。次にＳ９６により、その検索されたユーザＩＤのユーザに対しＰＧ報知（ポジティブ報知）する制御が行われる。
【００６１】
Ｓ９４およびＳ９６の報知制御は、該当するユーザのウェアラブルコンピュータ３に対しサーバ７がＮＧメッセージとその前兆となったアクション（行動）を報知し、また、ＰＧメッセージとその前兆となったユーザのアクション（行動）とを報知する制御である。
【００６２】
この制御により、機械学習の結果新たに見つけ出されたユーザのアクション（行動）のＮＧ前兆パターンおよびＰＧ前兆パターンが該当するユーザに早期に報知されることとなり、それを知ったユーザは、いち早くＮＧ前兆パターンを行わないようにし、ＰＧ前兆パターンを積極的に実行するようになるという、利点がある。
【００６３】
次に、図４（ａ）のＳ５のルール化処理のサブルーチンプログラムの制御動作を図１０（ａ）に基づいて説明する。Ｓ１００により、パターンＤＢに追加記憶されたＮＧＰｉとＰＧＰｉとを盛り込んだルールを作成してルールＤＢ１４に追加記憶する制御が行われる。その一例が図９（ｂ）に示されている。図９（ｂ）を参照して、ユーザセグメントとして体脂肪率２５〜３５％の男性で、３５〜５５歳の生体属性のユーザについて、
・大量の発汗のちに飲酒する場合には、事前に水分補給する。
・飲食する場合、生卵とゴマ油（ラー油）を食し脂質を控える。
・高カロリーの食事は、早朝と深夜を控え、午後２時前後にするのがよい。
等である。
【００６４】
次にＳ１０１により、追加記憶されたルールをユーザに報知するためのメッセージを作成する制御が行われる。その結果、前述した図５（ａ）のＳ４５によりＹＥＳの判断がなされてＳ４６によりウェアラブルコンピュータ３にメッセージが送信されることとなる。この送信対象となるユーザは、健康サービス提供業者１０のサービスに加盟している全ユーザである。その結果、新たに追加記憶されたルールが全ユーザに対して周知徹底されるという利点がある。
【００６５】
次に、図４（ａ）のＳ６に示した効果検証処理のサブルーチンプログラムの制御動作を図１０（ｂ）に基づいて説明する。この効果検証処理は、製薬メーカ９が作った製薬あるいは健康食品メーカ８が作った健康食品（サプリ等）を市場に投入して、それらを摂取したユーザ４の生体データをサーバ７側に吸い上げてユーザＤＢ１２に蓄積し、その生体データの経時的な変化（時間軸に沿った変化）に基づいて製薬または健康食品の効果を検証するものである。
【００６６】
まずＳ１０３により、製薬または健康食品の効果検証依頼があったか否かの判断がなされ、ない場合にはリターンして制御がＳ７へ移行する。一方依頼があった場合には、制御がＳ１０４へ進み、依頼された商品の商品情報（商品開発ＤＢ８ｂまたは商品開発ＤＢ９ｂに記憶されている商品情報）を送信してもらい、その依頼品を服用しているユーザＩＤのデータをユーザＤＢ１２から抽出し、Ｓ１０５により、その抽出されたデータに基づいて、容態の経時的な変化を割り出し、Ｓ１０６により、割り出された変化に基づいて効果を判定し、その効果の評価値を算出する制御がなされる。そしてＳ１０７により、容態の変化データと効果の評価値とを依頼者に返信する処理がなされる。この容態の変化データとは、依頼品を服用しているユーザの生体データの時系列的な変化を折れ線グラフ等により表したものである。容態の変化データと効果の評価値を受け取った製薬メーカ９または健康食品メーカ８は、良好な変化データで高い評価値の場合には、依頼品を宣伝する場合にその効用の高さを立証する証拠として変化データや評価値を用いることができる利点がある。なお、依頼品を服用しているユーザであるか否かを判別しやすくするために、ユーザ４が製薬または健康食品（サプリ等）を服用した場合に、服用した製薬または健康食品（サプリ等）の商品名も合わせて音声でウェアラブルコンピュータ３からサーバ７へ送信するようにし、ユーザＤＢ１２にアクションとして商品名も記憶するように制御する。例えば、ユーザ４が音声で「風邪薬服用」としゃべった場合に、サーバ７からの発話制御で「その風薬の商品名を教えてください」と問い合わせるようにする。
【００６７】
次に、図６（ａ）のＳ７０に示したその他の対応のサブルーチンプログラムの制御動作を図１０（ｃ）に基づいて説明する。Ｓ１１０により、ユーザから健康に関する相談があったか否かの判断がなされる。ない場合にＳ１１２により、他人の臓器の健康情報の取得要求があったか否かの判断がなされ、ない場合にはリターンして制御がＳ４２へ進む。ユーザ４が健康に関する質問等の相談を音声でしゃべれば、その音声が音声入力部３４により入力されてサーバ７へ送信され、その音声が音声認識処理（図５（ｂ）参照）により解析されてＳ１１０によりＹＥＳの判断がなされる。その結果、制御がＳ１１１へ進み、ルールＤＢ１４を検索して質問（相談）に該当するルールに基づいて回答する発話内容を決定する制御がなされる。その結果、その発話内容に対応する発話データがＳ４２により生成され、Ｓ４３によりその発話データと発話データを文字にした画像データとがウェアラブルコンピュータ３へ返信され、発話データに基づいて発話され、画像データに基づいて画像表示が行われる（Ｓ３２）。
【００６８】
一方、ユーザ４が他人の臓器の健康情報の取得を音声により要求した場合には、前述と同様に音声認識処理による解析処理がなされてＳ１１２によりＹＥＳの判断がなされ、Ｓ１１３により、その指定された他人の臓器の健康情報を匿名化してウェアラブルコンピュータ３へ返信する制御が行われる。それを受けたウェアラブルコンピュータ３は、受信した他人の臓器の健康情報を表示するとともに音声で報知する。
以上の実施の形態では、機械学習結果（ＮＧＰｉとＰＧＰｉとルール等）が各ユーザ４にフィードバックされて報知され、ユーザ４はその機械学習結果を参考にして体内部位とコミュニケ―ションを取りながらアクション（行動）をとることができる。そのアクション（行動）の結果が各ユーザ４の生体データに反映されてその生体データが再度サーバ７側へ吸い上げられて機械学習のデータとして供され、その機械学習結果が再び各ユーザ４にフィードバックされる。このような一連のサイクルを巡回することにより、機械学習結果を反映した各ユーザ４の生体データの経時的な変化をユーザＤＢ１２に蓄積することができ、そのようなデータに基づいた機械学習結果のパターンがパターン販売処理Ｓ７により販売される。この販売先は、例えば製薬メーカ９や健康食品メーカ８である。これにより、製薬メーカ９や健康食品メーカ８は製品開発に役立つデータを入手することができ、研究開発が促進されるという利点がある。
【００６９】
以上、本発明の実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【００７０】
１    インターネット
２    各種生体センサ
３    ウェアラブルコンピュータ
５    外部センサ群
７    サーバ
１０  健康サービス提供業者１
１１  対話ＤＢ
１２  ユーザＤＢ
１３  パターンＤＢ
１４  ルールＤＢ
【図１】
0006567319.tif 000002
【図２】
0006567319.tif 000003
【図３】
0006567319.tif 000004
【図４】
0006567319.tif 000005
【図５】
0006567319.tif 000006
【図６】
0006567319.tif 000007
【図７】
0006567319.tif 000008
【図８】
0006567319.tif 000009
【図９】
0006567319.tif 000010
【図１０】
0006567319.tif 000011