(57)【要約】健康情報または健康支援を提供するための電子装置は、音信号、言葉による信号、言葉によらない信号、およびそれらの組合せから選択される少なくとも１つのタイプの信号を受信するよう構成された入力と、少なくとも１人のユーザの状態を解析して、電子装置に状態信号を通信するよう構成されたリモート装置に、少なくとも１人のユーザおよびそのユーザの環境に関連する情報であって、音信号、言葉によらない信号、および言葉による信号を含む情報を送信するよう構成された通信モジュールと、状態信号を受信して、電子装置を受動的モニタリングモード、または少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない能動的従事およびモニタリングモードに従事させるよう構成された処理モジュールと、少なくとも１人のユーザを言葉による通信に参加させるよう構成された出力とを含む。
2019527864.tif 000002
【特許請求の範囲】
【請求項１】
健康情報または健康支援を提供するシステムにおいて、
１）少なくとも１人のユーザの環境からの音信号、２）前記少なくとも１人のユーザからの言葉によらない信号、３）前記ユーザからの言葉による信号、並びに４）前記（１）、（２）、および（３）の任意の組合せからなる群から選択される少なくとも１つのタイプの信号に基づいて、前記少なくとも１人のユーザとの言葉による通信に従事するよう構成された少なくとも１つの電子装置を含み、
前記電子装置が、
前記少なくとも１人のユーザの環境からの前記音信号、前記少なくとも１人のユーザからの前記言葉によらない信号、および前記少なくとも１人のユーザについての前記言葉による信号を受信するよう構成された入力と、
前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する情報であって、前記音信号、前記言葉によらない信号、および前記言葉による信号を含む情報をリモート装置に送信し、次に、該リモート装置から状態信号を受信するよう構成された通信モジュールと、
前記状態信号を受信し、前記電子装置を受動的モニタリングモード、または前記少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない能動的従事およびモニタリングモードで動作させるよう構成された処理モジュールと、
１）前記少なくとも１人のユーザに質問すること、２）前記ユーザに対して関連する示唆を提供すること、および３）前記ユーザに情報を提供することからなる群から選択される特定のタイプの言葉による通信に前記少なくとも１人のユーザを参加させるよう構成された出力と
を含み、
前記リモート装置が、
前記少なくとも１つの電子装置から前記音信号、前記言葉によらない信号、および前記言葉による信号に関連する前記情報を受信し、次に、前記少なくとも１つの電子装置に前記状態信号を送信するよう構成されたリモート通信モジュールと、
前記音信号、前記言葉によらない信号、および前記言葉による信号に基づいて、応答アクションを決定するよう構成されたルールモジュールと
を含み、
前記応答アクションが前記状態信号の形態で前記リモート装置から前記少なくとも１つの電子装置に通信される
ことを特徴とするシステム。
【請求項２】
前記電子装置および前記リモート装置のうちの少なくとも一方が、前記少なくとも１人のユーザを識別して認証するよう構成された話者識別モジュールを更に含む、請求項１記載のシステム。
【請求項３】
前記リモート装置が、
前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する前記情報を受信して格納するよう構成された一時的データベースと、
少なくとも１人の健康管理提供者から決定を受信して格納するよう構成された決定データベースと
を更に含む、請求項１記載のシステム。
【請求項４】
前記リモート装置が、
前記一時的データベースから、前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する前記情報を選択的に読み出し、前記決定データベースから、前記少なくとも１人の健康管理提供者からの前記決定を選択的に読み出し、前記読み出された情報および決定に基づく機械学習を用いて、前記応答アクションの精度を高めるために前記ルールモジュールを適応させるよう構成されたトレーニングモジュール
を更に含む、請求項３記載のシステム。
【請求項５】
前記少なくとも１つの電子装置が、複数の電子装置を含み、前記少なくとも１人のユーザが、前記複数の電子装置を用いている複数のユーザを含み、前記トレーニングモジュールが、前記複数のユーザの各々および複数のユーザの各々の環境に関する情報を選択的に読み出し、少なくとも１人の健康管理提供者からの決定を選択的に読み出し、前記読み出された情報および決定に基づく機械学習を用いて、前記応答アクションの精度を高めるために前記ルールモジュールを適応させるよう更に構成された、請求項４記載のシステム。
【請求項６】
前記少なくとも１つの電子装置の前記通信モジュールが、前記少なくとも１人のユーザ、該少なくとも１人のユーザの環境、および前記少なくとも１人の健康管理提供者からの前記決定に関連する前記情報を読み出すよう更に構成され、
前記少なくとも１つの電子装置が、前記少なくとも１人のユーザに対して、該少なくとも１人のユーザ、該少なくとも１人のユーザの環境、および前記少なくとも１人の健康管理提供者からの前記決定に関連する前記情報に関するレポートを生成するよう構成されたレポートモジュールを更に含む、
請求項３記載のシステム。
【請求項７】
前記受動的モニタリングモードで動作しているときに、リモート装置処理モジュールが、
前記音信号を解析して受動的ユーザ情報を抽出し、
前記受動的ユーザ情報から、能動的トリガ事象が生じているか否かを決定し、
前記能動的トリガ事象が生じていることが決定されたら、前記電子装置を前記能動的従事およびモニタリングモードに移行させる
よう構成された、請求項１記載のシステム。
【請求項８】
前記能動的従事およびモニタリングモードに移行した際、
前記電子装置処理モジュールが、前記出力を介した前記言葉による通信によって前記少なくとも１人のユーザに従事するよう構成され、
前記リモート装置処理モジュールが、前記ユーザとの前記通信を介して前記受動的ユーザ情報を検証および拡張するよう構成された、
請求項７記載のシステム。
【請求項９】
前記能動的従事およびモニタリングモードに移行した際、前記リモート装置処理モジュールが、
前記入力からの前記音信号を解析して、前記少なくとも１人のユーザとの通信と関連づけられた能動的ユーザ情報を抽出し、
前記受動的ユーザ情報および前記能動的ユーザ情報の両方から、能動的従事応答を決定する
よう更に構成される、請求項８記載のシステム。
【請求項１０】
前記能動的従事およびモニタリングモードに移行した際、前記リモート装置処理モジュールが、
前記言葉による通信によって、前記能動的従事応答が完了したか否かを決定し、
前記能動的従事応答が完了したことが決定されたら、前記電子装置を前記受動的モニタリングモードに移行させる
よう更に構成される、請求項９記載のシステム。
【請求項１１】
前記ルールモジュールが、前記受動的ユーザ情報および前記能動的ユーザ情報のうちの一方に基づいて、前記出力を介した前記言葉による通信をリアルタイムで適応させる、請求項９記載のシステム。
【請求項１２】
前記言葉による通信の前記適応が、前記受動的ユーザ情報および前記能動的ユーザ情報のうちの一方において検出された前記少なくとも１人のユーザの状態の変化に基づく、前記少なくとも１人のユーザに対する質問または質問の仕方の変更を含む、請求項１１記載のシステム。
【請求項１３】
前記言葉によらない信号が、ピッチ、速さ、トーン、声量、イントネーション、抑揚、または、言葉を含まない他の音からなる群から選択される、請求項１記載のシステム。
【請求項１４】
前記音信号を解析する前記工程が、話し方、イントネーション、前記少なくとも１人のユーザに関するデータ、前記少なくとも１人のユーザの環境に関するデータ、前記少なくとも１人のユーザの環境における音信号、前記少なくとも１人のユーザによって生じた音のうちの少なくとも１つを解析することを含み、キーワードを解析することを含まない、請求項７または９記載のシステム。
【請求項１５】
前記能動的トリガ事象に関する前記言葉による通信によって前記少なくとも１人のユーザに従事している間、前記ルールモジュールが、前記能動的トリガ事象に関する前記言葉による通信中に取得された情報に基づいて、関連するトリガ事象に関する将来の従事を適応させる、請求項９記載のシステム。
【請求項１６】
前記言葉による通信によって前記少なくとも１人のユーザに従事している間、前記処理モジュールが、言葉による信号および言葉によらない信号の両方を解析するよう構成された、請求項９記載のシステム。
【請求項１７】
前記複数の電子装置の各々がレポートを生成するよう構成され、前記トレーニングモジュールが前記ルールモジュールを適応させた後、前記少なくとも１人の健康管理提供者が、前記レポートに基づいて決定を行う、請求項５記載のシステム。
【請求項１８】
前記トレーニングモジュールによって行われる前記機械学習が、前記一時的データベースから読み出された情報および前記決定データベースから読み出された決定に基づくモデルを用い、次に、該モデルが、前記少なくとも１人の健康管理提供者からの入力に基づいてトレーニングされる、請求項５記載のシステム。
【請求項１９】
前記モデルが、前記複数のユーザからの情報に基づくものであり、それにより、より大きいデータセットを提供する、請求項１８記載のシステム。
【請求項２０】
前記複数の電子装置の各々が、レポートを生成するよう構成され、前記複数のユーザの各々が、前記複数の電子装置のうちの対応する１つに情報を入力し、前記複数の電子装置のうちの前記対応する１つからの出力情報を受信する、請求項５記載のシステム。
【請求項２１】
介護者または健康管理の専門家に、前記少なくとも１人のユーザに応答アクションが送信されたことの通知が送られる、請求項１記載のシステム。
【請求項２２】
健康情報または健康支援を提供するための電子装置において、該電子装置が、ユーザとの言葉による通信に従事するよう構成され、前記電子装置が、
（１）少なくとも１人のユーザの環境からの音信号、（２）前記少なくとも１人のユーザについての言葉によらない信号、３）前記ユーザからの言葉による信号、並びに４）前記（１）、（２）、および（３）の任意の組合せからなる群から選択される少なくとも１つのタイプの信号を受信するよう構成された入力と、
前記少なくとも１人のユーザの状態を解析し、その後に前記電子装置に状態信号を通信するよう構成されたリモート装置に、前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する情報であって、前記音信号、前記言葉によらない信号、および前記言葉による信号を含む情報を送信するよう構成された通信モジュールと、
前記状態信号を受信し、前記電子装置を受動的モニタリングモード、または前記少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない能動的従事およびモニタリングモードに従事させるよう構成された処理モジュールと、
１）前記少なくとも１人のユーザに質問すること、２）前記ユーザに対して関連する示唆を提供すること、および３）前記少なくとも１人のユーザに情報を提供することからなる群から選択される特定のタイプの言葉による通信に前記少なくとも１人のユーザを参加させるよう構成された出力と
を含むことを特徴とする電子装置。
【請求項２３】
前記電子装置が、複数の電子装置を含み、前記少なくとも１人のユーザが、前記複数の電子装置を用いている複数のユーザを含み、各前記電子装置の前記通信モジュールが、個々のユーザの状態を解析するために、前記個々のユーザおよび該ユーザの環境に関連する情報を前記リモート装置に送信するよう構成された、請求項２２記載の電子装置。
【請求項２４】
前記電子装置の前記通信モジュールが、前記少なくとも１人のユーザ、該少なくとも１人のユーザの環境、および少なくとも１人の健康管理提供者からの決定に関連する前記情報を読み出すよう更に構成され、
前記少なくとも１つの電子装置が、前記少なくとも１人のユーザに対して、該少なくとも１人のユーザ、該少なくとも１人のユーザの環境、および前記少なくとも１人の健康管理提供者からの前記決定に関連する前記情報に関するレポートを生成するよう構成されたレポートモジュールを更に含む、
請求項２２記載の電子装置。
【請求項２５】
前記処理モジュールが、前記能動的従事およびモニタリングモードに移行した際、前記出力を介した通信によって前記少なくとも１人のユーザに従事するよう更に構成され、
前記リモート装置処理モジュールが、前記入力からの前記音信号を解析して、前記少なくとも１人のユーザとの通信と関連づけられた能動的ユーザ情報を抽出し、前記受動的ユーザ情報および前記能動的ユーザ情報の両方から能動的従事応答を決定するよう構成された、
請求項２２記載の電子装置。
【請求項２６】
前記言葉によらない信号が、ピッチ、速さ、トーン、声量、イントネーション、抑揚、または、言葉を含まない他の音からなる群から選択される、請求項２２記載の電子装置。
【請求項２７】
健康情報または健康支援を提供する方法において、
電子装置の入力において、１）前記少なくとも１人のユーザの環境からの音信号、２）前記少なくとも１人のユーザからの言葉によらない信号、３）前記ユーザからの言葉による信号、並びに４）前記（１）、（２）、および（３）の任意の組合せからなる群から選択される少なくとも１つのタイプの信号を受信する工程と、
前記少なくとも１人のユーザの状態を解析し、その後に前記電子装置に状態信号を通信するよう構成されたリモート装置に、前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する情報を通信する工程と、
前記電子装置において、前記リモート装置からの状態信号を受信して、受動的モニタリングモード、または能動的従事およびモニタリングモードに従事する工程であって、前記能動的従事およびモニタリングモードが、１）前記少なくとも１人のユーザに質問すること、２）前記ユーザに対して関連する示唆を提供すること、および３）前記少なくとも１人のユーザに情報を提供することからなる群から選択される前記少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない、工程と
と含むことを特徴とする方法。
【請求項２８】
前記受動的モニタリングモードにおいて、
前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する前記情報を解析する工程と、
受動的ユーザ情報を抽出する工程と、
前記受動的ユーザ情報から、トリガ事象が生じているか否かを決定する工程と、
前記トリガ事象が生じているかことが決定されたら、前記電子装置を前記能動的従事およびモニタリングモードに移行させる工程と
を更に含む、請求項２７記載の方法。
【請求項２９】
前記能動的従事およびモニタリングモードにおいて、
前記電子装置の出力を介した言葉による通信によって前記少なくとも１人のユーザに従事する工程と、
前記リモート装置において、前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する前記情報を解析して、前記少なくとも１人のユーザとの前記言葉による通信と関連づけられた能動的ユーザ情報を抽出する工程と、
前記リモート装置において、前記受動的ユーザ情報および前記能動的ユーザ情報の両方から能動的従事応答を決定する工程と
を更に含む、請求項２８記載の方法。
【請求項３０】
言葉による通信によって、前記能動的従事応答が完了したか否かを決定する工程と、
前記能動的従事応答が完了したことが決定されたら、前記受動的モニタリングモードに移行する工程と
を更に含む、請求項２９記載の方法。
【請求項３１】
前記受動的ユーザ情報および前記能動的ユーザ情報のうちの一方に基づいて、前記少なくとも１人のユーザとの前記言葉による通信をリアルタイムで適応させる工程を更に含む、請求項２９記載の方法。
【請求項３２】
前記言葉による通信を適応させる前記工程が、前記受動的ユーザ情報および前記能動的ユーザ情報のうちの一方において検出された前記少なくとも１人のユーザの状態の変化に基づいて、前記少なくとも１人のユーザに対する質問を変更する工程を含む、請求項３１記載の方法。
【請求項３３】
前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する前記情報を解析する前記工程が、前記リモート装置において、話し方、イントネーション、前記少なくとも１人のユーザに関するデータ、前記少なくとも１人のユーザの環境に関するデータ、前記少なくとも１人のユーザの環境における音信号、または前記少なくとも１人のユーザによって生じた音を解析することを含み、キーワードを解析することを含まない、請求項２８または２９記載の方法。
【請求項３４】
前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する前記情報を受信して格納する工程と、
少なくとも１人の健康管理提供者から決定を受信して格納する工程と
を更に含む、請求項２７記載の方法。
【請求項３５】
一時的データベースから、前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する情報を読み出す工程と、
決定データベースから、前記少なくとも１人の健康管理提供者からの前記決定を読み出す工程と、
前記読み出された情報および決定に基づく機械学習を用いて、前記少なくとも１人のユーザに関してとられるアクションの精度を高めるためにルールを適応させる工程と
を更に含む、請求項３４記載の方法。
【請求項３６】
前記少なくとも１つの電子装置が、複数の電子装置を含み、前記少なくとも１人のユーザが、前記複数の電子装置を用いている複数のユーザを含み、前記方法が、
前記複数のユーザの各々および複数のユーザの各々の環境に関する情報を読み出す工程と、
前記少なくとも１人の健康管理提供者からの決定を読み出す工程と、
前記読み出された情報および決定に基づく機械学習を用いて、とられるアクションの精度を高めるためにルールを適応させる工程と
を更に含む、請求項３５記載の方法。
【請求項３７】
前記少なくとも１人のユーザ、該少なくとも１人のユーザの環境、および前記少なくとも１人の健康管理提供者からの前記決定に関連する前記情報に関するレポートを生成する工程を更に含む、請求項３４記載の方法。
【請求項３８】
プロセッサによってコンピュータプログラム指示が実行された際に、前記プロセッサに、少なくとも、
１）前記少なくとも１人のユーザの環境からの音信号、２）前記少なくとも１人のユーザからの言葉によらない信号、３）前記ユーザからの言葉による信号、並びに４）前記（１）、（２）、および（３）の任意の組合せからなる群から選択される少なくとも１つのタイプの信号の形態の入力を受信する工程と、
前記少なくとも１人のユーザの状態を解析し、その後に前記プロセッサに状態信号を通信するよう構成されたリモート装置に、前記少なくとも１人のユーザおよび前記少なくとも１人のユーザの環境に関連する情報であって、前記音信号、前記言葉によらない信号、および前記言葉による信号を含む情報を送信する工程と、
前記プロセッサにおいて前記状態信号を受信する工程と、
前記プロセッサを受動的モニタリングモード、または前記少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない能動的従事およびモニタリングモードに従事させる工程と
を行わせ、
前記少なくとも１人のユーザが支援を必要としていることを前記状態信号が示しているときに、前記電子装置が前記受動的モニタリングモードから前記能動的従事およびモニタリングモードに移行するよう構成され、前記少なくとも１人のユーザがもはや支援を必要としていないことを前記状態信号が示しているときに、前記電子装置が前記能動的従事およびモニタリングモードから前記受動的モニタリングモードに移行するよう更に構成された、
コンピュータプログラム指示を有形で含むことを特徴とする非一過性のコンピュータ可読媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、２０１６年６月３日に出願された「Virtual Health Assistant and Physician Extender for Promotion of Well-Being and Independent Living（安心で独立した生活を促進するためのバーチャル健康アシスタントおよび医師補）」という名称の米国仮特許出願第６２／３４５,６１０号に基づくものであり、それによる優先権を主張し、その全体を参照して本明細書に組み込む。上記の仮特許出願において引用されている参考文献（あれば）も参照して本明細書に組み込む。
【技術分野】
【０００２】
本開示は、一般的に、バーチャル健康アシスタントを提供するためのシステムおよび方法に関する。より具体的には、本開示は、人（例えば、医療上の理由でモニタリングされている患者）を適応的にモニタリングできるバーチャル健康アシスタントを提供するための改善されたシステムおよび方法に関する。
【背景技術】
【０００３】
開示されるシステムおよび方法による利益を受け得る１つの例示的なターゲット人口は、高齢者人口（即ち、６５歳以上の個人）である。米国内では、６５歳以上の人口が最も速く増加している。２０１６年における５０００万人から、２０２０年までには５６００万人、２０３０年までには７３００万人に拡大することが予想されている。この人口を支えるために、次の８年間で、百万人を超える新たな介護者が必要である。在宅初期高齢者介護は、パイロットプログラムにおいて、コスト節約の対策として見込みがあることを示しているが、介護者は、効率を高めるために、および、より多くのことを行う余地を得るために、訪問の優先順位を決めることを可能にする技術的な解決法を必要としている。
【発明の概要】
【０００４】
かなりの量の時間を住宅内（または医療施設等の他の環境）で過ごす人々（例えば、高齢者および寝たきりの人等）の健康および安全を確保するのを補助するバーチャル介護者アシスタントおよび医師補の役割をし得る例示的なシステムおよび方法が開示される。危険な状況またはリスクが高い状況を示し得る特異なまたは予期せぬ音信号を検出するために、「受動的」モニタリングの一部として、人の音および人の環境における音がリアルタイムでモニタリングされ得る。そのような音信号が検出された場合には、「能動的」モニタリングが、例えば、人との構造化された双方向のやりとり、病理学的な音声／応答パターンの評価、人およびその環境（現在のおよび履歴）に関するデータの解析等による閉ループの自動化された解決法を実装するよう従事して、急性状態および慢性状態の適時の医療評価を容易にすると共に、別様で人の安心をより良好にモニタリングして高め得る。音をキャプチャして解析することにより、より多くの状況において（例えば、ユーザが、人についてきて欲しくない、またはカメラを設置されたくないトイレにいる間であっても）ユーザを連続的にモニタリングできる。開示されるシステムおよび方法は、人々のプライバシーを尊重しつつ、人々の環境をより良好にモニタリングすることによって、健康の専門家および家族が、自宅または別の場所にいる人々を介護するのを補助し得る。
【０００５】
例示的な実施形態において、健康情報または健康支援を提供するシステムは、１）少なくとも１人のユーザの環境からの音信号、２）少なくとも１人のユーザからの言葉によらない信号、３）ユーザからの言葉による信号、並びに４）（１）、（２）、および（３）の任意の組合せからなる群から選択される少なくとも１つのタイプの信号に基づいて、少なくとも１人のユーザとの言葉による通信に従事するよう構成された少なくとも１つの電子装置を含む。この電子装置は、少なくとも１人のユーザの環境からの音信号、少なくとも１人のユーザからの言葉によらない信号、および少なくとも１人のユーザについての言葉による信号を受信するよう構成された入力と、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報であって、音信号、言葉によらない信号、および言葉による信号を含む情報をリモート装置に送信し、次に、該リモート装置から状態信号を受信するよう構成された通信モジュールとを含み得る。電子装置は、状態信号を受信し、電子装置を受動的モニタリングモード、または少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない能動的従事およびモニタリングモードで動作させるよう構成された処理モジュールと、１）少なくとも１人のユーザに質問すること、２）ユーザに対して関連する示唆を提供すること、および３）ユーザに情報を提供することからなる群から選択される特定のタイプの言葉による通信に少なくとも１人のユーザを参加させるよう構成された出力とを更に含み得る。本システムは、リモート装置を更に含み得るものであり、該リモート装置は、少なくとも１つの電子装置から音信号、言葉によらない信号、および言葉による信号に関連する情報を受信し、次に、少なくとも１つの電子装置に状態信号を送信するよう構成されたリモート通信モジュールと、音信号、言葉によらない信号、および言葉による信号に基づいて、応答アクションを決定するよう構成されたルールモジュールとを含み得るものであり、応答アクションは状態信号の形態でリモート装置から少なくとも１つの電子装置に通信される。
【０００６】
一部の実施形態では、電子装置およびリモート装置のうちの少なくとも一方は、少なくとも１人のユーザを識別して認証するよう構成された話者識別モジュールを更に含む。
【０００７】
一部の実施形態では、リモート装置は、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報を受信して格納するよう構成された一時的データベースと、少なくとも１人の健康管理提供者から決定を受信して格納するよう構成された決定データベースとを含む。
【０００８】
一部の実施形態では、リモート装置は、一時的データベースから、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報を選択的に読み出し、決定データベースから、少なくとも１人の健康管理提供者からの決定を選択的に読み出し、読み出された情報および決定に基づく機械学習を用いて、応答アクションの精度を高めるためにルールモジュールを適応させるよう構成されたトレーニングモジュールを含む。
【０００９】
一部の実施形態では、少なくとも１つの電子装置は、複数の電子装置を含み、少なくとも１人のユーザは、複数の電子装置を用いている複数のユーザを含み、トレーニングモジュールは、複数のユーザの各々および複数のユーザの各々の環境に関する情報を選択的に読み出し、少なくとも１人の健康管理提供者からの決定を選択的に読み出し、読み出された情報および決定に基づく機械学習を用いて、応答アクションの精度を高めるためにルールモジュールを適応させるよう更に構成される。
【００１０】
一部の実施形態では、少なくとも１つの電子装置の通信モジュールは、少なくとも１人のユーザ、少なくとも１人のユーザの環境、および少なくとも１人の健康管理提供者からの決定に関連する情報を読み出すよう構成され、少なくとも１つの電子装置は、少なくとも１人のユーザに対して、少なくとも１人のユーザ、少なくとも１人のユーザの環境、および少なくとも１人の健康管理提供者からの決定に関連する情報に関するレポートを生成するよう構成されたレポートモジュールを含む。
【００１１】
一部の実施形態では、受動的モニタリングモードで動作しているときに、リモート装置処理モジュールは、音信号を解析して受動的ユーザ情報を抽出し、受動的ユーザ情報から、能動的トリガ事象が生じているか否かを決定し、能動的トリガ事象が生じていることが決定されたら、電子装置を能動的従事およびモニタリングモードに移行させるよう構成される。
【００１２】
一部の実施形態では、能動的従事およびモニタリングモードに移行した際、電子装置処理モジュールは、出力を介した言葉による通信によって少なくとも１人のユーザに従事するよう構成され、リモート装置処理モジュールは、ユーザとの通信を介して受動的ユーザ情報を検証および拡張するよう構成される。
【００１３】
一部の実施形態では、能動的従事およびモニタリングモードに移行した際、リモート装置処理モジュールは、入力からの音信号を解析して、少なくとも１人のユーザとの通信と関連づけられた能動的ユーザ情報を抽出し、受動的ユーザ情報および能動的ユーザ情報の両方から、能動的従事応答を決定するよう構成される。
【００１４】
一部の実施形態では、能動的従事およびモニタリングモードに移行した際、リモート装置処理モジュールは、言葉による通信によって、能動的従事応答が完了したか否かを決定し、能動的従事応答が完了したことが決定されたら、電子装置を受動的モニタリングモードに移行させるよう構成される。
【００１５】
一部の実施形態では、ルールモジュールは、受動的ユーザ情報および能動的ユーザ情報のうちの一方に基づいて、出力を介した言葉による通信をリアルタイムで適応させる。
【００１６】
一部の実施形態では、言葉による通信の適応は、受動的ユーザ情報および能動的ユーザ情報のうちの一方において検出された少なくとも１人のユーザの状態の変化に基づく、少なくとも１人のユーザに対する質問または質問の仕方の変更を含む。
【００１７】
一部の実施形態では、言葉によらない信号は、ピッチ、速さ、トーン、声量、イントネーション、抑揚、または、言葉を含まない他の音からなる群から選択される。
【００１８】
一部の実施形態では、音信号を解析する工程は、話し方、イントネーション、少なくとも１人のユーザに関するデータ、少なくとも１人のユーザの環境に関するデータ、少なくとも１人のユーザの環境における音信号、少なくとも１人のユーザによって生じた音のうちの少なくとも１つを解析することを含み、キーワードを解析することを含まない。
【００１９】
一部の実施形態では、能動的トリガ事象に関する言葉による通信によって少なくとも１人のユーザに従事している間、ルールモジュールは、能動的トリガ事象に関する言葉による通信中に取得された情報に基づいて、関連するトリガ事象に関する将来の従事を適応させる。
【００２０】
一部の実施形態では、言葉による通信によって少なくとも１人のユーザに従事している間、処理モジュールは、言葉による信号および言葉によらない信号の両方を解析するよう構成される。
【００２１】
一部の実施形態では、複数の電子装置の各々はレポートを生成するよう構成され、トレーニングモジュールがルールモジュールを適応させた後、少なくとも１人の健康管理提供者が、レポートに基づいて決定を行う。
【００２２】
一部の実施形態では、トレーニングモジュールによって行われる機械学習は、一時的データベースから読み出された情報および決定データベースから読み出された決定に基づくモデルを用い、次に、該モデルは、少なくとも１人の健康管理提供者からの入力に基づいてトレーニングされる。
【００２３】
一部の実施形態では、モデルは、複数のユーザからの情報に基づくものであり、それにより、より大きいデータセットを提供する。
【００２４】
一部の実施形態では、複数の電子装置の各々は、レポートを生成するよう構成され、複数のユーザの各々は、複数の電子装置のうちの対応する１つに情報を入力し、複数の電子装置のうちの対応する１つからの出力情報を受信する。
【００２５】
一部の実施形態では、介護者または健康管理の専門家に、少なくとも１人のユーザに応答アクションが送信されたことの通知が送られる。
【００２６】
別の例示的な実施形態において、健康情報または健康支援を提供するための電子装置が提供され、該電子装置は、ユーザとの言葉による通信に従事するよう構成される。本電子装置は、（１）少なくとも１人のユーザの環境からの音信号、（２）少なくとも１人のユーザについての言葉によらない信号、３）ユーザからの言葉による信号、並びに４）（１）、（２）、および（３）の任意の組合せからなる群から選択される少なくとも１つのタイプの信号を受信するよう構成された入力を含む。本電子装置は、少なくとも１人のユーザの状態を解析し、その後に電子装置に状態信号を通信するよう構成されたリモート装置に、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報であって、音信号、言葉によらない信号、および言葉による信号を含む情報を送信するよう構成された通信モジュールを更に含み得る。本電子装置は、状態信号を受信し、電子装置を受動的モニタリングモード、または少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない能動的従事およびモニタリングモードに従事させるよう構成された処理モジュールと、１）少なくとも１人のユーザに質問すること、２）ユーザに対して関連する示唆を提供すること、および３）少なくとも１人のユーザに情報を提供することからなる群から選択される特定のタイプの言葉による通信に少なくとも１人のユーザを参加させるよう構成された出力とを更に含み得る。
【００２７】
一部の実施形態では、電子装置は、複数の電子装置を含み、少なくとも１人のユーザは、複数の電子装置を用いている複数のユーザを含み、各電子装置の通信モジュールは、個々のユーザの状態を解析するために、個々のユーザおよびユーザの環境に関連する情報をリモート装置に送信するよう構成される。
【００２８】
一部の実施形態では、電子装置の通信モジュールは、少なくとも１人のユーザ、少なくとも１人のユーザの環境、および少なくとも１人の健康管理提供者からの決定に関連する情報を読み出すよう更に構成され、少なくとも１つの電子装置は、少なくとも１人のユーザに対して、少なくとも１人のユーザ、少なくとも１人のユーザの環境、および少なくとも１人の健康管理提供者からの決定に関連する情報に関するレポートを生成するよう構成されたレポートモジュールを含む。
【００２９】
一部の実施形態では、処理モジュールは、能動的従事およびモニタリングモードに移行した際、出力を介した通信によって少なくとも１人のユーザに従事するよう更に構成され、リモート装置処理モジュールは、入力からの音信号を解析して、少なくとも１人のユーザとの通信と関連づけられた能動的ユーザ情報を抽出し、受動的ユーザ情報および能動的ユーザ情報の両方から能動的従事応答を決定するよう構成される。
【００３０】
一部の実施形態では、言葉によらない信号は、ピッチ、速さ、トーン、声量、イントネーション、抑揚、または、言葉を含まない他の音からなる群から選択される。
【００３１】
更なる例示的な実施形態において、健康情報または健康支援を提供する方法は、電子装置の入力において、１）少なくとも１人のユーザの環境からの音信号、２）少なくとも１人のユーザからの言葉によらない信号、３）ユーザからの言葉による信号、並びに４）（１）、（２）、および（３）の任意の組合せからなる群から選択される少なくとも１つのタイプの信号を受信する工程と、少なくとも１人のユーザの状態を解析し、その後に電子装置に状態信号を通信するよう構成されたリモート装置に、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報を通信する工程とを含む。本方法は、電子装置において、リモート装置からの状態信号を受信して、受動的モニタリングモード、または能動的従事およびモニタリングモードに従事する工程であって、能動的従事およびモニタリングモードが、１）少なくとも１人のユーザに質問すること、２）ユーザに対して関連する示唆を提供すること、および３）少なくとも１人のユーザに情報を提供することからなる群から選択される少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない、工程を更に含む。
【００３２】
一部の実施形態では、受動的モニタリングモードにおいて、本方法は、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報を解析する工程と、受動的ユーザ情報を抽出する工程と、受動的ユーザ情報から、トリガ事象が生じているか否かを決定する工程と、トリガ事象が生じているかことが決定されたら、電子装置を能動的従事およびモニタリングモードに移行させる工程とを含む。
【００３３】
一部の実施形態では、能動的従事およびモニタリングモードにおいて、本方法は、電子装置の出力を介した言葉による通信によって少なくとも１人のユーザに従事する工程と、リモート装置において、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報を解析して、少なくとも１人のユーザとの言葉による通信と関連づけられた能動的ユーザ情報を抽出する工程と、リモート装置において、受動的ユーザ情報および能動的ユーザ情報の両方から能動的従事応答を決定する工程とを含む。
【００３４】
一部の実施形態では、本方法は、言葉による通信によって、能動的従事応答が完了したか否かを決定する工程と、能動的従事応答が完了したことが決定されたら、受動的モニタリングモードに移行する工程とを含む。
【００３５】
一部の実施形態では、本方法は、受動的ユーザ情報および能動的ユーザ情報のうちの一方に基づいて、少なくとも１人のユーザとの言葉による通信をリアルタイムで適応させる工程を含む。
【００３６】
一部の実施形態では、言葉による通信を適応させる工程は、受動的ユーザ情報および能動的ユーザ情報のうちの一方において検出された少なくとも１人のユーザの状態の変化に基づいて、少なくとも１人のユーザに対する質問を変更する工程を含む。
【００３７】
一部の実施形態では、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報を解析する工程は、リモート装置において、話し方、イントネーション、少なくとも１人のユーザに関するデータ、少なくとも１人のユーザの環境に関するデータ、少なくとも１人のユーザの環境における音信号、または少なくとも１人のユーザによって生じた音を解析することを含み、キーワードを解析することを含まない。
【００３８】
一部の実施形態では、本方法は、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報を受信して格納する工程と、少なくとも１人の健康管理提供者から決定を受信して格納する工程とを含む。
【００３９】
一部の実施形態では、本方法は、一時的データベースから、少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報を読み出す工程と、決定データベースから、少なくとも１人の健康管理提供者からの決定を読み出す工程と、読み出された情報および決定に基づく機械学習を用いて、少なくとも１人のユーザに関してとられるアクションの精度を高めるためにルールを適応させる工程とを含む。
【００４０】
一部の実施形態では、少なくとも１つの電子装置は、複数の電子装置を含み、少なくとも１人のユーザは、複数の電子装置を用いている複数のユーザを含み、本方法は、複数のユーザの各々および複数のユーザの各々の環境に関する情報を読み出す工程と、少なくとも１人の健康管理提供者からの決定を読み出す工程と、読み出された情報および決定に基づく機械学習を用いて、とられるアクションの精度を高めるためにルールを適応させる工程とを含む。
【００４１】
一部の実施形態では、本方法は、少なくとも１人のユーザ、少なくとも１人のユーザの環境、および少なくとも１人の健康管理提供者からの決定に関連する情報に関するレポートを生成する工程を含む。
【００４２】
更に別の例示的な実施形態において、非一過性のコンピュータ可読媒体は、コンピュータプログラム指示を有形で含み、これらの指示は、プロセッサによって実行された際に、該プロセッサに、１）少なくとも１人のユーザの環境からの音信号、２）少なくとも１人のユーザからの言葉によらない信号、３）ユーザからの言葉による信号、並びに４）（１）、（２）、および（３）の任意の組合せからなる群から選択される少なくとも１つのタイプの信号の形態の入力を受信する工程を行わせる。指示は、更に、プロセッサに、少なくとも１人のユーザの状態を解析し、その後にプロセッサに状態信号を通信するよう構成されたリモート装置に少なくとも１人のユーザおよび少なくとも１人のユーザの環境に関連する情報であって、音信号、言葉によらない信号、および言葉による信号を含む情報を送信する工程と、プロセッサにおいて状態信号を受信する工程とを行わせる。指示は、更に、プロセッサに、プロセッサを受動的モニタリングモード、または少なくとも１人のユーザとの言葉による通信を含むがそれに限定されない能動的従事およびモニタリングモードに従事させる工程とを行わせ、少なくとも１人のユーザが支援を必要としていることを状態信号が示しているときに、電子装置が受動的モニタリングモードから能動的従事およびモニタリングモードに移行するよう構成され、少なくとも１人のユーザがもはや支援を必要としていないことを状態信号が示しているときに、電子装置が能動的従事およびモニタリングモードから受動的モニタリングモードに移行するよう更に構成される。
【００４３】
本開示の上記および他の態様および長所は、以下の説明から明らかになる。以下の説明において、説明の一部をなす添付の図面を参照する。図面には、１以上の例示的なバージョンが説明のために示されている。これらのバージョンは、必ずしも本発明の全範囲を表すものではない。
【図面の簡単な説明】
【００４４】
【図１】本発明の１以上の実施形態による、例示的なバーチャル健康アシスタントおよび医師補システムの簡略化されたブロック図を示す
【図２】本発明の１以上の実施形態による、例示的なバーチャル健康アシスタントシステム、並びにそのハードウェアおよびソフトウェア構成要素の簡略化されたブロック図を示す
【図３】本発明の１以上の実施形態による、バーチャル健康アシスタントシステムの例示的な動作モードを説明する状態図
【図４】本発明の１以上の実施形態による、バーチャル健康アシスタントシステムの例示的な受動的モニタリングモードのステップを説明するフローチャート
【図５】本発明の１以上の実施形態による、バーチャル健康アシスタントシステムの例示的な能動的従事およびモニタリングモードのステップを説明するフローチャート
【図６】本発明の１以上の実施形態による、バーチャル健康アシスタントシステムの例示的な健康管理クエリおよび決定処理、並びに例示的な適応処理を示す模式図
【図７】本発明の１以上の実施形態による、図６の健康管理クエリおよび決定処理の例示的なステップを示す処理図
【図８】本発明の１以上の実施形態による、図６の適応処理の例示的なステップを示す処理図
【図９】本発明の１以上の実施形態による、例示的なバーチャル健康アシスタントおよび医師補システムの簡略化されたブロック図
【図１０】本発明の１以上の実施形態による、バーチャル健康アシスタントシステムの例示的なユーザインターフェースを示す模式図
【図１１】本発明の１以上の実施形態による、続けられている対話を示している、図１０の例示的なユーザインターフェースを示す模式図
【図１２】本発明の１以上の実施形態による、バーチャル健康アシスタントシステムの例示的なユーザインターフェースを示す模式図
【発明を実施するための形態】
【００４５】
本開示は例として示されるものであり、添付の図面に限定するものではない。図面は、単独でまたは組合せにおいて、本開示の１以上の実施形態を示し得る。図面に示されている要素は必ずしも縮尺通りに描かれていない。図面間で、参照ラベルは、対応するまたは類似の要素を示すために繰り返され得る。
【００４６】
本発明の上記または他の態様および長所は、以下の説明から明らかになる。この説明において、説明の一部をなす添付の図面が参照され、図面には、本発明の好ましい実施形態が例示の目的で示されている。しかし、そのような実施形態は、必ずしも本発明の全範囲を表しておらず、従って、本発明の範囲を解釈するためには、特許請求の範囲および本明細書が参照される。
【００４７】
音声および音解析機能、並びにバーチャルパーソナルアシスタント機能を用いて、住宅、医療施設、または他の場所にいる居住者の健康をモニタリングおよび促進するのを補助し得る例示的なシステムおよび方法が開示される。図１を参照すると、本開示の態様による例示的なシステム１００のブロック図が示されている。より詳細に後述するように、システム１００（または本明細書において開示されるシステムのいずれか）は、１以上の装置（例えば、ローカル電子装置またはリモート装置）によって実装され得る。ローカル電子装置とは、ユーザ装置（例えば、患者、健康管理の専門家、または他の任意の個人によって用いられる装置）を指す。リモート装置とは、ローカル電子装置からリモートの装置であって、複数のローカル電子装置の処理、ストレージ、および他の機能の一部を統合し得る装置を指す。
【００４８】
一般的に、システム１００は、１以上の入力１０２、プロセッサ１０４、メモリ１０６、および出力１０８を含み得るものであり、本開示の態様に従って、ユーザが生じた音信号、ユーザの環境で生じている音信号、またはそれらの両方を適応的にモニタリングして解析するステップを行うよう構成され得る。本明細書において用いられる音信号とは、音声信号を含む任意の周波数の任意の音を指す。そのような音は、後述するように、発話、いびき、咳をする、くしゃみ、および様々な他の音信号を含み得る。
【００４９】
システム１００は、入力１０２への有線または無線接続を介した、１以上のデータベース１１０、ストレージサーバ１１２、聴覚システム１１４、ユーザインターフェース１１８、および、一部の実装例ではイメージングシステム１２０へのアクセス、またはそれらとの通信を含み得る。様々な実装例では、システム１００は、指示を実行すると共に入力／出力能力を提供するよう構成された任意のコンピューティング装置、電子デバイス、装置、またはシステムを含み得るものであり、他のコンピューティング装置およびセンサ／検出器（ローカルおよびリモート）の一部として、またはそれらと協働して動作し得る。特定の例では、システム１００は、ポータブルまたはモバイル機器（例えば、スマートフォン、ラップトップ、タブレット等）であり得る。別の実施形態では、システム１００は、上記の機能を有するスタンドアロンの家電であり得る。この点に関して、システム１００は、様々なソフトウェアおよびハードウェアの能力および機能を統合するよう設計されたシステムであってもよく、および／または、自律的に動作可能であってもよい。更に、様々な構成において、図１に示されている構成要素は、複数の別個の構成要素を用いて実装されてもよく、同様に、複数の図示されている構成要素は、１つの構成要素として組み合わされてもよい。
【００５０】
入力１０２は、ユーザからの接触、動作、音声等による様々な音信号、選択、および動作の指示等を受信するための、任意の１以上の異なる入力要素（例えば、マウス、キーボード、タッチパッド、タッチスクリーン、ボタン、マイク、個人追跡装置（例えば、Ｆｉｔｂｉｔまたは他の追跡装置）、他の電子入力等）を含み得る。入力１０２は、様々なデータおよび情報を受け取るための様々なドライブおよびレセプタクル（例えば、フラッシュドライブ、ＵＳＢドライブ、ＣＤ／ＤＶＤドライブ、および他のコンピュータ可読媒体のレセプタクル等）も含み得る。この目的で、入力１０２は、上記および他の外部コンピュータ、システム、デバイス、マシン、メインフレーム、サーバ、またはネットワークとデータおよび情報を交換するための様々な通信ポートおよびモジュール（例えば、イーサネット、Ｂｌｕｅｔｏｏｔｈ、またはＷｉＦｉ等）も含み得る。
【００５１】
プロセッサ１０４は、システム１００を動作させるための様々な工程を行うよう構成されることに加えて、非一過性のコンピュータ可読媒体１１６内のメモリ１０６に格納されている指示を実行するよう構成され得る。プロセッサ１０４によって実行可能な指示は、様々なバーチャル健康アシスタント（ＶＨＡ）システムに対応し得るものであり、その例については後述する。図１では、非一過性のコンピュータ可読媒体１１６はメモリ１０６に含まれるものとして示されているが、それに加えて、またはその代わりに、プロセッサ１０４によって実行可能な指示は、非一過性のコンピュータ可読媒体を有する別のデータ格納場所に格納されてもよい。
【００５２】
幾つかの態様において、プロセッサ１０４は、音信号および／または写真もしくはビデオ信号を受信して処理し、患者の応答、個人追跡装置からの信号、ユーザ事象、仮説信頼性レベル、および他のデータを含む様々な情報を生成するよう構成され得る。幾つかの態様において、プロセッサ１０４は、入力１０２を用いて、イメージングシステム１２０、ユーザインターフェース１１８、聴覚システム１１４、ストレージサーバ１１２、データベース１１０、または他のデータ格納場所格納されているまたはそこから発せされる音信号およびビデオ信号を含む情報およびデータにアクセスし得る。幾つかの態様において、聴覚システム１１４は、ユーザまたはユーザの環境１２２を連続的にまたは周期的に記録するために、例えば、マイクまたは他の音声もしくは音記録装置を用いて、音信号を連続的に取得し得る。幾つかの態様において、イメージングシステム１２０は、例えば、ユーザ１２２を周期的に撮像および／もしくは走査するため、並びに／または連続的に記録するために用いられ得るカメラ、赤外線走査システム、または他の任意の画像キャプチャ装置もしくはビデオ記録装置を用いて、単一の画像または連続的なビデオ信号を取得し得る。
【００５３】
システム１００は、ローカル電子装置のみ、１つのリモート装置および複数のローカル電子装置、複数のリモート装置および複数のローカル電子装置、またはそれらの任意の組合せで構成され得る。
【００５４】
システム１００は、図１に示されている構成要素のうちのいずれか１以上を含む１以上のローカル電子装置を含み得る。例示的な一実施形態において、１以上のローカル電子装置は、聴覚システム１１４、ユーザインターフェース１１８、入力１０２、プロセッサ１０４、出力１０８、メモリ１０６、および非一過性のコンピュータ可読媒体１１６を含み得る。他の実施形態では、１以上のローカル電子装置は、図１に示されている構成要素の全てを含み得る。更に別の実施形態では、１以上のローカル電子装置は、図１に示されている構成要素のうちの任意の数の構成要素を含み得る。各ローカル電子装置が同じ構成要素を含む必要はない。換言すれば、（図１に示されている）構成要素はローカル電子装置毎に様々であり得る。
【００５５】
システム１００は、図１に示されている構成要素のうちのいずれか１以上を含み得る１以上のリモート装置を含み得る。例示的な実施形態において、１以上のリモート装置は、入力１０２、プロセッサ１０４、メモリ１０６、出力１０８、データベース１１０、ストレージサーバ１１２、および非一過性のコンピュータ可読媒体１１６を含み得る。他の実施形態では、１以上のリモート装置は、図１に示されている構成要素のうちの任意の数の構成要素を含み得る。更に、各リモート装置が同じ構成要素を含む必要はなく、構成要素はリモート装置毎に様々であり得る。
【００５６】
明確のために、図１には、各構成要素が１つのみ示されているが、図１の各構成要素は、システム１００内に２以上存在してもよく、これらの構成要素は、リモート装置と１以上のローカル電子装置との間で複製されてもよい。
【００５７】
本発明の実施形態は、本技術の実施形態による方法およびシステムのフローチャート、および／または、コンピュータプログラム製品としても実装され得るアルゴリズム、式、もしくは他の計算表現を参照して説明され得る。この点に関して、フローチャートの各ブロックまたはステップ、フローチャートのブロック（および／またはステップ）の組合せ、アルゴリズム、式、または計算表現は、コンピュータ可読プログラムコード論理において具現化される１以上のコンピュータプログラム指示を含む様々な手段（例えば、ハードウェア、ファームウェア、および／またはソフトウェア等）によって実装され得る。なお、任意のそのようなコンピュータプログラム指示が、図１を参照して説明されるようなシステム１００、並びに、汎用コンピュータもしくは専用コンピュータ、または他のプログラム可能処理装置を含むがそれらに限定されない他の任意のコンピュータにロードされて、コンピュータまたは他のプログラム可能処理装置上で実行されるコンピュータプログラム指示が、フローチャートのブロックにおいて指定されている機能を実装するための手段を生成するようなマシンを生成し得る。
【００５８】
従って、フローチャートのブロック、アルゴリズム、式、または計算表現は、指定されている機能を行うための手段の組合せ、指定されている機能を行うためのステップの組合せ、および指定されている機能を行うためのコンピュータプログラム指示（例えば、コンピュータ可読プログラムコード論理手段において具現化される指示等）をサポートする。また、本明細書に記載されるフローチャートの各ブロック、アルゴリズム、式、または計算表現、およびそれらの組合せは、指定されている機能もしくはステップを行う専用ハードウェアに基づくコンピュータシステム、または専用ハードウェアとコンピュータ可読プログラムコード論理手段との組合せによって実装され得ることも理解されよう。
【００５９】
更に、これらのコンピュータプログラム指示（例えば、コンピュータ可読プログラムコード論理手段において具現化される指示等）は、コンピュータまたは他のプログラム可能処理装置に特定の方法で機能するよう指示可能な非一過性のコンピュータ可読媒体の形態のコンピュータ可読メモリに格納され、コンピュータ可読メモリに格納された指示が、フローチャートのブロックにおいて指定されている機能を実装する指示手段を含む製品を生成し得る。また、コンピュータプログラム指示は、コンピュータまたは他のプログラム可能処理装置にロードされて、コンピュータまたは他のプログラム可能処理装置上において一続きの処理ステップを行わせてコンピュータによって実装される処理を生じ、コンピュータまたは他のプログラム可能処理装置上で実行される指示が、フローチャートのブロック、アルゴリズム、式、または計算表現において指定されている機能を実装するためのステップを設けるようになっている。
【００６０】
更に、本明細書において用いられる「プログラミングム」または「プログラムで実行可能」という用語は、本明細書に記載される機能を行うためにプロセッサによって実行可能な１以上の指示を指すものである。指示は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組合せで具現化され得る。指示は、装置に対してローカルに非一過性の媒体に格納され得るか、例えばサーバ等にリモートで格納され得るか、または、指示の全てもしくは一部がローカルにおよびリモートで格納され得る。リモートで格納された指示は、ユーザによる開始によって、または１以上の要因に基づいて自動的に、装置にダウンロード（プッシュ）され得る。更に、本明細書において用いられるプロセッサ、コンピュータプロセッサ、中央処理装置（「ＣＰＵ」）、およびコンピュータという用語は、指示を実行すると共に入力／出力インターフェースおよび／または周辺機器と通信する機能がある装置を示すために同義で用いられる。
【００６１】
ここで図２を参照すると、例示的なＶＨＡシステム２００のブロック図が示されており、ＶＨＡシステム２００内において行われるステップは、プロセッサ１０４によって実行され得る。例えば、プロセッサ１０４は、詳細を後述するように、入力１０２を介して、ユーザ１２２からの入力データ２０１を受信し得る（これは、次に、図示されているＶＨＡシステム２００を用いてモニタリングされて解析され得る）。図９において最もよくわかるように、ユーザ１２２は、患者、健康管理の専門家、医療技術者、またはＶＨＡモジュール２００とやりとりする他の任意の人であり得る。
【００６２】
なお、構成要素（２０２、２０４、２０６、２０８（２１０、２１２、２１４、２１６、２１８、２２０、２２２、２２４、２２６、および２２８を含む））のうちの任意のものは、より詳細に後述するように、１以上のローカル電子装置および／または１以上のリモート装置によって実装され得る。
【００６３】
なお、以下のＶＨＡシステム２００の説明、および添付の図面は、説明を意図したものであり、限定するものではない。他のＶＨＡシステムは、異なる構成であり得、異なる構成要素またはモジュールを含み得るが、依然として本願に開示される特徴を行うことができる。
【００６４】
図示されるように、ＶＨＡシステム２００は、一時的データベース２０２、決定データベース２０４、解析モジュール２０６、および／またはレポートエンジン２０８を含み得る。一部の実施形態では、一時的データベース２０２、決定データベース２０４、解析モジュール２０６、および／またはレポートエンジン２０８は、ユーザが自宅もしくは医療施設内で用い得る、または健康管理の専門家が自分の職場で用い得るローカル電子装置上で実装され得る。他の実施形態では、一時的データベース２０２、決定データベース２０４、解析モジュール２０６、および／またはレポートエンジン２０８のうちの１以上は、リモート装置上（例えば、図９に見られるように、ＶＨＡモジュールを有するローカル装置とやりとりするＶＨＡクラウド９０２と関連づけられた１以上の装置上）で実装され得る。更に別の実施形態では、電子装置およびリモート装置の両方は、一時的データベース２０２、決定データベース２０４、解析モジュール２０６、および／またはレポートエンジン２０８のうちの１以上を含み得る。例示的な実施形態において、一時的データベース２０２、決定データベース２０４、解析モジュール２０６、およびレポートエンジン２０８はリモート装置上で実装され、電子装置は、より詳細に後述するように、情報および決定をやりとりするために通信する。
【００６５】
図１と同様に、図２のＶＨＡシステム２００は、ローカル電子装置のみ、１つのリモート装置および複数のローカル電子装置、複数のリモート装置および複数のローカル電子装置、またはローカル電子およびリモート装置の任意の組合せで構成され得る。
【００６６】
ＶＨＡシステム２００は、図２に示されている構成要素のうちのいずれか１以上を含み得る１以上のローカル電子装置を含み得る。例示的な実施形態において、１以上のローカル電子装置は、一時的データベース２０２、決定データベース２０４、解析モジュール２０６または解析モジュール２０６の１以上のサブ構成要素、およびレポートエンジン２０８を含み得る。別の実施形態では、１以上のローカル電子装置は、図２の構成要素（要素２０２、２０４、２０６、および２０８）のいずれかを含まなくてもよい。更に別の実施形態では、１以上のローカル電子装置は、レポートエンジン２０８のみを含み得る。更に別の実施形態では、１以上の電子装置は、図２に示されている構成要素のうちの任意の数の構成要素を含み得る。各ローカル電子装置は、同じ構成要素を含む必要はない。換言すれば、（図２に示されている）構成要素は、ローカル電子装置毎に様々であり得る。
【００６７】
ＶＨＡシステム２００は、図２に示されている構成要素のうちのいずれか１以上を含み得る１以上のリモート装置も含み得る。例示的な実施形態において、１以上のリモート装置は、一時的データベース２０２、決定データベース２０４、解析モジュール２０６または解析モジュール２０６の１以上のサブ構成要素、およびレポートエンジン２０８を含み得る。別の例示的な実施形態では、１以上のリモート装置は、一時的データベース２０２、決定データベース２０４、および解析モジュール２０６または解析モジュール２０６の１以上のサブ構成要素を含み得る。更に別の実施形態では、１以上のリモート装置は、図２に示されている構成要素のうちの任意の数の構成要素を含み得る。更に、各リモート装置は、同じ構成要素を含む必要はなく、構成要素はリモート装置毎に様々なであり得る。
【００６８】
明確のために、図２には、各構成要素が１つのみ示されているが、図２の各構成要素は、システム２００内に２以上存在してもよく、これらの構成要素は、リモート装置と１以上のローカル電子装置（解析モジュール２０６のサブ構成要素を含む）との間で複製されてもよい。
【００６９】
再び図２に戻ると、一時的データベース２０２は、患者またはユーザ１２２に関する医療情報または他の任意の関連情報（入ってくる音信号、決定、およびユーザ１２２がとったアクションの全て、並びに、既往歴、家族の病歴、人口統計学的属性情報（例えば、病気、健康状態、運動制限または食事制限等を含む）を含む）を格納し得る。決定データベース２０４は、音信号、決定、およびユーザ１２２がとったアクション、並びにユーザ１２２の既往歴に基づいて健康管理の専門家が行った治療およびやりとりによる決定を格納する。
【００７０】
解析モジュール２０６は、入力１０２から、所定の選択肢リストからのユーザ選択、テキスト入力、音声または音信号、および／またはビデオ信号を含み得る入力データ２０１を受信し得る。更に後述するように、解析モジュール２０６は、一時的データベース２０２に格納されている患者情報と、決定データベース２０４に格納されている対応する決定とを更に受信し得る。
【００７１】
解析モジュール２０６は、ルールエンジン２１０、登録モジュール２１２、個人化モジュール２１４、音声テキスト変換モジュール２１６、話者状態検出モジュール２１８、話者識別モジュール２２０、音響信号処理モジュール２２２、バーチャルパーソナルアシスタント（ＶＰＡ）２２４、テキスト音声変換モジュール２２６、および／またはトレーニングモジュール２２８を含む。
【００７２】
解析モジュール２０６は、ＶＨＡシステム２００の残りの部分と共に、ルールエンジン２１０によって支配される。ルールエンジン２１０は、システムの挙動を集合的に定義する複数のルールを含む。ルールは、典型的には、叙述テスト（predicate test）の形態（例えば、「If条件thenアクション」）であり、明示的なテスト（例えば、「温度＞１０１」）またはファジーテスト（例えば、「呼吸が速い」）を用いて条件がテストされ得る。ルールは、標準的技法に基づいて予め定義され得るものであり、既存のルールが、必要なテストをサポートしていない場合には、健康管理の専門家または他のユーザによって新たなルールが追加され得る。条件が満たされている場合には、ルールエンジンは、１以上のアクションをトリガし得る。幾つかの例では、アクションは、ユーザに対するクエリであり得る（例えば、「何度も咳をしているようですね。あなたの担当医に通知しましょうか？」）。ルールエンジン２１０は、一時的データベース２０２内のデータを継続的にモニタリングして、特定の条件が満たされたときに、対応するアクションをとる。
【００７３】
ルールエンジン２１０によって定義されるシステムの挙動は、（ｉ）任意の所与の時間にＶＨＡシステム２００が受動的にモニタリングする音信号のタイプ、（ｉｉ）受動的に検出された音信号が、どのように能動的従事をトリガし得るが（例えば、３０分間以内に咳を５回検出したら、咳に関する更なる情報を取得するための対話をトリガし得る）、（ｉｉｉ）予めスケジュールされたやりとりのために、いつどのようにユーザ１２２に従事するか（例えば、ユーザ１２２は週に３回、自分が日常生活の活動を行うための能力に関連する対話に参加し得る）、（ｉｖ）能動的従事によって収集される情報が、フォローアップモニタリングにどのように影響するか（例えば、システムは、疲労を検出して、疲労に関する対話に従事した後、寝不足、いびき、長時間の身体活動等を示す音信号をモニタリングするよう切り替わる）を含み得る。
【００７４】
従って、ルールエンジン２１０は、ＶＨＡシステム２００の機能を制御する。挙動を定義するルールは、看護師、健康管理の専門家、もしくは他の人の慣行、またはユーザ１２２に対して具体的に必要なカスタマイズされた介護に基づいて、ユーザインターフェース１１８を介して手動で指定され得る。上記に示したように、ＶＨＡシステム２００は、ＶＨＡシステム２００によって以前に収集された情報に基づいて、予め定義された方法でルールを適応／調節し得る。ルールを定義するためのユーザインターフェース１１８は、複数の予め定義された選択肢の中の特定のルールのアクティブ化を可能にするグラフィカルインターフェース、または（言葉および／またはテキストによる）自然言語インターフェースを含み得る。
【００７５】
詳細を後述するように、ルールエンジン２１０は、ユーザ１２２によって行われる手動調節を用いて、または、トレーニングモジュール２２８によって機械学習（「ＭＬ」）に基づいて行われる自律的調節を介して、適応および更新され得る。
【００７６】
ＶＨＡシステム２００が開始されたら、ユーザ１２２は、登録モジュール２１２を用いてプロフィールを開始し、個人化モジュールを用いて、ユーザ１２２の好みに合わせてＶＨＡシステム２００を構成し得る。
【００７７】
ユーザ１２２は、登録モジュール２１２を用いてＶＨＡシステム２００に登録でき、ユーザ１２２または介護者、健康管理の専門家、もしくは他の人が、ユーザ１２２についてモニタリングが必要な音信号のタイプを定義し得る。登録モジュール２１２は、一般的に、ユーザ１２２から聴覚サンプルを受信し、この聴覚サンプルは、一実施形態において、同じ環境にいる複数の人々からターゲットユーザ１２２を識別するために、話者識別モジュール２２０と共に用いられ得る。
【００７８】
更に、ＶＨＡシステム２００がイメージングシステム１２０を備えている場合には、登録モジュール２１２は、他の生体署名（例えば、赤外線シグネチャー等）を用いて、または、ビデオモニタリングが受け入れ可能な選択肢である場合には顔画像を用いて、ユーザ１２２を登録するためにも用いられ得る。
【００７９】
幾つかの例では、ユーザ１２２が特定のタイプの識別（例えば、声認識、顔認識等）に元々登録しておらず、ルールエンジン２１０がそのタイプの識別を必要とするように設定または更新された場合には、ユーザ１２２は、そのタイプの識別に登録または再登録するよう求められ得る。
【００８０】
幾つかの例では、入力データ２０１は、ユーザ１２２による発話（例えば、話された言葉、低いうなり声、ため息等）および周囲の音状態または周囲の音信号の両方を含み得る連続的な音信号の形態である。音信号は、音声テキスト変換モジュール２１６、話者状態検出モジュール２１８、話者識別モジュール２２０、および音信号処理モジュール２２２を用いて連続的に解析され得る。音声テキスト変換モジュール２１６は、音信号に含まれているユーザ１２２によって話された発話（あれば）を、対応するテキストデータに変換する。話者状態検出モジュール２１８は、ユーザ１２２によって話された発話（あれば）と関連づけられている音声を解析して、ユーザ１２２の状態を決定する。例えば、ユーザ１２２の状態は、疲れている、機嫌が良い、退屈している、悲しんでいる、怒っている、またはＶＨＡシステム２００によってモニタリングされるよう構成された他の任意の状態のうちの１以上であり得る。話者識別モジュール２２０は、ユーザ１２２によって話された発話（あれば）と関連づけられている音信号を解析し、確率を関連づけてユーザ１２２を識別する。音信号処理モジュール２２２は、音信号を解析して、あり得る原因を識別する。例えば、音信号処理モジュール２２２は、咳、咳エポック（例えば、１以上の期間に何度かの咳）、あくび、転倒、扉を叩く音、聴こえる喘鳴、嗄声、失語、構音障害、吸気性喘鳴、言葉の繰り返し、抑鬱症、精神錯乱、躁病、またはＶＨＡシステム２００によってモニタリングされるよう構成された他の任意の音信号を識別し得る。
【００８１】
入力データ２０１が解析された後、ＶＰＡ２２４を用いて、解析モジュール２０６とユーザ１２２との間のやりとりが管理され得る。この管理は、ＶＰＡ２２４が、テキストデータ、ユーザ１２２の状態、ユーザ１２２の識別情報、観察された音信号、および／または解析モジュール２０６によって受信された他の任意の入力データ２０１、並びに決定データベース２０４および一時的データベース２０２から読み出された情報を、ルールエンジン２１０に適用して、ユーザとの適切なやりとりまたは対話（これはテキストデータの形態であり得る）を決定することを含み得る。
【００８２】
ＶＰＡ２２４が適切な応答を決定したら、ＶＰＡ２２４は、テキストデータをテキスト音声変換モジュール２２６に適用し得る。テキスト音声変換モジュール２２６は、テキストデータを音声に変換し、これが出力１０８を介してユーザ１２２に対して出力される。出力１０８は、スピーカーまたは他の音声もしくは音発生装置であり得る。
【００８３】
解析モジュール２０６は、周期的に、またはユーザコマンドの結果として、レポートエンジン２０８にレポートを生成するよう指示し得る（詳細は後述する）。
【００８４】
上記においてＶＨＡシステム２００の一般的なレイアウトを説明したが、ここで、例示的な動作モードについて説明する。以下の説明は、限定する意図は無いことを理解されたい。
【００８５】
ここで図３を参照すると、ＶＨＡシステム２００の例示的な動作方法を示す状態図３００が示されている。図示されるように、ＶＨＡシステム２００は、受動的モニタリングモード３０２および能動的従事およびモニタリングモード３０４で動作し得る。受動的モニタリングモード３０２では、ＶＨＡシステム２００は、ユーザ１２２の環境における音信号またはユーザ１２２自身からの音信号をモニタリングするが、ユーザ１２２と直接やりとりしない。従って、受動的モニタリングモード３０２は、様々な音信号を検出して、検出された様々な音信号に基づく推論を行うために用いられ得る。音信号は、ユーザまたは他の人が発したまたは生じさせた音、または背景において生じている音（例えば、物体が倒れた音等）を含み得る。
【００８６】
幾つかの例では、動作は、観察された音信号およびモニタリングされているユーザ１２２とのやりとりに基づく様々なトリガ事象３０６、３０６’、３０６”の結果として、受動的モニタリングモード３０２から能動的従事およびモニタリングモード３０４へと切り替わり得る。例えば、幾つかの例では、トリガ事象は、ＶＨＡシステム２００によって検出された様々な騒音に関するものであり得、ユーザ１２２が助けを必要としているか否かを検証するために、能動的従事およびモニタリングモード３０４へと切り替わる。他の幾つかの例では、トリガ事象は、ＶＨＡシステム２００が発話を検出しているが話者を認識していない場合に検出された、未知の話者に関するものであり得る。幾つかの例では、未知の話者のトリガ事象は、例えば、パーティーの場合における行き過ぎを回避するために、選択的にオン／オフされ得る。トリガ事象は、（例えば、ユーザによるシステムへの直接通信の一部としての）ユーザによって話された言葉に対応しない音信号キューであり得るが、ユーザによって言葉がどのように話されているか（例えば、ユーザが特にゆっくりと話しているか、言葉を繰り返しているか、または言葉が不明瞭か、痛みを感じているように聞こえるか等）に対応してもよい。なお、これらの例は、ＶＨＡシステム２００の能力および動作を説明するものであり、限定することは意図せず、他の任意の適切な音信号が選択的にモニタリングされ得る。
【００８７】
更に、動作は、スケジュールされたやりとりの移行３０７の結果として、受動的モニタリングモード３０２から能動的従事およびモニタリングモード３０４へと切り替わり得る。動作が能動的従事およびモニタリングモード３０４へと切り替わったら、ＶＨＡシステム２００は、能動的従事、即ちユーザ１２２との対話を開始し得る。能動的従事およびモニタリングモード３０４において、ＶＨＡシステム２００は、例えば、ユーザおよびユーザの環境からの音信号等のデータの収集を続ける。更に、ＶＨＡシステム２００は、ユーザ１２２からのデータを収集することにより、患者との通信を介して受動的患者情報を検証および拡張し、生成されるレポートに対する信頼性を高める。ＶＨＡシステム２００がユーザ１２２とのやりとりまたは従事を終了したら、従事完了時の移行３０８が生じ、従事が完了したら、ＶＨＡシステム２００は受動的モニタリングモード３０２に戻る。
【００８８】
ここで特に図４を参照すると、動作の受動的モニタリングモードを示すフローチャート４００が示されている。ステップ４０２において、ＶＨＡシステム２００は、受動的モニタリングモード３０２に入り得る。受動的モニタリングモード３０２に入った後、ＶＨＡシステム２００は、ステップ４０４において、その環境における音信号のモニタリングを開始し得る。ステップ４０４において音信号をモニタリングしている間、ＶＨＡシステム２００は、様々な音信号をモニタリングすると共に、スケジュールされたやりとりをチェックするよう予め設定される。
【００８９】
受動的モニタリングモード３０２においてモニタリングされ得る音信号としては、例えば、咳、いびき、くしゃみ、火災警報、流れる水、ガラスが割れる音、扉を叩く音、その音響環境における未知の（および許可されていない可能性のある）話者、長い沈黙、ユーザ１２２の独り言、疲労を示唆する音、犬の吠え声、騒音（転倒、品物の落下、またはモニタリングが所望される他の任意の音信号に対応し得る）が挙げられる。各音信号は、（特定の信頼性レベルで）音信号を識別するのを補助し得る音シグネチャー／パターン／「フィンガープリント」を有し得る。従って、一般的な健康評価で用いられる情報を提供することに加えて、例えば、住宅の居住者の安全および安心を推論するために、危険の可能性および／または家の中にいる聞き慣れない話者のようなリスクが高い状況を示し得る特異なまたは予期せぬ音信号を検出することによる、家の音環境の受動的モニタリングが用いられ得る。
【００９０】
ＶＨＡシステム２００がチェックし得るスケジュールされたやりとりとしては、例えば、毎日の服薬のためのリマインダー、周期的な健康質問票の開始、記憶力テスト、またはユーザ１２２との他の任意の可能なスケジュールされたやりとりが挙げられる。
【００９１】
図示されるように、フローチャート４００は、１番目〜ｎ番目の音信号についての様々なフローパスを示す。１番目、２番目、およびｎ番目の音信号についての１番目のフローパス、２番目のフローパス、およびｎ番目のフローパスが示されており、省略符号４０６は、ＶＨＡシステム２００が、ユーザ１２２によって規定される同様のフローパスを辿る任意の数の音信号をモニタリングするよう構成され得ることを示すために含まれている。更に、これらのフローパスは略同様であるので、以下の１番目のフローパスの説明は、２番目〜ｎ番目のフローパスにも関する。更に、２番目のフローパスにおけるステップは、ダッシュ記号のシリーズで同様にラベリングされ（例えば、ステップ４０８およびステップ４０８’）、ｎ番目のフローパスにおけるステップも、ダブルダッシュ記号のシリーズで同様にラベリングされる（例えば、ステップ４０８および４０８”）。以下のフローパスの説明は、一例を提供することを意図したものであり、限定する意図は無いことを理解されたい。
【００９２】
ステップ４０４において音信号をモニタリング中に、ＶＨＡシステム２００は、ステップ４０８において、１番目の音信号が検出されたか否かを決定し得る。１番目の音信号は、先に述べたあり得る音信号のいずれかであり得る。ステップ４０８において、１番目の音信号が検出されていないことが決定されたら、ＶＨＡシステム２００は、ステップ４０４における音信号のモニタリングに戻り得る。ステップ４０８において、１番目の音信号が検出されていることが決定されたら、ＶＨＡシステム２００は、ステップ４１０において、１番目の音信号カウンターを更新し得る。１番目の音信号カウンターは、１番目の音信号が検出された回数および所与の期間にわたって１番目の音信号が検出された頻度を記録するために用いられ得る。次に、この情報は一時的データベース２０２に格納され、後述するように、ルールエンジン２１０を適応または更新するために、ＶＨＡシステム２００またはユーザ１２２によって選択的に用いられ得る。
【００９３】
ステップ４１０において１番目の音信号カウンターを更新した後、ＶＨＡシステム２００は、ステップ４１２において、１番目の音信号基準が満たされているか否かを決定し得る。音信号基準は、例えば、頻度または他の条件もしくは基準を示すものであり得る。なお、１番目の音信号基準は、後述するように、ユーザ１２２またはルールエンジン２１０の自律的適応に基づいて、ルールエンジン２１０によって周期的に設定および再設定され得る。
【００９４】
ステップ４１２において、１番目の音信号基準が満たされていないことが決定されたら、ＶＨＡシステム２００は、ステップ４０４における音信号のモニタリングに戻り得る。ステップ４１２において、１番目の音信号基準が満たされていることが決定されたら、ＶＨＡシステム２００は、ステップ４１４において、１番目のトリガ事象３０６をアクティブ化し得る。ステップ４１４において１番目のトリガ事象３０６がアクティブ化されると、ステップ４１６において、ＶＨＡシステム２００は能動的従事およびモニタリングモードに移行する。
【００９５】
更に、ステップ４０４における音信号のモニタリング中、ＶＨＡシステム２００は、ステップ４１８において、スケジュールされたやりとりの予定があるか否かを決定し得る。ステップ４１８において、スケジュールされたやりとりの予定がないことが決定されたら、ＶＨＡシステム２００は、ステップ４０４における音信号のモニタリングに戻り得る。ステップ４１８において、スケジュールされたやりとりの予定があることが決定されたら、ＶＨＡシステム２００は、ステップ４２０において、スケジュールされたやりとりの移行３０７をアクティブ化し得る。ステップ４２０において、スケジュールされたやりとりの移行３０７がアクティブ化されたら、ＶＨＡシステム２００は、能動的従事およびモニタリングモード３０４に移行する。
【００９６】
なお、受動的モニタリングモード３０２における動作を通して、１番目〜ｎ番目の音信号の各々についての上述の各ステップ、並びに、スケジュールされたやりとりにおいて、ＶＨＡシステム２００は、解析モジュール２０６からデータを収集して、そのデータを、詳細を後述するようにルールエンジン２１０の適応において用いられるように、一時的データベース２０２に格納し得る。特定の実装例では、受動的モニタリングモード３０２において、ＶＨＡシステム２００は、予め定義された対象の音信号のみをモニタリングして、入力データ２０１の全てを格納／保存することはせずに、ユーザのプライバシーを保つようにしてもよい。例えば、受動的モニタリングにおいて、ＶＨＡシステム２００は、音のストリーム中の咳の識別に関するデータを収集し得る。この場合には、ＶＨＡシステム２００は、入力データ２０１中の医療的に関連性がない他の音信号（例えば、特定の言葉、笑い声等）を無視し得る。
【００９７】
一般的に、ＶＨＡシステム２００は、検出された音信号を確認するため、および／または、検出された音信号を更なる情報で拡張するための努力の一環として、ユーザ１２２との対話に従事するために、受動的モニタリングモード３０２から能動的従事およびモニタリングモード３０４へと切り替わる。このＶＨＡシステム２００による確認は、後述するように、ＶＨＡシステム２００がアクションをとるべきであることを確認すると共に、ＶＨＡシステム２００の適応を通した自己較正または自己トレーニングを補助する。
【００９８】
ここで特に図５を参照すると、動作の能動的従事およびモニタリングモードを示すフローチャート５００が示されている。ステップ５０２において、ＶＨＡシステム２００は能動的従事およびモニタリングモード３０４に入り得る。ステップ５０２において能動的従事およびモニタリングモード３０４に入った後、ＶＨＡシステム２００は、ステップ５０４において、様々なトリガ事象およびスケジュールされたやりとりをチェックし得る。
【００９９】
図示されるように、フローチャート５００は、フローチャート４００と同様に、１番目〜ｎ番目のトリガ事象についての様々なフローパスを示す。１番目、２番目、およびｎ番目のトリガ事象についての１番目のフローパス、２番目のフローパス、およびｎ番目のフローパスが示されており、省略符号５０６は、ＶＨＡシステム２００が、ユーザ１２２によって規定される同様のフローパスを辿る任意の数のトリガ事象に対する応答において、ユーザ１２２に能動的に従事するよう構成され得ることを示すために含まれている。更に、これらの各フローパスは略同様であるので、以下の１番目のフローパスの説明は、２番目〜ｎ番目のフローパスにも関する。更に、２番目のフローパスにおけるステップは、ダッシュ記号のシリーズで同様にラベリングされ（例えば、ステップ５０８およびステップ５０８’）、ｎ番目のフローパスにおけるステップも、ダブルダッシュ記号のシリーズで同様にラベリングされる（例えば、ステップ５０８および５０８”）。以下のフローパスの説明は、一例を提供することを意図したものであり、限定する意図は無いことを理解されたい。
【０１００】
ステップ５０４においてトリガ事象をチェック中に、ＶＨＡシステム２００は、ステップ５０８において、１番目のトリガ事象がアクティブ化されているか否かを決定し得る。ステップ５０８において、１番目のトリガ事象がアクティブ化されていないことが決定されたら、ＶＨＡシステム２００は、ステップ５０４における残りのトリガ事象のチェックに戻り得る。ステップ５０８において、１番目のトリガ事象がアクティブ化されていることが決定されたら、ＶＨＡシステム２００は、ステップ５１０において、ユーザ１２２との１番目のトリガ事象の対話を行い得る。例えば、幾つかの例では、１番目のトリガ事象は、咳が検出され、咳の閾値基準を満たしているまたは超えていることを示す。これらの例では、１番目のトリガ事象の対話は、検出された咳を確認して、ユーザ１２２から咳の状態に関連する更なる情報を収集するためのフォローアップに向けられ得る。この情報は、一時的データベース２０２に格納され、後述するように、ルールエンジン２１０を手動でまたは自律的に適応させるために用いられ得る。
【０１０１】
ステップ５０４において、トリガ事象およびスケジュールされたやりとりをチェックしている間、ＶＨＡシステム２００は、ステップ５１２において、スケジュールされたやりとりの移行がアクティブ化されているか否かを決定し得る。同様に、ステップ５１２において、スケジュールされたやりとりの移行がアクティブ化されてないことが決定されたら、ＶＨＡシステム２００は、ステップ５０４における残りのトリガ事象のチェックに戻り得る。ステップ５１２において、スケジュールされたやりとりの移行がアクティブ化されていることが決定されたら、ＶＨＡシステム２００は、ステップ５１４において、スケジュールされたやりとりの対話を行い得る。
【０１０２】
幾つかの例では、スケジュールされたやりとりの対話は、（特定の音信号に対応する）様々な予めスケジュールされた事象に関するものであり得る。例えば、対話は、日常生活の活動（例えば、食習慣等）についての質問票、または認知評価テストの施行を含み得る。他の幾つかの例では、スケジュールされたやりとりの対話は、周期的なリマインダーのやりとりに関するものであり得る。例えば、対話は、毎日の、毎週の、または毎月の服薬リマインダーを含み得る。
【０１０３】
トリガ事象および／またはスケジュールされたやりとりの移行のいずれかに関する様々な対話のいずれかを行った後、ＶＨＡシステム２００は、ステップ５１６において、トリアージのための対話が必要であるか否かを決定し得る。ＶＨＡシステム２００は、ユーザ１２２によって提供された応答を（単独で、または他の音響データもしくは他のデータと組み合わせて）解釈することによって、トリアージのための対話が必要であることを決定し、ルールエンジン２１０によって提供されるルールに基づいて、その応答が、介護者（または他のシステム）に通知を送信することを必要とするか否かに関する決定を行う。ステップ５１６において、トリアージのための対話が必要ないことが決定されたら、ＶＨＡシステム２００は、ステップ５０４における残りのトリガ事象およびスケジュールされたやりとりのチェックに戻り得る。
【０１０４】
ステップ５１６において、トリアージのための対話が必要であることが決定されたら、ＶＨＡシステム２００は、ステップ５１８において、トリアージのための対話を行い得る。ステップ５１８において、トリアージのための対話を行った後、ＶＨＡシステム２００は、ステップ５２０において、介護者に通知する必要があるか否かを決定し得る。ステップ５２０において、介護者に通知する必要があることが決定されたら、ステップ５２２において、ＶＨＡシステム２００は介護者に通知を送信し得る。ステップ５２０において、介護者に通知する必要がないことが決定されたら、ＶＨＡシステムは、残りのトリガ事象およびスケジュールされたやりとりのチェックに戻り得る。
【０１０５】
例えば、上記で示した咳の例に対する応答では、ステップ５１８におけるトリアージのための対話中、ＶＨＡシステム２００はユーザ１２２に、例えば「何日も咳をしていて、発熱がありますね。あなたの担当医に知らせたいのですが、構いませんか？」等の質問をし得る。この例では、ＶＨＡシステム２００が介護者に通知することについて、ユーザ１２２が構わない旨の返事をした場合には（または、何か困ったことがあることを示唆し得る、返事をしない場合には）、ＶＨＡシステム２００は、ステップ５２０において、介護者に通知する必要があることを決定し得るものであり、更に、ステップ５２２において、介護者に通知を送信し得る。或いは、ユーザ１２２が、介護者に通知しないべきである旨の返事をした場合には、ＶＨＡシステム２００は、ステップ５２０において、介護者に通知する必要がないことを決定し、ＶＨＡシステム２００は、残りのトリガ事象およびスケジュールされたやりとりのチェックに戻り得る。ステップ５１４またはステップ５１８における（それぞれ矢印５２４、５２６で示されている）やりとりまたはトリアージのための対話中、ＶＨＡシステム２００によって、別の問題があることが決定された場合には、ＶＨＡシステム２００はステップ５０８、５０８’、５０８”に戻り、１番目、２番目、およびｎ番目のトリガ事象がアクティブ化されているか否かを決定し得る。この状況では、ＶＨＡシステム２００は、上述のように、図５のフローパスを通って進む。
【０１０６】
幾つかの例では、能動的従事およびモニタリングモードを用いて施行される質問票は、ユーザ１２２が日常生活の活動（ＡＤＬ）を行う能力、栄養、可動性、および社会的なやりとりを定期的に評価し得る。また、能動的従事およびモニタリングモードは、認知低下についての疾病重症度測定手段（例えば、Western Aphasia Battery（ＷＡＢ）およびミニメンタルステート評価（ＭＭＳＥ）等）も施行し得る。
【０１０７】
図６を参照すると、健康管理の専門家６０４によって開始される例示的な健康管理クエリおよび決定処理６０２と、機械学習トレーナー６０８によって開始される例示的な適応処理６０６とに関する、ＶＨＡシステム２００の様々な構成要素を示す模式図６００が提供されている。なお、これらの処理は、ＶＨＡシステム２００の機能の例として提供されるものであり、限定することは意図しない。図７を参照すると、健康管理クエリおよび決定処理６０２の処理図７００が提供されている。図示されるように、健康管理の専門家６０４は、ステップ７０２において、レポートエンジン２０８からの健康レポートを要求することによって、処理を開始し得る。次に、ステップ７０４において、レポートエンジン２０８は、一時的データベース２０２からユーザ１２２に関するデータを読み出す。次に、ステップ７０６において、レポートエンジン２０８は、そのデータを用いてレポートを生成する。
【０１０８】
レポートは、典型的には、少なくとも何らかの能動的従事が行われた後に要求されて生成される。更に、レポートは、典型的には、人間が読める形態で、またはデータ交換形式（例えば、ＪＳＯＮ、ＸＭＬ、専用バイナリ等）で提供され、能動的従事中にユーザ１２２によって提供された応答から取得された能動的患者情報およびユーザ１２２の受動的モニタリング中に取得された受動的患者情報の両方を含むユーザ１２２からの入力データ２０１を要約したものである。しかし、図示されている処理６０２は、健康レポートを要求する健康管理の専門家６０４を含んでいるが、受動的モニタリング中に取得された受動的患者情報を含むレポートは、収集された音信号および／またはトリガ事象（例えば、咳エポックのタイプ、持続時間、および頻度）の統計を集計して定期的に（例えば、１日に２回）生成されて、要求に応じて届られてもよい。
【０１０９】
ＶＨＡシステム２００は、更に、様々な方法で生成されるレポートのタイプを決定し得るする。例えば、（ｉ）健康管理の専門家６０４が、生成されるレポートのタイプを指定し、更に、レポートに含まれる収集された情報および統計を指定してもよく、（ｉｉ）ユーザ１２２が、生成されるレポートのタイプ（他の人（例えば家族）またはユーザ自身に対してどの情報が示されるべきかを含む）を指定してもよく、（ｉｉｉ）ＶＨＡシステム２００が、先例に基づいて、後述するようにトレーニングモジュール２２８およびルールエンジン２１０によって実行される機械学習アルゴリズムおよび内部ルールを介して、どの種類のレポートが生成されるべきかについての決定を行ってもよい。一例として、医師用であることが意図されたレポートは、ユーザ用またはユーザの親戚用であることが意図されたレポートとは異なる書式であり得、異なる情報を含み得る。最後のケースでは、レポートが生成される前に、対象者または介護者によってレポートの内容が確認され得る（対象者または介護者がその選択肢を放棄していない限り）。
【０１１０】
ステップ７０６においてレポートが生成された後、ステップ７０８において、レポートは健康管理の専門家６０４に返される。次に、ステップ７１０において、健康管理の専門家６０４はレポートを検討し、ステップ７１２において、レポートに基づく決定を行う。次に、ステップ７１４において、この決定、およびそれに対応するデータは、決定データベース２０４および一時的データベース２０２に格納され得る。決定データベース２０４および一時的データベース２０２は、決定および健康管理の専門家６０４がそれらの決定を行うに至った対応するデータの記録を長期にわって保持し得る。次に、これらのデータベース２０２、２０４は、後述する適応処理６０６によってルールエンジン２１０を更新するための基礎として用いられ得る。
【０１１１】
ここで図８を参照すると、適応処理６０６の処理図８００が提供されている。図示されるように、機械学習（ＭＬ）トレーナー６０８が処理を開始する。幾つかの例では、機械学習トレーナー６０８は、ステップ８０２においてトレーニングを開始する技術者であり得る。他の例では、機械学習トレーナー６０８は自動的に開始され得る。幾つかの例では、ＶＨＡシステム２００は、自動的におよび／または周期的にトレーニングを開始するようプログラムされ得る。例えば、他の幾つかの例では、ＶＨＡシステム２００は、技術者による開始を必要とせずに、周期的なスケジュール（例えば、毎日２回、または音信号および／もしくはトリガ事象の後の特定の時間以内）に基づいて自動的に、または、ユーザ１２２とのやりとりに基づいて、トレーニングを開始するようプログラムされ得る。ステップ８０２においてトレーニングが開始されたら、トレーニングモジュール２２８は、ステップ８０４において、決定データベース２０４からのデータおよび一時的データベース２０２からの対応する患者データの両方を読み出す。次に、トレーニングモジュール２２８は、決定データベース２０４および一時的データベース２０２から読み出されたデータを用いて、新たなルールを導出し、既存のルールを修正または消去する。従って、幾つかの例では、トレーニングモジュール２２８は、ＶＨＡシステム２００によって取得された受動的および能動的患者データと、健康管理の専門家６０４が行った対応する決定とに基づいて、新たなルールを立案し、および／または、既存のルールを修正または消去する。幾つかの例では、ＭＬトレーナー６０８によって適応処理６０６が開始されたものである場合、トレーニングモジュール２２８は、ステップ８０８において、修正されたルールを、検討のためにＭＬトレーナー６０８に送信し得る。修正されたルールが検討された後、ステップ８１０において、それらはルールエンジン２１０にロードされ得る。適応処理６０６がＭＬトレーナー６０８によって開始されたものではない場合には、修正されたルールは、検討されずにルールエンジン２１０にロードされてもよく、この場合、図８に示されているように、フローはステップ８０６から直接ステップ８１０へと進む。
【０１１２】
他の幾つかの例では、上述の適応処理６０６は、能動的従事およびモニタリングモード３０４がユーザ１２２からの入力データ２０１を収集する際に、一時的データベース２０２から読み出されたユーザ１２２からの以前の応答に基づいて能動的従事およびモニタリングモード３０４を適応させるために用いられ得る。例えば、咳に関する能動的従事は、典型的には、アレルギーに関する情報も要求し得る。しかし、システムが、その情報を以前に、くしゃみに関するやりとりに従事していた間に収集していた場合には、ルールエンジン２１０は、適応処理６０６を通して修正されたルールを受信しており、それにより、対話のその部分を再び繰り返す理由が無いので、咳に関する対話を適応させる。適応処理６０６の別の例は、やりとりのスタイルを適応させることを含み得る。例えば、最近のやりとりにおいて疲労が検出されている場合には、ルールエンジン２１０は、別のトリガ事象が検出された際に質問を減らして、ユーザ１２２に休養するよう促すことを試みることを目的とした、修正されたルールを受信している。
【０１１３】
更に別の例では、トリガ事象がＶＨＡシステム２００を能動的従事およびモニタリングモード３０４へと移行させたときには常に、ＶＨＡシステム２００は適応処理６０６を受け得る。これらの例では、適応処理６０６は、ＶＨＡシステム２００に、連続的に解析される検出信号およびユーザ１２２とのやりとりに基づいて、ＶＨＡシステム２００の応答およびアクションを適応させ得る。例えば、「咳が多過ぎる」ルールがトリガされた場合には、ＶＨＡシステム２００は、例えば、「何度も咳をしているようですね。少し質問をしても構いませんか？」と尋ねることにより、そのトリガについて調べ得る。ユーザ１２２が「１時間後に質問してください」と応答した場合には、ＶＨＡシステム２００は、１時間待機してから、ユーザ１２２との能動的従事に戻るよう切り替わることによって、適応する。同様に、ＶＨＡシステム２００が、咳に基づいて幾つかの質問をし、ユーザ１２２に広範囲にわたる胸部の痛みがあることを学習した場合には、ＶＨＡシステム２００は、心臓発作の可能性に関連する質問またはテストに切り替わる。即ち、ＶＨＡシステム２００は、ユーザ１２２からの入力データ２０１に対して、ＶＨＡシステム２００のクエリおよび応答を適応させる。
【０１１４】
他の例では、ＶＨＡシステム２００は、適応処理６０６を用いて、受動的モニタリングモード３０２および能動的従事およびモニタリングモード３０４の両方におけるＶＨＡシステム２００の感度を、例えば、危機的状況に関する誤検出のトリガ事象が増えるように修正し得る。
【０１１５】
他の幾つかの例では、ＶＨＡシステム２００は、音信号をモニタリングして、例えば咳または咳エポック等のトリガ事象を検出するだけでなく、同じタイプの検出された音信号を入力音信号の特性に基づいて区別するために適応的に学習するために、適応６０６を用い得る。適応処理６０６は、受動的モニタリングモード３０２において、どの音信号がモニタリングされるかを決定するためにも用いられ得る。例えば、日中のユーザ１２２とのやりとりにおいて疲労が検出された場合には、受動的モニタリングモード３０２は、睡眠の質が悪いことを示す様々なもの（例えば、いびき、睡眠時無呼吸、または他の任意の適切な睡眠特性等）をモニタリングするよう適応され得る。
【０１１６】
ここで図９を参照すると、本発明による別のＶＨＡシステム９００が提供されている。ＶＨＡシステム９００は、ＶＨＡリモートストレージおよび処理設備、即ちＶＨＡクラウド９０２（これはリモート装置として参照され得る）を含む。ＶＨＡクラウド９０２は、データを格納し、入ってくる情報を処理し、レポートを生成し、（例えば、リモートサーバ上において）ルール修正ソフトウェアをホスティング可能な「クラウドベースの」コンピューティングリソースである。ＶＨＡクラウド９０２は、１以上の在宅ＶＨＡモジュール９０４、モバイルＶＨＡモジュール９０６、および健康管理ＶＨＡモジュール９０８（これはローカル電子装置として参照され得る）を可能にする。様々な各ＶＨＡモジュール９０４、９０６、９０８ｓは、異なる環境に合わせたものであるが、一般的に、上述のＶＨＡシステム２００の構成要素と同様であり得る、および／または、それらの全てまたは一部を有し得る。在宅ＶＨＡモジュール９０４は、様々なユーザの住宅内に配置される。在宅ＶＨＡモジュール９０４は、ＶＨＡシステム２００を参照して上述したように、環境をモニタリングし、音信号をモニタリングし、トリガ事象を検出し、ユーザとやりとりする。１つの住宅内に１セット以上の在宅ＶＨＡモジュール９０４が存在してもよく、在宅ＶＨＡモジュール９０４を含む多くの異なる住宅が、ＶＨＡクラウド９０２とやりとりし得る。なお、このシステムは、特定のユーザとのやりとりからだけでなく、他の場所にいる他のユーザとのやりとりからも学習し得る。例えば、システムが、特定の音シグネチャーが、特定のタイプの床に倒れた特定の物体、または特定の方法で転倒したユーザと関連づけられていることを学習した場合には、そのパターンが、他のユーザのモニタリングで用いられるために共有され得る。また、ユーザが許可した場合、ユーザの住宅への侵入者であることが疑われる声が、法の執行によって捜索されている人（または別様で、例えば拘束命令に起因して、許可されていない人）の声（入手可能な場合）と比較され得る（例えば、捜索されている人がユーザの住宅の近くにいると思われるときに（そして、声が一致した場合には、法の執行が自動的に通知され得る））。
【０１１７】
従って、様々なモジュール９０４、９０６、９０８の決定データベースおよび一時的データベースは、手動でまたは自動的にＶＨＡクラウド９０２にアップロードまたは送信されて、ユニバーサル決定データベースおよびユニバーサル一時的データベースを構成し得る。次に、様々な各モジュール９０４、９０６、９０８は、ユニバーサル決定データベースおよびユニバーサル一時的データベースから情報を選択的に読み出し得る。従って、いずれかのＶＨＡモジュール９０４、９０６、９０８によって新たな情報が収集されたときに、ＶＨＡクラウド９０２および／または個々のＶＨＡモジュール９０４、９０６、９０８は、他のモジュール９０４、９０６、９０８によって収集された更なる情報を、解析および決定を補助するために利用し得る。
【０１１８】
更に、様々な各モジュール９０４、９０６、９０８は、ＶＨＡクラウド９０２内に格納されて適応され得る共通のユニバーサルルールエンジンによって支配され得る。ユニバーサルルールエンジンは、上述のように、適応処理６０６を用いた機械学習を通して適応され得るが、より多くの情報に対するアクセスを有する。即ち、ユニバーサルルールエンジンは、様々な環境にいる異なるユーザをモニタリングしている複数のモジュール９０４、９０６、９０８から収集された情報を用いた機械学習を通して適応され得る。この大量の更なる情報は、ＶＨＡシステム９００が学習するためのよりロバストなまたはより大きいデータセットを提供する。
【０１１９】
幾つかの例示的な実施形態では、ユニバーサル決定データベース、ユニバーサル解析モジュール（そのサブモジュールのうちの１以上を含む）、ユニバーサルレポートエンジン、およびユニバーサル一時的データベース（要素２０２、２０４、２０６、および２０８を参照）が、ＶＨＡクラウド９０２内に格納されて適応され得る。そのような実施形態では、様々な各モジュール９０４、９０６、９０８は、ＶＨＡクラウド９０２と通信するための基本的な機能を有し、ＶＨＡクラウドが、各モジュール９０４、９０６、９０８からのデータを解析して、解析されたデータに基づいて決定を行い得るものであり、これらの決定が各モジュール９０４、９０６、９０８に通信されて、実施される。
【０１２０】
モバイルＶＨＡモジュール９０６も、ＶＨＡシステム２００を参照して上述したように、音信号をモニタリングし、トリガ事象を検出し、様々なユーザとやりとりするが、モバイル装置（例えば、スマートフォン、タブレット、または（例えば、１以上のマイクまたはカメラ等の処理能力および入力を提供し得る）他の任意の適切な装置等）を用いて動作するようプログラムされ得る。
【０１２１】
健康管理ＶＨＡモジュール９０８は、主に健康管理の専門家および家族によって用いられるものであり、ＶＨＡクラウド９０２に対するインターフェースを提供する。ＶＨＡクラウド９０２を介することにより、健康管理の専門家および家族が、適切な在宅ＶＨＡモジュールおよびモバイルＶＨＡモジュール９０４、９０６とインターフェースすることが可能になる。健康管理ＶＨＡモジュール９０８は、クラウドからデータおよびレポートを読み出し、通知を生成し、承認されている担当者がルールを修正するのを可能にし、他の健康管理ＩＴシステム（例えば、電子医療記録システム）とのインターフェースを行う。
【０１２２】
ここで図１０〜図１２を参照すると、本発明による例示的なユーザインターフェース１０００が提供されている。例示的なユーザインターフェース１０００は、上述のＶＨＡシステム１００、２００、９００のいずれか、および／またはＶＨＡモジュール９０４、９０６、９０８のいずれかと共に用いられるよう構成される。ユーザインターフェース１０００は、会話ペイン１００２およびモニタリングペイン１００４を含む。会話ペイン１００２は、ＶＨＡシステム１００、２００、９００またはＶＨＡモジュール９０４、９０６、９０８とユーザ１２２との間の対話を表示する。モニタリングペイン１００４は、第１の検出チャート１００６、第２の検出チャート１００８、および第３の検出チャート１０１０を含む。３つの検出チャートの各々は、所与の音信号の検出レベルに対応する、連続的にモニタリングされている音信号検出値１０１２を記録する。ＶＨＡシステム１００、２００、９００またはＶＨＡモジュール９０４、９０６、９０８によってモニタリングされているものとして示されている例示的な音信号は、咳、疲労、および発話活動である。なお、例示的なモニタリングペイン１００４は３つの検出チャート１００６、１００８、１０１０を含んでいるが、他の幾つかの態様では、モニタリングペイン１００４は、３つより少ないまたは多い検出チャートを含み得る。更に、ユーザインターフェース１０００に表示される検出チャートの数、およびモニタリングされる具体的な音信号は、ユーザ１２２によって選択され得る。モニタリングされる音信号は、更に、咳、いびき、くしゃみ、火災警報、ガラスが割れる音、扉を叩く音、その音響環境における未知の（および許可されていない可能性のある）話者、長い沈黙、ユーザ１２２の独り言、疲労を示唆する音、騒音、またはユーザ１２２によってモニタリング対象として選択された他の任意の関連する音信号を含むがそれに限定されない、上述の様々な音信号の任意のものを含み得る。
【０１２３】
連続的にモニタリングされている音信号検出値１０１２の各々は、更に、（所与の音信号についての閾値検出値に対応する）対応する音信号検出閾値１０１４に対照させて記録される。音信号検出閾値１０１４は、例えば、ユーザ１２２の咳をモニタリングしているときの上限であり得、音信号検出閾値１０１４は、例えば、１０分間以内に検出された５回の咳であり得る。この例では、ＶＨＡシステム１００、２００、９００またはＶＨＡモジュール９０４、９０６、９０８は、１０分間以内に５回以上の咳を検出した場合に、トリガ事象をトリガする。或いは、閾値１０１４は、例えば、ユーザ１２２の疲労をモニタリングしているときの下限であり得、音信号検出閾値１０１４は、ユーザ１２２からの音声エネルギー出力の検出量であり得る。この例では、ＶＨＡシステム１００、２００、９００またはＶＨＡモジュール９０４、９０６、９０８は、音信号検出閾値１０１４より低い量の音声エネルギー出力を検出した場合に、トリガ事象をトリガする。音信号検出閾値１０１４は、ユーザ１２２からの入力を介して手動で、または、上述のように適応処理６０６を用いた機械学習に基づいて自律的に選択され得る。
【０１２４】
モニタリングペイン１００４は、更に、音信号の発生１０１６を示す。これらの音信号の発生１０１６は、連続的にモニタリングされている音信号検出値１０１２が音信号検出閾値１０１４を満たしていて、もしくは超えていて（または下限の例では、音信号検出閾値１０１４より低くなっていて）、トリガ事象がトリガされたことを示すものである。
【０１２５】
図１０は、発話活動の検出に対応する第３の検出チャート１０１０に、音信号の発生１０１６を含む。図示されているように、第１および第２の検出チャート１００６、１００８のいずれも音信号の発生を含まない。図１１は、発話活動の検出およびユーザの疲労の検出に対応する第２および第３の検出チャート１００８、１０１０の両方に、音信号の発生１０１６を含む。図示されているように、第１の検出チャート１００６はいかなる音信号の発生も含まない。図１２は、咳の検出、疲労の検出、および発話活動の検出に対応する第１、第２、および第３の検出チャート１００６、１００８、１０１０に、音信号の発生１０１６を含む。従って、ＶＨＡシステム１００、２００、９００またはＶＨＡモジュール９０４、９０６、９０８は、複数の異なる音信号をモニタリングするために用いられ得る。
【０１２６】
なお、本明細書において開示されたＶＨＡシステム１００、２００、９００の任意のもの、ＶＨＡモジュール９０４、９０６、９０８の任意のもの、それらの対応する特徴の任意のもの、または他の任意の様々な特徴（例えば、ユーザインターフェース１０００等）は、所与の状況についての所望に応じて、互いに様々に組み合わせて用いられ得る。これらの組合せも本開示の範囲に含まれるものと見なされる。
【０１２７】
従って、本発明は、住宅における特異な音信号（転倒、火災報知、またはガラスが割れる音）および聞き慣れない話者についての連続的な受動的モニタリングによって、ユーザの安全を守るＶＨＡシステムを提供する。心配な音信号が検出された場合には、システムはＶＰＡ（能動的従事およびモニタリングモード）に従事して、ユーザとの検証を行い、報告される誤検出の警報を低減する。システムは、とるべきアクション（緊急サービスに電話する等）があるか否かを検証し、必要情報を要約して、介護者、健康管理の専門家、緊急アシスタント、または他の人に対して提示されるレポートを生成する。例えば、（図１に示されるように）転倒が検出され検証された場合には、システムは、直ちに助けを得るために「９-１-１に電話します」とフォローアップし得る。また、システムは話者検証を用いて、登録されている話者が応答していることを確かにし、ＶＰＡに従事して、検出された登録されていない話者が歓迎されていることを検証する。
【０１２８】
開示されたＶＨＡシステムは、更に、頻繁に容易に施行される、信頼性が高くコスト効果が高い健康スクリーニングを可能にする。
【０１２９】
ＶＨＡシステムは、更に、病気または健康の低下の指標を経時的にモニタリングして、健康管理の専門家が素早くフォローアップできるように、介護者とやりとりし得る。ＶＰＡのやりとりは、指導看護師、医師、または他の健康管理提供者とのフォローアップの電話において、必要に応じて報告され得る情報を収集し得る。集められている要約されたセマンティック（例えば、症状の評価の「ダイジェスト」）および音響データは、健康管理提供者が、ＳＭＳまたは電子メール通知および直観的なグラフィカルユーザインターフェースを介して入手でき、入手可能なデータに基づいて、電話によるフォローアップ、訪問介護、職場での評価、または、必要な場合にはＥＲへの緊急避難が、効率的に適時に適切に行われることを確実にできる。
【０１３０】
ＶＨＡシステムは、更に、日常的な活動のための支援およびリマインダーを提供できる。ＶＰＡシステムは、服薬リマインダー、および、日常生活の活動に影響し得るよくある問題、住宅内のリスク、または栄養状態についての簡単な解決法の情報源としての役割をし得る。そのようなアシスタントは、介護者および臨床医からのより完全な支援を補うものになろう。
【０１３１】
ＶＨＡシステムは、更に、高精度の自動化された音声認識を提供できる。解剖学的な視点からは、声帯の萎縮、喉頭軟骨の石灰化、および喉頭の筋肉の変化を伴う年齢に関連する変性が研究で示されている。そのような変化は、例えば、子音の不正確な発音、震え、およびゆっくりした発音等の高齢者の声の特定の特徴を生じるので、通常の大人の個体群に対してトレーニングされたＡＳＲシステムは、高齢の話者に対してはあまり正確ではないものとなる。ＶＨＡシステムは、高齢者の個体群から収集された既存のデータによって情報を与えられたロバストな特徴およびモデリングによる高齢者のための高精度のＡＳＲシステムを適用することによって、この問題に対処できる。
【０１３２】
本発明を１以上の好ましい実施形態に関して説明したが、明示的に述べたもの、および上述の実施形態の異なる特徴を様々な方法で組み合わせたもの以外にも、多くの等価物、代替物、変形、追加、および変更が行われ得るものであり、本発明の範囲内であることを理解されたい。上記の説明において、本開示のより良好な理解を提供するために、幾つかの具体的な詳細、例、およびシナリオを説明した。これらの例およびシナリオは、説明のために提供されたものであり、本開示を限定する意図はない。ここに含まれる説明で、当業者は過度な実験を行うことなく適切な機能を実装できるはずである。本明細書において参照される「実施形態」、「例」、「バージョン」、「実装例」、「構成」、「事例」等は、記載された実施形態、例、バージョン等が、特定の特徴、構造、または特性を含み得ることを示すが、必ずしもあらゆる実施形態、例、バージョン等が、それらの特定の特徴、構造、または特性を含まなくてもよい。そのような句は、必ずしも同じ実施形態を参照するものではない。更に、特定の特徴、構造、または特性が或る実施形態に関して記載されている場合には、明示的に記載されているか否かに関係なく、他の実施形態に関してそのような特徴、構造、または特性を実施することも、当業者の知識の範囲内であると考えられる。
【０１３３】
上述のコンピュータ化された機能は、ハードウェア、ファームウェア、ソフトウェア、単一の集積型装置、有線通信もしくは無線通信している複数の装置、またはそれらの任意の組合せで実装され得る。コンピュータ化された機能は、１以上の機械可読媒体を用いて格納された指示として実装され得るものであり、それらは１以上のプロセッサによって読み込まれて実行され得る。機械可読媒体は、機械が読める形態の情報を格納または伝送するための任意の機構を含み得る。例えば、機械可読媒体は、任意の適切な形態の揮発性または不揮発性メモリを含み得る。図面には、説明を容易にするために、模式的な要素の特定の配置または順序が示され得る。しかし、そのような要素の特定の順序または配置は、処理の特定の順序もしくはシーケンス、または処理の分離が、全ての実施形態において必要であることを示す意図はない。更に、本開示を不明瞭にしないために、要素間の接続または関係の一部が簡略化されたり、図示されない場合がある。本開示の性質は例示的なものであり、限定的なものではないと見なされるべきであり、本開示の趣旨の範囲内にある全ての変更および修正が保護されることが望まれる。
【符号の説明】
【０１３４】
１００  システム
１０２  入力
１０４  プロセッサ
１０６  メモリ
１０８  出力
１１０  データベース
１１２  ストレージサーバ
１１４  聴覚システム
１１６  非一過性のコンピュータ可読媒体
１１８  ユーザインターフェース
１２０  イメージングシステム
１２２  ユーザ
２００  ＶＨＡシステム
２０２  一時的データベース
２０４  決定データベース
２０６  解析モジュール
２０８  レポートエンジン
２１０  ルールエンジン
２１２  登録モジュール
２１４  個人化モジュール
２１６  音声テキスト変換モジュール
２１８  話者状態検出モジュール
２２０  話者識別モジュール
２２２  音響信号処理モジュール
２２４  バーチャルパーソナルアシスタント（ＶＰＡ）
２２６  テキスト音声変換モジュール
２２８  トレーニングモジュール
３０２  受動的モニタリングモード
３０４  能動的従事およびモニタリングモード
９０２  ＶＨＡクラウド
９０４  在宅ＶＨＡモジュール
９０６  モバイルＶＨＡモジュール
９０８  健康管理ＶＨＡモジュール
１０００  ユーザインターフェース
【図１】
2019527864.tif 000003
【図２】
2019527864.tif 000004
【図３】
2019527864.tif 000005
【図４】
2019527864.tif 000006
【図５】
2019527864.tif 000007
【図６】
2019527864.tif 000008
【図７】
2019527864.tif 000009
【図８】
2019527864.tif 000010
【図９】
2019527864.tif 000011
【図１０】
2019527864.tif 000012
【図１１】
2019527864.tif 000013
【図１２】
2019527864.tif 000014
【国際調査報告】
2019527864.tif 000015