(57)【要約】  他の人との社会的交流においてユーザを支援するのに利用されるシステムであって、ユーザがその人を認識しているか判断し、ユーザがその人を認識していないと判断された場合、その人に関する情報をユーザに提供するよう構成されるシステムが提供される。また、対応する方法及び当該方法を実行するためのコンピュータプログラムが提供される。
2014518100.tif 000002
【特許請求の範囲】
【請求項１】
他の人との社会的交流においてユーザを支援するのに利用されるシステムであって、
前記ユーザが前記人を認識しているか判断し、前記ユーザが前記人を認識していないと判断された場合、前記人に関する情報を前記ユーザに提供するよう構成されるシステム。
【請求項２】
当該システムは、前記ユーザの感情状態を決定することによって、前記ユーザが前記人を認識しているか判断するよう構成される、請求項１記載のシステム。
【請求項３】
当該システムは、前記ユーザの生理的特徴を測定する１以上のセンサを有し、前記測定された生理的特徴に基づき前記ユーザの感情状態を決定するよう構成される、請求項２記載のシステム。
【請求項４】
当該システムは、前記交流中の前記ユーザの発話を解析することによって、前記ユーザの感情状態を決定するよう構成される、請求項２又は３記載のシステム。
【請求項５】
当該システムは、
音声及び／又はビデオメッセージを再生し、前記メッセージに対する前記ユーザの反応をモニタリングし、
発話認識アルゴリズムを用いて前記交流中の前記ユーザ及び／又は前記人による発話を解析することによって、
前記ユーザが前記人を認識しているか判断するよう構成される、請求項１乃至４何れか一項記載のシステム。
【請求項６】
当該システムは、
前記人の画像又は画像系列をキャプチャする画像キャプチャ手段と、
前記人を特定するため、前記キャプチャされた画像に顔認識アルゴリズムを適用し、前記特定された人に関する情報を取得するプロセッサと、
前記ユーザが前記人を認識していないと判断された場合、前記特定された人に関して取得された情報を前記ユーザに提示するユーザインタフェースと、
を有する、請求項１乃至５何れか一項記載のシステム。
【請求項７】
当該システムはさらに、前記ユーザが前記人を認識していないと判断された場合、前記ユーザが前記人を認識していないことを前記人に通知する情報を前記人に提供するよう構成される、請求項１乃至６何れか一項記載のシステム。
【請求項８】
他の人との社会的交流においてユーザを支援するのに利用される方法であって、
前記ユーザが前記人を認識しているか判断するステップと、
前記ユーザが前記人を認識していないと判断された場合、前記人に関する情報を前記ユーザに提供するステップと、
を有する方法。
【請求項９】
前記ユーザと前記人との間の交流中に発話を記録するステップと、
前記交流が終了したと判断すると、前記ユーザのために前記交流のサマリを生成するステップと、
前記ユーザへの提示のためのユーザインタフェースに前記サマリを提供するステップと、
をさらに有する、請求項８記載の方法。
【請求項１０】
前記交流中の前記ユーザの感情状態を決定するステップと、
前記記録された発話と前記決定された感情状態とに基づき、前記ユーザのために前記交流のサマリを生成するステップと、
をさらに有する、請求項９記載の方法。
【請求項１１】
前記ユーザが前記人との交流の目的を思い出しているか、又は理解しているか判断するステップと、
前記ユーザが前記交流の目的を思い出していないか、理解していないと判断された場合、前記交流の目的に関する情報を前記ユーザに提供するステップと、
をさらに有する、請求項９又は１０記載の方法。
【請求項１２】
前記交流が進むに従って前記ユーザが前記交流に追随及び理解しているか判断するため、前記交流をモニタリングするステップと、
前記ユーザが前記交流に追随及び理解していないと判断された場合、前記交流に関する情報を前記ユーザに提供するステップと、
をさらに有する、請求項８乃至１１何れか一項記載の方法。
【請求項１３】
前記ユーザが前記交流に追随又は理解していないと判断された場合、前記交流に関する状況に固有の情報が前記ユーザに提供可能になるように、前記交流の状況を決定するステップをさらに有する、請求項１２記載の方法。
【請求項１４】
（ｉ）前記ユーザが前記交流を開始及び追随できるか判断するために前記ユーザの発話、（ｉｉ）前記ユーザの感情状態を決定するための前記ユーザの発話、（ｉｉｉ）前記交流の状況と現在の対話とを判断するための前記ユーザと前記人との双方の発話、及び／又は（ｉｖ）前記ユーザが前記人との交流の目的を思い出したか、又は理解しているか判断するため、及び／又は前記交流が進むに従って前記ユーザが前記交流に追随及び理解しているか判断するための前記交流中の前記ユーザの生理反応をモニタリングするステップをさらに有する、請求項１１乃至１３何れか一項記載の方法。
【請求項１５】
適切なコンピュータ又はプロセッサにより実行されると、前記コンピュータ又はプロセッサが請求項８乃至１４何れか一項記載の方法を実行するように構成されるコンピュータ可読コードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、社会的交流においてアルツハイマー病により引き起こされるものなどの記憶障害を有する人々を支援する方法及びシステムに関する。
【背景技術】
【０００２】
記憶障害、実行機能及び注意の減退などの精神障害を示す早期及び中期のアルツハイマー病（ＡＤ）を有する人々は、一般的には、通常は家族、友人又は介護提供者からの手助けによって自らの日常の作業を妥当な程度に良好に依然として実行できる。
【０００３】
しかしながら、ＡＤ（又は一般に記憶及び認知障害）を有する人々は、その人が誰であるか又はその人たちに関する関連情報を思い出せず、会話に十分にはついて行くことができないため、他人（介護士、医師、友人であってもよい）との会話などの社会的交流が困難であるとわかる可能性がある。これらの交流における記憶の障害は、ＡＤを有する人々にストレスを生じさせ、これは通常はその人の所望されない行動に反映され、彼らが健全な社会生活を維持することを困難にする。
【０００４】
高齢者が自らの基本的な作業及び活動を行うことを助けるシステムが存在するが、これらのシステムは、アルツハイマー病などの重大な記憶障害を有する人々を念頭に特に設計されておらず、このため、この利用には特には適していない。
【０００５】
従って、社会的交流において記憶障害を有する人々を支援する方法及びシステムが必要とされる。
【発明の概要】
【０００６】
本発明の各種態様が、以下において言及される。
１．他の人との社会的交流においてユーザを支援するのに利用されるシステムであって、
前記ユーザが前記人を認識しているか判断し、前記ユーザが前記人を認識していないと判断された場合、前記人に関する情報を前記ユーザに提供するよう構成されるシステム。
２．当該システムは、前記ユーザの感情状態を決定することによって、前記ユーザが前記人を認識しているか判断するよう構成される、ステートメント１記載のシステム。
３．当該システムは、前記ユーザの生理的特徴を測定する１以上のセンサを有し、前記測定された生理的特徴に基づき前記ユーザの感情状態を決定するよう構成される、ステートメント２記載のシステム。
４．当該システムは、前記交流中の前記ユーザの発話を解析することによって、前記ユーザの感情状態を決定するよう構成される、ステートメント２又は３記載のシステム。
５．当該システムは、音声及び／又はビデオメッセージを再生し、前記メッセージに対する前記ユーザの反応をモニタリングすることによって、前記ユーザが前記人を認識しているか判断するよう構成される、ステートメント１乃至４何れか一項記載のシステム。
６．当該システムは、発話認識アルゴリズムを用いて前記交流中の前記ユーザ及び／又は前記人による発話を解析することによって、前記ユーザが前記人を認識しているか判断するよう構成される、ステートメント１乃至４何れか一項記載のシステム。
７．当該システムは、
前記人の画像又は画像系列をキャプチャする画像キャプチャ手段と、
前記人を特定するため、前記キャプチャされた画像に顔認識アルゴリズムを適用し、前記特定された人に関する情報を取得するプロセッサと、
前記ユーザが前記人を認識していないと判断された場合、前記特定された人に関して取得された情報を前記ユーザに提示するユーザインタフェースと、
を有する、ステートメント１乃至６何れか一項記載のシステム。
８．当該システムは、
前記交流中の前記人の発話を記録するマイクロフォンと、
前記人を特定するため音声認識アルゴリズムを用いて前記記録された発話を処理し、前記特定された人に関する情報を取得するプロセッサと、
前記ユーザが前記人を認識していないと判断された場合、前記特定された人について取得された情報を前記ユーザに提示するユーザインタフェースと、
を有する、ステートメント１乃至７何れか一項記載のシステム。
９．当該システムはさらに、前記ユーザが前記人を認識していないと判断された場合、前記ユーザが前記人を認識していないことを前記人に通知する情報を前記人に提供するよう構成される、ステートメント１乃至８何れか一項記載のシステム。
１０．当該システムはさらに、前記ユーザと前記人との間の交流中の発話を記録するマイクロフォンを有し、前記交流が終了したと判断すると、前記ユーザのために前記交流のサマリを生成し、前記ユーザへの提示のためのユーザインタフェースに前記サマリを提供するよう構成される、ステートメント１乃至９何れか一項記載のシステム。
１１．当該システムはさらに、前記交流中の前記ユーザの感情状態を決定し、前記記録された発話と前記決定された感情状態とに基づき前記ユーザのために前記交流のサマリを生成するよう構成される、ステートメント１０記載のシステム。
１２．当該システムはさらに、前記ユーザが前記人との交流の目的を思い出しているか、又は理解しているか判断し、前記ユーザが前記交流の目的を思い出していないか、又は理解していないと判断された場合、前記交流の目的に関する情報を前記ユーザに提供するよう構成される、ステートメント１乃至１１何れか一項記載のシステム。
１３．当該システムはさらに、前記交流が進むに従って前記ユーザが前記交流を思い出しているか、又は理解しているか判断するため前記交流をモニタリングし、前記ユーザが前記交流に追随又は理解していないと判断された場合、前記交流に関する情報を前記ユーザに提供するよう構成される、ステートメント１乃至１２何れか一項記載のシステム。
１４．当該システムはさらに、前記ユーザが前記交流に追随又は理解していないと判断された場合、前記交流に関する状況に固有の情報を前記ユーザに提供できるように、前記交流の状況を決定するよう構成される、ステートメント１３記載のシステム。
１５．当該システムは、（ｉ）前記ユーザが前記交流を開始及び追随できるか判断するために前記ユーザの発話、（ｉｉ）前記ユーザの感情状態を決定するための前記ユーザの発話、（ｉｉｉ）前記交流の状況と現在の対話とを判断するための前記ユーザと前記人との双方の発話、及び／又は（ｉｖ）前記ユーザが前記人との交流の目的を思い出したか、又は理解しているか判断するため、及び／又は前記交流が進むに従って前記ユーザが前記交流に追随及び理解しているか判断するための前記交流中の前記ユーザの生理反応をモニタリングするよう構成される、ステートメント１２乃至１４何れか一港記載のシステム。
１６．他の人との社会的交流においてユーザを支援するのに利用される方法であって、
前記ユーザが前記人を認識しているか判断するステップと、
前記ユーザが前記人を認識していないと判断された場合、前記人に関する情報を前記ユーザに提供するステップと、
を有する方法。
１７．前記ユーザが前記人を認識しているか判断するステップは、前記ユーザの感情状態を決定するステップを有する、ステートメント１６記載の方法。
１８．前記ユーザの生理的特徴を測定するステップをさらに有し、前記ユーザの感情状態を決定するステップは、前記測定された生理的特徴を利用する、ステートメント１７記載の方法。
１９．前記ユーザの感情状態を決定するステップは、前記交流中の前記ユーザの発話を解析するステップを有する、ステートメント１７又は１８記載の方法。
２０．前記ユーザが前記人を認識しているか判断するステップは、音声及び／又はビデオメッセージを再生するステップと、前記メッセージに対する前記ユーザの反応をモニタリングするステップとを有する、ステートメント１６乃至１９何れか一項記載の方法。
２１．前記ユーザが前記人を認識しているか判断するステップは、前記交流中の前記ユーザ及び／又は前記人による発話を解析するステップを有する、ステートメント１６乃至１９何れか一項記載の方法。
２２．前記人の画像又は画像系列をキャプチャするステップと、前記人を特定するため、前記キャプチャされた画像に顔認識アルゴリズムを適用するステップと、前記特定された人に関する情報を取得するステップと、前記ユーザが前記人を認識していないと判断された場合、前記特定された人に関して取得された情報を提示するステップとをさらに有する、ステートメント１６乃至２１何れか一項記載の方法。
２３．前記交流中の前記人の発話を記録するステップと、前記人を特定するため音声認識アルゴリズムを用いて前記記録された発話を処理するステップと、前記特定された人に関する情報を取得するステップと、前記ユーザが前記人を認識していないと判断された場合、前記特定された人に関して取得された情報を前記ユーザに提示するステップとをさらに有する、ステートメント１６乃至２２何れか一項記載の方法。
２４．前記ユーザが前記人を認識していないと判断された場合、前記ユーザが前記人を認識していないことを前記人に通知する情報を前記人に提供するステップをさらに有する、ステートメント１６乃至２３何れか一項記載の方法。
２５．前記ユーザと前記人との間の交流中に発話を記録するステップと、前記交流が終了したと判断すると、前記ユーザのために前記交流のサマリを生成するステップと、前記ユーザへの提示のためのユーザインタフェースに前記サマリを提供するステップとをさらに有する、ステートメント１６乃至２４何れか一項記載の方法。
２６．前記交流中の前記ユーザの感情状態を決定するステップと、前記記録された発話と前記決定された感情状態とに基づき、前記ユーザのために前記交流のサマリを生成するステップとをさらに有する、ステートメント２５記載の方法。
２７．前記ユーザが前記人との交流の目的を思い出しているか、又は理解しているか判断するステップと、前記ユーザが前記交流の目的を思い出していないか、理解していないと判断された場合、前記交流の目的に関する情報を前記ユーザに提供するステップとをさらに有する、ステートメント１６乃至２６何れか一項記載の方法。
２８．前記交流が進むに従って前記ユーザが前記交流に追随及び理解しているか判断するため、前記交流をモニタリングするステップと、前記ユーザが前記交流に追随及び理解していないと判断された場合、前記交流に関する情報を前記ユーザに提供するステップとをさらに有する、ステートメント１６乃至２７何れか一項記載の方法。
２９．前記ユーザが前記交流に追随又は理解していないと判断された場合、前記交流に関する状況に固有の情報が前記ユーザに提供可能になるように、前記交流の状況を決定するステップをさらに有する、ステートメント２８記載の方法。
３０．（ｉ）前記ユーザが前記交流を開始及び追随できるか判断するために前記ユーザの発話、（ｉｉ）前記ユーザの感情状態を決定するための前記ユーザの発話、（ｉｉｉ）前記交流の状況と現在の対話とを判断するための前記ユーザと前記人との双方の発話、及び／又は（ｉｖ）前記ユーザが前記人との交流の目的を思い出したか、又は理解しているか判断するため、及び／又は前記交流が進むに従って前記ユーザが前記交流に追随及び理解しているか判断するための前記交流中の前記ユーザの生理反応をモニタリングするステップをさらに有する、ステートメント２７乃至２９何れか一項記載の方法。
３１．適切なコンピュータ又はプロセッサにより実行されると、前記コンピュータ又はプロセッサがステートメント１６乃至３０何れか一項記載の方法を実行するように構成されるコンピュータ可読コードを有するコンピュータプログラム。
【図面の簡単な説明】
【０００７】
本発明の実施例が、以下の図面を参照して具体例により説明される。
【図１】図１は、本発明によるシステムのブロック図である。
【図２】図２は、第１実施例による方法を示すフローチャートである。
【図３】図３は、ユーザの可能性のある感情状態を示す図である。
【図４】図４は、第２実施例による方法を示すフローチャートである。
【図５】図５は、本発明の実施例における交流をモニタリングするモジュールを示す。
【図６】図６は、本発明の実施例によるシステムの処理を示すフロー図である。
【発明を実施するための形態】
【０００８】
本発明がアルツハイマー病（ＡＤ）を有する人々のためのシステム及び方法を参照して後述されるが、本発明は、社会的に交流する彼らの能力に影響を与える記憶障害を有する人々による利用に適していることが理解されるであろう。
【０００９】
図１において、本発明によるシステム２の実施例が示される。システム２は、システム２のユーザ（すなわち、記憶障害を有する人々）により装着又は携行されるポータブル又はモバイル装置４を有する。モバイル装置４は、何れか適切な形態をとりうるが、他の実施例では、モバイル装置４は携帯電話（スマートフォン又はＰＤＡなど）でありうるが、好適な実施例では、モバイル装置４は、ユーザの首に装着されるペンダントである。
【００１０】
モバイル装置４は、ベースユニット１０と通信するため送受信回路６及び付属のアンテナを有する。送受信回路１０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ又はＧＳＭ（登録商標）などのモバイル通信プロトコルなどを含む、ベースユニット１０と通信する何れか適切な通信プロトコルを利用するよう構成可能である。
【００１１】
モバイル装置４はまた、各々がプロセッサ１２と接続されるビジュアルディスプレイ１４、スピーカー１６、マイクロフォン１８、カメラ２０、動き又は方向センサ２１（加速度計及び／又は磁力計など）及びユーザにより操作可能な入力２２を有する。これらのコンポーネントは、ユーザがモバイル装置４とやりとりすることを可能にするユーザインタフェースを構成する。モバイル装置４はまた、送受信回路６による送信前にマイクロフォン１８及びカメラ２０により収集されたデータを格納するメモリ２３を有することが可能である。本発明の一部の実施例では、１以上のセンサ２４が外部的に設けられ、又はモバイル装置４から分離され（例えば、それらがユーザの皮膚に直接つけることができるように）、プロセッサ１２に測定結果を通信するためモバイル装置４とやりとりできることが理解されるが、モバイル装置４はまた、ユーザの生理的特性（例えば、心拍、呼吸レート及び／又は発汗）を検知する１以上のセンサ２４を有する。
【００１２】
モバイル装置４の外部にあるとき、センサ２４は、ボディエリアネットワーク（ＢＡＮ）又はパーソナルエリアネットワーク（ＰＡＮ）を構成できる。センサ２４により収集されるデータは、評価のためベースユニット１０に直接送信可能であるか、又はシステム内に緊急を要する要求がある場合、処理するためモバイル装置４に最初に送信可能である。
【００１３】
モバイル装置４は、図１に示されるものにさらなるコンポーネントを有することが可能であることが理解されるであろう。例えば、装置４は、方向センサと光センサとを有することが可能である。
【００１４】
ディスプレイ１４は、テキスト若しくはグラフィカルメッセージ及び／又はビデオクリップをユーザに表示するため備えられる。スピーカー１６は、ディスプレイ１４により提供される視覚情報に関連する音声（他の音声コンテンツが提供可能であるが、通常は発話）を出力するため備えられる。
【００１５】
マイクロフォン１８は、装置４の近傍の音声、主としてユーザがやりとりしている人々とユーザとによる発話を検出及び記録するのに利用される。
【００１６】
カメラ２０は、画像、特にユーザがやりとりしている人々の画像をキャプチャするのに利用される。これらの画像は、静止画像又はビデオシーケンスとすることができる。
【００１７】
ユーザにより操作可能な入力２２は、ユーザがモバイル装置４とやりとりすることを可能にし、ボタンやキーなどの単一の入力、キーボードなどの複数の入力又はディスプレイ１４に付属するタッチ画面などのユーザにより操作可能な他の形態の入力を含むものであってもよい。
【００１８】
図示された実施例では、ベースユニット１０は、モバイル装置４と通信するため送受信回路２５及び付属のアンテナ２６を有する。モバイル装置４と同様に、ベースユニット１０の送受信回路２５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ又はＧＳＭ（登録商標）などのモバイル通信プロトコルなどを含む何れか適切な通信プロトコルを利用するよう構成可能である。本実施例では、ベースユニット１０は、ユーザの自宅にあるコンピュータ若しくはサーバであるか、又はモバイル装置４と無線通信する遠隔地にあるサーバである。
【００１９】
他の実施例では、ベースユニット１０が遠隔地にある場合、モバイル装置４はインターネットを介しベースユニット１０と通信するルータ及び／又はホームコンピュータなどの中間装置と無線通信し、従って、ベースユニット１０の送受信回路２５及びアンテナ２６は、ベースユニット１０をインターネットに接続するのに適したコンポーネントにより置換されてもよい。
【００２０】
ベースユニット１０は、プロセッサ２８、メモリ３０、データベース３１及びユーザにより操作可能な入力３２を有する。データベース３１は、ユーザがやりとりした若しくはやりとりしうる人々、過去の交流、ユーザの患者データ、ユーザが有する可能性のある異なる通信問題、これらの問題が生じたときにユーザに提供されるべきサポート、会話のトピック及び他の関連情報に関する情報を格納するのに利用される。ユーザにより操作可能な入力３２は、ユーザ又はヘルスケア提供者がベースユニット１０とやりとりすることを可能にし、キーボード、タッチ画面などを有してもよい。
【００２１】
上述されるように、ＡＤ（及び他の記憶障害）を有する人々は、自分が話している人を認識できず、又は会話のスレッドを忘れるかもしれないため、他人（介護士、医師、友人であるかもしれない）との会話などの社会的交流が困難であると考える可能性がある。しかしながら、本発明の実施例によるシステム２は、ユーザ（ＡＤ又は他の記憶障害を有する人々）が自らがコミュニケーションしている人を認識することを支援する情報を提供し、ユーザの最初の混乱を低減し、ユーザの記憶障害がストレスになることを回避するのに役立つ。
【００２２】
交流中、システム２は、自分がコミュニケーションしている人及び交流の状況を認識しているか判断し、ユーザの感情の反応又はユーザが交流によりストレスを受けているか判断するため、ユーザをモニタリングし、必要に応じてさらなるサポートがシステム２に提供可能である。
【００２３】
本発明の実施例によると、システム２は、交流中にユーザをより良好に支援するための状況に関連したサポートを提供するため、状況及び会話のトピックを特定することができる。
【００２４】
本発明の実施例はまた、ユーザがやりとりしている人にフィードバックを提供することが可能であり、当該フィードバックは、ユーザが彼らを認識しているか、又は交流中に支援を必要としている示し、これは、彼らがユーザとやりとりしている方法をその人が適応させることを可能にする。
【００２５】
さらに、ユーザがその人との交流を終了すると、システム２は、ユーザの会話の回想を向上させるため、交流に関する情報をユーザに提供することができる。
【００２６】
システム２は、記憶障害と感情状態とを考慮しながら、ＡＤ又は記憶障害を有する人が社会的に交流することを支援するため、音声、ビデオ、テキスト、光及び触覚などの多様なデータを処理可能である。ここに説明されるような支援システム２は、ＡＤを有する人々の生活の質、特に社会生活を改善することに役立ちうる。
【００２７】
図２のフローチャートを参照して、第１実施例が説明される。図示された実施例では、ユーザがやりとりしている人を認識していない場合、システム２は、顔認識技術を用いてその人を特定し、ユーザがその人と交流の目的とを認識することに役立つようにするため、その人に関する情報をユーザに提供する。システム２はまた、交流全体を通じてユーザの感情状態／ストレスレベルをモニタリングし、必要に応じてさらなるサポートを提供する。
【００２８】
本方法は、ユーザの前に人を検出すると（例えば、カメラ２０により取得された画像又は他の光センサより検出された光を解析することなどによって）、ユーザによる発話を検出すると（例えば、マイクロフォン１８により記録される音声を解析するなどによって）、又は交流が行われることがスケジューリングされる所定時間前に（モバイル装置４に格納されているユーザの電子カレンダに記録されてもよい）、アクティブ化可能である。
【００２９】
本方法は、ユーザがやりとりしようとしている（又はやりとりすることを開始した）人を認識しているかシステム２が判断するステップ１０１からスタートする。当該ステップは、ユーザがその人を認識しているか直接問い合わせる音声メッセージをモバイル装置４がブロードキャストすることを有することが可能である。この場合、ユーザは、モバイル装置４のマイクロフォン１８からの出力を処理することによって特定可能なｙｅｓ／ｎｏの回答により応答できる。
【００３０】
このステップはまた、マイクロフォン１８を用いて会話の最初の部分を記録し、音声認識アルゴリズムを用いてユーザ及び人による発話を解析することを含む。この段階における会話のコンテンツは、ユーザがその人を認識したか示しうる。
【００３１】
あるいは又はさらに、このステップは、ユーザがその人を認識したか又はしていないかというサインについてユーザの感情状態をモニタリングすることを含むことができる。例えば、このステップは、ユーザのストレスレベル又は感情状態のインジケータである心拍、心拍変動、皮膚伝導性、呼吸レート、発汗又他の何れかの特徴などのユーザの１以上の生理的特徴を測定することに関するものとすることができる。これらの特徴は、例えば、モバイル装置４の専用のセンサ２４などによって測定できる。あるいは、呼吸レートは、ユーザの呼吸に関連する音声を特定するため、マイクロフォン１８の出力を処理することによって測定可能であり、心拍はユーザの皮膚のビデオデータから測定可能である。
【００３２】
ユーザの感情状態はまた、マイクロフォン１８を介し取得されるユーザの声のレベル又はトーンの測定結果から決定できる。
【００３３】
感情状態又はストレスレベルが決定されるべきである場合、特徴の測定結果（又はセンサ２４、マイクロフォン１８及び／又はカメラ２０からの生データ）がベースユニット１０に送信され、プロセッサ２８は、ユーザのストレスレベル又は感情状態を決定するため測定結果又はデータを処理する。処理結果（すなわち、感情又はストレスレベル）は、当該判定がどの程度信頼できるものであるかを示す関連する確率値を有する。処理結果は、その後、ユーザがやりとりしている人を認識しているかのインジケータとして利用可能である。
【００３４】
処理の第１部分は、測定された生理的特徴を分類及び定量化し、それらを感情状態にマッピングすることに関する。当該マッピングは、好ましくは、ユーザの感情状態が２つの次元の離散値により特徴付けされる図３などに示されるようなシンプルなスキームに従って実行される。
【００３５】
感情の反応のこれら２つの基本的な次元は、ほぼ任意の経験を有用に特徴付けることができる。Ｖａｌｅｎｃｅは、ポジティブ（うれしいなど）、ニュートラル又はネガティブ（悲しい、怒っているなど）として符号化される全体的な幸福度を表し、Ａｒｏｕｓａｌは、興奮、ニュートラル又は落ち着きとして符号化される感情の強度レベルを表す。多くの通常名付けられている感情（特に、環境に対する身体的反応に対応するもの）は、Ｖａｌｅｎｃｅ−Ａｒｏｕｓａｌ図に容易に配置可能である。当業者は、心拍、心拍変動、皮膚温度、呼吸レート、発汗及び電気皮膚反応などの測定された生理的特徴をＶａｌｅｎｃｅ−Ａｒｏｕｓａｌ図にマッピングする技術について認識しており、これらの技術はここでは詳細には説明されない。
【００３６】
当業者は、システム２がユーザについてより多数の感情状態を特徴付けるため、上述されたものと異なる方法によりセンサデータを処理できることを理解するであろう。例えば、第３次元が、ユーザのストレス又は緊張を示す図に追加可能である。
【００３７】
ユーザがその人を認識していない場合（ステップ１０３において判定される）、本方法はステップ１０５〜１１３に移行し、システム２は、顔認識技術を用いてその人を特定し、ユーザがその人及び交流の目的を認識することを支援するため、その人に関する情報をユーザに提供する。
【００３８】
ステップ１０５において、ユーザとやりとりしている人の顔が検出される。これは、好ましくは、モバイル装置４のカメラ２０により実行され、カメラ２０は、ユーザの周囲のエリアの画像を連続的又は定期的（５秒ごとなど）に収集し（例えば、モバイル装置４がペンダントの形態である場合、ユーザの前方のエリアなど）、画像に顔があるか検出する。このような技術は、当該分野において周知であり（特に、デジタルカメラの分野）、ここでは詳細には説明される必要はない。この処理は、モバイル装置４のプロセッサ１２により実行可能であるが、あるいは、ベースユニット１０のプロセッサ２８により実行することも可能である。いくつかの実現形態では、周辺環境において検出された顔だけでなく、ユーザと実際にやりとりしている人の顔を検出するため、アルゴリズムは、検出された顔が少なくとも特定のサイズを有していることを要求してもよい（検出された人がユーザの近くにいることを確信するため）。
【００３９】
画像において顔が検出されると、当該画像がキャプチャされ（ステップ１０７）、プロセッサ２８による処理のため送受信回路６及びアンテナ８を介しベースユニット１０に送信可能である。あるいは、画像は、顔が検出されたかにかかわらずキャプチャされ、ユーザの回想的な記憶の支援として以降の利用のため格納可能である。
【００４０】
その後、プロセッサ２８は、キャプチャされた画像において顔を試行及び特定するため、顔認識アルゴリズムを実行する（ステップ１０９）。この処理は、ユーザが知っている又は以前に交流したことがある人々に関するメモリ３０に格納されている情報を利用することができる。この情報は、人の顔の１以上の画像を含むことが可能である。プロセッサ２８は、何れか既知のタイプの顔認識アルゴリズムを利用して、画像において人を特定可能である。当業者は、利用可能な他の顔認識アルゴリズムを認識するであろうが、例えば、プロセッサ２８は、固有顔ベースアルゴリズムを利用して、可能な限り最も速く出力を提供することが可能である。
【００４１】
顔認識アルゴリズムを実行する前に、顔認識アルゴリズムに提供される画像を標準化するため、入力された顔画像がサイズやポーズなどのジオメトリカル特性に関して正規化され、さらに照明やグレイスケールなどの測光特性に関して正規化される前処理が実行されてもよい。さらに、画像の背景などの利用されない顔の周囲の画像におけるピクセルは、顔よりも大きく変化するため、削除可能である。
【００４２】
上述されるように、固有顔に基づく顔認識アルゴリズムが利用可能である。このアルゴリズムでは、第１ステップは、カラー画像をグレイスケールに変換することであり、その後に各顔画像の輝度及びコントラストを自動的に標準化するための方法としてヒストグラム等化を適用することである。最初の前処理後に写真に依然として存在するノイズを差し引くため、ローパスフィルタを適用することが有用である。固有顔は、画像の“次元（ｄｉｍｅｎｓｉｏｎａｌｉｔｙ）”（画像のピクセルの個数）を減少させるため、主成分分析を利用する。顔画像は、既知のテスト画像のバリエーションを最も良く定義する“顔空間”（特徴空間）に投影される。顔空間は、顔セットの固有ベクトルである“固有顔”により規定される。これらの固有顔は、必ずしも耳、目及び鼻などの認知される区別される特徴に対応する必要はない。この特徴空間における新たな画像の投影は、その後にその人を特定するためトレーニングセットの利用可能な投影と比較される。このアプローチは、３Ｄイメージングなどの他のアルゴリズムと比較して、ロウバスト、シンプル、容易及び高速に実現される。それは、ほぼリアルタイムの計算時間を要求する自動システムにおける認識問題に対する実用的な解決手段を提供する。
【００４３】
キャプチャされた画像に人が特定されると、プロセッサ２８は、メモリ３０からその人に関連する情報を抽出する（ステップ１１１）。この情報は、例えば、その身元、ユーザとの関係及びユーザとの以前の会話のトピックなどを含むことが可能である。その情報はまた、ユーザのスケジュール又はカレンダへのエントリから導出可能なその人との交流の目的に関するものとすることができる。その人及び／又は交流に関する情報は、例えば、ビデオ、音声又はテキストデータファイルなどの形式で格納可能である。
【００４４】
その後、抽出された情報は、ベースユニット１０によって送受信回路２４及びアンテナ２６を介しモバイル装置４に送信され、モバイル装置４は、情報をユーザに提示する（ステップ１１３）。情報は、メモリ３０から抽出された情報のフォーマット（すなわち、音声、ビデオ、テキストなど）に依存して、ディスプレイ１４及びスピーカー１６の一方又は双方によってユーザに提示されてもよい。情報の視覚表現は記憶障害又はＡＤを有するユーザの記憶をトリガするのにより効果的であることがわかっているため、少なくとも情報の視覚的提示が好ましい。
【００４５】
従って、システム２は、ユーザがやりとりしている、又はやりとりしようとしている人と、任意的に、その交流の目的とに関する情報を提供し、それをシステム２のユーザにシンプルな形式により提示し、その人との交流に影響を与えることからユーザによる不十分な記憶の効果を低減する。
【００４６】
上述された処理ステップは指摘されたものに対するシステム２の他のコンポーネントにおいて実行可能であることが理解されるであろう。例えば、顔認識アルゴリズムは、モバイル装置４のプロセッサ１２により実行可能であり、特定された人に関する情報に対するリクエストのみが、ベースユニット１０に送信可能である。あるいは、カメラ２０により収集されたすべての画像が、画像における顔を検出するためベースユニット１０に送信可能である。
【００４７】
ユーザがやりとりしている人の画像に対して顔認識処理を実行することに加えて、モバイル装置４のマイクロフォン１８を利用してキャプチャされた人の音声に対する音声認識処理を利用することも可能である。双方のタイプの処理の出力（仮の特定及び当該認識が正確である確率／信頼値を含むことが可能である）が組み合わせ可能であり、最終的な特定判定が行われる。双方のタイプの処理の利用は、人の特定の信頼性を向上させる。
【００４８】
他のあまり好適でない実現形態では、上述された顔認識処理の代わりにユーザがやりとりしている人を特定するため音声認識処理を利用することが可能である。しかしながら、顔認識の実現形態と異なって、この実現形態は、識別が実行可能になる前に人がユーザに発話を開始することを要求するため、ユーザに対するその人に関する情報の提供を若干遅延させる。
【００４９】
ステップ１０３に戻って、顔認識処理と一緒に任意的なステップとして、人がユーザにより認識されない場合、モバイル装置４によってフィードバックがその人に提供できる（ステップ１１５）。このようにして、人はユーザが自分を認識していないことに気づくことができ、これに従って交流中に自分の行動を適応させることができる、人へのフィードバックは、モバイル装置４からの視覚的（例えば、テキスト又は光ベースなど）及び／又は音声メッセージを有することが可能である。適切な視覚的手がかりは、ユーザが完全には応答していないため、その人がユーザを助けるためにどのように行動するべきか示唆するテキストベースメッセージ又はユーザがその人を認識していないことを示す赤色の光とすることができる。
【００５０】
ステップ１１３及び／又は１１５の後、本方法はステップ１１７に移行し、システム２は状況を判断するため交流を解析する。ステップ１０３において、ユーザがその人を認識していると判断された場合、本方法はステップ１１７に移行する。ステップ１１７において交流の状況を決定することによって、システム２は、必要である場合、交流中にユーザに関連するサポートを提供することが可能になるであろう。
【００５１】
ステップ１１７において、交流がユーザの電子カレンダにスケジューリングされている場合、システム２は、交流の状況を判断するため、カレンダに格納されている情報を調べることができる。例えば、カレンダは、交流が現在の投薬計画を議論するためヘルスケア専門家とのアポイントであることを示し、システム２は、交流の状況を判断するためこのカレンダ情報を利用できる。さらに又はあるいは、システム２のマイクロフォン１８により記録されるユーザ及び／又は人の発話は、音声処理エンジンを用いることからテキストに変換可能であり、自然言語処理エンジンは、交流の状況を判断するためテキストに対して実行可能である。
【００５２】
ステップ１１７の後、本方法はステップ１１８に移行し、システム２は、交流中にユーザの感情状態及び／又はストレスレベルをモニタリングする。ユーザの感情状態及び／又はストレスレベルは、ステップ１０１を参照して上述されるようにモニタリング可能である。
【００５３】
ステップ１１９において、ユーザがストレスを受けていることが判断される。この判断は、図３に示されるように、生理的特徴の測定値と１以上の閾値とを比較することによって、又は測定値を所定の感情状態にマッピングすることによって行うことができる。
【００５４】
ユーザが交流の当該時点においてストレスを受けていないと判断された場合、本方法はステップ１１８に戻り、交流の次の部分中にユーザの感情状態のモニタリングを継続する。
【００５５】
ユーザが交流の当該時点でストレスを受けていると判断された場合、本方法はステップ１２１に移行し、ユーザにサポートが提供される。ユーザに提供されるサポートは、ユーザの特定の感情状態又はストレスレベルに従って適応可能である。サポートは、ステップ１１７において導出された状況情報から決定された交流の目的とやりとりしている人の身元に関する視覚的及び／又は音声的な手がかりを含むことが可能である。
【００５６】
さらに、ユーザに提供されるサポートと共に、システム２は、ユーザの感情状態に関するフィードバックをユーザがやりとりしている人に提供してもよい（ステップ１２３）。例えば、このフィードバックはモバイル装置４により表示される視覚的な手がかりである場合、ユーザがストレスを受けていることを示すため赤色の表示が利用可能である。これは、上述されたステップ１１５に類似し、その人が交流中に自分の行動を適応させることを可能にする。ステップ１２１，１２３の後、本方法はステップ１１８に戻り、システム２はユーザの感情状態のモニタリングを継続する。
【００５７】
ステップ１１８，１１９，１２１，１２３は、モバイル装置４のマイクロフォン１８を用いてユーザと人との間の会話を記録し、それを所定の長さ（５秒など）の部分に分割し、ユーザの感情状態が時間の経過と共に低下しているか（すなわち、ユーザがストレスを受けつつあるか）判断するため当該部分を解析することによって、実現可能である。会話の解析は、エネルギー、無音・有音レシオ、ピッチ範囲及び中間ピッチを含むパラメータを抽出し、それらが時間中にどのようにシフトしているか、それらが触覚的閾値にクロスしているか計算することから構成可能であり、これらは試行期間中に収集されたユーザデータに基づくものとすることができる。例えば、エネルギー、無音・有音レシオ及びピッチ範囲の増加が多すぎる場合、ユーザがストレスを受けていて、システム２による支援がユーザに提供されるべきである確率が高い。さらに、長い中断はユーザが質問を処理したり、イベントやアクションを思い出すことができないための交流における中断を示しうるため、解析は会話において一時停止を検出することができる。
【００５８】
従って、ユーザ（ＡＤ又は他の記憶障害を有する）がコミュニケーションしている人を認識することを支援する方法が提供され、これは、ユーザの最初の混乱を減少させ、交流中のストレスになるユーザの記憶の欠落を防ぐことに役立つ。本方法はまた、さらなるサポートが必要であるか判断するため、交流中にユーザのモニタリングを提供する。さらに、本方法は、人がユーザとやりとりする方法を適応させることを可能にするフィードバックをユーザがやりとりしている人に提供できる。
【００５９】
上記方法への修正として、フィードバックはまた、ユーザがやりとりしている人を認識し、ストレスを受けていないと判断されたとき、ユーザがその人に提供できる（すなわち、ステップ１０３，１１９の後）。ステップ１１５，１２３においてユーザに提供されるフィードバックが特定のカラーの表示によって提供される場合、異なるカラーが、ユーザの異なる感情状態を示すのに利用可能である。例えば、ユーザがその人を認識していないか、ストレスを受けていることを赤色の表示が示す場合、緑色の表示は、ユーザがその人を認識しているか、又はストレスを受けていないことを示すのに利用可能である。
【００６０】
上記方法に対する他の変更は、ステップ１１３におけるユーザへの情報の提示の後、ユーザがその人を認識しているか判断するためのものでありうる。この場合、本方法は、ステップ１１３における情報の提示後にステップ１０１に戻ることができる。
【００６１】
上記方法に対するさらなる他の変更は、その人がステップ１０３において認識された後におけるその人との交流の目的（状況）（例えば、現在の医学的状態、要求される一般的な支援などを議論するためなど）、又はステップ１１７においてシステム２により自動的に決定された交流の状況をユーザが思い出すか又は理解しているか判断できる。一実施例では、この判断は、ステップ１０１においてユーザがやりとりしている人を認識しているかの判断と同様にして行うことができる（ユーザに直接的に問い合わせることによって、生理的特徴をモニタリングすることによって、及び／又は交流の始めに発話を解析することによって）。ユーザがその人との交流の目的を思い出していないか、理解していないと判断された場合、システム２は、ステップ１２１などと同様にユーザに、及び／又はステップ１２３などと同様にその人に適切な情報を提供できる。同様に、システム２は、ユーザが交流の進捗に従って会話に追随及び理解しているか判断し、必要に応じて関連するサポートを提供できる。この変更は、図５を参照して以下において詳述される。
【００６２】
上記方法に対するさらなる変更は、ユーザがやりとりしている人の感情状態をモニタリングし（例えば、モバイル装置４のマイクロフォン１８により記録されるようなその人の発話を解析するなどによって）、このモニタリングの結果を利用して、ユーザに提供される情報及び／又はその人に提供されるフィードバックを適応させることができる。
【００６３】
ユーザがその人に無反応であるとわかると（例えば、ユーザが彼らを認識していないか、又は交流の理由を認識していないためなど）、システム２は、状況を介護プロバイダに通知又は警告することが可能である。
【００６４】
さらに、システム２は生理センサ２４の出力を処理し、ユーザのバイタルサイン（心拍、心拍変動、血圧など）が通常の範囲内であるか判断し、通常の範囲内でない場合、介護プロバイダに通知又は警告できる。
【００６５】
本発明のさらなる実施例では、以前の交流又は終了したばかりの交流に関するユーザの短期的な記憶をリフレッシュするため、システム２は、当該交流に関する情報をユーザに提供する。この情報はまた、効果的には、訓練を支援し、ユーザの記憶を向上させるため、ヘルスケアプロバイダ又はケアワーカーにより利用可能であり、これにより、ＡＤの進行を遅らせることができる。
【００６６】
図４において、本発明の本実施例による方法のフローチャートが示される。ステップ１３１において、モバイル装置４は、ユーザと人との間の交流中に音声及び／又はビデオデータを収集する。
【００６７】
モバイル装置４は、収集されたとき、又は交流が終了した後（例えば、その人がもはやユーザに対向していないか、近くにいないことを検出し、及び／又はマイクロフォン１８が所定の期間以上にユーザによる発話を検出していないことを検出するなど）処理のためデータをベースユニット１０に送信する。
【００６８】
任意的には、ステップ１３３において、システム２はまた、交流中にユーザの感情状態に関する情報を収集できる（例えば、上述されるように、ユーザの発話の解析又は生理センサ２４などを利用して）。
【００６９】
ベースユニット１０のプロセッサ２８は、モバイル装置４から音声及び／又はビデオデータと、任意的には交流中のユーザの感情状態に関する情報とを受信し、ユーザとその人との間の交流のサマリを生成するため、当該データによりアルゴリズムを実行する（ステップ１３５）。このアルゴリズムは、データ内の発話をテキストに変換する音声認識アルゴリズム、発話された単語の意味を決定するコンテンツ認識アルゴリズム（自然言語処理アルゴリズムなど）、及び交流の重要ポイントを抽出及び概略するためのアルゴリズムを含むことができる。サマリは、関係する人、カバーされるトピック、与えられた命令（ケアワーカーなどによる）、交流の日時など、交流に関する情報を含むであろう。ユーザの感情状態に関する情報は、サマリに含まれるべき情報を適応させるのに利用可能である。例えば、ユーザが特定のイベント又は反応（感情状態情報と音声及び／又はビデオデータとの比較により示されるような）を思い出すことが困難になっていることをプロセッサ２８が特定した場合、当該イベント又は必要とされる反応に関する情報をサマリに含めることができる。
【００７０】
ステップ１３６において、ユーザの感情状態に関する情報と、任意的に交流に関する他の情報（例えば、関係する人、会話のトピックなど）とが、ケアワーカーにより以降の確認及び利用のため、ベースユニット１０のメモリ３０に格納されてもよい。
【００７１】
サマリ（テキスト、音声及び／又はビデオフォーマットによるものであってもよい）は、その後に、適切である場合、ビジュアルディスプレイ１４及び／又はスピーカー１６を用いてユーザにそれを提示するモバイル装置４に送信される（ステップ１３７）。モバイル装置４は、交流の終了直後、交流の終了から所定時間後、又は所定の日時にユーザにサマリを提示してもよい。モバイル装置４はまた、ユーザにサマリを提示する前に適切な時間に、ユーザの注意をとらえるための手段を有してもよい。この手段は、モバイル装置４を振動させること（及び振動の周波数及び／又は強度を変更すること）、音声表示及び／又は視覚表示を生成することを含むものであってもよい。
【００７２】
当該方法は、交流終了後にユーザが交流を確認及び思い出すことを可能にし、ユーザの記憶の改善に役立つ。これはまた、ユーザの進行及びユーザが思い出すことが困難である特定の事物又は人々を評価するため、ケアプロバイダによりユーザの交流が確認されることを可能にする。さらに、以前の交流のサマリから導出される情報は、以降の交流中にユーザにサポートを提供すべきかの判断に影響を与えるため利用可能である。
【００７３】
システム２が記憶障害を有する人々の支援に対するものであるため、生成されるサマリは理解及び追随するのにシンプルであるべきである。サマリにおける音声は、彼らが追随することを容易にするよう文法的に構成される相対的に短いセンテンスから構成されるべきである（例えば、ＡＤを有する人々は一般に代名詞を処理することができないため、センテンスはそれらの使用を回避又は最小限にするよう構成されるべきである。）さらに、発話速度は相対的に遅くなるべきであり、発話自体は大きな音で分かりやすくなるべきである。発話／音声に加えて、サマリはまた、会話中に記録される他のマルチメディアコンテンツ（写真やビデオなど）を含むことが可能である。介護提供者はユーザのニーズを知っているため、サマリを生成するのに利用されるべき発話特性（速度、音量、タイプ、ピッチ、スペクトルカラリングなど）とマルチメディアコンテンツ（タイプ、長さ、サイズなど）を選択できる。
【００７４】
いくつかの実施例では、ユーザ及び介護提供者又は医師に提供されるサマリは、異なるものとすることができる。例えば、介護提供者又は医師のためのサマリは、可能な限り多くの交流に関するデータをキャプチャすることを目的とするため、介護提供者はユーザに関して通知される（例えば、ユーザのコミュニケーション及びやりとりする能力について、ユーザの健康及び感情について、ユーザの日常のスケジュール及び日常生活についてなど）。交流（発話、画像又はビデオ）に加えて、これらのサマリはまた、生理センサからのデータとユーザの感情状態を示す情報とを含むことが可能である。
【００７５】
いくつかの実施例では、ケアワーカーは、モバイル装置４の動作を調整可能である（おそらく、ベースユニット１０又は他のリモートステーションを介し）。ケアワーカーは、モバイル装置４により提供される可視化オプション（すなわち、視覚的出力のタイプ及び／又はコンテンツ）、音声レベル設定、モバイル装置４により起動可能なユーザ及びユーザがやりとりしている人に対するアラート、ユーザのスケジュール又はカレンダ（例えば、ケアワーカーは、ユーザの新たなアポイントメント、既存のアポイントメントに関する追加情報、関係する人々、アポイントメントの目的又は狙いなど）を調整し、システム２内の特定の機能をアクティブ化又は非アクティブ化することが可能であってもよい（ユーザ及び／又は人の感情的反応の測定、交流のサマリの生成など）。
【００７６】
図５は、本発明の実施例による交流中にユーザに対するサポートをモニタリング及び提供するのに利用される複数のモジュールを示す。これらのモジュールの処理は、一般に図２のステップ１１７〜１２３に対応し、ユーザがやりとりしている人を理解及び反応することができるか観察することによって、交流をモニタリングしようとする。このモニタリングは、後述されるように、ユーザの発話及び生理信号の異なる側面を同時に解析することによって実行される。各モジュールから抽出される情報は、ユーザにサポートを提供する必要があるか判断するため組み合わされる。
【００７７】
マイクロフォン１８により記録されるようなユーザの発話が、発話パラメータ解析モジュール４２、感情解析モジュール４４及び発話認識モジュール４６に入力される。ユーザがやりとりしている人の発話もまた、発話認識モジュール４６に入力される。
【００７８】
発話パラメータモジュール４２は、交流中に長い沈黙、ためらい、呼吸の変化、発話クオリティの変化及び会話の中断が生じたか判断するため、ユーザの発話を調べる。これらの特性は、ユーザが会話に追随することができていないことを示す。当該モジュール４２の出力は、図５においてＢ１により示される。
【００７９】
感情解析モジュール４４は、ユーザの感情を判断するため、ユーザの発話を調べる。発話パラメータ（ピッチ、速さ、エネルギー、スペクトル特性、沈黙、センテンスの長さ、呼吸及び／又は音量など）がユーザの通常（普通）の状態からの乖離を示す場合、これはサポートが有用であることを示すかもしれない。当該モジュール４４は、ユーザの通常状態の確率モデルを構築し、その後に以降の交流中の発話パラメータがモデルに適合しているか定期的にチェックするのに利用可能である。図５において、当該モジュール４４の出力はＢ２により示される。
【００８０】
発話認識モジュール４６は、ユーザ及び人の発話を処理し、認識された発話をテキストに変換する。当該テキストは、交流中の会話（対話）が意味のある健全なものであるか、またサポートが必要であることを示す単語又はフレーズがあるか判断するため、自然言語処理エンジン４８により以降に解析される。図５において、当該モジュール４８の出力はＢ３により示される。
【００８１】
さらに、テキストは、会話のトピック及び状況を再構成するため、意味のある単語を特定するよう状況トピック抽出モジュール５０により処理される。この情報は、その後、ユーザに提供されるサポートを状況を意識したより効果的なものにするよう調整するのに利用される。図５において、当該モジュール５０の出力はＣ１により示される。
【００８２】
発話の解析に加えて、モバイル装置４内の又は付属する生理特徴センサ２４から信号を受信し、交流に対する及び交流中のユーザの生理反応を決定する生理データ解析モジュール５２が設けられる。この反応はまた、交流をモニタリングし、サポートが必要であるか判断するのに利用される。例えば、（モバイル装置４に情報を転送する）装着可能な生理特徴センサ２４を利用して、ユーザの心拍、心拍変動、皮膚伝導性、皮膚温度及び呼吸パターンが測定できる。ユーザのリラクゼーション及びストレス状態は、生理センサデータから決定可能である。図５において、当該モジュール５０の出力はＢ４により示される。
【００８３】
モジュール４２，４４，４８，５２の出力は、加重確率決定モジュール５４及び問題特定モジュール５６に提供される。状況トピック抽出モジュール５０からの出力は、検索抽出モジュール５８に提供される。検索抽出モジュール５８は、ユーザが有する可能性のあるコミュニケーション問題に関する情報（データベース６０）と、各問題がどのようにサポートされるべきかに関する情報（データベース６２）とを格納する２つのデータベース６０，６２とやりとりする。
【００８４】
加重確率決定モジュール５４は、モジュール４２，４４，４８，５２からの情報を処理し、交流中にユーザにサポートが必要であるか判断する。サポートが不要であると判断された場合、システム２は、ユーザにサポートを提供することに介入することなく交流が継続することを許可する。しかしながら、サポートが必要であると判断された場合、問題特定モジュール５６がアクティブ化され、検索抽出モジュール５８を介しデータベース６０からユーザが有している問題に関する情報を取得する。
【００８５】
問題が特定された後、サポート特定モジュール６４が、ユーザに提供されるべき具体的なサポートを決定するのに利用される。サポート特定モジュール６４は、特定された問題、状況トピック抽出モジュール５０からの出力Ｃ１及びデータベース６２に格納されている情報を利用して、必要とされるサポートを決定する。データベース６２は、ルックアップテーブルの形式によって、交流中にユーザが有する可能性のある問題に関して提供されるべきサポートに関する情報を格納してもよい。必要とされるサポートが特定されると、当該サポートがユーザに提供される。
【００８６】
例えば、交流をモニタリングすることによって、ユーザは人を認識することができていないと判断され、その人とのユーザの以前の遭遇を示すビデオが再生される。訪問目的がユーザにより認識されていない場合、これが再び視覚的に提供される。ユーザが怒っていることが検出された場合、その人にこれが通知できる。ユーザが疲れていると検出された場合、その人にこれが通知でき、これに応じて会話を終了することができる。簡単には、モニタリング段階から生じうる各結果又は問題について、従うことになるサポートパスがある。
【００８７】
好適な実施例では、図５に示される各モジュールの機能は、ベースユニット１０のプロセッサ２８により提供される。
【００８８】
図６のフロー図によって、本発明による交流モニタリング及びサポートの具体的な実施例が示される。当該フロー図は、２人の人が近づき、互いに挨拶し、ユーザが会うことを決めた理由を思い出し、交流を開始する社会的交流の可能なモデルを示すためのものである。これらすべてのステップは、健康な人々にとっては些細なものであるが、記憶及び認知障害を有する人は、これらの実行、ストレスの蓄積及び孤立において重大な問題を有することになる。ユーザが実行すべきタスクを思い出すが、自分の前にいる人を認識していない場合、モバイル装置４は、助けるためすべきことをその人にアラートする。その後、装置４は、記憶を呼び起こすため、その人に関するビデオ形式の情報、又は利用可能である場合、ユーザとその人とが一緒にいることに関する情報を示す。ユーザがその人又は訪問の理由を思い出すことができない場合、モバイル装置４は、トータルサポートのモードに切り替わる。当該モードでは、その人に状況が通知され、その人と実行すべきタスクとに関する情報がユーザに提示される。
【００８９】
従って、人を認識する段階中、ユーザがやりとりしようとしている又はちょうどやりとりし始めた人について、顔及び音声認識（それぞれ１５０及び１５２により示される）が実行される。人間認識段階はまた、ユーザとやりとりすることが予想される人を示すアポイントリストと共に、データベース（ベースユニット１０のデータベース３１など）に格納されているユーザのアポイントメントリストを利用する。
【００９０】
顔及び音声認識により特定された人が（アポイントリストの情報による）予想される人に一致しない場合（１５４）、モバイル装置４は、認識結果が正しいか又は間違っているか理解するため、その人とコミュニケーションをする（１５６）。１５６において、その人は名前を確認するよう求められ、それはマイクロフォン１８により記録され、当該発話が発話された名前を抽出するため解析される。認識結果が間違っていて、その人が予想された人であった場合、システム２はタスク／交流認識段階に移行する（１６８）。
【００９１】
認識結果が正しく、その人が当該時間にユーザとやりとりすることがスケジューリングされている人でなかった場合、システム２は、訪問理由が予想される人と同じであるか判断し（例えば、スケジューリングされていた人と異なる看護師が薬を届けるため送られる可能性があるなど）、又は彼らが異なる理由のためにいるか判断する。１６０において、モバイル装置４は、彼らの訪問目的をその人に尋ねることが可能であり、音声認識アルゴリズムは、返答を理解するのに利用可能である。訪問の理由がスケジューリングされていたものと異なる場合、モバイル装置４は、ユーザに新たな交流を通知し（１６４）、アポイントメントリストに新たなイベントを生成する（１６６）。
【００９２】
訪問の理由がスケジューリングされていたものと同じであるか（しかしながら、異なる既知の人による）、その人が交流について予想された人である場合（１５８から）、モバイル装置４は、ユーザにスケジューリングされた交流を通知する（１６８）。ユーザが交流の理由（及びその人、彼らがユーザとやりとりすることがスケジューリングされた人でないため）を思い出せない、及び／又は理解できない場合、ユーザは無反応であると考えられ（１７２）、モバイル装置４は、交流の目的とその人の身元とに関する情報をユーザに提供する（１７４）。ユーザの介護提供者にはまた、患者が無反応であることがアラートできる。
【００９３】
ユーザが訪問／交流の目的を思い出せない場合、ユーザは部分的に反応していると考えられ（１７６）、その人の身元に関する情報がモバイル装置４によりユーザに提供される（１７８）。
【００９４】
１５４において、顔及び音声認識の結果が予想された人に一致する場合、ユーザが彼らを認識しているか判断される。これは、ユーザにその人を認識しているか訪ねる音声メッセージをユーザに対して再生することによって実行可能である。発話処理アルゴリズムは、ユーザにより発話された回答を解釈するのに利用可能である。ユーザがその人を認識している場合、ユーザは反応していると仮定することができ、この時点でのサポートは不要である。その後、システム２は、ユーザにサポートを提供する必要なく、又はその人にフィードバックを提供することなく、会話が開始されることを可能にすることができる。
【００９５】
その後、装置４は会話サポートモードに入り、会話を記録し、ユーザの記憶障害が会話の流れを阻止している場合にフィードバックを提供する。
【００９６】
ユーザがその人を認識していない場合（１８２）、その人を認識していなくても、ユーザが訪問の理由を認識しているか判断される（１６８）。その後、システム２は、上述されたように進捗する（１７０〜１７８）。
【００９７】
従って、社会的交流において記憶障害を有する人を支援する方法及びシステムが提供された。
【００９８】
本発明が図面及び上記の説明により詳細に図示及び説明されたが、このような図示及び説明は、例示的なものであり、限定的なものでないと考えられるべきであり、本発明は、開示された実施例に限定されるものでない。開示された実施例に対する変形は、図面、開示及び添付した請求項の参照から請求された発明を実践する当業者により理解及び実行可能である。請求項において、“有する”という単語は他の要素又はステップを排除するものでなく、“ある”という不定冠詞は複数を排除するものでない。単一のプロセッサ又は他のユニットが、請求項に記載された複数のアイテムの機能を実現してもよい。特定の手段が互いに異なる従属形式の請求項に記載されるという事実は、これらの手段の組み合わせが効果的に利用可能でないことを示すものでない。コンピュータプログラムは、他のハードウェアと共に又は一部として提供される光記憶媒体又はソリッドステート媒体などの適切な媒体に格納／配布されてもよいが、インターネットや他の有線若しくは無線通信システムなどを介し他の形態で配布されてもよい。請求項の参照符号は、その範囲を限定するものとして解釈されるべきでない。
【図１】
2014518100.tif 000003
【図２】
2014518100.tif 000004
【図３】
2014518100.tif 000005
【図４】
2014518100.tif 000006
【図５】
2014518100.tif 000007
【図６】
2014518100.tif 000008
【手続補正書】
【提出日】平成26年1月30日(2014.1.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
他の人との社会的交流においてユーザを支援するのに利用されるシステムであって、
前記ユーザが前記人を認識しているか判断し、前記ユーザが前記人を認識していないと判断された場合、前記人に関する情報を前記ユーザに提供するよう構成され、
当該システムは、前記ユーザの感情状態を決定することによって、及び／又は（ｉ）音声及び／又はビデオメッセージを再生し、前記メッセージに対する前記ユーザの反応をモニタリングするか、又は（ｉｉ）発話認識アルゴリズムを用いて前記交流中の前記ユーザ及び／又は前記人による発話を解析することによって、前記ユーザが前記人を認識しているか判断するよう構成されるシステム。
【請求項２】
当該システムは、前記ユーザの生理的特徴を測定する１以上のセンサを有し、前記測定された生理的特徴に基づき前記ユーザの感情状態を決定するよう構成される、請求項１記載のシステム。
【請求項３】
当該システムは、前記交流中の前記ユーザの発話を解析することによって、前記ユーザの感情状態を決定するよう構成される、請求項１又は２記載のシステム。
【請求項４】
当該システムは、
前記人の画像又は画像系列をキャプチャする画像キャプチャ手段と、
前記人を特定するため、前記キャプチャされた画像に顔認識アルゴリズムを適用し、前記特定された人に関する情報を取得するプロセッサと、
前記ユーザが前記人を認識していないと判断された場合、前記特定された人に関して取得された情報を前記ユーザに提示するユーザインタフェースと、
を有する、請求項１乃至３何れか一項記載のシステム。
【請求項５】
当該システムはさらに、前記ユーザが前記人を認識していないと判断された場合、前記ユーザが前記人を認識していないことを前記人に通知する情報を前記人に提供するよう構成される、請求項１乃至４何れか一項記載のシステム。
【請求項６】
当該システムは、
前記交流中の前記人の発話を記録するマイクロフォンと、
前記人を特定するため音声認識アルゴリズムを用いて前記記録された発話を処理し、前記特定された人に関する情報を取得するプロセッサと、
前記ユーザが前記人を認識していないと判断された場合、前記特定された人に関して取得された情報を前記ユーザに提示するユーザインタフェースと、
を有する、請求項１乃至５何れか一項記載のシステム。
【請求項７】
当該システムはさらに、前記ユーザが前記人との交流の目的を思い出しているか、又は理解しているか判断し、前記ユーザが前記交流の目的を思い出していないか、又は理解していないと判断された場合、前記交流の目的に関する情報を前記ユーザに提供するよう構成される、請求項１乃至６何れか一項記載のシステム。
【請求項８】
他の人との社会的交流においてユーザを支援するのに利用される方法であって、
前記ユーザの感情状態を決定することによって、及び／又は（ｉ）音声及び／又はビデオメッセージを再生し、前記メッセージに対する前記ユーザの反応をモニタリングするか、又は（ｉｉ）前記交流中の前記ユーザ及び／又は前記人による発話を解析することによって、前記ユーザが前記人を認識しているか判断するステップと、
前記ユーザが前記人を認識していないと判断された場合、前記人に関する情報を前記ユーザに提供するステップと、
を有する方法。
【請求項９】
前記ユーザと前記人との間の交流中に発話を記録するステップと、
前記交流が終了したと判断すると、前記ユーザのために前記交流のサマリを生成するステップと、
前記ユーザへの提示のためのユーザインタフェースに前記サマリを提供するステップと、
をさらに有する、請求項８記載の方法。
【請求項１０】
前記交流中の前記ユーザの感情状態を決定するステップと、
前記記録された発話と前記決定された感情状態とに基づき、前記ユーザのために前記交流のサマリを生成するステップと、
をさらに有する、請求項９記載の方法。
【請求項１１】
前記ユーザが前記人との交流の目的を思い出しているか、又は理解しているか判断するステップと、
前記ユーザが前記交流の目的を思い出していないか、理解していないと判断された場合、前記交流の目的に関する情報を前記ユーザに提供するステップと、
をさらに有する、請求項９又は１０記載の方法。
【請求項１２】
前記交流が進むに従って前記ユーザが前記交流に追随及び理解しているか判断するため、前記交流をモニタリングするステップと、
前記ユーザが前記交流に追随及び理解していないと判断された場合、前記交流に関する情報を前記ユーザに提供するステップと、
をさらに有する、請求項８乃至１１何れか一項記載の方法。
【請求項１３】
前記ユーザが前記交流に追随又は理解していないと判断された場合、前記交流に関する状況に固有の情報が前記ユーザに提供可能になるように、前記交流の状況を決定するステップをさらに有する、請求項１２記載の方法。
【請求項１４】
（ｉ）前記ユーザが前記交流を開始及び追随できるか判断するために前記ユーザの発話、（ｉｉ）前記ユーザの感情状態を決定するための前記ユーザの発話、（ｉｉｉ）前記交流の状況と現在の対話とを判断するための前記ユーザと前記人との双方の発話、及び／又は（ｉｖ）前記ユーザが前記人との交流の目的を思い出したか、又は理解しているか判断するため、及び／又は前記交流が進むに従って前記ユーザが前記交流に追随及び理解しているか判断するための前記交流中の前記ユーザの生理反応をモニタリングするステップをさらに有する、請求項１１乃至１３何れか一項記載の方法。
【請求項１５】
適切なコンピュータ又はプロセッサにより実行されると、前記コンピュータ又はプロセッサが請求項８乃至１４何れか一項記載の方法を実行するように構成されるコンピュータ可読コードを有するコンピュータプログラム。
【国際調査報告】
2014518100.tif 000009
2014518100.tif 000010
2014518100.tif 000011