(57)【要約】【課題】ユーザ毎にカスタマイズされて利用履歴に基づく学習機能を備え、継続的に利便性向上が可能なウェアラブル情報表示端末を備える行動支援システムを提供する。【解決手段】本発明のウェアラブル情報表示端末は、少なくともカメラ、マイク、及び多軸センサを含む入力部と、オブジェクトの表現データを格納する記憶部と、オブジェクトを実空間の座標系に自然法則に合わせて表示させる表示制御部と、オブジェクトをユーザの視界内に表示する情報表示部と、音声出力部と、通信部と、を備え、表示制御部は、オブジェクトの表現データを、自然法則に合わせた音声及び動きでユーザの視線方向にオブジェクトの一部または全体を拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）で表示させる。【選択図】図６
2018097437.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視界内に情報及びオブジェクトを表示するウェアラブル情報表示端末であって、
少なくともカメラ、マイク、並びにＸＹＺの３軸のそれぞれに対して加速度、角速度、及び地磁気を検出する複数の多軸センサを含む入力部と、
前記オブジェクトの表現データを格納する記憶部と、
前記オブジェクトを実空間の座標系に合わせて表示させる表示制御部と、
前記オブジェクトをユーザの視界内に表示する情報表示部と、
音声出力部と、
通信部と、を備え、
前記表示制御部は、前記オブジェクトの表現データを、前記複数の多軸センサで検出された前記ウェアラブル情報表示端末の向き、傾き、及び動きに応じて、質量、重力加速度、運動エネルギー保存則、及び慣性力を含む地球環境下における物理法則に従う変換規則に基づいて、前記オブジェクトの音声、サイズ、及び動きに変換し、ユーザの視線方向に前記変換されたオブジェクトの一部または全体を拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）で表示させることを特徴とするウェアラブル情報表示端末。
【請求項２】
前記オブジェクトは、前記複数の多軸センサで検出された前記ウェアラブル情報表示端末を装着したユーザの視線方向、移動方向、及び動きのセンシングデータに基づいて、現実の背景画像に重畳して実空間の座標系の所定の位置に視認されるように前記画像表示部に表示されることを特徴とする請求項１に記載のウェアラブル情報表示端末。
【請求項３】
ユーザの視界内に情報及びオブジェクトを表示するウェアラブル情報表示端末であって、
少なくともカメラ、マイク、並びにＸＹＺの３軸のそれぞれに対して加速度、角速度、及び地磁気を検出する複数の多軸センサを含む入力部と、
前記オブジェクトの表現データを格納する記憶部と、
前記オブジェクトを実空間の座標系に合わせて表示させる表示制御部と、
前記オブジェクトをユーザの視界内に表示する情報表示部と、
音声出力部と、
通信部と、を備え、
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を有して、ユーザ毎にカスタマイズされた、行動を支援する手段をさらに備え、
前記行動を支援する手段は、使用履歴に基づく不要データの選別を通じて、ユーザの個人的選好に適合する支援項目及び支援方法を学習し、前記行動を支援する手段の人工知能の精度を継続的に向上させる手段を含み、
前記人工知能の機能的な成長及び前記オブジェクトの外見上の変化は、前記ウェアラブル情報表示端末のカメラで撮影されたユーザ視線方向の画像から読み取られる実空間の環境情報または前記複数の多軸センサで検出されたユーザの運動情報、位置情報、及び前記使用履歴に対応する通信データ量に連動して外見上の表現データを変更するかまたは補間して生成された画像データへの変化を含み、ユーザの視線方向に前記画像データの一部または全てが拡張現実で表示されることを特徴とするウェアラブル情報表示端末。
【請求項４】
前記オブジェクトの外見上の変化は、通算の通信データ量Ｄが下記数式１に示す所定の通信データ量の倍数であるしきい値Ｄｔｍに到達する毎に、段階的に変化することを特徴とする請求項１または３に記載のウェアラブル情報表示端末。
［数１］
Ｄｔｍ＝ｍ×Ｄ１
（ここで、ｍは１以上の整数であり、Ｄ１は予め設定された所定の通信データ量である）
【請求項５】
ユーザの周辺状況またはユーザ入力に基づいて、前記人工知能によりユーザの個人選好に適合する行動を支援する手段を判定し、前記判定に基づいて行動支援プログラムによる行動支援を実行するか、またはコンシェルジュサポートを行う外部の支援サイトに前記ウェアラブル情報表示端末を接続するかを選択する手段をさらに備え、
前記選択する手段は、ユーザからの選択入力により接続先を切り替えるか、またはユーザのオーダー数が所定の数値を超えた場合もしくはシステムによる回答が一定数量以下に絞り込めない場合に、強制的に外部のコンシェルジュサポートに接続する手段を備えることを特徴とする請求項３に記載のウェアラブル情報表示端末。
【請求項６】
前記表示制御部は、人間の知覚視野角と、オブジェクトとの相対位置及び距離とに応じて、描画の停止または拡張現実で表示するための画像変換処理を停止して、画像データの演算処理に必要なメモリ使用量を制御するようにオブジェクトの表示制御を行うことを特徴とする請求項１乃至４のいずれか一項に記載のウェアラブル情報表示端末。
【請求項７】
請求項１乃至３のいずれか一項に記載のウェアラブル情報表示端末及び管理サーバで構成されるシステムであって、前記ウェアラブル情報表示端末は、ネットワークを介して接続された管理サーバまたは前記ウェアラブル情報表示端末に含まれる所定の機能が実行されるように構成されることを特徴とするウェアラブル情報表示端末を備えるシステム。
【請求項８】
前記管理サーバまたは前記ウェアラブル情報表示端末は、
ユーザ毎の個人識別データ、過去の利用履歴データ、個人選択された設定情報、及びオブジェクトの表現データを保管する情報記憶部と、
前記ウェアラブル情報表示端末の入力部から受信した要求入力に基づいて所定の機能を実現させるための制御部と、
前記ウェアラブル情報表示端末の入力部から受信したセンシングデータ、画像データに基づく当該端末の位置データ、及び視線方向の画像データを獲得する位置検出部と、
所定のアルゴリズムを利用して前記獲得された位置データ及び視線方向の画像データ並びに前記情報記憶部に保管されたユーザ毎の過去の当該システム利用履歴データに基づき、前記ウェアラブル情報表示端末を装着しているユーザに提供する関連情報をネットワークサーバから収集するデータ検索部と、
前記ウェアラブル情報表示端末上で作り出されて実空間のユーザと対話するオブジェクトをユーザに表示するための画像データを生成する拡張現実画像処理部と、
前記所定の機能を実現させた結果またはユーザに提供する関連情報を前記オブジェクトの画像データとともに所定の表示形態で前記ウェアラブル情報表示端末に表示させるように制御する画像処理部とを備え、
前記管理サーバまたはウェアラブル情報表示端末は、各ユーザの過去の利用履歴データに基づいて前記所定の機能及びオブジェクトの構成データをユーザ毎に更新することを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。
【請求項９】
前記ウェアラブル情報表示端末から前記管理サーバに送信されたデータ量に基づいて、前記識別されたユーザ毎にシステム利用料の課金データを更新することを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。
【請求項１０】
前記ウェアラブル情報表示端末の入力部は、個人認証のための生体情報データを取得するセンサをさらに有し、
前記管理サーバは、前記ウェアラブル情報表示端末の入力部から受信した前記生体情報データに基づき、前記ウェアラブル情報表示端末を装着しているユーザを認証して、前記認証されたユーザに前記情報記憶部へのアクセスを許可することを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。
【請求項１１】
前記オブジェクトの表現データは、前記オブジェクトの外観、表情、及び所作を表示する画像データと前記オブジェクトの音声データとを含むことを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。
【請求項１２】
前記オブジェクトは、前記ウェアラブル情報表示端末を装着したユーザの視界内で等身大に視認されるように表示されることを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。
【請求項１３】
前記ウェアラブル情報表示端末は、前記ウェアラブル情報表示端末を装着したユーザの使用状態に応じて異なる動作モードに設定され、
前記異なる動作モードは、前記入力部のカメラ、マイク、タッチパネル、または多軸センサが動作する状態である通常モード並びに前記入力部のカメラ、マイク、タッチパネル、または多軸センサが停止状態であるプライバシーモードを含むことを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。
【請求項１４】
複数の前記ウェアラブル情報表示端末が前記システムを相互利用する場合、第１の使用者のウェアラブル情報表示端末に保有されて第１の使用者が視認しているオブジェクトデータを第２の使用者のウェアラブル情報表示端末に表示する際に、第２の使用者のウェアラブル情報表示端末に表示されるオブジェクトデータを、前記第１及び第２の使用者のウェアラブル情報表示端末間の直接的なデータ交換またはサーバを介したデータ交換によって転送することを特徴とする請求項７に記載のウェアラブル情報表示端末を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェアラブル情報表示端末及びこれを備えるシステムに関し、より詳しくは、ウェアラブル情報表示端末に表示されたオブジェクトとの対話形式でユーザの行動を支援するシステムに関する。
【背景技術】
【０００２】
近年、スマートフォンの普及に伴い、ユーザはいつでもどこでも情報を手軽に取得できるようになった。こうした状況に鑑みて、ユーザの所在位置に基づき近隣の公共施設や店舗情報、又ユーザ個人の興味や行動に関連する広告を提供するサービスの実用化が進んでいる。しかし、スマートフォンは、情報を検索するために、スマートフォン本体をポケットやカバンから取り出して、画面表示をオンにしたり、カメラやアプリケーションを起動させたりする等の操作が必要である。
【０００３】
一方、ユーザの身体に取り付けて使用することができる様々な形態のウェアラブルデバイスが実用化され、今後、広く利用されるようになると期待される。特に頭部に装着して常時使用できるヘッドマウントディスプレイ（ＨＭＤ）は、ユーザがＨＭＤを装着した状態で行動する際に、必要な情報を確認したり、他のユーザと情報交換を行ったりする利用形態をサポートし得る。このため、ユーザが外界の実像を認識しながら、画像データに基づく画像をユーザの眼に視認可能に表示するタイプのものが提案されている。
【０００４】
例えば、特許文献１には、画像表示部を眼鏡または他のヘッドギヤに取り付けることができる簡単な装着システムによって結合する頭部装着ディスプレイ・デバイスが開示されている。このディスプレイ・デバイスは、ユーザの目に細長い部材の延長方向を横切って周囲の光を通過することができるように構成された細長い部材からなるサポートを含み、このサポートに支持された液晶ディスプレイからの画像を、接眼レンズ組立体を介してユーザの眼に送るもので、接眼レンズは取付け具によりユーザの眼の前に装着される。
【０００５】
また、特許文献２には、コール機能を備えたデバイスに対する広告システムが記載されている。しかし、このシステムは、広告サービスを提供する事業者の観点からユーザの求めるドキュメントに、クライアントデバイスの所在位置に関する情報に基づく地域店舗や施設情報等の広告情報を付加して提供するものであって、ユーザが本来の目的である検索行動を支援し、クライアントデバイスの使い勝手を向上させるものではなかった。
【０００６】
このため、ユーザがどこでも簡単に有用な情報を取得でき、ユーザに様々なサービスを提供するウェアラブル情報表示端末を備えるシステム、特に、ユーザ毎に最適化された行動を支援する手段を備え、携行性及び即応性に優れたユーザフレンドリーなウェアラブル情報表示端末を備えるシステムが求められている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００３−５０２７１３号公報
【特許文献２】特開２０１１−６５６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ユーザごとにカスタマイズされて使用履歴に基づく学習機能を備え、利便性が継続的に向上可能なウェアラブル情報表示端末を用いる行動支援システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明の一態様によるウェアラブル情報表示端末は、ユーザの視界内に情報及びオブジェクトを表示するウェアラブル情報表示端末であって、前記ウェアラブル情報表示端末は、少なくともカメラ、マイク、並びにＸＹＺの３軸のそれぞれに対して加速度、角速度、及び地磁気を検出する複数の多軸センサを含む入力部と、前記オブジェクトの表現データを格納する記憶部と、前記オブジェクトを実空間の座標系に合わせて表示させる表示制御部と、前記オブジェクトをユーザの視界内に表示する情報表示部と、音声出力部と、通信部と、を備え、前記表示制御部は、前記オブジェクトの表現データを、前記複数の多軸センサで検出された前記ウェアラブル情報表示端末の向き、傾き、及び動きに応じて、質量、重力加速度、運動エネルギー保存則、及び慣性力を含む地球環境下における物理法則に従う変換規則に基づいて、前記オブジェクトの音声、サイズ、及び動きに変換し、ユーザの視線方向に前記変換されたオブジェクトの一部または全体を拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）で表示させることを特徴とする。
【００１０】
前記オブジェクトは、前記複数の多軸センサで検出された前記ウェアラブル情報表示端末を装着したユーザの視線方向、移動方向、及び動作のセンシングデータに基づいて、現実の背景画像に重畳して実空間の座標系の所定の位置に視認されるように前記画像表示部に表示され得る。
【００１１】
上記目的を達成するためになされた本発明の他の態様によるウェアラブル情報表示端末は、ユーザの視界内に情報及びオブジェクトを表示するウェアラブル情報表示端末であって、少なくともカメラ、マイク、並びにＸＹＺの３軸のそれぞれに対して加速度、角速度、及び地磁気を検出する複数の多軸センサを含む入力部と、前記オブジェクトの表現データを格納する記憶部と、前記オブジェクトを実空間の座標系に合わせて表示させる表示制御部と、前記オブジェクトをユーザの視界内に表示する情報表示部と、音声出力部と、通信部と、を備え、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を有して、ユーザ毎にカスタマイズされた、行動を支援する手段をさらに備え、前記行動を支援する手段は、使用履歴に基づく不要データの選別を通じて、ユーザの個人的選好に適合する支援項目及び支援方法を学習し、前記行動を支援する手段の人工知能の精度を継続的に向上させる手段を含み、前記人工知能の機能的な成長及び前記オブジェクトの外見上の変化は、前記ウェアラブル情報表示のカメラで撮影されたユーザ視線方向の画像から読み取られる実空間の環境情報または前記複数の多軸センサで検出されたユーザの運動情報、位置情報、及び前記使用履歴に対応する通信データ量に連動して外見上の表現データを変更するかまたは補間して生成された画像データへの変化を含み、ユーザの視線方向に前記画像データの一部または全てが拡張現実で表示されることを特徴とする。
【００１２】
前記オブジェクトの外見上の変化は、通算の通信データ量Ｄが下記数式１に示す所定の通信データ量Ｄ１の倍数であるしきい値Ｄｔｍに到達する毎に、段階的に変化し得る。
［数１］
Ｄｔｍ＝ｍ×Ｄ１
（ここで、ｍは１以上の整数、Ｄ１は予め設定された所定の通信データ量である）
また、ユーザの周辺状況またはユーザ入力に基づいて、前記人工知能によりユーザの個人選好に適合する行動を支援する手段を判定し、前記判定に基づいて行動支援プログラムによる行動支援を実行するか、またはコンシェルジュサポートを行う外部の支援サイトに前記ウェアラブル情報表示端末を接続するかを選択する手段をさらに備え、前記選択する手段は、ユーザからの選択入力により接続先を切り替えるか、またはユーザのオーダー数が所定の数値を超えた場合もしくはシステムによる回答が一定数量以下に絞り込めない場合に、強制的に外部のコンシェルジュサポートに接続する手段を備え得る。
前記表示制御部は、人間の知覚視野角と、オブジェクトとの相対位置及び距離とに応じて、描画の停止または拡張現実で表示するための画像変換処理を停止して、画像データの演算処理に必要なメモリ使用量を制御するようにオブジェクトの表示制御を行い得る。
【００１３】
上記目的を達成するためになされた本発明の一態様によるウェアラブル情報表示端末を備えるシステムは、前記に記載のウェアラブル情報表示端末及び管理サーバで構成されるシステムであって、前記ウェアラブル情報表示端末は、ネットワークを介して通信可能に接続された管理サーバまたは前記ウェアラブル情報表示端末に含まれる所定の機能が実行されるように構成されることを特徴とする。
【００１４】
前記管理サーバまたは前記ウェアラブル情報表示端末は、ユーザ毎の個人識別データ、過去の利用履歴データ、個人選択された設定情報、及びオブジェクトの表現データを保管する情報記憶部と、前記ウェアラブル情報表示端末の入力部から受信した要求入力に基づいて所定の機能を実現させるための制御部と、前記ウェアラブル情報表示端末の入力部から受信したセンシングデータ、画像データに基づく当該端末の位置データ、及び視線方向の画像データを獲得する位置検出部と、所定のアルゴリズムを利用して前記獲得された位置データ及び視線方向の画像データ並びに前記情報記憶部に保管されたユーザ毎の過去の当該システム利用履歴データに基づき、前記ウェアラブル情報表示端末を装着しているユーザに提供する関連情報をネットワークサーバから収集するデータ検索部と、前記ウェアラブル情報表示端末上で作り出されて実空間のユーザと対話するオブジェクトをユーザに表示するための画像データを生成する拡張現実画像処理部と、前記所定の機能を実現させた結果またはユーザに提供する関連情報を前記オブジェクトの画像データとともに所定の表示形態で前記ウェアラブル情報表示端末に表示させるように制御する画像処理部と、を備え、前記管理サーバまたはウェアラブル情報表示端末は、各ユーザの過去の利用履歴データに基づいて前記所定の機能及びオブジェクトの構成データをユーザ毎に更新し得る。
前記ウェアラブル情報表示端末から前記管理サーバに送信されたデータ量等に基づいて、前記識別されたユーザ毎にシステム利用料の課金データを更新し得る。
前記ウェアラブル情報表示端末の入力部は、個人認証のための生体情報データを取得するセンサをさらに有し、前記管理サーバは、前記ウェアラブル情報表示端末の入力部から受信した前記生体情報データに基づき、前記ウェアラブル情報表示端末を装着しているユーザを認証して、前記認証されたユーザに前記情報記憶部へのアクセスを許可し得る。
前記オブジェクトの表現データは、前記オブジェクトの外観、表情、及び所作を表示する画像データと前記オブジェクトの音声データとを含み得る。
前記オブジェクトは、前記ウェアラブル情報表示端末を装着したユーザの視界内で等身大に視認されるように表示され得る。
前記ウェアラブル情報表示端末は、前記ウェアラブル情報表示端末を装着したユーザの使用状態に応じて、異なる動作モードに設定され、前記異なる動作モードには、前記入力部のカメラ、マイク、タッチパネル、または多軸センサが動作する状態である通常モード並びに前記入力部のカメラ、マイク、タッチパネル、または多軸センサが停止状態であるプライバシーモードを含み得る。
複数の前記ウェアラブル情報表示端末が前記システムを相互利用する場合、第１の使用者のウェアラブル情報表示端末に保有されて第１の使用者が視認しているオブジェクトデータを、第２の使用者のウェアラブル情報表示端末に表示する際に、第２の使用者のウェアラブル情報表示端末に表示されるオブジェクトデータを、前記第１及び第２の使用者のウェアラブル情報表示端末間の直接的なデータ交換か又はサーバを介したデータ交換によって転送し得る。
【発明の効果】
【００１５】
本発明のウェアラブル情報表示端末によれば、ユーザごとにカスタマイズされて親しみやすい擬人化オブジェクトがユーザ・インターフェースとして利用可能になる。これにより、ユーザが本ウェアラブル情報表示端末を装着して行動する期間中に、ユーザに有用な情報を対話形式で速やかに取得できるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態によるウェアラブル情報表示端末を備える行動支援システムの全体構成を示す図である。
【図２】本発明の一実施形態によるウェアラブル情報表示端末の一例を示す全体図である。
【図３】図２に示す本発明の一実施形態によるウェアラブル情報表示端末の構成を示す概略図であり、（ａ）は平面図、（ｂ）は正面図である。
【図４】図３に示すウェアラブル情報表示端末の本体ユニットの内部構成を示す概略図である。
【図５】拡張現実で表示されるオブジェクトをユーザが視認しているイメージを示す図である。
【図６】本発明の一実施形態によるウェアラブル情報表示端末のシステム構成を示すブロック図である。
【図７】本実施形態によるウェアラブル情報表示端末を備えるシステムの構成を示すブロック図である。
【図８】行動支援プログラムのプログラム選択テーブルの一例を示す図である。
【図９】本実施形態の行動支援プログラムが利用する学習項目データの一例を示す図である。
【図１０】本実施形態の行動支援プログラムが利用する応答データの一例を示す図である。
【図１１】図６に示す検索データ記憶部に格納されるデータファイルの構成を示す図である。
【図１２】本実施形態による行動支援処理のメイン動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【００１８】
本発明によるウェアラブル情報表示端末及びこれを備えるシステムは、仮想現実で作り出される擬人化されたオブジェクトとしてのキャラクタ画像、例えば、バーチャルな秘書を、ウェアラブル情報表示端末の表示画面上で、実空間の座標系に合わせてユーザの視界内に視認可能に表示し、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を備えて、バーチャル秘書とユーザとの対話形式で、ユーザ毎にカスタマイズされた行動を支援する各種機能を実行し、ウェアラブル情報表示端末は、ユーザが外部の情報機器やサーバシステムにインターネットまたはコンピュータ・ネットワーク（以下、ネットワークと略称する）を介してアクセスし、所望のサービスを受ける際の携行性に優れたユーザ・インタフェースとなる。
【００１９】
本発明によるウェアラブル情報表示端末及びこれを備えるシステムは、ウェアラブル情報表示端末を装着したユーザの行動を支援する時に、ウェアラブル情報表示端末が備える各種センサ及びカメラによって取得されたユーザの状況を判断して、学習（状況の学習だけでなくユーザの応答や反応等も含む）を行い、各支援を実行する時点での周囲状況とそれまでの学習結果に基づいて、擬人化されたオブジェクトがユーザに対し、ユーザの意図に最も近い処理を多様な形態（行為＝動きと音声）で提供する。これによりユーザは、ユーザが親しみやすい個人ごとのバーチャルな秘書またはコンシェルジュを同伴する感覚で情報の検索、収集、及び提供を受けることが可能になり、利便性が高く快適な行動環境を具現することができる。
【００２０】
ここで、ウェアラブル情報表示端末に出現させるバーチャルな秘書またはコンシェルジュは、人間と同様に判断し学習する疑似人格化（仮想人格化）された客体である。従って、同一の周囲状況であっても過去の学習内容等に応じてバーチャル秘書のコミュニケーションの内容は異なる。例えば、ユーザに興味のない情報を提供するという判断ミスも有り、判断ミスによる不要な応答をすることもある。これらバーチャル秘書からの提供情報に対するユーザの応答により、判断ミスか否かを判定して学習する。バーチャル秘書として画像表示されるキャラクタ（容姿）は、写真やアニメ等から所望の人物像を設定可能であり、また人間的な容姿である必要はなく、例えば、犬、猫、サル等の動物の実物像や人間的に図案化（イラスト化）した容姿であってもよく、更にロボット的な容姿であってもよい。またバーチャル秘書の年齢も一定である必要はなく、バーチャル秘書の学習機能として、最初は子供の容姿で、利用経過と共に成長して容姿が変化していく（例えば、大人の容姿に変化し、更に老人の容姿に変化していく）ようにしてもよい。バーチャル秘書の容姿や音声については、複数の容姿、複数の音声の中から選択することが可能である。
【００２１】
以下、ユーザが、ウェアラブル情報表示端末を装着して利用する本発明の一実施形態による行動支援システムの構成を詳細に説明する。
【００２２】
図１は、本発明の一実施形態によるウェアラブル情報表示端末を備える行動支援システムの全体構成を示す図である。
【００２３】
本実施形態によるウェアラブル情報表示端末を備えるシステム１は、ウェアラブル情報表示端末１００、及びウェアラブル情報表示端末１００にネットワーク２を介して通信可能に接続される管理サーバ２００で構成される。ウェアラブル情報表示端末１００は、ユーザの視界内に画像データに基づく情報及びオブジェクトを表示する画像表示部がユーザの眼前に保持される機構又は部材を有するウェアラブル情報表示端末であり、管理サーバ２００は、少なくとも、システム全般を制御するシステム制御部２１０と、行動を支援する手段を実行して機能させるための各種プログラム及びデータを格納する記憶部２２０と、外部の複数のサーバ及び複数のウェアラブル情報表示端末とのネットワーク接続を制御する通信インターフェイス（Ｉ／Ｆ）部２３０を備えるコンピュータである。なお、ウェアラブル情報表示端末１００は、無線通信手段によりアクセスポイントＡＰ経由でネットワーク２に接続される。以下、それぞれの構成を具体的に説明する。
【００２４】
図２は、本発明の一実施形態によるウェアラブル情報表示端末の一例を示す全体図である。
【００２５】
ウェアラブル情報表示端末１００は、画像データの撮影、送受信、及び表示を行う頭部装着可能なコミュニケーション装置であって、画像表示ユニット１０、本体ユニット２０、及び連結部材（図示せず）を備える。ウェアラブル情報表示端末１００は、連結部材を介して、図示しないが別途のヘッドバンド又は眼鏡型フレームに、画像表示ユニット１０がユーザの眼前の観察位置に保持されるように固定される。
【００２６】
図３は、図２に示す本発明の一実施形態によるウェアラブル情報表示端末の構成を示す概略図であり、（ａ）は平面図、（ｂ）は正面図である。
【００２７】
図３に示すように、ウェアラブル情報表示端末１００は、第１収納室１０ａ、第２収納室１０ｂ、及び支持部材１１で構成される画像表示ユニット１０と、画像表示ユニット１０に連結した筐体２０ａからなる本体ユニット２０とを備える。画像表示ユニット１０の第１収納室１０ａには、画像データを画像光に変換して出射する表示光学系３０、第２収納室１０ｂには、表示光学系３０で生成された画像光をユーザの眼Ｅに導く接眼光学系４０が収納され、本体ユニット２０の筐体２０ａ内には、ウェアラブル情報表示端末１００の動作全般を制御するための電子回路部品が搭載された印刷回路基板３４及びバッテリー３５などが収納される。また、本体ユニット２０の筐体２０ａの側面には、タッチバッド８７、及びウェアラブル情報表示端末１００をヘッドバンド又は眼鏡フレーム等に固定するための連結部材２０ｂが設けられる。
【００２８】
第１収納室１０ａに収納される表示光学系３０は、光源３１、集光レンズ３２、画像表示素子３３を備え、図示しないが、その他の光学素子及び画像表示素子の駆動回路などを含み、生成した画像光を接眼光学系４０に向かって出射する。また、第１収納室１０ａには、ビデオカメラ部８３が配備され、上述の構成部材を含んで画像光を生成する画像表示部３０Ｍ及びビデオカメラ部８３は、本体ユニット２０の筐体２０ａ内に収容された印刷回路基板３４及びバッテリー３５にフレキシブル配線（図示せず）により電気的に接続される。印刷回路基板３４には、ウェアラブル情報表示端末１００の制御及び各種機能を具現する各種電子デバイス及び部品が実装される。印刷回路基板３４に実装される各種電子デバイス及び部品の詳細は後述する。
【００２９】
光源３１は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色の光を放射するものであり、例えばＬＥＤ（発光ダイオード）からなる。なお、光源は、ＲＧＢ一体型のＬＥＤパネルで構成されることが好ましいが、単色光や白色光を放射するものであってもよい。光源３１からの光は、集光レンズ３２を介して集光されて画像表示素子３３に供給される。画像表示素子３３は、例えば、光が通過する領域となる各画素がマトリクス状に配置された液晶表示素子であるＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）で構成される。画像表示素子３３は、印刷回路基板３４に実装された所定の電子デバイスによって制御され、供給された光を変調して画像光を生成する。
【００３０】
なお、表示光学系３０は、上記の構成に限定されるものではなく、反射型液晶表示素子であるＬＣＯＳ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｏｎ  Ｓｉｌｉｃｏｎ）、偏光ビームスプリッター（ＰＢＳ）、及び反射板等を組み合わせた構成にすることも可能である。
【００３１】
第２収納室１０ｂ内に配置される接眼光学系４０は、プリズム４１及び接眼レンズ４２から構成される。プリズム４１は、表示光学系３０から入射した画像光の光路Ｌをユーザの眼Ｅの方向に反射する手段として機能する導光部材である。接眼レンズ４２は、正のパワー（屈折力）を持ち、画像光をユーザの眼Ｅに集光する。なお、プリズム４１は、単一のプリズムで構成されるか、または複数プリズムを組み合わせて構成される。本実施形態では、プリズム４１は、入射面に接合された接眼レンズ４２と一体に形成される。
【００３２】
画像表示ユニット１０の支持部材１１は、上下方向（Ｚ軸方向）に互いに対面する２枚の支持板（１１ａ、１１ｂ）で構成され、両支持板の間には空間が存在する。したがって、支持部材１１によってユーザの視線は遮られない。なお、両支持板（１１ａ、１１ｂ）を補強するために支持部材１１を透明樹脂などの部材で覆うことも可能である。また、本実施形態では、支持部材１１は互いに対面する２枚の支持板（１１ａ、１１ｂ）で形成されるが、これに限定されない。例えば、単一の支持板または支柱で形成され得る。また、この場合、支持板または支柱は透明部材で形成してもよい。なお、第２収納室１０ｂのユーザの眼に対向する面には、ユーザの眼を保護するための透明な弾性部材からなるプロテクト板４４を配置してもよい。
【００３３】
図４は、図３に示すウェアラブル情報表示端末の本体ユニットの内部構成を示す概略図である。
【００３４】
図４に示すように、本体ユニット２０内には、中央処理装置（ＣＰＵ）７１、画像処理プロセッサ（ＧＰＵ）７３、フラッシュメモリチップ８１、ＳＲＡＭコンポーネント８２、オーディオ処理ＩＣ８４、無線通信用ＬＳＩモジュール８５、スピーカー８６、マイク８８、多軸センサ９２、及びウェアラブル情報表示端末の制御及び操作に必要なその他のコンポーネントが組み込まれた印刷回路基板３４が筐体２０ａ内に収納される。また、印刷回路基板３４の図示しない背面側には、音声認識、音声合成、及び画像認識を担う専用ＬＳＩが搭載される。さらに、筐体２０ａの側面に設けられたタッチバッド８７も、印刷回路基板３４に実装された所定のインターフェース部品に接続される。本体ユニット２０は、接続用フランジ１６を介して充電用又は通信用ケーブルを接続することも可能である。なお、図４において、筐体２０ａに対向する裏蓋は説明を簡潔にするため図示を省略している。
【００３５】
一方、画像表示ユニット１０の第１収納室１０ａには、図示しないが、カメラを配置して、プリズム４１を介してユーザの瞳を撮影し、虹彩による個人認証を行うための画像データを取得する構成を備え得る。また、例えば、ＸＹＺの３軸のそれぞれに対応する３軸加速度センサ、３軸角速度センサ（ジャイロセンサ）、及び３軸地磁気センサを含む複数のセンサ（以下、多軸センサ９２と略記する）で構成され、ウェアラブル情報表示端末の向き、移動方向、及び動きを検出する。さらに、図示しないがＧＰＳチップを搭載するか又は無線基地局からの電波を利用した位置検出を行う構成を備える。
【００３６】
本体ユニット２０の画像処理プロセッサ（ＧＰＵ）７３は、擬人化されたオブジェクトの画像データを、多軸センサ９２でリアルタイムに検出したウェアラブル情報表示端末の向き（ユーザの視線方向に対応）、移動方向、及び動きに関するセンシングデータに基づいて、自然法則に合わせた動きで、ユーザの視線方向の所定位置に所定の大きさ（例えば、等身大）で、オブジェクトの一部又は全体が視認されるようにデータ処理する。そして、中央処理装置（ＣＰＵ）７１は、表示光学系３０の画像表示部３０Ｍを制御して、画像処理プロセッサ（ＧＰＵ）７３でデータ処理されたオブジェクトの画像を、ビデオカメラ部８３で撮影した現実の背景画像に重畳して実空間の座標系に合わせて画面上に拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）で表示させる。
【００３７】
図５は、拡張現実で表示されるオブジェクトをユーザが視認しているイメージを示す図である。ウェアラブル情報表示端末を装着したユーザには、実空間上の現実の風景に重ねて、ユーザの視線方向に擬人化されたオブジェクトの全体が等身大に視認される。
【００３８】
また、本体ユニット２０の中央処理装置（ＣＰＵ）７１は、オーディオ処理ＩＣ８４を制御して、擬人化されたオブジェクトの音声データを、多軸センサ９２でリアルタイムで検出したウェアラブル情報表示端末の向き（ユーザの視線方向に対応）、移動方向、及び動きに関するセンシングデータに基づいて、ユーザが拡張現実で表示されたオブジェクトの画像を視認する距離に対応した音量でスピーカー８６から出力させる。なお、スピーカー８６は、外部騒音に影響されにくい骨伝導タイプのスピーカーを使用するのが望ましい。又、接続用フランジ１６を介して接続したイヤホン（図示せず）を使用することも可能である。この場合、両耳に対してステレオ若しくはサラウンド音声を出力し、ユーザが拡張現実で表示されたオブジェクトの画像を視認する方法及び距離に対応する音像定位を具現し得る。
【００３９】
ウェアラブル情報表示端末１００は、無線通信用ＬＳＩモジュール８５を駆動して、図１に示すように近隣のアクセスポイントＡＰを経由してネットワーク２を介して管理サーバ２００に通信可能に接続され、各種データ（例えば、音声データ、画像データ、センシングデータ）及び指令（要請及び／又は応答）を送受信し得る。また、無線通信用ＬＳＩモジュール８５を駆動して、他のウェアラブル情報表示端末に直接通信可能に接続され得る。無線通信の接続には、ＷｉＦｉ又はブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））を利用し得る。
【００４０】
なお、本発明の一実施形態によるシステムに備えられるウェアラブル情報表示端末は、上述した形態に限定されず、例えば、単眼の虚像投影型ヘッドマウントディスプレイ、眼鏡の両レンズ位置に配置された導光板に画像を投影する透過型のヘッドマウントディスプレイの形態で構成することも可能である。
【００４１】
以下、本発明の一実施形態によるウェアラブル情報表示端末のシステム構成について説明する。
【００４２】
図６は、本発明の一実施形態によるウェアラブル情報表示端末のシステム構成を示すブロック図である。
【００４３】
本実施形態によるウェアラブル情報表示端末１００は、端末全体の制御を行う中央制御部１１０、本端末で実行される各種プログラム及びそれらに付随する各種データを格納する記憶部１２０、ユーザからの指令入力及びユーザへの応答出力を対話形式で処理する擬人対話処理部１１１、ユーザの指令に基づき所定の支援機能を実行させる支援機能制御部１１２、拡張現実画像処理部１１３、音声制御部１１４、位置情報処理部１１５、入力部１０Ｍに含まれる各構成要素及び画像表示部３０Ｍとの間で入出力データを制御する入出力Ｉ／Ｆ部１３０、及び入力部１０Ｍから受信した音声及び画像のデータを認識する音声画像認識部１４０を備える。音声画像認識部１４０は、音声合成機能を含む。入力部１０Ｍに含まれる各構成要素は、ビデオカメラ部８３、スピーカー８６、タッチバッド８７、マイク８８、多軸センサ９２である。また、ユーザの瞳を撮影するカメラ（インカメラと呼ぶ）９１を備え得る。
【００４４】
中央制御部１１０は、ユーザからの指令入力に基づき、指定された機能を実行するように各部の制御を行う。記憶部１２０は、端末全般及び端末内の各部等が実行する各種プログラム及びそれらに付随する各種データを格納する情報記憶部１５０と、ユーザ個人の利用情報及び検索データを格納する検索データ記憶部１６０とを含む。情報記憶部１２０に格納されるプログラム及びデータの詳細は後述する。
【００４５】
音声画像認識部１４０は、入力部１０Ｍから受信した音声信号や画像信号を認識及び分析し、所定形式の入力データに変換して擬人対話処理部１１１及び支援機能制御部１１２に送信し、擬人対話処理部１１１及び支援機能制御部１１２からのテキスト出力データを受信して音声合成し、音声制御部１１４で調整された擬人化オブジェクトの音声データで変調して入出力Ｉ／Ｆ部１３０に送信する。
【００４６】
擬人対話処理部１１１は、ユーザからの指令入力及びユーザへの応答出力を対話形式で処理する。支援機能制御部１１２は、ユーザの周囲状況や過去の応答履歴等を学習して記憶部１２０に蓄積されたデータベースを参照して、ユーザ指示に基づく機能を実行させる。
【００４７】
拡張現実画像処理部１１３は、ユーザと対話する擬人化オブジェクトの画像データを、ウェアラブル情報表示端末の姿勢及び向き情報（センシングデータ）に基づいて、実空間の座標に合わせて画像表示部３０Ｍの画面上に拡張現実で表示されるよう処理する。また、ビデオカメラ部８３で撮影した画像に検索情報を重畳させる処理を行う。例えば、中央制御部１１０は、ユーザが頭部を所定の方向に動かす動作を検知して、ユーザ視線に対応した所定の画面位置に擬人化オブジェクトの画像を表示するよう制御する。また、ユーザの視線軸とビデオカメラ部８３の光軸とが所定の時間保持された場合、これらの軸が一致した時の撮影画像を入力データと認識する。
【００４８】
音声制御部１１４は、擬人化オブジェクトの音声データを、センシングデータに基づいて、ユーザが拡張現実で表示されたオブジェクトの画像を視認する位置に応じた音量でスピーカー８６から出力されるように制御する。位置情報処理部１１５は、ユーザが着用するウェアラブル情報表示端末の所在場所及周囲状況に関する各種の検出データを処理し、ウェアラブル情報表示端末の姿勢及び向きを特定するデータを生成する。
【００４９】
以下、本発明の一実施形態によるウェアラブル情報表示端末を備えるシステムの管理サーバを含むシステム構成について説明する。
【００５０】
図７は、本実施形態によるウェアラブル情報表示端末を備えるシステムの構成を示すブロック図である。
【００５１】
本実施形態によるシステムの管理サーバ２００は、システム全体を制御するシステム制御部２１０、ユーザに所定の情報を提供するデータ検索部２１１、ユーザの要請に基づき秘書機能等の所定の行動支援機能を提供する行動支援制御部２１２、オブジェクト画像処理部２１３、オブジェクト音声制御部２１４、位置情報管理部２１５、各種プログラム及びデータを格納する記憶部２２０、外部機器とのネットワーク接続を行って通信を制御する通信Ｉ／Ｆ部２３０、及びユーザとのデータ交換を対話形式に変換する擬人対話処理部２４０を備える。
【００５２】
システム制御部２１０は、各ユーザのウェアラブル情報表示端末（１００Ａ、１００Ｂ）から受信したユーザの要請入力に基づき、指定された行動支援機能を実行するように各部の制御を行う。
【００５３】
データ検索部２１１は、ネットワークサーバを探索して文字、音声、及び画像の情報データを提供する。行動支援制御部２１２は、各ユーザの周囲状況や過去の応答履歴等に基づく学習データベースを参照して所定の行動支援機能を実行する制御を行う。オブジェクト画像処理部２１３は、ユーザからの選択入力に基づき実空間でユーザと対話する擬人化オブジェクトの画像データを生成し、システム利用状況に応じてオブジェクト画像の更新処理を行う。オブジェクト音声制御部２１４は、ユーザからの選択入力に基づき擬人化オブジェクトの音声を設定し、システム利用状況に応じてオブジェクト音声の更新処理を行う。位置情報管理部２１５は、ユーザが着用するウェアラブル情報表示端末から送信された各種のセンシングデータ及び画像データに基づき、所在場所を特定し、位置情報データを各部に提供する。
【００５４】
記憶部２２０は、本システム全般及び各部等が利用する各種プログラム及びデータを格納する情報記憶部と、ユーザごとのシステム利用情報及び後述するユーザ興味リストを格納する検索データ記憶部２６０とを含む。通信Ｉ／Ｆ部２３０は、ネットワーク接続された各ウェアラブル情報表示端末及び外部サーバとの通信を制御する。擬人対話処理部２４０は、通信Ｉ／Ｆ部２３０とデータ検索部２１１及び行動支援制御部２１２との間に連結されて各ウェアラブル情報表示端末との応答を対話形式に変換する。
【００５５】
以下、管理サーバ２００の各構成要素の構成及び機能を詳しく説明する。
【００５６】
データ検索部２１１及び行動支援制御部２１２は、個別に図示しないが、データ処理及び各処理部との連携動作を制御するプロセッサ（ＣＰＵ）及び当該ＣＰＵにデータバスや制御バス等のバスラインで接続されたＲＯＭ及びＲＡＭ等で構成される。データ検索部２１１及び行動支援制御部２１２は互いに接続されており、互いの処理データを取得することができる。ＲＯＭは、ＣＰＵで制御を行うための各種データやプログラムが予め格納されたリードオンリーメモリであり、ＲＡＭは、ＣＰＵがワーキングメモリとして使用するランダムアクセスメモリである。
【００５７】
データ検索部２１１及び行動支援制御部２１２を構成するＣＰＵ及びＣＰＵにバス接続されたＲＯＭ及びＲＡＭは、管理サーバ全体を共通に制御する一組の汎用プロセッサ（ＣＰＵ）及び汎用プロセッサにバス接続されたＲＯＭ及びＲＡＭで構成し得る。なお、汎用プロセッサは、マルチコアで構成されて、各コアにデータ検索部２１１及び行動支援制御部２１２のデータ処理を分担して実行させることも可能である。さらに、データ検索部２１１及び行動支援制御部２１２は、処理を高速化するため、それぞれの専用プロセッサ（ＣＰＵ）がＲＯＭに格納された各種プログラムを読み込んで各種処理を実行する構成とすることも可能である。
【００５８】
データ検索部２１１には、システム制御部２１０を介して検索データ記憶部２６０が接続され、各ユーザのウェアラブル情報表示端末（１００Ａ、１００Ｂ）から送信された位置検出データが通信Ｉ／Ｆ部２３０を介して入力される。行動支援制御部２１２には、システム制御部２１０を介して情報記憶部２５０が接続され、各ウェアラブル情報表示端末（１００Ａ、１００Ｂ）から送信された音声データ及び画像データが通信Ｉ／Ｆ部を介して入力される。
【００５９】
管理サーバ２００は、記録媒体駆動装置２７０にセットされた外部記録媒体からコンピュータプログラムや各種データを読み込んで、情報記憶部２５０、検索データ記憶部２６０、及び図示しないハードディスク等のその他の記憶装置に格納し、それぞれの記憶部から必要なプログラム及びデータをＲＡＭに読み込んで（ロードして）実行する。また、必要なプログラム等を記録媒体駆動装置２７０からＲＡＭに直接読み込んで実行するようにしてもよい。
【００６０】
通信Ｉ／Ｆ部２３０には、ネットワークを介して複数のユーザのウェアラブル情報表示端末（１００Ａ、１００Ｂ）が接続される。また、入力装置２３５が接続される。オブジェクト画像処理部２１３は、データ検索部２１１及び行動支援制御部２１２に接続されて、所定の更新処理がされたオブジェクト画像データに両部で実行された処理の結果データを対応付けて、通信Ｉ／Ｆ部２３０を介して各ウェアラブル情報表示端末（１００Ａ、１００Ｂ）の画像表示部３０Ｍに送信する。
【００６１】
通信Ｉ／Ｆ部２３０は、各ウェアラブル情報表示端末からのネットワークを介したアクセス要求に応答して要請（指令）や各種データの送受信を含む通信を制御する。また、通信Ｉ／Ｆ部２３０は、各ユーザのウェアラブル情報表示端末からの通信の他に、地図、交通情報などの公共情報に関するデータなどを提供するネットワークサーバとの通信や、広告や店舗等の商業的情報を提供するネットワークサーバとの通信を行う。
【００６２】
入力装置２３５は、本発明のウェアラブル情報表示端末を備えるシステムの管理者が、管理サーバに指令や問い合わせなどを入力するための手段である。入力装置２３５には、タッチパネル、キーボード、マウス、ライトペン、ジョイスティックなどの各種の装置が使用可能である。
【００６３】
擬人対話処理部２４０は、音声認識、語彙解析、及び音声合成機能を有し、ウェアラブル情報表示端末から受信した音声データからユーザの要請（指令）を特定して、データ検索部２１１又は行動支援制御部２１２に送信する。また、データ検索部２１１又は行動支援制御部２１２による所定の処理結果のテキスト出力データを、擬人化オブジェクトの音声データに変換して通信Ｉ／Ｆ部２３０に送信する。
【００６４】
情報記憶部２５０には、本実施形態による行動支援機能を実行するために必要な各種データ（プログラムを含む）が格納される。また、擬人対話処理部２４０を制御して、推論や知識表現等を含む人工知能機能を実行させるプログラムが格納される。情報記憶部２５０は、管理サーバの記憶部２２０内に配置されるか又は管理サーバとは別のデータサーバに設けられる。
【００６５】
記録媒体駆動装置２７０は、コンピュータプログラムを外部のコンピュータ読み取り可能な記録媒体から読み込むのに使用される。ここで、コンピュータ読み取り可能な記録媒体に記録されているコンピュータプログラムには、各種のプログラムやデータ等が含まれる。また、記録媒体駆動装置２７０は、各種コンピュータ読み取り可能な記録媒体からコンピュータプログラムを読み込む他に、記録媒体が書き込み可能な記録媒体である場合には、データ検索部２１１や行動支援制御部２１２のＲＡＭや記憶部２２０内に格納された各種データ等をその記録媒体に書き込むことが可能である。
【００６６】
以下で、情報記憶部２５０に格納されるプログラム及びデータの詳細を説明する。
【００６７】
図７に示すように、情報記憶部２５０には、行動支援プログラム２５１、プログラム選択テーブル２５２、学習項目データ２５３、応答データ２５４、オブジェクト表現データ２５５、及びその他のデータが格納される。学習項目データ２５３及び応答データ２５４は、ユーザの要請や応答によってバーチャル秘書が学習した結果を含むデータである。従って、学習項目データ２５３及び応答データ２５４は、ユーザ毎にそれぞれのデータが格納・更新（学習）される。オブジェクト表現データ２５５は、擬人化オブジェクトの容姿や音声を生成するためのデータであって、各種の画像データ並びに音源及び音声データが含まれる。
【００６８】
オブジェクト表現データ２５５に格納されるオブジェクト画像データに設定される容姿は、一般化された人間（男性、女性）の容姿の他に、例えば、犬、猫、サル等の動物の実物像の容姿や人間的に図案化（イラスト化）した動物の容姿、またロボット的な容姿や、特定のキャラクタの容姿等がひな形として格納され、各ユーザのウェアラブル情報表示端末からの選択入力に基づき、ユーザの好みに応じて選択することができる。また、擬人化オブジェクトの年齢は、一定である必要はなく、行動支援システムの学習機能の一部として、最初は子供の容姿で設定し、利用経過と共に成長して容姿が変化していく（大人の容姿に変化していく）ように更新可能にプログラミングし得る。
【００６９】
具体的に、擬人化オブジェクトの成長は、通算の通信データ量Ｄが下記数式１に示すしきい値Ｄｔｍ、すなわち、所定の通信データ量Ｄ１の整数倍に到達する毎に、段階的に変化する構成にすることで、使用履歴に基づく不要データの選別を通じて、ユーザーごとに最適な方法が学習され、人工知能による行動支援の機能的な成長に連動させることができる。
【００７０】
［数１］
Ｄｔｍ＝ｍ×Ｄ１
（ここで、ｍは１以上の整数、Ｄ１は予め設定された所定の通信データ量である）
【００７１】
例えば、使用開始時に小学生の姿の擬人化オブジェクトが設定された場合、通算の通信データ量Ｄが、ｍ＝１に対応するしきい値Ｄｔ１（＝Ｄ１）に到達する（Ｄ≧Ｄ１）と、擬人化オブジェクトの姿が、小学生から中学生に変化し、その後、通算の通信データ量Ｄが、ｍ＝２に対応するしきい値Ｄｔ２（＝２Ｄ１）に到達するまでの間、つまり、Ｄ１≦Ｄ＜２Ｄ１の区間は、中学生の姿が維持され、Ｄがしきい値Ｄｔ２に到達する（Ｄ≧２Ｄ１）と、中学生から高校生に変化し、以後、同様にして段階的に変化する。
【００７２】
なお、オブジェクトの画像データには、各ユーザがウェアラブル情報表示端末のカメラで撮影した画像を管理サーバに備えられた画像処理プログラムでアニメ化した画像データを使用することも可能である。
【００７３】
行動支援プログラム２５１には、秘書機能等のユーザの行動を支援するための各種処理プログラムや、擬人化されたオブジェクトとユーザとがコミュニケーションする場合の細かな行動を各ユーザのウェアラブル情報表示端末の画像表示部３０Ｍに画像表示させると共にその行動に対応した会話を各ユーザのウェアラブル情報表示端末のスピーカー８６から出力させるためのコミュニケーションプログラムが格納されている。
【００７４】
また、行動支援処理プログラムには、スケジュール管理、情報検索、経路案内、自発的情報提供などを実行するサブプログラムが含まれ、ユーザからの要請入力に対する処理実行結果のデータ出力は、コミュニケーションプログラムによって擬人化されたオブジェクトと対話する形態で各ユーザのウェアラブル情報表示端末に送信される。これらの処理は、管理サーバ全体を共通に制御する一組の汎用プロセッサ（ＣＰＵ）により実行される人工知能プログラムによって制御される。
【００７５】
コミュニケーションプログラムは、複数種類の音声が選択可能であり、ユーザは擬人化されたオブジェクトの容姿の選択と併せて、所望の音声を選択することができる。擬人化されたオブジェクトの音声には、男性の音声、女性の音声、子供の音声、機械的な音声、動物的な音声、特定の声優や俳優の音声、特定のキャラクタの音声等があり、ユーザは、これらの中から、ウェアラブル情報表示端末からの選択入力によって予め選択する。なお、これらの音声及び容姿の選択は、適時変更することが可能である。
【００７６】
上述した管理サーバ２００の情報記憶部２５０に格納される各種プログラム及びデータは、各個人のウェアラブル情報表示端末からのアクセスに応答して、認証された各個人のウェアラブル情報表示端末に送信され、それぞれのウェアラブル情報表示端末の記憶部１２０に格納してもよい。なお、ウェアラブル情報表示端末と管理サーバとの間でのデータ管理方法は、これに限定されるものではなく、管理サーバに格納した個人毎の各種データを利用に応じて各個人のウェアラブル情報表示端末にダウンロード、アップロード、又は更新する方法など、ウェアラブル情報表示端末の記憶部のメモリ容量に応じて多様に設定が可能である。
【００７７】
図８は、行動支援プログラムのプログラム選択テーブルの一例を示す図である。
【００７８】
ウェアラブル情報表示端末又は管理サーバの記憶部（１２０、２２０）に格納される個人別プログラム選択テーブル（１５２、２５２は）、行動支援プログラム（１５１、２５１）に格納されているサブプログラムをユーザ毎に選択するためのテーブルである。プログラム選択テーブル（１５２、２５２）は、個人毎のサブプログラム利用頻度、サブプログラムの起動方法、及び各サブプログラムに対応する個人の学習項目データ（１５３、２５３）と応答データ（１５４、２５４）のファイル識別子（ＩＤ）が登録される。
【００７９】
ウェアラブル情報表示端末の中央制御部１１０は、ユーザからの要請入力に応答して、支援機能制御部１１２に要請入力に対応するサブプログラムを起動して実行するよう制御する。要請入力は、例えば、ユーザの発する音声によりウェアラブル情報表示端末のマイク８８を介して音声データとして入力され、ウェアラブル情報表示端末の支援機能制御部１１２は、擬人対話処理部１１１で処理された音声入力データの音声認識及び語彙解析結果に基づいて、対応するサブプログラムを選択して実行する。この際、中央制御部１１０は、ユーザの発する所定の音声又はウェアラブル情報表示端末の多軸センサ９２で検出した所定のユーザの動きをトリガーとして、拡張現実画像処理部１１３に、画像表示部３０Ｍに擬人化されたオブジェクトを表示するように制御する。言語や動作に基づくユーザからの要請入力に対応するサブプログラムの実行及び制御は、中央制御部１１０で実行されるウェアラブル情報表示端末に実装された人工知能プログラムによって、具現される。
【００８０】
また、音声画像認識部１４０によりウェアラブル情報表示端末のビデオカメラ部で撮影中の画像に予め設定された所定の対象物が認識されると、ウェアラブル情報表示端末は、自発的に該当するサブプログラム、例えば、検索プログラムを起動するよう設定することも可能である。具体的に、中央制御部１１０は、実行中の人工知能プログラムにより、ウェアラブル情報表示端末の多軸センサ９２で検出したユーザの頭部の動きに対応するセンシングデータを分析し、ユーザの視線が、特定の一地点を捉えて固定され、所定の時間、例えば、３秒間が経過した場合、ユーザの視線に対応するビデオカメラ部で撮影された対象物にユーザが興味を示していると判断し、当該対象物を興味リストとして、検索データ記憶部１６０に記憶する。そして、検索プログラムを起動して、当該対象物に関連する情報をインターネットで検索するよう制御する。なお、ユーザの視線が、動いている対象物を３秒以上注視した状態で追尾した場合、当該対象物が再びユーザの視線上に登場した場合、追尾を継続するよう制御することも可能である。
【００８１】
一方、行動支援プログラムを管理サーバで実行させる構成とすることも可能である。すなわち、管理サーバ２００は、各ユーザのウェアラブル情報表示端末から受信した要請入力に応答して、該当するサブプログラムを起動する。要請入力は、例えば、ユーザの発する音声によりウェアラブル情報表示端末のマイクを介して音声データとして送信され、管理サーバは、受信した音声入力データの音声認識及び語彙解析結果に基づいて、対応するサブプログラムを選択して起動する。
【００８２】
また、各ユーザのウェアラブル情報表示端末から受信した位置データ又は画像データに基づいて、管理サーバは、人工知能プログラムにより自発的に該当するサブプログラムを起動し得る。この場合、高いコンピュータ処理能力が求められる音声認識やウェッブ検索などの行動支援プログラムを管理サーバ側で実行させるため、ウェアラブル情報表示端末のＣＰＵ性能が低くても、良好な応答性を具現し得る。
【００８３】
管理サーバ２００は、ユーザのウェアラブル情報表示端末から受信したユーザの要請入力の支援内容を人工知能プログラムにより判断して、行動支援プログラムによる行動支援を実行するか、または人間によるコンシェルジュサポートを行う外部の支援サイトに接続するかを決定する。例えば、ユーザの要請入力の支援内容が、人との交渉を要する事項である場合は、人間によるコンシェルジュサポートを行う外部の支援サイトにユーザのウェアラブル情報表示端末を接続し、ユーザの個人スケジュールを照会する等の登録済の情報を検索して表示する場合は、本システムが保有する機能を実行してユーザの要請に対応する。
【００８４】
図９は、本実施形態の行動支援プログラムが利用する学習項目データの一例を示す図であり、図１０は、本実施形態の行動支援プログラムが利用する応答データの一例を示す図である。
【００８５】
学習項目データ２５３と応答データ２５４は共に行動支援プログラムの学習機能に基づき、格納又は更新される個人毎の履歴データであり、図９及び図１０は、それぞれの構成例を概念的に示すものである。
【００８６】
図９に示すように、学習項目データ２５３には、図７に示すプログラム選択テーブル２５２の各サブプログラムが参照する検索条件を決定する入力語が頻出順に格納され、検索条件により選択された入力語に関連性の高い言葉が対応付けられている。これにより、サブプログラムは、先行して検索を実行し、ユーザへの応答性を向上させることができる。
【００８７】
学習項目データ２５３に格納されるその他のデータとしては、例えば、ユーザやその関係者の誕生日（ユーザが入力する項目）、祝祭日とそのいわれ、ひな祭り、クリスマス、バレンタインデー等のイベント日などが格納される。各イベント日に応じた特別メニューのコミュニケーションプログラムも用意されており、例えば、行動支援プログラムは、注目情報紹介サブプログラムを自発的に起動して、クリスマスシーズンにはサンタクロースに変装した擬人化されたオブジェクトの容姿でユーザの関心度の高い情報を紹介する。
【００８８】
図１０に示すように、応答データ２５４には、擬人化されたオブジェクトの行為に対するユーザの応答の履歴が、ユーザ応答を学習項目とする各サブプログラム毎に格納される。例えば、あるユーザの応答データは、図７のサブプログラム番号Ｓ１を実行した場合、最新の応答日時と応答内容が格納され、図７に示すように、提供情報が、受容、無視、及び拒否された結果に基づいて、受容順位を更新し、ユーザに興味のある広告情報が提供されるように利用される。ユーザの応答内容については、ウェアラブル情報表示端末のマイク２６から入力されるユーザの音声に対する音声認識の結果や、同端末のセンサで検出されたユーザの動作による入力結果から判断され得る。なお、本実施形態ではユーザの応答を受容、無視、及び拒絶の３つのパターンに分類しているが、これに限定されない。
【００８９】
また、応答データ２５４は、サブプログラムの実行する処理内容に応じて、ユーザの応答内容が設定される。擬人化されたオブジェクトの自発的提案や会話に対するユーザの応答が、拒否（いらない）や無視（又は無応答）であった場合、行動支援プログラムは、対応するサブプログラムを自発的に起動しない設定がなされる。
【００９０】
図１１は、図６に示す検索データ記憶部に格納されるデータファイルの構成を示す図である。
【００９１】
図１１に示すように、検索データ記憶部２６０には、ユーザのウェアラブル情報表示端末を予め提携した情報提供事業者のデータベースに接続するための事業者情報ファイル２６１、経路案内等で使用される各種データファイルとして、通信地域データファイル２６２、描画地図データファイル２６３、探索データファイル２６４、写真データファイル２６５が格納される。
【００９２】
事業者情報ファイル２６１は、例えば、検索アシスタントを提供するサーバ、またナビゲーションサービス、辞書データベース、通販ウェブサイトなどを提供する予め提携した事業者のデータサーバ等に接続するための情報である。
【００９３】
通信地域データファイル２６２には、ウェアラブル情報表示端末が管理サーバと通信できる地域をウェアラブル情報表示端末の画像表示部３０Ｍに表示したり、その通信できる地域を経路探索の際に使用するための通信地域データが格納されている。通信地域データファイル２６２に格納される内容は、ウェアラブル情報表示端末の使用可能な地域の拡大や縮小に伴って、最新のデータに更新できるように構成される。
【００９４】
描画地図データファイル２６３には、ウェアラブル情報表示端末の画像表示部３０Ｍに描画される描画地図データが格納されている。この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。最下位層の地図データは、実空間に近似可能な仮想３Ｄ形態の画像データで構成され得る。
【００９５】
探索データファイル２６４には、ユーザが興味を有すると判断されたビデオカメラ部による撮影画像からなる興味リスト、経路探索により生成された経路を構成する交差点列データ、ノード列データなどが格納されている。交差点列データは、交差点名、交差点番号、その交差点の特徴的風景を写した写真番号、曲がる角、距離等の情報からなる。また、ノード列データは、そのノードの位置を表す東経、北緯などの情報からなる。
【００９６】
写真データファイル２６５には、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してディジタル、アナログ、またはネガフィルムの形式で格納されている。なお、描画地図データファイル２６３、探索データファイル２６４、及び写真データファイル２６５は、予め提携した情報提供事業者のデータベースを利用することができる。
【００９７】
以下、本発明の一実施形態による行動支援システムの動作について説明する。この実施形態では、行動支援プログラムを管理サーバで実行させる構成の例について説明する。
【００９８】
図１２は、本実施形態による行動支援処理のメイン動作を示すフローチャートである。管理サーバ２００のシステム制御部２１０は、各ウェアラブル情報表示端末からのアクセス要求を受信すると、アクセス要求とともに受信したユーザ識別データを、予め登録されて記憶部に格納された認証用データに基づいて認証する（ステップＳ３１０）。ユーザの認証に成功すると、認証されたユーザに対する初期設定を行う。初期設定としては、データ検索部２１１及び行動支援制御部２１２のそれぞれのＲＡＭ内に、各処理用のワークエリアを設定し、認証されたユーザ個人のプログラム選択テーブル２５２を記憶部２２０から読み出してＲＡＭにロードする（ステップＳ３２０）。
【００９９】
次に、システム制御部２１０は、位置情報管理部２１５に、ウェアラブル情報表示端末の多軸センサ９２から供給される検出データ及びビデオカメラ部８３で撮像した画像データから当該ウェアラブル情報表示端末の現在位置等を検出するように制御する。そして、検出したユーザの位置データをＲＡＭ内の所定エリアに格納する（ステップＳ３３０）。
【０１００】
その後、人工知能プログラムを実行させて、ウェアラブル情報表示端末の音声入力を利用したユーザからの指示入力を受信する。システム制御部２１０は、受信した音声データ及び多軸センサのセンシングデータに基づき、擬人対話処理部２４０によりユーザの要請（指令）を特定し、特定されたユーザの要請（指令）を、データ検索部２１１又は行動支援制御部２１２で実行するよう制御する（ステップＳ３４０）。
【０１０１】
具体的に、ウェアラブル情報表示端末を装着したユーザが、周囲を見回す動作をした後、同端末のマイク８８に、「この辺にレストランは？」とつぶやくと、システム制御部２１０は、ユーザの動きと音声入力に基づいて、ユーザの要請を「周辺のレストランを探せ」の意と判定し、判定した要請内容を音声データに変換してユーザに送信し、確認を求める。これにユーザが、例えば、「はい」と応答すると、システム制御部２１０は、データ検索部２１１又は行動支援制御部２１２に、ユーザ位置情報に基づき、周辺のレストラン情報を検索して、該当するレストランを地図画像上に表示するように画像データを生成して、擬人化されたオブジェクトの画像データとともにウェアラブル情報表示端末に送信する。
【０１０２】
そして、ユーザから実行結果に満足したことを示す指令を受信したかを判断する（ステップＳ３５０）。ユーザから実行結果に不満である又は別途の処理を実行する指令を受信すると、システム制御部２１０は、ステップＳ３４０に戻って、所定の行動支援機能を実行するよう制御し、ユーザから実行結果に満足したか又は当該処理の終了を指示する指令を受信するまで繰り返す。
【０１０３】
システム制御部２１０は、ユーザから実行結果に満足したか又は当該処理の終了を指示する指令を受信すると、情報記憶部２５０の学習項目データ２５３と応答データ２５４をチェックして、擬人化されたオブジェクトがこれまでに学習してきた過去の状態（学習データ）を把握する。そして、実行した処理結果とチェックした過去の学習データとに基づき、学習項目データ２５３及び応答データ２５４を更新する（ステップＳ３６０）。システム制御部２１０は、今回のバーチャル秘書プログラムに関するデータを蓄積することで、擬人化されたオブジェクトに学習をさせる。
【０１０４】
上述したように、本発明によれば、ユーザは、動作と言語を組み合わせた入力形態を利用できるので、短い会話で指示や諾否の入力が可能となり、人前や公共の場で、秘書システムを利用しやすくなる。
また、本発明によるウェアラブル情報表示端末及びこれを備えるシステムは、ウェアラブル情報表示端末が備える各種センサ及びカメラを通して入力部から得られるユーザの生体情報、運動情報、位置情報を用い、これらの情報が予め設定された所定の条件を満たすとユーザの意図に最も近い処理を選択して実行する機能を有し、これを具現するための、ユーザの直感的動作をセンシングデータに変換し、当該センシングデータを分析し、分析結果に基づく処理を実行する手段を備えることで、ユーザに有用な情報を的確かつ速やかに提供できる。
【０１０５】
以上のサブプログラム決定・対話型バーチャル秘書の利用・学習の各処理が終了すると、システム制御部２１０は、当該ウェアラブル情報表示端末からの送信データ量を求めて利用者情報記憶部２５０内のユーザ毎に準備された課金情報データ部に蓄積する。バーチャル秘書システムの管理者は、課金情報データ部に蓄積された送信データ量に基づいて、システム利用料を各ユーザに請求する。なお、課金の方法は、これに限定されず、管理サーバとのデータ送受信量又はアクセス回数など、バーチャル秘書システムの管理者とユーザとの間で所定の算出基準を設定することが可能である。
【０１０６】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【０１０７】
１    システム
２    ネットワーク
１０    画像表示ユニット
１０ａ    第１収納室
１０ｂ    第２収納室
１０Ｍ    入力部
１１    支持部材
１１ａ、１１ｂ    支持板
１５    筐体
１６    接続用フランジ
２０    本体ユニット
２０ａ    筐体
２０ｂ    連結部材
３０    表示光学系
３０Ｍ    画像表示部
３１    光源
３２    集光レンズ
３３    画像表示素子
３４    印刷回路基板
３５    バッテリー
４０    接眼光学系
４０ａ    第１収納室
４０ｂ    第２収納室
４１    プリズム
４２    接眼レンズ
４４    プロテクト板
７１    中央処理装置（ＣＰＵ）
７３    画像処理プロセッサ（ＧＰＵ）
８１    フラッシュメモリチップ
８２    ＳＲＡＭコンポーネント
８３    ビデオカメラ部
８４    オーディオ処理ＩＣ
８５    無線通信用ＬＳＩモジュール
８６    スピーカー
８７    タッチバッド
８８    マイク
８９    無線通信部
９１    カメラ（インカメラ）
９２    多軸センサ
１００    ウェアラブル情報表示端末
１１０    中央制御部
１１１、２４０    擬人対話処理部
１１２    支援機能制御部
１１３    拡張現実画像処理部
１１４    音声制御部
１１５    位置情報処理部
１２０、２２０    記憶部
１３０    入出力Ｉ／Ｆ部
１４０    音声画像認識部
１５０、２５０    情報記憶部
１５１、２５１    行動支援プログラム
１５２、２５２    プログラム選択テーブル
１５３、２５３    学習項目データ
１５４、２５４    応答データ
１５５、２５５    オブジェクト表現データ
１６０、２６０    検索データ記憶部
２００    管理サーバ
２１０    システム制御部
２１１    データ検索部
２１２    行動支援制御部
２１３    オブジェクト画像処理部
２１４    オブジェクト音声制御部
２１５    位置情報管理部
２３０    通信インターフェイス（Ｉ／Ｆ）部
２３５    入力装置
２６１    事業者情報ファイル
２６２    通信地域データファイル
２６３    描画地図データファイル
２６４    探索データファイル
２６５    写真データファイル
２７０    記録媒体駆動装置
【図１】
2018097437.tif 000003
【図２】
2018097437.tif 000004
【図３】
2018097437.tif 000005
【図４】
2018097437.tif 000006
【図５】
2018097437.tif 000007
【図６】
2018097437.tif 000008
【図７】
2018097437.tif 000009
【図８】
2018097437.tif 000010
【図９】
2018097437.tif 000011
【図１０】
2018097437.tif 000012
【図１１】
2018097437.tif 000013
【図１２】
2018097437.tif 000014