(57)【要約】【課題】ユーザが意識しなくても常にＴＰＯに合った有用な情報を自動的、あるいはインタラクティブにユーザに提示できるようにすること。【解決手段】ユーザ支援装置は、ユーザが知覚している情報であるユーザ外部情報を取得するユーザ外部情報取得手段１００と、ユーザ自身の情報であるユーザ内部情報を取得するユーザ内部情報取得手段２００と、ユーザ周辺の環境情報を取得する環境情報取得手段３００とのうち少なくとも二つを備え、それら取得手段で取得した情報に基づいて、ユーザの位置，姿勢情報，身体状態，及び精神状態のうち、少なくとも一つを含むユーザ状態を判断するユーザ状態判断手段４００と、上記ユーザ状態判断手段によって判断したユーザ状態に基づいて、ユーザの行動，記憶，及び思考のうち、少なくとも一つの支援を行うユーザ支援手段８００とを具備する。【選択図】      図１
2005315802.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに関する情報を取得するユーザ情報取得手段と、
上記ユーザ情報取得手段で取得した情報に基づいて、ユーザの位置，姿勢情報，身体状態，及び精神状態のうち、少なくとも一つをユーザ状態として判断するユーザ状態判断手段と、
上記ユーザ状態判断手段によって判断したユーザ状態に基づいて、ユーザの行動，記憶，及び思考のうち、少なくとも一つの支援を行うユーザ支援手段と、
を具備することを特徴とするユーザ支援装置。
【請求項２】
上記ユーザ情報取得手段は、上記ユーザ情報を開示するユーザ及びシステムの少なくとも一つを指定する情報開示度を属性として付加する情報開示度付加手段を有することを特徴とする請求項１に記載のユーザ支援装置。
【請求項３】
ユーザが知覚している情報であるユーザ外部情報を取得するユーザ外部情報取得手段と、ユーザ自身の情報であるユーザ内部情報を取得するユーザ内部情報取得手段と、ユーザ周辺の環境情報を取得する環境情報取得手段とのうち少なくとも二つを備え、それら取得手段で取得した情報に基づいて、ユーザの位置，姿勢情報，身体状態，及び精神状態のうち、少なくとも一つを含むユーザ状態を判断するユーザ状態判断手段と、
上記ユーザ状態判断手段によって判断したユーザ状態に基づいて、ユーザの行動，記憶，及び思考のうち、少なくとも一つの支援を行うユーザ支援手段と、
を具備することを特徴とするユーザ支援装置。
【請求項４】
上記ユーザ外部情報取得手段及び／またはユーザ内部情報取得手段は、ユーザに取り付けられていることを特徴とする請求項３に記載のユーザ支援装置。
【請求項５】
上記ユーザ外部情報取得手段は、少なくともユーザが五感によって感じることができる範囲をサポートし、映像，音声，匂い，気温，湿度，空気中の成分，気圧，明るさ，紫外線量，電波，磁場，地表温度，ＩＣタグ情報，距離，及び風向のうち、少なくとも一つを取得することを特徴とする請求項３に記載のユーザ支援装置。
【請求項６】
上記ユーザ外部情報取得手段は、１次元あるいは２次元測距センサ，重力方向センサ，加速度センサ，角加速度センサ，ジャイロセンサ，外部に固定されたマーカのセンシングに基づいた位置姿勢推定情報，及びＧＰＳ信号のうち、少なくとも一つを用いてユーザの位置及び／または姿勢情報を取得することを特徴とする請求項３に記載のユーザ支援装置。
【請求項７】
上記ユーザ外部情報取得手段は、ユーザによる入力を受け付けるインターフェースを有することを特徴とする請求項３に記載のユーザ支援装置。
【請求項８】
上記ユーザ外部情報取得手段は、通信する情報にその情報の開示範囲を属性として付加する情報開示度付加手段を有することを特徴とする請求項３に記載のユーザ支援装置。
【請求項９】
上記ユーザ内部情報取得手段は、ユーザの発汗量，皮膚電位，眼球運動，筋電，脳波，脳磁場，バイタルサイン，表情，顔色，声紋，震え，体の動作，血糖，体脂肪，血流，唾液の成分，息の成分，排泄物の成分，及び汗の成分の情報のうち、少なくとも一つを取得することを特徴とする請求項３に記載のユーザ支援装置。
【請求項１０】
上記ユーザ内部情報取得手段は、通信する情報にその情報の開示範囲を属性として付加する情報開示度付加手段を有することを特徴とする請求項３に記載のユーザ支援装置。
【請求項１１】
上記環境情報取得手段は、上記ユーザを含むユーザ群が行動する範囲あるいはユーザ群に影響を及ぼす可能性のある範囲をサポートし、映像，音声，匂い，気温，湿度，空気中の成分，気圧，明るさ，紫外線量，電波，磁場，地表温度，ＩＣタグ情報，距離，及び風向のうち、少なくとも一つを取得する環境センシング手段を有することを特徴とする請求項３に記載のユーザ支援装置。
【請求項１２】
上記環境情報取得手段は、１次元あるいは２次元測距センサ，重力方向センサ，加速度センサ，角加速度センサ，ジャイロセンサ，及びＧＰＳ信号のうち、少なくとも一つを用いて当該環境情報取得手段自身の位置及び／または姿勢情報を取得することを特徴とする請求項３に記載のユーザ支援装置。
【請求項１３】
上記環境情報取得手段によって取得された情報から、ユーザ群の履歴、物体群の移動、車両，エレベータ，ゲート，及びドアのうちの少なくとも一つの動作記録、及び天気のうち、少なくとも一つのを認識し、環境状態情報を生成する環境状態判断手段を更に具備することを特徴とする請求項３に記載のユーザ支援装置。
【請求項１４】
上記環境状態判断手段は、上記環境情報取得手段によって得られた情報のうち少なくとも一つをもとに、危険度属性を仮想空間内に設定する危険度属性設定手段を有することを特徴とする請求項１３に記載のユーザ支援装置。
【請求項１５】
上記危険度属性設定手段は、上記環境情報取得手段によって得られた情報のうち少なくとも一つをもとにユーザ周辺の動体を検知し、一定時間後の危険度属性も予測し設定することを特徴とする請求項１４に記載のユーザ支援装置。
【請求項１６】
上記危険度属性設定手段は、外部からの危険度属性入力を受け付けるインターフェースを持つことを特徴とする請求項１４に記載のユーザ支援装置。
【請求項１７】
上記環境情報取得手段によって得られた環境情報を記録する環境情報記録手段を更に具備することを特徴とする請求項３に記載のユーザ支援装置。
【請求項１８】
上記環境状態判断手段で生成された環境状態情報を記録する環境情報記録手段を更に具備することを特徴とする請求項１３に記載のユーザ支援装置。
【請求項１９】
上記環境情報記録手段は、上記ユーザ外部情報，ユーザ内部情報，及び環境情報のうちの少なくとも一つと当該環境情報記録手段に記録されている過去の記録情報との少なくとも一つをもとに、新たに記録される情報に重み付けをすることを特徴とする請求項１７または１８に記載のユーザ支援装置。
【請求項２０】
上記環境情報記録手段は、上記重み付けに基づいて情報を消去あるいは圧縮することを特徴とする請求項１９に記載のユーザ支援装置。
【請求項２１】
上記ユーザ状態判断手段は、上記ユーザ外部情報，ユーザ内部情報，及び環境情報のうちの少なくとも一つの情報をもとに、関心領域を取得することを特徴とする請求項３に記載のユーザ支援装置。
【請求項２２】
上記ユーザ状態判断手段は、上記ユーザ外部情報，ユーザ内部情報，及び環境情報のうちの少なくとも一つの情報をもとに、ユーザの位置，姿勢情報，注視点，会話内容，会話相手，会話相手の顔色，声の抑揚，及び視線のうち、少なくとも一つをユーザ体験情報として抽出するユーザ体験情報抽出手段を有することを特徴とする請求項３に記載のユーザ支援装置。
【請求項２３】
上記ユーザ状態判断手段は、上記ユーザ外部情報，ユーザ内部情報，環境情報，及び上記ユーザ体験情報抽出手段で抽出したユーザ体験情報のうちの少なくとも一つを用いて、ユーザのストレス度，興奮度，感銘度，疲労度，注目度，恐怖度，集中度，注目度，歓喜度，眠気，排泄欲求，及び食欲のうち、少なくとも一つを認識することを特徴とする請求項２２に記載のユーザ支援装置。
【請求項２４】
上記ユーザ状態判断手段は、上記ユーザ外部情報，ユーザ内部情報，環境情報，及び上記ユーザ体験情報抽出手段で抽出したユーザ体験情報のうちの少なくとも一つを用いて、ユーザの現在の行動を判断することを特徴とする請求項２２に記載のユーザ支援装置。
【請求項２５】
上記ユーザ外部情報，ユーザ内部情報，環境情報，及び上記ユーザ状態判断手段で得られた情報を記録するユーザ情報記録手段を更に具備することを特徴とする請求項３に記載のユーザ支援装置。
【請求項２６】
上記ユーザ情報記録手段は、上記ユーザ外部情報，ユーザ内部情報，環境情報，及びユーザ体験情報のうちの少なくとも一つと当該ユーザ情報記録手段に記録されている過去の記録情報との少なくとも一つをもとに、新たに記録される情報に重み付けをすることを特徴とする請求項２５に記載のユーザ支援装置。
【請求項２７】
上記ユーザ情報記録手段は、上記重み付けに基づいて情報を消去あるいは圧縮することを特徴とする請求項２６に記載のユーザ支援装置。
【請求項２８】
ユーザへ情報を提示する情報提示手段を更に具備することを特徴とする請求項３に記載のユーザ支援装置。
【請求項２９】
上記情報提示手段は、上記ユーザ外部情報取得手段に取り付けられていることを特徴とする請求項２８に記載のユーザ支援装置。
【請求項３０】
上記情報提示手段は、上記ユーザ内部情報取得手段に取り付けられていることを特徴とする請求項２８に記載のユーザ支援装置。
【請求項３１】
上記情報提示手段は、上記環境情報取得手段に取り付けられていることを特徴とする請求項２８に記載のユーザ支援装置。
【請求項３２】
上記ユーザ内部情報取得手段及び／またはユーザ外部情報取得手段は、通信する情報にその情報の開示範囲を示す情報開示度を付加する情報開示度付加手段を有し、
上記情報提示手段は、上記情報開示度付加手段によって付加された情報開示度に基づいて、提示する情報を選択することを特徴とする請求項２８に記載のユーザ支援装置。
【請求項３３】
上記情報提示手段は、音，映像，匂い，触覚，及び振動のうちの少なくとも一つを用いて情報を提示することを特徴とする請求項２８に記載のユーザ支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの行動，記憶，または思考の支援を行うユーザ支援装置に関する。
【背景技術】
【０００２】
特許文献１には、車両の状況を判断してユーザとのコミュニケーションを行うエージェント装置が提案されている。このエージェント装置によれば、例えば、お昼時にユーザのお腹が鳴る音を検出した場合に「食堂の案内をしましょうか？」といったように、エージェントが処理可能な行為の提案をするようになっている。そして、車両内に出現させるエージェントについては、その容姿や音声をユーザの好みに応じて選択することが可能になっている。
【特許文献１】特開２００１−５６２２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１に開示のエージェント装置では、時々刻々と変化する環境内の情報をセンサなどで取るわけではなく、時間などをトリガにしてエージェントがユーザの活動支援をするものであり、ＴＰＯ（時（time）と所（place）と場合（occasion））あるいは環境情報に合わせた活動支援をしているわけではない。
【０００４】
また、特に近年、情報媒体の発達により、非常に多くの支援情報を取得可能であるが、逆に情報が多すぎてユーザのニーズを的確に捉えた情報提示が必要となってきている。
【０００５】
本発明は、上記の点に鑑みてなされたもので、ユーザが意識しなくても常にＴＰＯに合った有用な情報を自動的、あるいはインタラクティブにユーザに提示できるユーザ支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のユーザ支援装置の一態様は、ユーザに関する情報を取得するユーザ情報取得手段と、上記ユーザ情報取得手段で取得した情報に基づいて、ユーザの位置，姿勢情報，身体状態，及び精神状態のうち、少なくとも一つをユーザ状態として判断するユーザ状態判断手段と、上記ユーザ状態判断手段によって判断したユーザ状態に基づいて、ユーザの行動，記憶，及び思考のうち、少なくとも一つの支援を行うユーザ支援手段とを具備することを特徴とする。
【０００７】
また、本発明のユーザ支援装置の別の態様は、ユーザが知覚している情報であるユーザ外部情報を取得するユーザ外部情報取得手段と、ユーザ自身の情報であるユーザ内部情報を取得するユーザ内部情報取得手段と、ユーザ周辺の環境情報を取得する環境情報取得手段とのうち少なくとも二つを備え、それら取得手段で取得した情報に基づいて、ユーザの位置，姿勢情報，身体状態，及び精神状態のうち、少なくとも一つを含むユーザ状態を判断するユーザ状態判断手段と、上記ユーザ状態判断手段によって判断したユーザ状態に基づいて、ユーザの行動，記憶，及び思考のうち、少なくとも一つの支援を行うユーザ支援手段とを具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザが意識しなくても常にＴＰＯに合った有用な情報を自動的、あるいはインタラクティブにユーザに提示できるユーザ支援装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１０】
［第１実施形態］
図１は、本発明の第１実施形態に係るユーザ支援装置の構成を示す図である。
【００１１】
本実施形態に係るユーザ支援装置は、ユーザの外部情報を取得するユーザ外部情報取得手段１００と、ユーザの内部情報を取得するユーザ内部情報取得手段２００と、ユーザの存在する環境の情報を取得する環境情報取得手段３００との３つのうち、少なくとも２つの情報をセンシングする手段を有している。また、上記ユーザ外部情報取得手段１００及びユーザ内部情報取得手段２００で取得したユーザの内外情報からユーザの状態を判断するユーザ状態判断手段４００と、該ユーザ状態判断手段４００で判断した情報、もしくは、上記ユーザ外部情報取得手段１００及びユーザ内部情報取得手段２００で取得した情報そのものを記録するためのユーザ情報記録手段５００と、上記環境情報取得手段３００で取得した環境情報から環境の状態を判断する環境状態判断手段６００と、該環境状態判断手段６００で判断した情報、もしくは、上記環境情報取得手段３００で取得した情報そのものを記録するための環境情報記録手段７００とを有している。そして更に、上記ユーザ情報記録手段５００及び環境情報記録手段７００に記録された情報、もしくは、上記ユーザ状態判断手段４００及び環境状態判断手段６００からの出力を、ユーザに対して提示するなどして、ユーザを支援するユーザ支援手段を備えている。
【００１２】
ここで、上記ユーザ外部情報取得手段１００は、少なくともユーザが五感によって感じることができる範囲、即ちユーザが知覚している領域をサポートし、その領域の情報、例えば、映像，音声（音像），匂い（発生源の方向），気温，湿度，空気中の成分，気圧，明るさ，紫外線量，電波，磁場，地表温度，ＩＣタグ情報，距離，風向のうち、少なくとも一つを随時センシングするものである。そのためのセンサが、ユーザ自体に取り付けられている。勿論、そのようにユーザ自体に取り付ける構成が最も単純であるとはいえ、例えば、ユーザとともに移動するロボットのようなものに装着されたセンサや、複数の固定配置されたセンサをユーザの移動とともに切り替え使用する等、ユーザ自体に取り付けられていないセンサを利用することも可能である。この場合には、そのようなセンサで検出した情報を、ユーザ外部情報であることを示す属性を付した上で利用すれば良い。
【００１３】
また、上記ユーザ外部情報取得手段１００は、例えばユーザには実際には見えていないが、音は聞こえる領域（例えばユーザの背後）の映像をセンシングすることも含む。更には、ユーザ外部情報取得手段１００では、１次元あるいは２次元測距センサ，重力方向センサや加速度センサ，角加速度センサ，ジャイロセンサ，外部に固定されたマーカのセンシングに基づいた位置姿勢推定情報，ＧＰＳ信号のうち少なくとも一つを用いてユーザの位置，姿勢情報をセンシングするものであっても良い。更に、このユーザ外部情報取得手段１００は、ユーザによる入力を受け付けるインターフェースを含んでいても良い。
【００１４】
上記のような情報をセンシングするセンサ類については、すでに既存技術があるので、その説明は省略する。これらセンシングされた情報は、随時、ユーザ状態判断手段４００に送信される。
【００１５】
上記ユーザ内部情報取得手段２００では、ユーザの体調，精神状態，興奮の度合いなどの判断基準となる情報、例えば、ユーザの発汗量，皮膚電位，眼球運動，筋電，脳波，脳磁場，バイタルサイン（血圧，脈拍，呼吸，体温），表情，顔色，声紋，震え，体の動作，血糖，体脂肪，血流のうち、少なくとも一つを随時センシングするものである。そのためのセンサが、ユーザ自体に取り付けられている。勿論、上記ユーザ外部情報取得手段１００と同様、ユーザ自体に取り付けられていないセンサを利用することも可能である。上記のような情報をセンシングするセンサ類については、すでに既存技術があるので、その説明は省略する。また、ユーザ内部情報の中には、唾液，息，排泄物，汗などをタイムスタンプとともに採取し、オフラインで成分を分析した結果や、映像によって透明度，色からの解析結果も含んでも良い。これらセンシングされた情報は、随時、ユーザ状態判断手段４００に送信される。
【００１６】
上記環境情報取得手段３００は、例えば、部屋の中や電車の中，エレベータの中，公園，空港，ホール，市街地，駅構内，高速道路，車両内，建物内等のユーザ群が存在し得る生活空間に固定されたセンサによって、予め決められたエリア内の情報、例えば、映像，音声（音像），匂い（発生源の方向），気温，湿度，空気中の成分，気圧，明るさ，紫外線量，電波，磁場，地表温度，ＩＣタグ情報，距離，風向のうち、少なくとも一つを随時センシングするものである。また、この環境情報取得手段３００では、１次元あるいは２次元測距センサ，重力方向センサや加速度センサ，角加速度センサ，ジャイロセンサ，ＧＰＳ信号のうち少なくとも一つを用いて、当該環境情報取得手段３００自身の位置，姿勢情報をセンシングしても良い。これらをセンシングするセンサ類については、すでに市販されているものが多くあるので、説明を省略する。また、これらセンシングされた情報は、環境状態判断手段６００へ随時送信される。
【００１７】
上記ユーザ状態判断手段４００では、上記ユーザ外部情報取得手段１００やユーザ内部情報取得手段２００から送られてきたユーザ外部情報及びユーザ内部情報、更に上記ユーザ情報記録手段５００に記録されている過去のユーザ情報を元に、現在のユーザ状態、あるいは、未来のユーザ状態を推測する。例えば、ユーザが注目している関心領域（指差し方向，ユーザの視野，視線，体の向き）、ユーザのストレス度，興奮度，感銘度，疲労度，注目度，恐怖度，集中度，関心度，歓喜度，眠気，排泄欲求，食欲，体調，身体活動状態のうち少なくとも一つを認識し、また、現在の行動（会話中，移動中，運動中，勉強中，仕事中，睡眠中，瞑想中，休息中）を判断し、未来のユーザの行動を予測、更にはユーザが必要としている情報を推測して、その推測内容を上記ユーザ支援手段８００へ送信する。ここで、上記環境情報取得手段３００のサポートする範囲内では、上記環境状態判断手段６００から、周囲から見たユーザの状態情報を取得し、ユーザ状態の判断における補助情報として用いても良い。また、ユーザの位置，姿勢情報、注視点，会話内容，会話相手，会話相手の顔色，声の抑揚，視線のうち少なくとも一つをユーザ体験情報として抽出しても良い。具体的な例に関しては後述する。さらに、ユーザ外部情報、ユーザ内部情報、及びユーザ状態情報を、タイムスタンプや位置情報等とともにユーザ情報記録手段５００へ送信する。
【００１８】
上記ユーザ情報記録手段５００では、上記ユーザ状態判断手段４００から送信されてきた情報をタイムスタンプとともに記録する。また、上記ユーザ状態判断手段４００からの問い合わせに対して過去の情報を検索し、その結果を上記ユーザ状態判断手段４００に送信する。これらの情報は、ユーザが注目している関心領域（指差し方向，ユーザの視野，視線，体の向き）、ユーザのストレス度，興奮度，感銘度，疲労度，注目度，恐怖度，集中度，歓喜度，眠気，排泄欲求，食欲，体調，身体活動状態、現在の行動（会話中，移動中，運動中，勉強中，仕事中，睡眠中，瞑想中，休息中）によって重み付けされて整理されていても良い。
【００１９】
上記環境状態判断手段６００では、上記環境情報取得手段３００から送られてきた環境情報、更には、上記環境情報記録手段７００に記録されている過去の環境情報に基づいて、環境の状態を判断する。例えば、ユーザ群の動作や、物体群の移動、車両（自動車），エレベータ，ゲート，ドアなどの動作、天気のうち少なくとも一つのを認識し、サポートする範囲内にいるユーザ群の周囲の危険度、または、ユーザにとって有益な情報を推定して、上記ユーザ状態判断手段４００へ送信する。ここで、サポート範囲内にあるユーザ状態判断手段４００から各ユーザのユーザ状態情報を得て環境状態の判断に用いても良い。また、ユーザに送る有益な情報としては、上記環境情報記録手段７００に記録されている地図，店舗等のある程度不変な情報である静的情報を参照しても良い。具体的な例に関しては後述する。さらに、この環境状態判断手段６００は、環境情報，環境状態情報をタイムスタンプや位置情報等とともに上記環境情報記録手段７００へ送信する。なお、この環境状態判断手段６００は、上記環境情報取得手段３００に内包されていても良い。
【００２０】
上記環境情報記録手段７００では、上記環境状態判断手段６００から送信されてきた情報をタイムスタンプとともに記録し、また、外部入力によって入力された地図や店舗などの静的情報も記録する。また、上記環境状態判断手段６００からの問い合わせに対して過去の情報や静的情報を検索し、その結果を上記環境状態判断手段６００に送信する。これらの情報は、ユーザ群の動作や、物体群の移動、車両，エレベータ，ゲート，ドアなどの動作、天気によって重み付けされて整理されていても良い。
【００２１】
上記ユーザ支援手段８００では、上記ユーザ状態判断手段４００や環境状態判断手段６００から送信されてくる情報をもとに、ユーザに支援情報を、音，映像，匂い，触覚，振動のうち少なくとも一つを用いて提示する。このユーザ支援手段８００は、上記のユーザ外部情報取得手段１００、ユーザ内部情報取得手段２００、あるいはユーザ状態判断手段４００に内包されていても良い。
【００２２】
図２及び図３はそれぞれ、上記ユーザ外部情報取得手段１００に内包したユーザ支援手段８００の例を示す図である。
【００２３】
即ち、図２は、上記ユーザ外部情報取得手段１００としてのめがね型ステレオカメラ１１０を示す斜視図及び背面図である。このめがね型ステレオカメラ１１０は、めがね型のフレームの左端に左カメラ１０１、右端に右カメラ１０２が組み込まれており、その２個のカメラ１０１，１０２によりステレオカメラを構成するものである。またこのめがね型フレームの柄の部分には、特に図示はしないが、ステレオマイク、ジャイロセンサや加速度センサ、ＧＰＳセンサ、歩数計測器、等が組み込まれている。そして、ユーザ支援手段８００として、このめがね型のフレームのユーザの視野内の前方部に超小型ディスプレイ８１０が組み込まれ、また、そのフレームのユーザの耳付近にスピーカ８２０が組み込まれているものである。即ち、超小型ディスプレイ８１０に視覚的に情報呈示をすることにより、各種の情報をユーザに提供することができ、また、スピーカ８２０により、ユーザへの音としての情報呈示が可能である。なお、上記超小型ディスプレイ８１０には、左あるいは右カメラ１０１，１０２から撮像される画像を出力する機能もあり、そうして撮影された画像に、文字情報やアイコン情報やその他視覚的情報を重畳して、カメラ視野内で検知された対象物に付記する形で、情報を重畳することも可能である。また、ディスプレイがシースルー（半透明）になっており、透過して見える実世界に重畳するように情報を提示しても良い。
【００２４】
また、図３は、上記ユーザ外部情報取得手段１００としてのペンダント型ステレオカメラ１１１を示す斜視図である。このペンダント型ステレオカメラ１１１には、左カメラ１０１及び右カメラ１０２が組み込まれており、その２個のカメラ１０１，１０２によりステレオカメラを構成するものである。また、このペンダント型ステレオカメラ１１１には、特に図示しはないが、ジャイロセンサ、加速度センサ、歩数計測器、ＧＰＳセンサ、ステレオマイクなどが内蔵されている。そして、ユーザ支援手段８００として、このペンダント型ステレオカメラ１１１には更に、超小型プロジェクタ８３０が内蔵されている。この超小型プロジェクタ８３０は、例えばユーザの手のひらに対して投影して、情報呈示するものである。なお、上記各手段は、パーソナルコンピュータ、ウェアラブルコンピュータ、グリットコンピュータ群等の汎用コンピュータ上で、あるいは複数の汎用コンピュータのネットワークを介して動作するソフトウェアの形態、あるいは専用に設計されたハードウェアであっても良いことは言うまでも無い。
【００２５】
ここで、本実施形態の理解を助けるため、具体的なシーンを想定して、実施形態に係るユーザ支援装置の動作を説明する。
【００２６】
（シーン１）
環境状態判断手段６００からの情報によってユーザに刺激を与える例を示す。
【００２７】
ユーザがある街角の彫刻前で立ち止まって見ていると、ユーザ外部情報取得手段１００がステレオカメラで撮影し、撮影された画像群はユーザ状態判断手段４００へ送られる。ユーザ状態判断手段４００では、その送られてきた画像から、ステレオカメラのぶれを認識し、ぶれからユーザの凝視を判別し、その凝視している時間から関心度を測定して、関心度がある閾値を超えていれば、ユーザがその彫刻に興味をもったと判断し、彫刻の関連情報をユーザ支援情報として生成する。具体的には、撮影された画像群から彫刻のラベルを読み取り、作者名を取得する。さらに、上記ステレオカメラから取得されたステレオ画像から彫刻の３次元再構成を行い、３次元画像を取得する。そして、３次元画像や作者名に基づいて、この作品の詳細情報や、同じような形状をした彫刻や、同じ作者の作品に関して、環境状態判断手段６００へ問い合わせを行う。環境状態判断手段６００では、環境情報記録手段７００から検索された情報をユーザ状態判定手段４００へ送り、ユーザにこの作品の詳細情報や、同じような形状をした彫刻や、同じ作者の作品に関する情報をユーザ支援手段８００に呈示する。さらに、呈示に対する関心度と共に彫刻の画像，作者情報，類似作品情報，現在位置，時間，３次元画像を、ユーザ情報記録手段５００に送信し記録する。ユーザ情報記録手段５００では、関心度をもとに圧縮率を設定し、また、関心度がある閾値を超えていればユーザ特有の嗜好情報としてラベリングして記録する。
【００２８】
上記作用によって、ユーザの知的好奇心を刺激することが可能となり、ユーザの支援をすることができる。
【００２９】
なお、この例では、ユーザ外部情報取得手段１００はステレオカメラを、ユーザ状態判断手段４００はユーザ凝視度判定装置，ユーザ関心度判定装置，及び３次元再構成装置を、環境状態判断手段６００は彫刻３次元検索エンジンを、環境情報記録手段７００は彫刻３次元データベースを、ユーザ情報記録手段５００は情報圧縮手段を、それぞれ備える。
【００３０】
（シーン２）
ユーザの状態を検知し、お店など紹介，ナビゲーションする例を示す。
【００３１】
ユーザ内部情報取得手段２００は、ユーザの血糖値を常にモニタリングしてユーザ状態判断手段４００へ血糖値を送信している。ユーザ状態判断手段４００では、血糖値の変化からユーザの空腹をモニタリングしている。空腹を検知した場合には、ユーザ情報記録手段５００から過去の食事内容や、運動量、好み、あるいは会話の中に現れたキーワード等を参照し、献立候補を生成する。次に、環境情報判断手段６００に問い合わせを行い、ユーザ外部情報取得手段１００のＧＰＳ情報から現在位置を認識し、献立候補が食べられる近辺のお店候補をユーザに提示する。ユーザによって献立及び／又はお店が選択されると、ユーザ状態判断手段４００は選択されたお店までの最適な経路を環境情報判断手段６００へ問い合わせし、お店までの経路をユーザ支援手段８００に呈示し、随時ナビゲーションする。選択された献立，お店の情報は嗜好情報として、さらに、食事中及び食事後にはユーザ外部情報取得手段１００から得られた、食事をしているときの会話や、ユーザ内部情報取得手段２００から得られた心拍数を用いてユーザ状態判断手段４００によって判断された興奮度と共に、ユーザ情報記録手段４００へ記録される。
【００３２】
上記作用によって、空腹時に最適な食事を提供することが可能となり、ユーザの支援をすることができる。
【００３３】
なお、この例では、ユーザ外部情報取得手段１００はマイク及びＧＰＳ信号受信機を、ユーザ内部情報取得手段２００は血糖値モニタ及び心拍数モニタを、ユーザ状態判断手段４００は空腹判定装置，嗜好献立候補生成装置，店舗情報参照装置，会話理解装置，及び興奮度判定装置を、環境状態判断手段６００は店舗検索エンジンを、環境情報記録手段７００は店舗データベースを、ユーザ情報記録手段５００は食事履歴及び運動履歴データベースを、それぞれ備える。
【００３４】
（シーン３）
ユーザの退屈度を認識し刺激情報を呈示する例を示す。
【００３５】
ユーザ外部情報取得手段１００からのステレオ映像をもとにユーザ状態判断手段４００にて、あくびが多い、何も行動していない状態、つまり退屈してる状態が認識された場合には、ユーザ外部情報取得手段１００のＧＰＳ信号から現在位置を認識し、また、ユーザ情報記録手段５００に記録されているユーザの嗜好情報を元に、環境情報判断手段６００に問い合わせて現在位置周辺の映画上映情報やブティック新装開店情報、マッサージや温泉などのリラクゼーションスポット情報、あるいは雑誌，書籍の新刊情報、最新のパーソナルコンピュータやデジタルカメラのデモ販売情報等の情報をユーザ支援手段８００に呈示する。前述の情報のうち、例えば、マッサージが選択された場合には、ユーザ情報記録手段５００のマッサージに関する嗜好の度合いを上げるとともに、環境情報判断手段６００に選択されたマッサージのお店までの最適な経路を問い合わせし、お店までの経路をユーザ支援手段８００に呈示し、随時ナビゲーションする。その後、ユーザ内部情報取得手段２００によって得られた心拍数，血圧をもとにユーザ状態判断手段４００では、マッサージの効果を判定し、その評価値をお店の場所と共にユーザ情報記録手段５００に記録する。
【００３６】
上記作用によって、退屈している時間を有効に過ごすことが可能になり、ユーザの支援をすることができる。
【００３７】
なお、この例では、ユーザ外部情報取得手段１００はステレオカメラ及びＧＰＳ信号受信機を、ユーザ内部情報取得手段２００は心拍数モニタ及び血圧モニタを、ユーザ状態判断手段４００は３次元再構成装置，あくび検知装置，及び退屈度判定装置を、環境状態判断手段６００はアミューズメント検索エンジンを、環境情報記録手段７００はアミューズメントデータベースを、それぞれ備える。
【００３８】
（シーン４）
ユーザの状態を判断し、集中力を高める作用をする例を示す。
【００３９】
ユーザ外部情報取得手段１００からのステレオ映像をもとにユーザ状態判断手段４００にて教科書を見て、何か書き留めているという状態、つまり勉強中であると認識した場合は、ユーザ情報記録手段５００に記録されているお気に入りの曲や、集中し易い曲をユーザ支援手段８００のスピーカから流したり、集中力を高める香りを発生させたりする。結果、ユーザ内部情報取得手段２００によって脳波の変化を測定し、ユーザ状態判断手段４００でこれらの曲や香りの効果を判定し、各曲と香りを特定する情報と共に判定結果をユーザ情報記録手段５００に記録する。なお、この場合、脳波の代わりに、筆記速度や、解答速度、視点軌跡によって集中度を判定しても良い。また、あまりに集中力が高まらない場合には気分転換を促しても良い。
【００４０】
上記作用によって、高い集中力を保ったまま作業が可能になり、ユーザの支援をすることができる。
【００４１】
なお、この例では、ユーザ外部情報取得手段１００はステレオカメラを、ユーザ内部情報取得手段２００は脳波モニタを、ユーザ状態判断手段４００は３次元再構成装置，参照物体認識装置，筆記動作検知装置，及び集中度判定装置を、ユーザ支援手段８００はスピーカ及び香り発生装置を、それぞれ備える。
【００４２】
（シーン５）
環境の状態を判断し、注意喚起する例を示す。
【００４３】
ユーザ外部情報取得手段１００からのステレオ映像をもとにユーザ状態判断手段４００にて前方からある相対速度で物体が近づいてきていると認識された場合、あるいは、環境状態取得手段３００によって得られたステレオ映像をもとに環境状態判断手段６００にてそのユーザの死角からある相対速度で物体が近づいてきていると認識された場合に、まず、その対象物体のユーザ状態判断手段４００に対称物体の照会し、ユーザ状態判断手段４００にてユーザ自身との関連性を判定する。この死角は、ユーザ状態判断手段４００がユーザ外部情報取得手段１００のサポートしている範囲を認識して、その範囲外を死角とする。また、関連性とは、ユーザ情報記録手段５００に記録されている過去に出会っている物体との関連性も含む。関連性が全く無く、衝突する危険性がある場合、あるいはユーザ情報記録手段５００に記録されている過去の危険状態から類似の状態が検索された場合（例えば、自転車と衝突したなど）は、ユーザ支援手段８００に衝突の危険性を呈示する。また、ユーザ内部情報取得手段２００によって得られた恐慌度と共に、この状況（場所，時間，対象物体，衝突可能性）を危険状態としてユーザ情報記録手段５００に記録する。
【００４４】
上記作用によって、危険を事前に察知すること可能になり、ユーザの支援をすることができる。
【００４５】
なお、この例では、ユーザ外部情報取得手段１００はステレオカメラを、ユーザ状態判断手段４００は前方物体認識装置，ユーザ死角認識装置，３次元再構成装置，及び関連性検索エンジンを、環境情報取得装置３００はステレオカメラを、環境状態判断手段６００は３次元再構成装置，物体認識装置，及び危険状態検索エンジンを、環境情報記録手段７００は危険状態データベースを、ユーザ情報記録手段５００は物体関連性データベースを、それぞれ備える。
【００４６】
以下、簡単のため機能を絞って、情報のセンシングから、その判断、そしてユーザへの提示までの具体的な構成及びデータの流れを説明する。
【００４７】
図４は、上記ユーザ支援手段８００に刺激情報が提示されるまでの構成を示す図である。この場合、上記ユーザ外部情報取得手段１００は、左カメラ１０１及び右カメラ１０２を含み、上記ユーザ内部情報取得手段２００は、発汗量センサ２０１と脈拍カウンタ２０２とを含んでいる。また、上記ユーザ状態判断手段４００は、３次元再構成装置４０１、動領域認識装置４０２、オブジェクト認識装置４０３、人物認証装置４０４、行動推定装置４０５、興奮度推定装置４０６、及び刺激生成装置４０７を含む。そして、上記ユーザ情報記録手段５００は、体験記録記録装置５０１と人物データベース５０２とを含んでいる。
【００４８】
即ち、上記ユーザ外部情報取得手段１００の左カメラ１０１及び右カメラ１０２によって、ユーザからの視点の左カメラ映像及び右カメラ映像、つまり左右の視差映像を取得する。
【００４９】
上記ユーザ状態判断手段４００の３次元再構成装置４０１は、それら左カメラ１０１及び右カメラ１０２から送られてきた視差映像からユーザ視点の３次元映像を生成する。動領域認識装置４０２は、その３次元映像から移動しているものが存在する領域である動領域を認識し、動領域情報をオブジェクト認識装置４０３に与える。オブジェクト認識装置４０３は、その動領域内に含まれる移動しているものが人間や物体等のどのようなオブジェクトであるかを認識し、オブジェクト情報を人物認証装置４０４及び行動推定装置４０５に出力する。人物認証装置４０４は、上記ユーザ情報記録手段５００の人物データベース５０２を参照して、上記オブジェクトとして認識された人間が誰であるのかを特定し、人物情報を行動推定装置４０５に送る。また、人物データベース５０２に登録されていない人物であれば、人物データベース５０２に追加登録を行う。そして、行動推定装置４０５は、オブジェクト認識装置４０３からのオブジェクト情報及び人物認証装置４０４からの人物情報に基づいて、ユーザの現在の行動（例えば、移動中や会話中）を推定し、その推定結果を、上記ユーザ情報記録手段５００の体験記録記録装置５０１に記録する。
【００５０】
一方、上記ユーザ内部情報取得手段２００の発汗量センサ２０１でユーザの発汗量を取得し、同じく脈拍カウンタ２０２によりユーザの脈拍数を取得する。
【００５１】
上記ユーザ状態判断手段４００の興奮度推定装置４０６は、それら発汗量センサ２０１及び脈拍カウンタ２０２で取得したユーザの発汗量及び脈拍数から、ユーザがどの程度興奮しているかを推定する。そして、その推定した興奮度を、上記ユーザ情報記録手段５００の体験記録記録装置５０１に記録する。
【００５２】
上記ユーザ状態判断手段４００の刺激生成装置４０７は、上記ユーザ情報記録手段５００の体験記録記録装置５０１からの興奮体験情報と上記環境情報記録手段７００からの地理情報とにより、刺激情報を生成する。例えば、体験記録記録装置５０１上にある興奮度の高い体験をもとに環境情報記録手段７００を参照して、例えば今現在いる場所に関して興味がありそうな情報を刺激情報として生成する。そして、この刺激情報をユーザ支援手段８００へ送信して、ユーザに提示する。
【００５３】
図５は、上記ユーザ支援手段８００に危険情報が提示されるまでの構成を示す図である。この場合、上記環境情報取得手段３００は、左カメラ３０１及び右カメラ３０２を含む。また、上記環境状態判断手段６００は、３次元再構成装置６０１、背景除去装置６０２、動領域認識装置６０３、人物認識装置６０４、オブジェクト認識装置６０５、及び危険領域予測装置６０６を含む。そして、上記環境情報記録手段７００は、人物通過履歴記録装置７０１、オブジェクト通過履歴記録装置７０２、及び危険度履歴記録装置７０３を含んでいる。また、この場合、上記ユーザ状態判断手段４００はユーザ関連度判定装置４０８を含み、上記ユーザ支援手段８００は危険提示装置８０１を含むものである。
【００５４】
即ち、上記環境情報取得手段３００の所定位置に設置された左カメラ３０１及び右カメラ３０２によって、その所定位置視点の左カメラ映像及び右カメラ映像、つまり左右の視差映像を取得する。
【００５５】
上記環境状態判断手段６００の３次元再構成装置６０１は、それら左カメラ３０１及び右カメラ３０２から送られてきた視差映像から上記所定位置視点の３次元映像を生成する。背景除去装置６０２は、その生成された３次元映像から背景情報を除去し、前景情報のみを動領域認識装置６０３に与える。動領域認識装置６０３は、その前景情報から移動しているものが存在する領域である動領域を認識し、動領域情報を人物認識装置６０４及びオブジェクト認識装置６０５に供給する。人物認識装置６０４は、その動領域内に含まれる移動しているもののうち、人間（ユーザ群）のみをピックアップし、各人（各ユーザ）の位置及び移動方向を示す人物情報を生成して、上記オブジェクト認識装置６０５に供給すると共に、上記環境情報記録手段７００の人物通過履歴記録装置７０１に記録する。これにより、その人物通過履歴記録装置７０１には、上記環境情報取得手段３００の左カメラ３０１及び右カメラ３０２の視野内での各人の移動履歴が記録される。この場合、人物認識装置６０４は、上記ユーザ状態判断手段４００の人物認証装置４０４のように各人が誰であるのかの特定は行っていないので、プライバシーが侵害されるおそれは少ない。
【００５６】
また、上記オブジェクト認識装置６０５は、上記人物認識装置６０４からの人物情報に基づいて、上記動領域認識装置６０３から送られてきた動領域情報で示される動領域内に含まれる移動しているもののうち、人間以外の移動物体を認識し、上記人物情報で示される各人の位置及び移動方向と、認識した各移動物体の位置及び移動方向とを、オブジェクト情報として生成し、上記危険領域予測装置６０６に供給すると共に、上記環境情報記録手段７００のオブジェクト通過履歴記録装置７０２に記録する。これにより、そのオブジェクト通過履歴記録装置７０２には、上記環境情報取得手段３００の左カメラ３０１及び右カメラ３０２の視野内での各人及び各移動物体の移動履歴が記録される。
【００５７】
上記危険領域予測装置６０６は、上記オブジェクト認識装置６０５から送られてくるオブジェクト情報により、人間同士あるいは人間と移動物体との衝突などの危険性がある領域を予測する。なお、この場合、上記危険領域予測装置６０６に、外部からの危険度属性入力を受け付けるインターフェースを持たせれば、予め工事予定や故障車情報、災害、天候、事件（犯罪発生率や過去の事件誘発状況）、等の情報などを入力することが可能となり、予測される危険度の信頼度が高くなる。そして、その予測した危険領域を示す危険領域情報を、例えば無線により少なくともその危険領域を含む領域に送信すると共に、上記環境情報記録手段７００の危険度履歴記録装置７０３に記録する。これにより、その危険度履歴記録装置７０３には、危険領域として判別された領域の履歴が記録される。
【００５８】
各ユーザの上記ユーザ状態判断手段４００のユーザ関連度判定装置４０８は、上記環境状態判断手段６００の危険領域予測装置６０６が送信した危険領域情報を受信して、当該ユーザがその危険領域にいるのかを判別し、そうであれば上記ユーザ支援手段８００の危険提示装置８０１に危険情報を送って、ユーザに危険を報知する。
【００５９】
このような情報の流れにより、必要とするユーザや環境の状態の判断を実施し、ユーザへの危険度提示という形でユーザの支援を実現する。
【００６０】
［第２実施形態］
次に、本発明の第２の実施形態を説明する。本実施形態は、プライバシー保護のための手段を更に追加したものである。
【００６１】
図６はその構成を示す図で、図１に示した第１実施形態の構成において、上記ユーザ外部情報取得手段１００には、上記第１実施形態でのユーザ外部情報取得のための構成に相当するユーザ外部情報センシング手段１００Ａに加えて、情報開示度を付与する情報開示度付与手段１００Ｂを備え、同様に、上記ユーザ内部情報取得手段２００にはユーザ内部情報センシング手段２００Ａに加えて情報開示度付与手段２００Ｂを、また、上記環境情報取得手段３００には環境情報センシング手段３００Ａに加えて情報開示度付与手段３００Ｂを、それぞれ備えるようにしている。
【００６２】
なおここで、開示度は、開示するシステムまたはユーザを指定するものである。この開示度は、環境状態判断手段６００やユーザ状態判断手段４００において判断された情報に基づいて変更が行われても良い。例えば、環境状態判断手段６００において人物でないと判断された場合は、開示するユーザやシステムを多くしても良い。
【００６３】
以下、簡単のため機能を絞って、情報のセンシングから、その判断、そしてユーザへの提示までの具体的な構成及びデータの流れを説明する。
【００６４】
図７は、上記ユーザ支援手段８００に危険情報が提示されるまでの構成を示す図である。この場合、上記ユーザ外部情報取得手段１００は、上記ユーザ外部情報センシング手段１００Ａとしてのめがね型ステレオカメラ１１０と上記情報開示度付与手段１００Ｂとしての情報フィルタ・通信装置１２０とを含む。なお、上記めがね型ステレオカメラ１１０には、上記ユーザ支援手段８００としての超小型ディスプレイ８１０が取り付けられている。また、上記ユーザ内部情報取得手段２００は、上記ユーザ内部情報センシング手段２００Ａとしての発汗量センサ２１０と上記情報開示度付与手段２００Ｂとしての情報フィルタ・通信装置２２０とを含む。そして、上記ユーザ状態判断手段４００は、ユーザ状態判断処理手段４１０を含むと共に、情報フィルタ・通信装置４２０も有している。またこの場合、環境情報取得手段３００が複数（３００−１，３００−２）存在し、一つの環境情報取得手段３００−１は、上記環境情報センシング手段３００Ａとして、ステレオカメラ３１０、３次元再構成装置３１１、物体認識装置３１２、物体データベース３１３、軌跡追跡装置３１４、軌跡予測装置３１５、環境情報データベース３１６、マイク３１７、環境音・会話要約作成装置３１８、及び危険可能性マップ生成装置３１９と、上記情報開示度付与手段３００Ｂとしての情報フィルタ・通信装置３２０とを含んでいる。
【００６５】
ここで、上記ユーザ外部情報取得手段１００のめがね型ステレオカメラ１１０は、ユーザ視点の左右の視差映像として左カメラ映像及び右カメラ映像を取得するものであり、情報フィルタ・通信装置１２０は、この左右カメラ映像データをその公開度データと共に上記ユーザ状態判断手段４００に送信する。
【００６６】
また、上記ユーザ内部情報取得手段２００の発汗量センサ２１０は、ユーザの発汗量を取得するものであり、情報フィルタ・通信装置２２０は、取得した発汗量データをその公開度データと共に上記ユーザ状態判断手段４００に送信する。
【００６７】
ユーザ状態判断手段４００の情報フィルタ・通信装置４２０は、上記ユーザ外部情報取得手段１００、ユーザ内部情報取得手段２００、及び環境情報取得手段３００−１，３００−２から送信されてきた情報を受信し、その受信データを公開度データに従ってフィルタリングしてユーザ状態判断処理手段４１０に供給するようになっている。このユーザ状態判断処理手段４１０は、それら供給されたデータを用いて各種のユーザ状態を判断するものである。例えば、上記ユーザ内部情報取得手段２００からの発汗量データにより、どの程度の恐慌をユーザが感じているかを判別し、その結果を個人恐慌度データとして、情報フィルタ・通信装置４２０に公開度データと共に送信させることができる。
【００６８】
環境情報取得手段３００−１のステレオカメラ３１０は、所定位置に設置され、その所定位置視点の左右視差映像データを取得して、３次元再構成装置３１１に送るよう構成されている。この３次元再構成装置３１１は、上記ステレオカメラ３１０から送られてきた視差映像データから上記所定位置視点の３次元映像データを生成し、物体認識装置３１２に送るものである。物体認識装置３１２は、上記３次元再構成装置３１１で生成した３次元映像データから、物体データベース３１３に登録されている照合用物体データを参照して、移動している物体を認識し、物体認識データを軌跡追跡装置３１４、軌跡予測装置３１５、及び情報フィルタ・通信装置３２０に送信する。また、その物体認識データを、新規登録物体認識データとして、上記物体データベース３１３に登録する機能も備えている。なお、この物体認識装置３１２は、その物体認識を行う際に、軌跡予測装置３１５からの軌道予測データを利用することで、より認識精度を向上できる。
【００６９】
軌跡追跡装置３１４は、上記物体認識装置３１２からの物体認識データと、上記物体データベース３１３に登録されている当該物体の過去の物体認識データ及び当該物体の特徴量データとに基づいて、各物体の移動軌跡や速度，サイズ等を算出するものである。そして、その結果を物体追跡データとして軌跡予測装置３１５に供給すると共に、環境情報データベース３１６に登録するようになっている。軌跡予測装置３１５は、この軌跡追跡装置３１４からの物体追跡データと上記物体認識装置３１２からの物体認識データとから、各物体の未来における位置や速度を推定するものである。そして、その推定結果は、軌跡予測データとして、上記物体認識装置３１２及び情報フィルタ・通信装置３２０に供給される。
【００７０】
一方、マイク３１７は音声情報を取得するものであり、環境音・会話要約作成装置３１８は、その音声情報から環境音を分離し、また会話の内容を音声認識して要約を作成し、環境音・会話要約情報として上記環境情報データベース３１６に登録する機能を備えている。
【００７１】
また、上記情報フィルタ・通信装置３２０で受信して、公開度データに応じてフィルタリングされた上記ユーザ状態判断手段４００からの個人恐慌度データも、上記環境情報データベース３１６に登録されるようになっている。危険可能性マップ生成装置３１９は、上記環境情報データベース３１６に登録されている追跡データ、環境音・会話要約情報、個人恐慌度データから、危険可能性の存在する領域を示す危険可能性マップを生成し、それを上記環境情報データベース３１６に登録するものである。
【００７２】
上記情報フィルタ・通信装置３２０は、上記軌跡予測装置３１５からの軌跡予測データと上記環境情報データベース３１６に登録された個人恐慌度データとを、他の環境情報取得手段３００−２との間で交換する機能や、それら軌跡予測データ及び個人恐慌度データ、更には上記物体認識装置３１２で認識された物体認識データを、各ユーザのユーザ状態判断手段４００に送信する機能を備えている。なお、この環境情報取得手段３００−１及び３００−２では、個人を特定するようなデータを生成していないので、送信の際に公開度データを付加しなくても、プライバシーを侵害するおそれは少ないが、公開度データと共に送信することがより好ましい。
【００７３】
上記ユーザ状態判断手段４００のユーザ状態判断処理手段４１０は、上記個人恐慌度データを生成する機能に加えて、上記環境情報取得手段３００−１及び３００−２からの軌跡予測データ、個人恐慌度データ、及び物体認識データと上記ユーザ外部情報取得手段１００からの左右カメラ映像データとに基づいて、当該ユーザの危険度を判別して主観空間危険度マップを生成し、それを情報フィルタ・通信装置４２０によって公開度を設定されたユーザ支援手段８００に送信することで、例えばユーザ外部情報取得手段１００のめがね型ステレオカメラ１１０に取り付けられた超小型ディスプレイ８１０に表示して、ユーザに危険を報知する機能を有しているものである。
【００７４】
なお、物体認識データ及び軌跡予測データは、物体認識装置３１２及び軌跡予測装置３１５で生成したものを環境情報取得手段３００−１から送信するものとしているが、これらは一旦、データベースに登録したものを送信しても良い。しかしながら、緊急性を考慮すると、このようにリアルタイムなデータを送信する方が好ましい。
【００７５】
ここで、環境情報取得手段３００−１において、軌跡予測データが生成されてユーザ状態判断手段４００に情報が送信されるまでの動作を、図８のフローチャートを用いて説明する。
【００７６】
即ち、ステレオカメラ３１０で映像を撮影し（ステップＳ１０）、左右視差映像を取得する。そして、３次元再構成装置３１１にてその左右視差映像より３次元映像データを生成し（ステップＳ１１）、その３次元映像データから、物体認識装置３１２にて、時間Ｔ＝ｎにおける物体認識データを生成する（ステップＳ１２）。この物体認識データは、環境状態記録手段としての物体データベース３１３に登録される。
【００７７】
次に、軌跡追跡装置３１４にて、物体認識装置３１２からの時間Ｔ＝ｎにおける物体認識データと、環境状態記録手段としての上記物体データベース３１３に登録されている時間Ｔ＝ｎ−ｉ（ｉ＝１，…，Ｎ）における物体認識データと、同じく上記物体データベース３１３に登録されている当該認識物体の特徴量データとを用いて、認識物体の物体追跡データ、つまり物体の軌跡，速度，サイズ，及び姿勢情報を算出する（ステップＳ１３）。この算出された物体追跡データは、環境状態記録手段としての環境情報データベース３１６に登録される。
【００７８】
その後、軌跡予測装置３１５にて、認識物体の時間Ｔ＝ｎ＋１つまり未来における位置，姿勢情報，及び速度を推定する（ステップＳ１４）。そして、情報フィルタ・通信装置３２０によって公開度を設定された後、それを軌跡予測データとして、他のデータ（物体認識データ及び危険可能性マップ）と共にユーザ状態判断手段４００へ送信する（ステップＳ１５）。
【００７９】
次に、ユーザ状態判断手段４００が、上記ユーザ外部情報取得手段１００からの左右カメラ映像データと上記環境情報取得手段３００−１からの物体認識データ及び軌跡予測データとから上記主観空間危険度データを生成する動作を、図９のフローチャートを用いて説明する。
【００８０】
即ち、上記ユーザ外部情報取得手段１００のステレオカメラ１１０で映像を撮影することで左右視差映像が取得され（ステップＳ２０）、それを受信して、ユーザ状態判断処理手段４１０内の図示しない３次元再構成装置にて、その左右視差映像より３次元映像データを生成する（ステップＳ２１）。次に、ユーザ状態判断処理手段４１０にて、その３次元映像データから自分自身の位置及び姿勢情報を検出し、上記環境情報取得手段３００−１から送られてきたオブジェクトデータ、つまり時間Ｔ＝ｎの物体認識データ及び軌跡予測データの中から自分自身を特定することで（ステップＳ２２）、相対物体データを得る。
【００８１】
次に、自分自身と他のオブジェクト（認識物体）の軌跡予測データをもとに、衝突判定を行い、衝突可能性が高い場合には警告のための主観危険領域データを生成する（ステップＳ２３）。そして、情報フィルタ・通信装置４２０によって公開度を設定されたユーザ支援手段８００、例えばユーザが装着しためがね型ステレオカメラ１１０に取り付けられている超小型ディスプレイ８１０に、その主観危険領域データを送信する。
【００８２】
例えば、後方から不審な物体が近づいてくる場合に、不審な物体が何であるか、車なのか人なのか、車であれば運転手の状態はうとうとしているのか，わき見はしていないか，等、不審な物体に関する情報を、不審な物体自身が持っているユーザ状態判断手段４００から、各情報に付与されている情報開示度に基づいて必要最低限プライバシーが守られる範囲で取得することで、より正確に危険を回避できるようになる。なお、情報公開度とは、例えば個人情報として名前，年齢，身長，体重，体調，行動状態，興奮度があった場合、その内の身長と体調と行動状態のみ全員に公開するように設定されていれば、他の情報は公開されずに、これら三つの情報のみが他のユーザに公開されて例えば、居眠り状態を察知したユーザは事故が起こる可能性を事前に知ることができる。
【００８３】
図１０は、ユーザ支援手段８００にユーザの趣味趣向に基づいた情報が提示されるまでの構成を示す図である。この場合には、上記ユーザ外部情報取得手段１００は、上記ユーザ外部情報センシング手段１００Ａとして、めがね型ステレオカメラ１１０、マイク１３０、ＧＰＳセンサ１３１、及び姿勢センサ１３２を含む。上記めがね型ステレオカメラ１１０には、上記ユーザ支援手段８００としての超小型ディスプレイ８１０が取り付けられている。また、上記ユーザ内部情報取得手段２００は、上記ユーザ内部情報センシング手段２００Ａとしての発汗量センサ２１０と上記情報開示度付与手段２００Ｂとしての情報フィルタ・通信装置２２０とを含む。そして、上記ユーザ状態判断手段４００は、ユーザ状態判断処理手段４１０として、環境音・会話要約作成装置４３０、経験記録装置４３１、３次元再構成装置４３２、物体認識装置４３３、人物・物体データベース４３４、動作解析装置４３５、意図解析装置４３６、趣味趣向解析装置４３７、興奮度判定装置４３８、及び支援情報生成装置４３９を含むと共に、情報フィルタ・通信装置４２０も有している。
【００８４】
ここで、上記ユーザ外部情報取得手段１００のマイク１３０は、ユーザが知覚可能な範囲の音声情報を取得するものであり、このマイク１３０で取得された音声情報はユーザ状態判断手段４００の環境音・会話要約作成装置４３０に送信される。この環境音・会話要約作成装置４３０は、その音声情報から環境音を分離し、また会話の内容を音声認識して要約を作成し、環境音・会話要約情報として上記経験記録装置４３１に登録する機能を備えている。
【００８５】
また、上記ユーザ外部情報取得手段１００のＧＰＳセンサ１３１は衛星からのＧＰＳ信号を受信して、ユーザが居る位置を示す位置情報を取得するものであり、この位置情報はユーザ状態判断手段４００の上記経験記録装置４３１に送信されて登録されるようになっている。上記ユーザ外部情報取得手段１００の姿勢センサ１３２はユーザの向いている方向を示す姿勢情報を取得するものであり、この姿勢情報も同様に、ユーザ状態判断手段４００の上記経験記録装置４３１に送信されて、そこに登録されるものである。
【００８６】
上記ユーザ外部情報取得手段１００のめがね型ステレオカメラ１１０は、ユーザ視点の左右の視差映像として左カメラ映像及び右カメラ映像を取得するものであり、この左右カメラ映像データは、ユーザ状態判断手段４００の上記３次元再構成装置４３２に送信される。３次元再構成装置４３２は、その送られてきた映像データからユーザ視点の３次元映像データを生成し、物体認識装置４３３に送るものである。物体認識装置４３３は、上記３次元再構成装置４３２で生成した３次元映像データから、人物・物体データベース４３４に登録されている照合用人物・物体データを参照して人物及び物体を認識し、その認識物体結果を物体認識データとして動作解析装置４３５及び意図解析装置４３６に送信すると共に、経験記録装置４３１に登録する機能を有している。また、上記人物・物体データベース４３４に登録されていない人物または物体が存在した場合には、その物体認識データを、新規登録人物・物体認識データとして、上記人物・物体データベース４３４に登録する機能も備えている。なお、この物体認識装置４３３は、その物体認識を行う際に、意図解析装置４３６からの意図データを利用することで、より認識精度を向上することができる。
【００８７】
ユーザ状態判断手段４００の動作解析装置４３５は、上記物体認識装置４３３からの物体認識データと、上記経験記録装置４３１に登録されている姿勢情報、位置情報、音声要約（環境音・会話要約）情報、及び過去の物体認識データとに基づいて、姿勢情報、位置、ユーザの動きを解析するものである。そして、その結果を動作データとして意図解析装置４３６に供給すると共に、経験記録装置４３１に登録するようになっている。意図解析装置４３６は、この動作解析装置４３５からの動作データと上記物体認識装置４３３からの物体認識データとから、ユーザの行動意図を解析するものである。そして、その解析結果は、意図データとして、上記物体認識装置４３３に供給されると共に上記経験記録装置４３１に登録される。
【００８８】
また、上記ユーザ内部情報取得手段２００の発汗量センサ２１０は、ユーザの発汗量を取得するものであり、情報フィルタ・通信装置２２０は、取得した発汗量データをその公開度データと共に上記ユーザ状態判断手段４００に送信する。
【００８９】
ユーザ状態判断手段４００の情報フィルタ・通信装置４２０は、上記ユーザ内部情報取得手段２００から送信されてきた情報を受信し、その受信データを公開度データに従ってフィルタリングする機能を備えている。興奮度判定装置４３８は、上記情報フィルタ・通信装置４２０でフィルタリングした上記ユーザ内部情報取得手段２００からの発汗量データにより、ユーザがどの程度興奮しているかを判別し、その結果を興奮度データとして、上記経験記録装置４３１に登録するものである。趣味趣向解析装置４３７は、上記経験記録装置４３１に登録された各種の経験データよりユーザの趣味趣向を解析するものであり、その解析結果を趣味趣向データとして上記経験記録装置４３１に登録する。
【００９０】
例えば、現在向かっているレストランのお客の状況を、お客が持っているユーザ状態判断手段から、子連れである，主婦仲間と会話中である，熱中して大声で話している，などの情報開示度が高いプライバシーに関わらない情報を取得し、現在のユーザの例えば「静かに食事がしたい」といった気分に合っているかどうかをユーザ群のプライバシーを保持しつつ確認することができる。また、直接お店内の様子を動画で送信しても良い。ただし、この場合、プライバシー保護のため顔の公開度を制限しているユーザの顔はモザイク等で隠されて配信される。
【００９１】
ユーザ状態判断手段４００の支援情報生成装置４３９は、上記経験記録装置４３１に登録された趣味趣向データ、意図データ、位置情報等に基づいて、上記環境情報取得手段３００から必要な情報を参照して支援データを生成し、例えばユーザ外部情報取得手段１００のめがね型ステレオカメラ１１０に取り付けられたユーザ支援手段８００としての超小型ディスプレイ８１０に提示するものである。例えば、意図データを情報フィルタ・通信装置４２０により環境情報取得手段３００に送信し、その意図データに関連する地理情報を同じく情報フィルタ・通信装置４２０でその環境情報取得手段３００から受信して、その地理情報を支援データとして超小型ディスプレイ８１０に表示する。なお、この意図データ及び地理情報の送受信の際にも、公開度を設定しても良い。
【００９２】
ここで、ユーザ状態判断手段４００において支援データが生成されるまでの動作を、図１１のフローチャートを用いて説明する。
【００９３】
即ち、上記ユーザ外部情報取得手段１００のステレオカメラ１１０で映像を撮影することで左右視差映像が取得され（ステップＳ３０）、３次元再構成装置４３２はそれを受信して、３次元映像データを生成する（ステップＳ３１）。この３次元映像データは、経験記録装置４３１に登録に登録される。そして、物体認識装置４３３にて、上記３次元映像データから、時間Ｔ＝ｎにおける物体認識データを生成する（ステップＳ３２）。この物体認識データも上記経験記録装置４３１に登録される。
【００９４】
一方、上記ユーザ外部情報取得手段１００の姿勢センサ１３２でユーザの体の姿勢情報が検知され（ステップＳ３３）、時間Ｔ＝ｎにおける姿勢情報として上記経験記録装置４３１に登録される。同様に、上記ユーザ外部情報取得手段１００のＧＰＳセンサ１３１でＧＰＳ信号を受信して（ステップＳ３４）、時間Ｔ＝ｎにおける位置情報として上記経験記録装置４３１に登録される。また、上記ユーザ外部情報取得手段１００のマイク１３０で音声が録音され（ステップＳ３５）、音声情報が環境音・会話要約作成装置４３０に送られる。そして、環境音・会話要約作成装置４３０にて要約を作成して（ステップＳ３６）、時間Ｔ＝ｎにおける音声要約情報として上記経験記録装置４３１に登録する。
【００９５】
次に、動作解析装置４３５にて、上記物体認識装置４３３からの時間Ｔ＝ｎにおける物体認識データと、上記経験記録装置４３１に登録されている時間Ｔ＝ｎ−ｉ（ｉ＝１，…，Ｎ）における物体認識データ、姿勢情報、位置情報、音声要約情報とを用いて、姿勢情報、位置、及びユーザの動きを解析する（ステップＳ３７）。この解析結果である時間Ｔ＝ｎにおける動作データから、意図解析装置４３６にて、ユーザの行動意図を解析する（ステップＳ３８）。その結果の意図データは、上記経験記録装置４３１に登録される。
【００９６】
そして、支援情報生成装置４３９は、その意図データで示されるユーザの行動意図と、上記経験記録装置４３１に登録された趣味趣向データで示されるユーザの趣味趣向とから、必要な情報、例えば地図情報を上記環境情報取得手段３００から参照して、支援データを生成する（ステップＳ３９）。この支援データは、超小型ディスプレイ８１０にて、ユーザに提示されることとなる（ステップＳ４０）。
【００９７】
［第３実施形態］
次に、上記第１及び第２実施形態に係る情報提示装置における具体的な情報の提示例を、本発明の第３の実施形態として説明する。
【００９８】
例えば、図２に示したようなめがね型ステレオカメラ１１０に内包されたユーザ支援手段８００としての超小型ディスプレイ８１０は、図１２（Ａ）に示すような画面８１１の構成とすることができる。ここで、この画面８１１には、＠マーク８１２、Ｎマーク８１３、上下左右のセグメント８１４Ａ〜８１４Ｄ、そのセグメントに囲まれた内容表示部８１５が表示される。上下左右のセグメント８１４Ａ〜８１４Ｄはそれぞれユーザの前後左右を示し、内容表示部８１５に表示する情報の元となった物体や状態が、ユーザに対して何れの方向に存在するのかを示すために点灯表示されるものである。この場合、上記セグメント８１４Ａ〜８１４Ｄの点灯表示色を変えることで、例えば、赤表示８１６とすることで、ユーザに注意喚起を促す情報であり、緑表示は友好的な情報を示すというように、内容表示部８１５に提示する情報の種類を表すことができる。
【００９９】
また、上記内容表示部８１５に情報を提示すると同時に、上記めがね型ステレオカメラ１１０に内包されたユーザ支援手段８００としてのスピーカ８２０に、例えば「右から車が来ます」というような、その表示された情報内容についての音声情報を出力させることで、情報提示することも可能である。なお、この車の接近は、ユーザ外部情報取得手段１００や環境情報取得手段３００で取得した情報からユーザ状態判断手段４００によって判断されるもので、更に、上記第１実施形態のシーン５として説明したように衝突の可能性を識別することで、セグメント表示を赤表示８１６または図１２（Ｂ）のように緑表示８１７とすることができる。
【０１００】
上記＠マーク８１２及びＮマーク８１３はインターフェースであり、例えばユーザが視線をそこに３秒固定すると、＠マーク８１２であれば「イエス」、Ｎマーク８１３であれば「ノー」を選択できるようになっている。この３秒の視線固定は、ユーザ内部情報取得手段２００として視線検出センサを設けておき、ユーザ状態判断手段４００によりユーザが上記＠マーク８１２又はＮマーク８１３を３秒以上注視しているかどうかを判別することにより判定できる。ユーザ状態判断手段４００は、その判定結果を表示する。即ち、図１２（Ｂ）は、緑表示８１７で示された方向（右方向）から空車のタクシーが接近してきた場合の情報提示の例であり、ユーザがその情報提示に応じて＠マーク８１２を３秒以上注視したことにより、その＠マーク８１２が緑色で点灯表示されている。つまり、この提示した情報に対し、ユーザは「イエス」の意思表示を行ったものであり、ユーザ状態判断手段４００は、この提示した情報がユーザにとって有益なものであったということを知ることができる。このように、ユーザ状態判断手段４００は、ユーザに提示した情報がユーザにとって有益な情報であったのかそうでないのかを識別することができ、その結果をユーザ情報記録手段５００に蓄積しておくことで、ユーザに不要な情報が提示される可能性を少なくすることができる。
【０１０１】
図１２（Ｃ）及び（Ｄ）は、ユーザ外部情報取得手段１００や環境情報取得手段３００で取得した情報からユーザ状態判断手段４００によって、未知の人物やバイクがユーザの背後を所定時間又は所定距離ついてくる場合の情報提示例である。これに対して、ユーザ情報記録手段５００にその人物の記録が蓄積されていれば、図１２（Ｅ）や（Ｆ）のように情報提示される。勿論、その蓄積された記録が、前述したようにユーザ内部情報取得手段２００によって取得された情報に基づいて恐慌度の強い人物、つまり悪印象を与えた人物として記録されているのであれば、セグメント８１４Ａ〜８１４Ｄを赤表示８１６とする。
【０１０２】
また、移動している物体だけでなく、図１３（Ａ）に示すように、ユーザ状態判断手段４００がユーザ外部情報取得手段１００や環境情報取得手段３００で取得した情報からユーザに注意を喚起する情報を提示することも可能である。
【０１０３】
上記第１実施形態のシーン２のような場合には、図１３（Ｂ）及び（Ｃ）のような情報提示となる。またこの場合、例えばカレー店に設置された環境情報取得手段３００からの情報により、そのカレー店に居る人物のうち、ユーザの知り合いを識別して、図１３（Ｄ）に示すように情報提示することも可能である。
【０１０４】
また、既知の人物については、図１２（Ｅ）及び（Ｆ）の何れかの情報提示とするのではなく、図１３（Ｅ）に示すように、提示する情報内容を時系列に変更することで、より効果的に情報を提示できる。
【０１０５】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１０６】
例えば、上記実施形態は、人間がユーザであるとしたが、ユーザは、人間だけでなく、ロボットでも良いし、自動車，電車等の乗り物のように移動物体であれば、どのようなものであっても構わない。
【０１０７】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１０８】
（１）  ユーザに関する情報を取得するユーザ情報取得手段と、
上記ユーザ情報取得手段で取得した情報に基づいて、ユーザの位置，姿勢情報，身体状態，及び精神状態のうち、少なくとも一つをユーザ状態として判断するユーザ状態判断手段と、
上記ユーザ状態判断手段によって判断したユーザ状態に基づいて、ユーザの行動，記憶，及び思考のうち、少なくとも一つの支援を行うユーザ支援手段と、
を具備することを特徴とするユーザ支援装置。
【０１０９】
（対応する実施形態）
この（１）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１０】
（作用効果）
この（１）に記載のユーザ支援装置によれば、ユーザが意識しなくても常にＴＰＯに合った有用な情報を自動的、あるいはインタラクティブに得られる。
【０１１１】
（２）  上記ユーザ情報取得手段は、上記ユーザ情報を開示するユーザ及びシステムの少なくとも一つを指定する情報開示度を属性として付加する情報開示度付加手段を有することを特徴とする（１）に記載のユーザ支援装置。
【０１１２】
（対応する実施形態）
この（２）に記載のユーザ支援装置に関する実施形態は、第２実施形態が対応する。
【０１１３】
（作用効果）
この（２）に記載のユーザ支援装置によれば、セキュリティとプライバシーが確保されつつ、ユーザが意識しなくても常にＴＰＯに合った有用な情報を自動的、あるいはインタラクティブに得られる。
【０１１４】
なおここで、情報開示度とは、その情報はどのような条件で公開してよいのかという情報のことである。つまり、自分しか見られない、親族ならば開示しても良い、同じ趣味を持っている人ならば良い、等、情報を受信する側の属性に応じて公開を制限できる。これは、予め設定されていても良いし、ユーザによって設定されても良いし、ユーザの状態に応じて生成されても良い。
【０１１５】
（３）ユーザが知覚している情報であるユーザ外部情報を取得するユーザ外部情報取得手段と、ユーザ自身の情報であるユーザ内部情報を取得するユーザ内部情報取得手段と、ユーザ周辺の環境情報を取得する環境情報取得手段とのうち少なくとも二つを備え、それら取得手段で取得した情報に基づいて、ユーザの位置，姿勢情報，身体状態，及び精神状態のうち、少なくとも一つを含むユーザ状態を判断するユーザ状態判断手段と、
上記ユーザ状態判断手段によって判断したユーザ状態に基づいて、ユーザの行動，記憶，及び思考のうち、少なくとも一つの支援を行うユーザ支援手段と、
を具備することを特徴とするユーザ支援装置。
【０１１６】
（対応する実施形態）
この（３）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１７】
（作用効果）
この（３）に記載のユーザ支援装置によれば、ユーザの内，外情報、環境情報の三つ（少なくとも二つあれば良い）を独立に取得することで、ユーザの状態をより正確に細かく判断することが可能となり、ユーザが意識しなくても常にＴＰＯに合った有用な情報をきめ細かく自動的、あるいはインタラクティブに得られる。
【０１１８】
（４）  上記ユーザ外部情報取得手段及び／またはユーザ内部情報取得手段は、ユーザに取り付けられていることを特徴とする（３）に記載のユーザ支援装置。
【０１１９】
（対応する実施形態）
この（４）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１２０】
（作用効果）
この（４）に記載のユーザ支援装置によれば、ユーザにユーザ内部及び／または外部情報取得手段が取り付けられているので、常にユーザに関する情報を取得できる。
【０１２１】
（５）  上記ユーザ外部情報取得手段は、少なくともユーザが五感によって感じることができる範囲をサポートし、映像，音声（音像），匂い（発生源の方向），気温，湿度，空気中の成分，気圧，明るさ，紫外線量，電波，磁場，地表温度，ＩＣタグ情報，距離，及び風向のうち、少なくとも一つを取得することを特徴とする（３）に記載のユーザ支援装置。
【０１２２】
（対応する実施形態）
この（５）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１２３】
（作用効果）
この（５）に記載のユーザ支援装置によれば、ユーザが感じていることを正確に取得でき、ユーザの体験をセンシングすることができる。
【０１２４】
（６）  上記ユーザ外部情報取得手段は、１次元あるいは２次元測距センサ，重力方向センサ，加速度センサ，角加速度センサ，ジャイロセンサ，外部に固定されたマーカのセンシングに基づいた位置姿勢推定情報，及びＧＰＳ信号のうち、少なくとも一つを用いてユーザの位置及び／または姿勢情報を取得することを特徴とする（３）に記載のユーザ支援装置。
【０１２５】
（対応する実施形態）
この（６）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１２６】
（作用効果）
この（６）に記載のユーザ支援装置によれば、ユーザの運動を正確に捕捉することが可能となり、より正確な行動記録，行動予測等が可能となる。
【０１２７】
（７）  上記ユーザ外部情報取得手段は、ユーザによる入力を受け付けるインターフェースを有することを特徴とする（３）に記載のユーザ支援装置。
【０１２８】
（対応する実施形態）
この（７）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１２９】
（作用効果）
この（７）に記載のユーザ支援装置によれば、ユーザが体験に対してコメントがあった場合や、特記事項があった場合に入力が可能となる。
【０１３０】
（８）  上記ユーザ外部情報取得手段は、通信する情報にその情報の開示範囲を属性として付加する情報開示度付加手段を有することを特徴とする（３）に記載のユーザ支援装置。
【０１３１】
（対応する実施形態）
この（８）に記載のユーザ支援装置に関する実施形態は、第２実施形態が対応する。
【０１３２】
（作用効果）
この（８）に記載のユーザ支援装置によれば、情報開示度を設定することでプライバシーを保護できる。
【０１３３】
（９）  上記ユーザ内部情報取得手段は、ユーザの発汗量，皮膚電位，眼球運動，筋電，脳波，脳磁場，バイタルサイン（血圧，脈拍，呼吸，体温），表情，顔色，声紋，震え，体の動作，血糖，体脂肪，血流，唾液の成分，息の成分，排泄物の成分，及び汗の成分の情報のうち、少なくとも一つを取得することを特徴とする（３）に記載のユーザ支援装置。
【０１３４】
（対応する実施形態）
この（９）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１３５】
（作用効果）
この（９）に記載のユーザ支援装置によれば、ユーザの体調や精神状態を正確に把握できる。
【０１３６】
（１０）  上記ユーザ内部情報取得手段は、通信する情報にその情報の開示範囲を属性として付加する情報開示度付加手段を有することを特徴とする（３）に記載のユーザ支援装置。
【０１３７】
（対応する実施形態）
この（１０）に記載のユーザ支援装置に関する実施形態は、第２実施形態が対応する。
【０１３８】
（作用効果）
この（１０）に記載のユーザ支援装置によれば、情報開示度を設定することでプライバシーを保護できる。
【０１３９】
（１１）  上記環境情報取得手段は、上記ユーザを含むユーザ群が行動する範囲あるいはユーザ群に影響を及ぼす可能性のある範囲をサポートし、映像，音声（音像），匂い（発生源の方向），気温，湿度，空気中の成分，気圧，明るさ，紫外線量，電波，磁場，地表温度，ＩＣタグ情報，距離，及び風向のうち、少なくとも一つを取得する環境センシング手段を有することを特徴とする（３）に記載のユーザ支援装置。
【０１４０】
（対応する実施形態）
この（１１）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１４１】
（作用効果）
この（１１）に記載のユーザ支援装置によれば、ユーザ周辺の情報を取得することで、よりユーザに有益な情報を提供することができる。
【０１４２】
（１２）  上記環境情報取得手段は、１次元あるいは２次元測距センサ，重力方向センサ，加速度センサ，角加速度センサ，ジャイロセンサ，及びＧＰＳ信号のうち、少なくとも一つを用いて当該環境情報取得手段自身の位置及び／または姿勢情報を取得することを特徴とする（３）に記載のユーザ支援装置。
【０１４３】
（対応する実施形態）
この（１２）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１４４】
（作用効果）
この（１２）に記載のユーザ支援装置によれば、環境情報取得手段自身の運動を正確に捕捉することが可能となり、より正確な行動記録，行動予測等が可能となる。
【０１４５】
（１３）  上記環境情報取得手段によって取得された情報から、ユーザ群の履歴、物体群の移動、車両，エレベータ，ゲート，及びドアのうちの少なくとも一つの動作記録、及び天気のうち、少なくとも一つのを認識し、環境状態情報を生成する環境状態判断手段を更に具備することを特徴とする（３）に記載のユーザ支援装置。
【０１４６】
（対応する実施形態）
この（１３）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１４７】
（作用効果）
この（１３）に記載のユーザ支援装置によれば、環境状態を検知することで、よりユーザに有益な情報を提供することができる。
【０１４８】
（１４）  上記環境状態判断手段は、上記環境情報取得手段によって得られた情報のうち少なくとも一つをもとに、危険度属性を仮想空間内に設定する危険度属性設定手段を有することを特徴とする（１３）に記載のユーザ支援装置。
【０１４９】
（対応する実施形態）
この（１４）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１５０】
（作用効果）
この（１４）に記載のユーザ支援装置によれば、空間の危険度に応じてユーザに情報を提供することで、事故やトラブルに巻き込まれることを防ぐことができる。
【０１５１】
（１５）  上記危険度属性設定手段は、上記環境情報取得手段によって得られた情報のうち少なくとも一つをもとにユーザ周辺の動体を検知し、一定時間後の危険度属性も予測し設定することを特徴とする（１４）に記載のユーザ支援装置。
【０１５２】
（対応する実施形態）
この（１５）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１５３】
（作用効果）
この（１５）に記載のユーザ支援装置によれば、空間の危険度を予測することで、将来起こりうる事故やトラブルに巻き込まれることを防ぐことができる。
【０１５４】
（１６）  上記危険度属性設定手段は、外部からの危険度属性入力を受け付けるインターフェースを持つことを特徴とする（１４）に記載のユーザ支援装置。
【０１５５】
（対応する実施形態）
この（１６）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１５６】
（作用効果）
この（１６）に記載のユーザ支援装置によれば、予め工事予定や故障車情報、災害、天候、事件（犯罪発生率や過去の事件誘発状況）、等の情報などを入力することが可能となり、危険度がより信頼度が高くなる。
【０１５７】
（１７）  上記環境情報取得手段によって得られた環境情報を記録する環境情報記録手段を更に具備することを特徴とする（３）に記載のユーザ支援装置。
【０１５８】
（対応する実施形態）
この（１７）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１５９】
（作用効果）
この（１７）に記載のユーザ支援装置によれば、環境情報を記録しておくことで過去の情報を参照することが可能となり、例えば環境状態情報や危険度属性の精度が向上する。
【０１６０】
（１８）  上記環境状態判断手段で生成された環境状態情報を記録する環境情報記録手段を更に具備することを特徴とする（１３）に記載のユーザ支援装置。
【０１６１】
（対応する実施形態）
この（１８）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１６２】
（作用効果）
この（１８）に記載のユーザ支援装置によれば、環境状態情報を記録しておくことで過去の情報を参照することが可能となり、例えば危険度属性の精度が向上する。
【０１６３】
（１９）  上記環境情報記録手段は、上記ユーザ外部情報，ユーザ内部情報，及び環境情報のうちの少なくとも一つと当該環境情報記録手段に記録されている過去の記録情報との少なくとも一つをもとに、新たに記録される情報に重み付けをすることを特徴とする（１７）または（１８）に記載のユーザ支援装置。
【０１６４】
（対応する実施形態）
この（１９）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１６５】
（作用効果）
この（１９）に記載のユーザ支援装置によれば、重み付け記録をすることで重要度に応じた検索が可能になり、高速高精度な検索を実現できる。
【０１６６】
（２０）  上記環境情報記録手段は、上記重み付けに基づいて情報を消去あるいは圧縮することを特徴とする（１９）に記載のユーザ支援装置。
【０１６７】
（対応する実施形態）
この（２０）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１６８】
（作用効果）
この（２０）に記載のユーザ支援装置によれば、記憶容量を減らすことが可能となり、また高速な検索を実現できる。
【０１６９】
（２１）  上記ユーザ状態判断手段は、上記ユーザ外部情報，ユーザ内部情報，及び環境情報のうちの少なくとも一つの情報をもとに、関心領域（指差し方向，ユーザの視野，視線，体の向き）を取得することを特徴とする請求項３に記載のユーザ支援装置。
【０１７０】
（対応する実施形態）
この（２１）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１７１】
（作用効果）
この（２１）に記載のユーザ支援装置によれば、ユーザの関心事を抽出可能となり、より効果的にユーザを支援できる。
【０１７２】
（２２）  上記ユーザ状態判断手段は、上記ユーザ外部情報，ユーザ内部情報，及び環境情報のうちの少なくとも一つの情報をもとに、ユーザの位置，姿勢情報，注視点，会話内容，会話相手，会話相手の顔色，声の抑揚，及び視線のうち、少なくとも一つをユーザ体験情報として抽出するユーザ体験情報抽出手段を有することを特徴とする（３）に記載のユーザ支援装置。
【０１７３】
（対応する実施形態）
この（２２）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１７４】
（作用効果）
この（２２）に記載のユーザ支援装置によれば、ユーザ体験を抽出してユーザの状態を判断することで精度良く判断することができる。
【０１７５】
（２３）  上記ユーザ状態判断手段は、上記ユーザ外部情報，ユーザ内部情報，環境情報，及び上記ユーザ体験情報抽出手段で抽出したユーザ体験情報のうちの少なくとも一つを用いて、ユーザのストレス度，興奮度，感銘度，疲労度，注目度，恐怖度，集中度，注目度，歓喜度，眠気，排泄欲求，及び食欲のうち、少なくとも一つを認識することを特徴とする請求項２２に記載のユーザ支援装置。
【０１７６】
（対応する実施形態）
この（２３）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１７７】
（２４）  上記ユーザ状態判断手段は、上記ユーザ外部情報，ユーザ内部情報，環境情報，及び上記ユーザ体験情報抽出手段で抽出したユーザ体験情報のうちの少なくとも一つを用いて、ユーザの現在の行動（会話中，移動中，運動中，勉強中，仕事中，睡眠中，瞑想中，休息中）を判断することを特徴とする（２２）に記載のユーザ支援装置。
【０１７８】
この（２４）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１７９】
（２５）  上記ユーザ外部情報，ユーザ内部情報，環境情報，及び上記ユーザ状態判断手段で得られた情報を記録するユーザ情報記録手段を更に具備することを特徴とする（３）に記載のユーザ支援装置。
【０１８０】
（対応する実施形態）
この（２５）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１８１】
（作用効果）
この（２５）に記載のユーザ支援装置によれば、ユーザ情報を記録しておくことで過去の情報を参照することが可能となり、ユーザ状態を精度良く判断できる。
【０１８２】
（２６）  上記ユーザ情報記録手段は、上記ユーザ外部情報，ユーザ内部情報，環境情報，及びユーザ体験情報のうちの少なくとも一つと当該ユーザ情報記録手段に記録されている過去の記録情報との少なくとも一つをもとに、新たに記録される情報に重み付けをすることを特徴とする（２５）に記載のユーザ支援装置。
【０１８３】
（対応する実施形態）
この（２６）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１８４】
（作用効果）
この（２６）に記載のユーザ支援装置によれば、重み付け記録をすることで重要度に応じた検索が可能になり、高速高精度な検索を実現できる。
【０１８５】
（２７）  上記ユーザ情報記録手段は、上記重み付けに基づいて情報を消去あるいは圧縮することを特徴とする（２６）に記載のユーザ支援装置。
【０１８６】
（対応する実施形態）
この（２７）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１８７】
（作用効果）
この（２７）に記載のユーザ支援装置によれば、記憶容量を減らすことが可能となり、また高速な検索を実現できる。
【０１８８】
（２８）  ユーザへ情報を提示する情報提示手段を更に具備することを特徴とする（３）に記載のユーザ支援装置。
【０１８９】
（対応する実施形態）
この（２８）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１９０】
（作用効果）
この（２８）に記載のユーザ支援装置によれば、情報提示手段を持つことで効果的に情報を提示できる。
【０１９１】
（２９）  上記情報提示手段は、上記ユーザ外部情報取得手段に取り付けられていることを特徴とする（２８）に記載のユーザ支援装置。
【０１９２】
この（２９）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１９３】
（３０）  上記情報提示手段は、上記ユーザ内部情報取得手段に取り付けられていることを特徴とする（２８）に記載のユーザ支援装置。
【０１９４】
この（３０）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１９５】
（３１）  上記情報提示手段は、上記環境情報取得手段に取り付けられていることを特徴とする（２８）に記載のユーザ支援装置。
【０１９６】
この（３１）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１９７】
（３２）  上記ユーザ内部情報取得手段及び／またはユーザ外部情報取得手段は、通信する情報にその情報の開示範囲を示す情報開示度を付加する情報開示度付加手段を有し、
上記情報提示手段は、上記情報開示度付加手段によって付加された情報開示度に基づいて、提示する情報を選択することを特徴とする（２８）に記載のユーザ支援装置。
【０１９８】
この（３２）に記載のユーザ支援装置に関する実施形態は、第２実施形態が対応する。
【０１９９】
（作用効果）
この（３２）に記載のユーザ支援装置によれば、情報開示度を設定することでプライバシーを保護できる。
【０２００】
（３３）  上記情報提示手段は、音，映像，匂い，触覚，及び振動のうちの少なくとも一つを用いて情報を提示することを特徴とする（２８）に記載のユーザ支援装置。
【０２０１】
この（３３）に記載のユーザ支援装置に関する実施形態は、第１及び第２実施形態が対応する。
【図面の簡単な説明】
【０２０２】
【図１】本発明の第１実施形態に係るユーザ支援装置の構成を示す図である。
【図２】ユーザ支援手段を内包したユーザ外部情報取得手段の例としてのめがね型ステレオカメラを示す斜視図及び背面図である。
【図３】ユーザ支援手段を内包したユーザ外部情報取得手段の別の例としてのペンダント型ステレオカメラを示す斜視図である。
【図４】第１実施形態の具体例として、ユーザ支援手段に刺激情報が提示されるまでの構成を示す図である。
【図５】第１実施形態の具体例として、ユーザ支援手段に危険情報が提示されるまでの構成を示す図である。
【図６】本発明の第２実施形態に係るユーザ支援装置の構成を示す図である。
【図７】第２実施形態の具体例として、ユーザ支援手段に危険情報が提示されるまでの構成を示す図である。
【図８】環境情報取得手段において軌跡予測データが生成されてユーザ状態判断手段に情報が送信されるまでの動作を説明するためのフローチャートを示す図である。
【図９】ユーザ状態判断手段がユーザ外部情報取得手段からの左右カメラ映像データと環境情報取得手段からの物体認識データ及び軌跡予測データとから主観空間危険度データを生成する動作を説明するためのフローチャートを示す図である。
【図１０】第２実施形態の具体例として、ユーザ支援手段にユーザの趣味趣向に基づいた情報が提示されるまでの構成を示す図である。
【図１１】ユーザ状態判断手段において支援データが生成されるまでの動作を説明するためのフローチャートを示す図である。
【図１２】本発明の第３実施形態に係る情報提示装置における具体的な情報の提示例を示す図である。
【図１３】第３実施形態に係る情報提示装置における具体的な情報の提示例を示す図である。
【符号の説明】
【０２０３】
１００…ユーザ外部情報取得手段、  １００Ａ…ユーザ外部情報センシング手段、  １００Ｂ，２００Ｂ，３００Ｂ…情報開示度付与手段、  １０１，３０１…左カメラ、  １０２，３０２…右カメラ、  １１０…めがね型ステレオカメラ、  １１１…ペンダント型ステレオカメラ、  １２０，２２０，３２０，４２０…情報フィルタ・通信装置、  １３０，３１７…マイク、  １３１…ＧＰＳセンサ、  １３２…姿勢センサ、  ２００…ユーザ内部情報取得手段、  ２００Ａ…ユーザ内部情報センシング手段、  ２０１，２１０…発汗量センサ、  ２０２…脈拍カウンタ、  ３００，３００−１，３００−２…環境情報取得手段、  ３００Ａ…環境情報センシング手段、  ３１０…ステレオカメラ、  ３１１，４０１，４３２，６０１…３次元再構成装置、  ３１２，４３３…物体認識装置、  ３１３…物体データベース、  ３１４…軌跡追跡装置、  ３１５…軌跡予測装置、  ３１６…環境情報データベース、  ３１８，４３０…環境音・会話要約作成装置、  ３１９…危険可能性マップ生成装置、  ４００…ユーザ状態判断手段、  ４０２，６０３…動領域認識装置、  ４０３，６０５…オブジェクト認識装置、  ４０４…人物認証装置、  ４０５…行動推定装置、  ４０６…興奮度推定装置、  ４０７…刺激生成装置、  ４０８…ユーザ関連度判定装置、  ４１０…ユーザ状態判断処理手段、  ４３１…経験記録装置、  ４３４…人物・物体データベース、  ４３５…動作解析装置、  ４３６…意図解析装置、  ４３７…趣味趣向解析装置、  ４３８…興奮度判定装置、  ４３９…支援情報生成装置、  ５００…ユーザ情報記録手段、  ５０１…体験記録記録装置、  ５０２…人物データベース、  ６００…環境状態判断手段、  ６０２…背景除去装置、  ６０４…人物認識装置、  ６０６…危険領域予測装置、  ７００…環境情報記録手段、  ７０１…人物通過履歴記録装置、  ７０２…オブジェクト通過履歴記録装置、  ７０３…危険度履歴記録装置、  ８００…ユーザ支援手段、  ８０１…危険提示装置、  ８１０…超小型ディスプレイ、  ８２０…スピーカ、  ８３０…超小型プロジェクタ。
【図１】
2005315802.tif 000003
【図２】
2005315802.tif 000004
【図３】
2005315802.tif 000005
【図４】
2005315802.tif 000006
【図５】
2005315802.tif 000007
【図６】
2005315802.tif 000008
【図７】
2005315802.tif 000009
【図８】
2005315802.tif 000010
【図９】
2005315802.tif 000011
【図１０】
2005315802.tif 000012
【図１１】
2005315802.tif 000013
【図１２】
2005315802.tif 000014
【図１３】
2005315802.tif 000015