(57)【要約】【課題】　装着型情報呈示装置で情報を再生させると、歩行中など視野や聴覚を覆われてしまい外界と遮断されてしまうため、ユーザは外界の状況が分からず危険であった。【解決手段】　本願発明の装着型情報呈示装置は、ユーザの行動を監視する行動計測センサ２を有し、ユーザは静止状態でのみ情報の呈示を受けることができるので、装着型情報呈示装置を安全に使用することができる。また、静止しないと使えないので、他の動作をしながら使用することで注意が散漫になり、他者に迷惑を及ぼすこともない。【選択図】　　　図１
2004109995.tif 000002
【特許請求の範囲】
【請求項１】
　文字，映像，あるいは音声などの記録されたあるいは受信した再生すべき情報を再生するための再生手段と、
　利用者が装着可能で、前記再生手段によって再生された情報を呈示するための装着型呈示手段と、
　この装着型呈示手段を装着している前記使用者の静止，歩行，走行などの身体の活動状態をセンサにより計測し、このセンサの計測結果から前記使用者の危険状態を計測するための危険計測手段と、
　この危険計測手段の計測結果に基づいて、前記再生手段での再生および前記装着型呈示手段での呈示を制御するための再生呈示制御手段とを有することを特徴とする装着型情報呈示装置。
【請求項２】
　前記センサは、使用者が覚醒しているかどうかを計測するための覚醒検出手段を有することを特徴とする請求項１１記載の装着型情報呈示装置。
【請求項３】
　前記危険計測手段は、前記装着型呈示手段を装着している使用者の環境を計測する環境計測手段を有することを特徴とする請求項１１記載の装着型情報呈示装置。
【請求項４】
　前記環境計測手段は、周囲から使用者への聴覚あるいは視覚への働きかけを検出することを特徴とする請求項１３記載の装着型情報呈示装置。
【請求項５】
　前記再生呈示制御手段は、前記危険計測手段の計測結果に応じて、視覚野や聴覚野などの確保のため、前記再生手段での再生の停止、前記装着型呈示手段での呈示の停止を行うことを特徴とする請求項１１記載の装着型情報呈示装置。
【請求項６】
　前記再生呈示制御手段は、前記危険計測手段の計測結果に応じて、前記再生手段での情報の再生を停止するとき、前記停止箇所を記録し、前記再生手段での情報の再生を再開するとき、記録した前記停止箇所から情報の再生を再開することを特徴とする請求項１１記載の装着型情報呈示装置。
【請求項７】
　文字，映像，あるいは音声などの記録されたあるいは受信した再生すべき情報を、利用者が装着可能な装着型呈示手段によって呈示し、
　この装着型呈示手段を装着している前記使用者の静止，歩行，走行などの身体の活動状態をセンサにて計測し、このセンサの計測結果から前記使用者の危険状態を計測し、
この危険状態の計測結果に基づいて、情報の再生および前記装着型呈示手段での呈示を注視野から周辺視野に移行する制御をすることを特徴とする装着型情報呈示方法。
【請求項８】
　装着型の電子機器を制御するためのプログラムをコンピュータ実行可能なように記憶させた記憶媒体であって、
　文字，映像，あるいは音声などの記録されたあるいは受信した再生すべき情報を再生させ、
　利用者が装着可能な装着型呈示手段によって、再生された前記情報を呈示させ、
　この装着型呈示手段を装着している前記使用者の静止，歩行，走行などの身体の活動状態をセンサにて計測し、このセンサの計測結果から前記使用者の危険状態を計測させ、
　この危険状態の計測結果に基づいて、情報の再生および前記装着型呈示手段での呈示を注視野から周辺視野に移行する制御をさせるプログラムを記憶したコンピュータ読取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
　本願発明は、装着型の電子機器を危険な状態で使用できないようにする装着型情報呈示装置に関する。
【背景技術】
【０００２】
　近年パーソナルコンピュータの小型化が進み、ノートブック型コンピュータなどを鞄などに入れて持ち歩いて使うスタイルが出現している。
　このようなモバイルコンピュータは、会議などで机上で会議をしながらの議事録作成、あるいは製品の在庫チェックや納入スケジュールの確認、会議の予定を決定する際の参加者の確認などに使われる。また、客先との打ち合わせ後、次の客先への移動中の電車内あるいは喫茶店などで、打ち合わせ結果を記録するために使われる。
【０００３】
　いずれにしてもモバイルコンピュータを用いるには、机やひざの上などに置いて、ディスプレイを見ながらキーボードを打つ体勢、すなわち座った状態でなければならない。
【０００４】
　これに対し、ハンドフリーで座った状態でなくても使えるコンピュータ（装着型コンピュータあるいはウェアラブルコンピュータ）が大学などで研究され始めている。ウェアラブルコンピュータでは、フェイスマウントディスプレイ（ＦＭＤ）あるいはヘッドマウントディスプレイ（ＨＭＤ）と呼ばれる装着型のモニタを利用者の頭部に装着させ、電源，ＣＰＵ本体を腹部に装着させることで、座ることなく立ったままのの姿勢でディスプレイを見ることができる。さらにウェアラブルコンピュータでは、立ったままだけでなく、歩行しながらでも使用することが可能である。
【０００５】
　しかし、実際にはＦＭＤやＨＭＤに表示されている文字などの情報を見ると、目（視覚）の注意がディスプレイに行ってしまい、外部の状況が全く分からなくなってしまうという問題がある。
【０００６】
　これに音声出力が加わると、耳（聴覚）の注意もコンピュータにとられ、外界の状況が、使用者に届かなってしまうという問題が起こる。
　また、多くのＨＭＤは通常のビデオ信号（ＮＴＳＣ）を入力信号とし、表示できるようになっている。このため、ゲーム専用のＴＶモニタの代わりにＨＭＤを用いたり、個人専用のＴＶモニタとしてＨＭＤを用いることも行われている。
【０００７】
　一方、ＤＶＤなど映像再生機器の小型化が進み、携帯可能なものも出現している。この携帯型の映像再生機器とＨＭＤ，イヤホンを組み合わせることで、移動中にも映像を見ることが可能となる。この場合、ＨＭＤを見るために視野の注意は奪われ、イヤホンからの音声を聞くために視覚の注意は奪われ、外界から遮断された状態になってしまう。
【０００８】
　また、ＨＭＤを用いて横になってＴＶや映像を見る場合、ＨＭＤを装着したまま眠ってしまう可能性もある。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
　装着型のウェアラブルコンピュータなどのように、映像や文字，地図などの情報を呈示する機器においては、歩行中など視野や聴覚を覆うことで、外界から遮断され危険な状態が発生する。つまり、静止状態など安全が確保されているときのみに情報呈示が行われるというような配慮が為されていないという問題がある。
【００１０】
　また、ＨＭＤを装着したまま眠り込んでしまうと、視聴していないのに再生が続き、電力を無駄に消費してしまうという問題が発生する。
【課題を解決するための手段】
【００１１】
　以上のような問題点を解決するために、本願発明は、文字，映像，あるいは音声などの記録されたあるいは受信した再生すべき情報を再生するための再生手段と、利用者が装着可能で、前記再生手段によって再生された情報を呈示するための装着型呈示手段と、この装着型呈示手段を装着している前記使用者の静止，歩行，走行などの身体の活動状態をセンサにより計測し、このセンサの計測結果から前記使用者の危険状態を計測するための危険計測手段と、この危険計測手段の計測結果に基づいて、前記再生手段での再生および前記装着型呈示手段での呈示を制御するための再生呈示制御手段とを有することを特徴とする
【００１２】
　好ましくは、前記センサは、使用者が覚醒しているかどうかを計測するための覚醒検出手段を有することを特徴とする。
　また、前記危険計測手段は、前記装着型呈示手段を装着している使用者の環境を計測する環境計測手段を有することを特徴とする請求項１１記載の装着型情報呈示装置。
【００１３】
　また、前記環境計測手段は、周囲から使用者への聴覚あるいは視覚への働きかけを検出することを特徴とする。
　また、前記再生呈示制御手段は、前記危険計測手段の計測結果に応じて、視覚野や聴覚野などの確保のため、前記再生手段での再生の停止、前記装着型呈示手段での呈示の停止を行うことを特徴とする。
【００１４】
　また、前記再生呈示制御手段は、前記危険計測手段の計測結果に応じて、前記再生手段での情報の再生を停止するとき、前記停止箇所を記録し、前記再生手段での情報の再生を再開するとき、記録した前記停止箇所から情報の再生を再開することを特徴とする。
【発明の効果】
【００１５】
　本願発明によれば、装着型情報呈示装置において、静止状態など安全が確保されているときのみに情報呈示が行われるというような配慮を施すことができる。
また、周囲の情報をも的確に知ることができる。
【発明を実施するための最良の形態】
【００１６】
　［実施例１］
　図１に第１の実施例の概略構成図を示す。装着型呈示部３は、文字や地図あるいは映像などの視覚情報を表示するために、ＨＭＤやＦＭＤのように利用者の頭部に装着あるいは腕時計のように腕に装着する装着型のディスプレイと、音楽や音声などの聴覚情報を出力するためのイヤホンから構成される。
【００１７】
　記憶部５は、この装着型呈示部３で呈示する文字や地図あるいは映像などの視覚情報や、音楽や音声などの聴覚情報を格納している記憶媒体（例えば、ＤＶＤやＣＤ−ＲＯＭのように映像や音楽などの記憶媒体）を挿入するためのものである。再生部６は、記憶部５にセットされた記憶媒体から情報を再生する。
【００１８】
　行動計測センサ２は、使用者が安全に情報提供を受けられる状態（電車に乗っている，ホームやバス停に立っているなどの歩行せずに停止している状態）であることを検出するための加速度センサ，接触センサなどで構成される。入力部１は、電源のＯＮ／ＯＦＦなどの指示を行うためのボタン、あるいは音声入力で指示を行うためのマイクなどで構成される。
【００１９】
　再生呈示制御部４は、行動計測センサ２の計測結果に応じて、静止状態でないときはこの再生部６の再生を停止したり、装着型呈示部３での呈示を中止などを行う。
　図２は、装着型呈示部３としてＦＭＤ２０とイヤホン２１、入力部１としてマイク２２、再生部６や記憶部５，行動計測センサ２，再生呈示制御部４が一体になった筐体２３を胸ポケットに装着した状態を示す図である。
【００２０】
　同様に図３は、ＦＭＤ２０の代わりに腕時計型のディスプレイ２４を装着した状態を示す図である。
　図４は、ＤＶＤやＣＤ−ＲＯＭなどの記憶媒体から情報を得る代わりに、無線などの通信手段により外部と情報の送受信を行う場合の構成図である。図１の記憶部５の代わりに送受信部７を有している点が異なり、あとは図１と同じ構成である。
【００２１】
　図５は、再生呈示制御部４での処理の流れを示す図である。以下、この流れ図に沿って説明する。まず、再生呈示部４は、行動計測センサ２が取得したデータを読み取る（ステップＳ５０１）。行動計測センサ２は、例えば靴の裏に設置された接触センサのデータを用いて、
【００２２】
「ｉｆ　接触と非接触状態が周期的
　ｔｈｅｎ　歩行／走行
　ｅｌｓｅ　静止」
のような規則に従って、静止か否かを計測する。
　または、衣服の袖の部分やズボンの裾の部分、あるいは靴に装着された加速度センサのデータを用いて、
「ｉｆ　加速度が変化
　ｔｈｅｎ　歩行／走行
　ｅｌｓｅ　静止」
のような規則に従い、静止状態と歩行、走行状態を計測することができる。
　さらに、精度を高めるためには接触と非接触状態が周期的に続く時間や、加速度の変化の度合いや変化時間など、パラメータを増すことも可能である。一定時間静止が続かない場合静止状態と見なさないようにすることで、単にちょっと立ち止まっただけで、急に再生が始まったりする危険性を防ぐことができる。
【００２３】
　再生制御部４は、行動計測センサ２が取得したデータが静止状態か否か判別する（ステップＳ５０２）。静止していなければ、次に情報が再生中か否か判別する（ステップＳ５０３）。歩行や走行の状態でも情報が再生されていなければ問題ないので、そのまま行動計測センサ２によるデータ取得を続行する（Ｓ５０１）。
【００２４】
　情報の再生中であれば、歩行や走行状態での情報呈示は危険であるので情報の再生を中止する。のちに、利用者が停止した個所から抜け落ちがなく情報を再生できるように、この停止個所を記録しておく（ステップＳ５０４）。
【００２５】
　図４の構成のように、ＤＶＤやＣＤ−ＲＯＭのような記憶媒体から情報を読み出し再生するのではなく、送受信部７が受信した情報を再生する場合、停止個所だけでなく該当情報も記録する。これにより、再度情報を使用者の自宅あるいはサービスセンターや情報プロバイダより読み出すときに、該当情報を容易に識別し、停止個所より再開することが可能となる。
【００２６】
　次に、イヤホンから流れる音声，音楽を停止し、図２のような頭部への装着型の表示手段を用いている場合には、それらＨＭＤやＦＭＤなどの呈示を停止するとともに、表示画面を見やすくするため非透過モードであるＨＭＤやＦＭＤを、透過モードに変更して外界が見えるようにする（ステップＳ５０５）。また、図３のように腕部に装着型の表示手段の場合には、単に表示を停止するだけでよい。
【００２７】
　その後、再度行動計測センサ２からのデータの読み出しを続ける（ステップＳ５０１）。利用者の状態が静止に戻ったときには、再生が可能なので、再生を開始する。そのときには、再生中であるかを判断し（ステップＳ５０６）、再生中でない場合はステップＳ５０４で記録した停止個所があるか否かを判別し（ステップＳ５０７）、停止個所があればその個所から再生する（ステップＳ５０８）再生時には、イヤホンから音声や音楽を流し、さらにＨＭＤやＦＭＤは表示される情報を見やすくするために、非透過モードに変更する。
【００２８】
　図４の構成のように、ＤＶＤやＣＤ−ＲＯＭのような記憶媒体から情報を読み出し再生するのではなく、送受信部７が受信した情報を再生する構成では、再生時に送受信部７から再生すべき情報の識別記号と停止個所を、使用者の自宅あるいはサービスセンターや情報プロバイダに送り、該当情報を該当個所より受信し再生するものである。
【００２９】
　ステップＳ５０８で再生を開始するときには、使用者に再生を開始するか否かの確認を音声にて知らせることも可能である。所定時間経っても、ユーザから再生不可の指示がなければ、そのまま再生を開始する。再生不可の指示がユーザからあれば、再生をしないようにする。これにより、単に立ち止まっただけの時に、むやみに情報を再生し始めることを防ぐことができる。
【００３０】
　また、ＤＶＤやＣＤ−ＲＯＭなどの記憶媒体から読み出して再生を行っている場合では、記憶されている情報の最後で（ステップＳ５０９）終了する。続けて再生するリピート機能になっている場合、情報の再生を続行し、行動計測センサからのデータ取得を続ける（ステップＳ５０１）。
【００３１】
　また、新規の再生であれば（ステップＳ５０７）、新規に再生を行う（ステップＳ５１０）。このとき、頭部装着型の表示手段（ＨＭＤなど）を用いている場合には、ディスプレイの透過モードから非透過モードにするなどの制御を行うことはステップＳ５０８と同様である。
【００３２】
　図６は実施例１の変形例の処理の流れ図を示す。図５とは、ステップＳ５０３とＳ５０５の代わりに、ステップＳ５１１があり、ステップＳ５０７の代わりにステップＳ５１３、ステップＳ５０８の代わりにステップＳ５１４がある点で異なっている。
【００３３】
　図６の変形例は、図２のような頭部装着型の表示手段（ＨＭＤやＦＭＤなど）を用いて静止状態でないときに、単に表示を停止する代わりに表示位置をユーザが周囲の状況を認識するのに邪魔にならない位置つまり注視野から周辺視野に移動することで対処する。
【００３４】
　ステップＳ５０３では、静止状態でなければ情報の再生を停止し、ステップＳ５０５でＨＭＤやＦＭＤなどの表示装置への表示を取りやめる処理を行っていたが、変形例におけるステップＳ５１１では、表示を取りやめるのではなく、ユーザが物体を注視する際の注視野（視野角，約２０度）への表示をやめ、その代わりに注視の邪魔にならない周辺視野に表示を移動するものである。このとき外界が見えるように非透過モードから透過モードへの切替えも行う。
【００３５】
　また、逆に静止状態になって再生を再開するときは、周辺視野に表示されているか否か判別する（ステップＳ５１３）。周辺視野に表示されていれば再生中か否か判別し（ステップＳ５０６）、注視野に表示位置を移動する（ステップＳ５１４）。
【００３６】
　図７は、他の変形例の処理の流れ図である。図５のステップＳ５０２の静止状態か否か判別する処理の代わりに、ステップＳ５１２として、覚醒しているか否かを判別する処理が入っている。ここでの行動計測センサ２は加速度センサや接触センサの代わりにＨＭＤやＦＭＤに取り付けられた赤外センサを用いて、ユーザの目の動きを計測する。単純には赤外センサにより、目玉が検出でなければ目をつぶっている、つまり眠っている（非覚醒状態）と判断する（ステップＳ５１２）。
【００３７】
　非覚醒状態であれば眠っているので、情報を呈示するのは電力消費の点でも無駄が多いので、図５の静止状態と同様に再生を停止する処理を行う。
　［実施例１の効果］
　以上のように本願発明によれば、ユーザは静止状態でのみ情報の呈示を受けることができるので、装着型情報呈示装置を安全に使用することができる。また、静止しないと使えないので、他の動作をしながら使用することで注意が散漫になり、他者に迷惑を及ぼすこともないので、社会的にも装着型情報呈示装置の利用を容認してもらうのに、大きな効果を発揮する。
【００３８】
　［実施例２］
実施例１では、ユーザの行動を計測してその状態に応じて、情報の再生，呈示の制御を行うことで、ユーザが危険か状態で装着型情報呈示装置を使用することを防いでいた。
【００３９】
　しかし、実際にはユーザが歩行や走行せずに静止していたとしても、必ずしも安全ではない。例えば、街頭で静止していても、そばを車が猛スピードで通り過ぎようとしているのを気づかなければ危険である。
【００４０】
　この実施例２ではこのような問題点を解決するものである。実施例１ではユーザ自身の状態を検知する行動計測センサ２を用いていたが、ユーザの環境を検知するセンサなどを用いて環境を検知し、ユーザに注意を促すような手段は具備していなかった。実施例２では、このようなユーザの環境を検知する手段を有するものである。
【００４１】
　図８は、この実施例２の概略構成図である。実施例１の入力部１に代わってユーザの音声だけでなく、外界の音情報の入力を行うための音情報入力部１０と、ユーザの表情や外界の映像情報を入力を行うための映像情報入力部９とを有している。
【００４２】
　音情報入力部１０は、例えば図２や図３の使用イメージ図のように、マイクのヘッドセットから音声認識のための入力と、周囲の音情報を入力する。映像入力部９は、ＣＣＤなどの小型カメラで例えば図２のＦＭＤのフレーム部の前面と後面に実装し、ユーザの前面と後面を撮像する。小型カメラが撮像する画像は、静止画や動画の両方が可能である。
【００４３】
　ただし、動画の場合には環境情報分析部８において、解析の対象となる動画像を保存しておくために容量の大きなフレームメモリが必要となる。しかし、大きなフレームメモリをもつことは消費電力の増大につながる。消費電力の増大を防ぐために、動画のほかに１０秒に１枚の速度で撮像された静止画を用いることも可能である。
【００４４】
　環境情報分析部８は、音情報入力部１０と映像入力部９から入力された音情報や映像情報を解析し、危険な状態にあるか否か分析するものである。
　図１０は、実施例２の変形例の概略構成図である。図８に示す実施例２の構成に、ユーザ自身の行動状態を検知するための行動計測センサ２を追加したものである。このような構成にすることで、ユーザには環境情報分析部８と行動計測センサ２の双方からの状態を知らせることができるので、二重に安全機構が働くようになっている。
【００４５】
　図９は、図８での構成における環境情報分析部８と再生呈示制御部４の処理の流れのうち、実施例１と異なる部分を記載したものである。まず、再生が中断されたか否かを示す再生中断フラグＩを初期化（Ｉ＝０）する（ステップＳ９０１）。続いて、映像情報入力部９と音情報入力部１０からの入力情報を読み取る（ステップＳ９０２）。
【００４６】
　次に、環境情報分析部８ではこの入力情報の分析を行う。入力情報の分析は、危険を察知すること、ユーザに外部からの接触を知らせることを目的とするものである。危険を察知するためには、情報再生中にユーザの周囲で、車の急ブレーキなどの大きな音や車が急接近しているなどの音を検知し、情報の再生を中止し危険として検知した音や映像をユーザに知らせることが必要となる。
【００４７】
　一方、外部からの接触とは、例えば「ＸＸ駅」で下車予定の車中において、情報を再生していて「ＸＸ駅」に到着したことを知りたい場合、「ＸＸ駅」という車中あるいは駅でのアナウンスを認識して知らせるようなことを想定している。
【００４８】
あるいは、情報再生中に知人が近づいてきたら、その顔を認識してユーザに知らせることも外部からの接触の検知に相当する。
　ステップＳ９０３までは、以上のような危険や外部からの接触検知の有無を探るために、入力された音情報と映像情報に関しての解析を行う。とりあえず図９は、危険を察知するための解析処理を当てた流れ図になっている。ここでは簡単のために、騒音量（ｄＢ値）の大きさなどをまとめて音情報変化値Ｄｓとしている。
【００４９】
　つまり、非常に大きな音がして危険が迫っているというときには、騒音値の変化Ｄｓがある閾値αを越えたか否かを判定する。
　また、急速に車が接近している場合を検知するには、例えば動きの変化を示すオプティカルフローのベクトルの長さを求める。これが一つの映像情報変化値Ｄｉとなる。つまり、所定の速さ以上で近づく物体があるか否かを映像情報変化値Ｄｉがある閾値βを越えたか否かで判定する。
【００５０】
　ステップＳ９０４からＳ９０６では、ステップＳ９０３で算出した変化値ＤｓとＤｉに基づいた判定を行う。ステップＳ９０４では、音情報変化値Ｄｓも映像情報変化値Ｄｉもともに閾値αとβを越えていないかどうかを判定する。変化値ＤｓとＤｉが閾値α，βともに越えていなければ、ステップＳ９０７で再生中断フラグＩをみて、何かの危険を感知して再生が中断されたものであるか否かを判定する。
【００５１】
　再生が中断されているのでなければ、そのままの状態をつづければよいので、そのままステップＳ９０２に戻り、外部情報の読み出しを続ける。再生が中断されたのであれば、再生を再開し（ステップＳ９０８）、再生中断フラグを戻すために初期化のステップ（Ｓ９０１）に戻る。
【００５２】
　音情報変化値Ｄｓも映像情報変化値Ｄｉもともに閾値α，βを越えていれば、大変な危険が迫っている状態である（ステップＳ９０５）。従って、ステップＳ９０９では即座に再生と表示を停止する。ここで、再生中断フラグＩを１にする（ステップＳ９０９）。
【００５３】
　また、検知した音をユーザにイヤホンで知らせるとともに、危険が迫っていることを知らせるように例えば、警報を鳴らし、イヤホンを通じて知らせる。
　ステップＳ９０６では、音情報変化値Ｄｓのみが閾値αを越え、映像情報変化値Ｄｉが閾値βを越えていない場合、つまり、近くで大きな音はしているが、車が高速で近づくなどの映像としての危険は検知されていないことを判定する。この場合は、再生と表示を停止し、再生中断フラグＩを２にセットする（ステップＳ９１０）。また、注意音を出してユーザに注意を喚起し、近くで発生している音を聞かせる。
【００５４】
　ステップＳ９１１では、音としての危険はないが、映像としての危険があるか否かを判断する。この場合は、再生中断フラグＩを３にセットし、ユーザに映像として危険が迫っていることを示す注意音を呈示する。
【００５５】
　図９が危険を検知し、警告するための処理の流れであったが、図１１は外部からの接触を検知し、ユーザに呈示するための処理の流れ図である。認識したい音情報としては、例えば図１２に示すように、電車から降りる降車駅名や、他人から呼ばれる自分の名前などがある。認識したい映像情報としては、例えば知人の顔などがある。
【００５６】
　ステップＳ９１２では、図１２にあるような認識すべき対象の情報とマッチするか否かを解析する。ここでは簡単のため認識した対象の個数をカウントし、それに応じた処理を行う。　ステップＳ９１２で算出した音情報認識度Ｒｓと映像情報認識度Ｒｉに基づいた判定を行う。ステップＳ９１３では、音情報認識度Ｒｓも映像情報認識度Ｒｉもともに閾値γとδを越えていないかどうかを判定する。認識度ＲｓとＲｉが閾値γ，δともに越えていなければ、ステップＳ９０７で再生中断フラグＩをみて、認識対象を感知して再生が中断されたものであるか否かを判定する。
【００５７】
　再生が中断されているのでなければ、そのままの状態をつづければよいので、そのままステップＳ９０２に戻り、外部情報の読み出しを続ける。再生が中断されたのであれば、再生を再開し（ステップＳ９０８）、再生中断フラグを戻すために初期化のステップ（Ｓ９０１）に戻る。
【００５８】
　音情報認識度Ｒｓも映像情報認識度Ｒｉもともに閾値γ，δを越えていれば、音と映像ともに認識した状態である（ステップＳ９１４）。従って、ステップＳ９１６では即座に再生と表示を停止する。ここで、再生中断フラグＩを１にする（ステップＳ９１６）。
【００５９】
　また、検知した音をユーザにイヤホンで知らせるとともに、危険が迫っていることを知らせるように例えば、警報を鳴らし、イヤホンを通じて知らせる。
　ステップＳ９１５では、音情報認識度Ｒｓのみが閾値γを越え、映像情報認識度Ｒｉが閾値δを越えていない場合、つまり、近くで認識すべき音はしているが、映像としては認識されていないことを判定する。この場合は、再生と表示を停止し、再生中断フラグＩを２にセットする（ステップＳ９１７）。また、注意音を出してユーザに注意を喚起し、近くで発生している音を聞かせる。
【００６０】
　判定結果がそうであれば、ユーザに注意を促して認識した音（この場合は車掌による車内放送など）をユーザに聞かせる。これにより、ユーザは目的の駅に着いたことを知ることができるので、情報の再生に夢中になって乗り過ごすことを防げる。
【００６１】
　また、ここでは駅名のアナウンスの認識により、目的の駅をユーザに通知することを示しているが、例えば記憶部５に記憶されたユーザのスケジュール（ＰＩＭ：personal　information　manager）の情報を用いて、さらに正確な通知を行うことも可能である。　ステップＳ９１７では、音としての認識はないが、対象の映像を認識したか否かを判断する。この場合は、再生中断フラグＩを３にセットし、ユーザに対象の映像を認識したことを示す注意音を呈示する。
【００６２】
　［実施例２の効果］
　実施例２によれば、ユーザは周囲の音や映像情報を的確に知ることができるので、環境に融合した使い勝手を得ることができる。
　［記憶媒体による本願発明の実現］
　また、本願発明の実施例における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能である。
【００６３】
　なお、本願発明における記憶媒体としては、磁気ディスク、フロッピー（登録商標）、ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００６４】
　また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているＯＳ（オペレーションシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【００６５】
　さらに、本願発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【００６６】
　また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００６７】
　なお、本願発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【００６８】
　また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。
【図面の簡単な説明】
【００６９】
【図１】本願発明の実施例１の概略構成図。
【図２】本願発明の実施例１の使用イメージの一例。
【図３】本願発明の実施例１の使用イメージの一例。
【図４】本願発明の実施例１の変形例の概略構成図。
【図５】本願発明の実施例１の処理の流れ図。
【図６】本願発明の実施例１の変形例の処理の流れの図。
【図７】本願発明の実施例１の変形例の処理の流れの図。
【図８】本願発明の実施例２の概略構成図。
【図９】本願発明の実施例２の処理の流れ図。
【図１０】本願発明の実施例２の変形例の概略構成図。
【図１１】本願発明の実施例２の変形例の処理の流れの図。
【図１２】本願発明の実施例２の変形例の認識対象の例。
【符号の説明】
【００７０】
１…入力部
２…行動計測センサ
３…装着型呈示部
４…再生呈示制御部
５…記憶部
６…再生部
７…送受信部
８…環境情報分析部
９…映像情報入力部
１０…音情報入力部
【図１】
2004109995.tif 000003
【図２】
2004109995.tif 000004
【図３】
2004109995.tif 000005
【図４】
2004109995.tif 000006
【図５】
2004109995.tif 000007
【図６】
2004109995.tif 000008
【図７】
2004109995.tif 000009
【図８】
2004109995.tif 000010
【図９】
2004109995.tif 000011
【図１０】
2004109995.tif 000012
【図１１】
2004109995.tif 000013
【図１２】
2004109995.tif 000014