(57)【特許請求の範囲】
【請求項１】
マルチメディア情報を画像認識手段及び音声認識手段により提示制御可能となるように構成した情報提示装置と、前記装置に対するハンズフリーによる遠隔対話操作、及び前記装置により提供される情報に対するシースルー視聴を可能にした、少なくとも映像入力手段、映像出力手段、音声入力手段、音声出力手段を有する、利用者に取付可能なユーザインタフェース装置とを備え、
前記映像入力手段は利用者の視野画像を入力し、該視野画像に基づいて前記情報提示装置の画像認識手段により利用者の視線を認識し、予め用意してある複数方向の模範映像又は実写映像の中から、認識した視線に最も近いアングルの映像を前記映像出力手段に提供し、該映像のアングルを前記視線に近付けるように制御すると共に、
前記音声入力手段は利用者の音声を入力し、該音声から前記情報提示装置の音声認識手段により利用者が発声した文字列を認識し、該文字列に基づいて前記情報提示装置で提供するマルチメディア情報のコンテンツを切り替えるようにし、
且つ、前記映像入力手段で入力された映像と、前記情報提示装置で提供される映像とを画像処理により合成し、その合成画像を前記映像出力手段に提供するようにしたことを特徴とする仮想環境提示装置。
【請求項２】
請求項１において、
前記音声入力手段は利用者の音声を入力し、該音声から前記情報提示装置の音声認識手段により利用者が発声した複数の文字列を認識し、文字列と文字列との時間間隔に基づいて、前記情報提示装置で提供する時系列マルチメディア情報の再生速度を制御するようにしたことを特徴とする仮想環境提示装置。
【請求項３】
請求項１において、
利用者もしくは利用者に対面している人物の心拍を含む生体信号を入力し、該生体信号に基づいて前記情報提示装置で提供する時系列マルチメディア情報の再生速度を制御するようにしたことを特徴とする仮想環境提示装置。
【請求項４】
請求項１において、
前記映像入力手段、映像出力手段、音声入力手段及び音声出力手段を有するユーザインタフェース装置が、利用者の頭部に取付け可能なヘッドセットで構成されていることを特徴とする仮想環境提示装置。
【請求項５】
請求項４において、
前記ヘッドセットが、映像送信手段、映像受信手段、音声送信手段及び音声受信手段を介して、前記情報提示装置と無線で情報伝送が可能になっていることを特徴とする仮想環境提示装置。
【請求項６】
請求項４において、
前記情報提示装置が、マルチメディア情報を提供するデータサーバに接続されていることを特徴とする仮想環境提示装置。
【請求項７】
請求項６において、
前記ヘッドセットが、利用者の身体に取り付けられた前記情報提示装置にワイヤ接続され、前記情報提示装置が前記データサーバに無線接続されていることを特徴とする仮想環境提示装置。
【請求項８】
請求項６において、
前記情報提示装置及び前記データサーバが、それぞれインターネットに接続されたＷＷＷクライアント及びＷＷＷサーバであることを特徴とする仮想環境提示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、特に医療行為（救急処置、外科手術、マッサージ、介護等）、ダンス・体操等、主として人が対人的に行う各種演技・手技の修得や、マニュアル類を持ち込めない実践の場、例えば教育現場等で身体で覚える実技の修得に、あるいは多くの図面を要する設備類のメンテナンス作業等の支援に適用して好適な、仮想環境提示装置に関する。
【０００２】
【従来の技術】
医療行為等、主として人が対人的に行う各種演技・手技又は実技（以下、単に演技ともいう）を修得する場合、実践の場ではマニュアルを参照する余地がないため、指導者によるマンツーマン教育が最も効率的で不可欠になっている。
【０００３】
とは言うものの、誰もが常にマンツーマン教育を受けられるとは限らない。そのため、このマンツーマン教育以外に、依然として教則本・マニュアルとして印刷物、ビデオ等が利用され、更にＣＤ−ＲＯＭ、最近ではインターネットＷＷＷ（Ｗorld  Ｗide Ｗeb）の媒体を利用して修得することが可能になっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、実践の場にこれらマニュアル類を持ち込むことは困難であり、仮に持ち込めたとしても演技を修得をしながら、同時にマニュアルを参照することは困難であると共に、媒体の違いによっても以下のような各種の問題がある。
【０００５】
（１）印刷物：携帯性はよいが、演技中に参照したり、頁をめくったりできない。
【０００６】
（２）ビデオ：操作が不要で遠方から視聴しながら演技を同時にできるという利点はあるが、後戻りや速度変更、アングルの変更ができないため、テンポを遅くしたいという初心者のニーズや、アングルを変えて死角に入っている箇所を見たいというニーズに応えることができない。又、模範演技と利用者が対面している向きが逆の場合は、頭の中で絶えず逆向きに手技を翻訳しなくてはならず、初心者には難しいということもある。
【０００７】
（３）ＣＤ−ＲＯＭ：ビデオの問題点は解決されているが、マウス操作が必要になる。
【０００８】
（４）ＷＷＷ：ＣＤ−ＲＯＭに比べて提供できるコンテンツが拡大するという利点はあるが、同様にマウス操作が必要で、回線接続等、携帯性は逆に劣る。
【０００９】
本発明は、前記従来の問題点を解決するべくなされたもので、実践の場で演技や作業を続けながら、その支援をオンラインマニュアルにより受けることができる環境、即ちいわばウォーキング・ディクショナリ環境を提供することを課題とする。
【００１０】
【課題を解決するための手段】
本発明は、仮想環境提示装置において、マルチメディア情報を画像認識手段及び音声認識手段により提示制御可能となるように構成した情報提示装置と、前記装置に対するハンズフリーによる遠隔対話操作、及び前記装置により提供される情報に対するシースルー視聴を可能にした、少なくとも映像入力手段、映像出力手段、音声入力手段、音声出力手段を有する、利用者に取付可能なユーザインタフェース装置とを備え、前記映像入力手段は利用者の視野画像を入力し、該視野画像に基づいて前記情報提示装置の画像認識手段により利用者の視線を認識し、予め用意してある複数方向の模範映像又は実写映像の中から、認識した視線に最も近いアングルの映像を前記映像出力手段に提供し、該映像のアングルを前記視線に近付けるように制御すると共に、前記音声入力手段は利用者の音声を入力し、該音声から前記情報提示装置の音声認識手段により利用者が発声した文字列を認識し、該文字列に基づいて前記情報提示装置で提供するマルチメディア情報のコンテンツを切り替えるようにし、且つ、前記映像入力手段で入力された映像と、前記情報提示装置で提供される映像とを画像処理により合成し、その合成画像を前記映像出力手段に提供するようにしたことにより、前記課題を解決したものである。
【００１１】
即ち、本発明においては、ユーザインタフェース装置が有する映像入力手段により、演技等をサポートするマニュアル情報を映像として利用者に提示できるようにすると共に、その映像を音声出力手段や映像出力手段等を介して、例えば利用者の声や視線により、手を使うことなく、即ちハンズフリーで希望する情報コンテンツに切り替えることができるようにしたので、利用者は演技等を続けながら、その演技等を支援する所望のサポート情報を受け取ることができる。
【００１２】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００１３】
図１は、本発明に係る一実施形態の救急医療支援システム（仮想環境提示装置）を概念的に示すブロック図、図２は、同システムの構成をより具体的に示したブロック図である。又、図３は、本実施形態の支援システムを構成するヘッドセット（ユーザインタフェース装置）を、利用者が装着した状態と共に示した正面図、図４は、その平面図である。
【００１４】
本実施形態の救急医療支援システムは、マニュアルとして電子媒体で提供される模範映像を、離れた位置から視聴しながら演技修得をハンズフリーで行うことができる仮想環境を実現する家庭向けのシステムである。
【００１５】
本実施形態の支援システムは、前記図１、２に示すように、救急医療支援のためのマニュルアル映像を初めとする、マルチメディア情報を提示・制御可能に構成されているパーソナルコンピュータ本体（情報提示装置、クライアント端末）Ａと、該本体Ａにワイヤレスで接続されたヘッドセット（ユーザインタフェース装置）１０とを備えている。
【００１６】
本実施形態では、前記マルチメディア情報が、インターネットを介してＷＷＷサーバＢのファイルサーバ（マルチメディアサーバ）Ｃから、上記コンピュータ本体Ａに提供されるようになっている。
【００１７】
なお、図１中ＨＴＭＬ（Ｈyper  Ｔext Ｍarkup Ｌanguage ）は、インターネットのホームページの作成に用いられる言語、Ｊａｖａはサン・マイクロシステムズ社が開発したプログラム言語で、この言語で作成したプログラム（アプレット）は、インターネットのホームページを表示する際に実行される。又、ＶＲＭＬ（Ｖirtual  Ｒeality  Ｍodeling Ｌauguage ）はインターネットで３次元のグラフィックスを表現できる言語であり、ＭＩＤＩ（Ｍusical  Ｉnstruments  Ｄigital  Ｉnterface）はコンピュータで音楽データをやり取りするための規格である。
【００１８】
上記ＷＷＷは、オンラインで豊富なコンテンツを提供でき、後戻り、速度変更、アングル変更等の機能も技術的には提供可能であるという点で、現状最も有望なメディアである。
【００１９】
本実施形態では、又、利用者が演技等の修得をしながら、電子マニュアルを参照できるようにするために、ユーザインタフェースとして必要とされる以下の５つの機能を実現している。
【００２０】
（１）両手を使わず、コンピュータ操作が行えること（ハンズフリー操作）。
【００２１】
（２）演技に支障がない程度に移動が可能であること（携帯性・軽量性）。
【００２２】
（３）模範演技（バーチャル映像）と現実像を同時に視聴可能であること（シースルー）。
【００２３】
（４）模範演技のアングルはユーザの視点にできるだけ近いこと（少なくとも逆向きでないこと）。
【００２４】
（５）模範演技の速度はユーザのスキルに応じて可変であり、演技中に変更も可能であること。
【００２５】
本実施形態においては、以下のシステム構成とすることにより、以上の各機能を実現している。
【００２６】
即ち、前記ヘッドセット１０を、図３、４に示すように、液晶ゴーグル１２、小型ビデオカメラ１４、左右のイヤパッドからなるヘッドフォン１６と、矢印方向に可動なハンズフリーのマイクロフォン１８と、上記液晶ゴーグル１２の上に固定されているペンライト２０と、伸縮自在なヘッドバンド１０Ａとを一体とした構成としている。
【００２７】
上記液晶ゴーグル１２は、半透明液晶ディスプレイを用いた光学的シースルー機能を有するシースルータイプである。このゴーグル１２とヘッドフォン１６は、それぞれゴーグルビデオケーブル１２Ｃと、ヘッドフォンオーディオケーブル１６Ｃを介して、利用者の腰にベルトで固定されている受信器（映像受信手段、音声受信手段）２２に接続されている。そして、受信器２２にはバッテリーが内蔵されており、前記映像受信手段及び音声受信手段に電源を供給する以外に、ゴーグル１２に対してゴーグルビテオケーブル１２Ｃを介して必要な電源を供給している。
【００２８】
又、前記小型ビデオカメラ１４とマイクロフォン１８は、それぞれビデオカメラケーブル１４Ｃとマイクオーディオケーブル１８Ｃを介して送信器（映像送信手段、音声送信手段）２４に接続されている。そして、送信器２４にもバッテリーが内蔵されており、前記映像送信手段及び音声送信手段に電源を供給する以外に、ビデオカメラ１４に対してビデオカメラケーブル１４Ｃを介して必要な電源を供給すると共に、マイクロフォン１８に対してマイクオーディオケーブル１８Ｃ介して必要な電源を供給している。
【００２９】
又、本実施形態では、前記コンピュータ本体Ａ（クライアント端末）が、図２に示したように音声認識モジュール３０、ステータス制御部３２、音声合成モジュール（又はＭＩＤＩ音源）３４、再生速度制御部３６、レンダリングやビデオ復号再生、背景実写像との合成を行う画像処理部３８、カメラパラメータ抽出機能を有する画像認識モジュール４０を備えている。
【００３０】
そして、上記ヘッドセット１０を利用者が頭部に取付けることにより、その利用者は演技を行いながら、電子媒体で提供されるマニュアルを視聴できるようにするために、該ヘッドセット１０と前記コンピュータ本体Ａとが、前記受信器２２、送信器２４を介してワイヤレス・アナログ回線で接続されている。
【００３１】
即ち、前記液晶ゴーグル１２には、受信器２２を介して画像処理部３８から赤外線で送信されるビデオ信号が入力され、ヘッドフォン１６には音声合成モジュール３４から同様にしてオーディオ信号が入力されるようになっている。一方、ビデオカメラ１４からは送信器２４を介して画像処理部３８及び画像認識モジュール４０にＶＨＦ帯の電波で送信されるビデオ信号が出力され、マイクロフォン１８からは音声認識モジュール３０に同様にしてオーディオ信号が出力されるようになっている。
【００３２】
このように、ここでは、ヘッドセット１０とコンピュータ本体Ａの間において、映像と音声の双方向ワイヤレス伝送を実現するにあたり、双方の干渉を避けるため、現在入手可能な赤外線とＶＨＦ帯の２種の伝送装置を共用する方策を取っている。
【００３３】
又、前記コンピュータ本体Ａは、インターネット・デジタル回線を介して前記ＷＷＷサーバＢと接続され、前記ファイルサーバＣに対してステータス制御部３２から演技状況が出力され、又、画像認識モジュール４０から視点情報が出力され、逆にファイルサーバＣからは音声合成モジュール３４に音声情報が入力され、又、画像処理部３８に映像情報が入力されるようになっている。
【００３４】
本実施形態においては、前記（１）の機能を、音声入力・認識によりコンピュータ操作をすることにより実現する。具体的には、前記マイクロフォン１８により、利用者の音声を入力し、該音声から前記コンピュータ本体Ａの音声認識モジュール３０により、利用者が発声した文字列を認識し、該文字列に基づいて前記ステータス制御部３２によりファイルサーバＣに切り替え信号を送ることにより、該ファイルサーバＣからコンピュータ本体Ａに出力し、該本体Ａから液晶ゴーグル１２、ヘッドフォン１６に提供する映像・音声のマルチメディア情報のコンテンツを切り替えることができるようになっている。
【００３５】
なお、この機能を実現するにあたり、ＨＴＭＬアンカー（アンダーラインのある文字列：クリックすると所定の頁にジャンプする機能）については、音声認識で得た文字コードに基づいて指定された先にジャンプさせるような制御プログラムをＨＴＭＬ文に追加する方法を採用した。
【００３６】
図５は、これを概念的に示したブロック図である。コンピュータ本体Ａをインターネットでサーバに接続すると、メイン管理プログラム起動用ＨＴＭＬ文により、Ｊａｖａアプレットで記述されたメイン管理プログラム本体が起動する。その後、マウス等により、この本体のメニューボタンに対してキー入力を行うことにより、マルチメディア表示プログラム起動用ＨＴＭＬ文により、同じくＪａｖａアプレットで記述されたマルチメディア表示プログラム本体を起動することができる。そして、この状態で上記表示プログラム本体のメニューボタンに対してキー入力を行うことにより、ファイルサーバＣから希望するファイルの情報を読み出すことができる。このように、現状はマウスクリック入力でしかＷＷＷサーバＢとの間で情報伝達のためのメニューの切り替えができないところ、キー入力でも実現可能にした。
【００３７】
そして、音声コマンドがマイクロフォン１８から音声認識モジュール３０に入力されると、該モジュール３０では所定のメニューボタンに対応する文字コードに変換し、該文字コードをキー入力したのと同等な入力処理が実行される。即ち、音声コンマドにより別のＨＴＭＬ頁にジャンプする所望のアンカー機能を実現している。
【００３８】
前記（２）の機能を実現するために、前記図３、４に示したように、前記液晶ゴーグル１２、小型ビデオカメラ１４、ヘッドフォン１６、マイクロフォン１８を有するヘッドセット１０を、利用者の頭部に取り付けて使用できるようにすると共に、前述のように該ヘッドセット１０とＷＷＷ端末であるコンピュータ本体Ａとはワイヤレス接続することにより、結果的にヘッドセット１０とＷＷＷサーバＢとのワイヤレス接続を実現している。
【００３９】
前記（３）の機能を実現するために、前記ビデオカメラ１４で入力された実写映像と、前記コンピュータ本体Ａで提供されるＣＧ（コンピュータグラフィックス）による模範映像とを画像処理部３８で合成し、その合成画像をシースルー機能を閉じた状態にした前記液晶ゴーグル１２に提供するようにしてある。このようにすることにより、ＣＧ画像では背景部を完全な無地の状態にすることが容易であることから、いわゆるクロマキー合成法を用いて背景部に実写映像を埋め込めむようにすれば、双方の品質が劣化しないようにできるため、鮮明な模範映像を提供することができる。但し、模範映像は不鮮明になるが、シースルー機能をそのまま使用することもできる。
【００４０】
前記（４）の機能を実現するためには、例えば利用者がビデオカメラ１４で捕らえた視線映像の中の被写体（例えば施術者）のシルエット像から、図６に示すような４種類のカメラワークを自動的に選択できるようにしてもよい。
【００４１】
又、ビデオカメラ１４が利用者の視野画像を入力し、該視野画像に基づいて前記コンピュータ本体Ａの画像認識モジュール１０により利用者の視線を認識し、前記液晶ゴーグル１２に提供する映像のアングルを前記視線に近付けるように制御するようにしてもよい。
【００４２】
具体的には、利用者の視野画像から被写体の顔の向きだけ、画像処理のモーメント法で認識し、その方向に最も近いアングルの映像を提供する。そのために、模範映像を３次元ＣＧで制作し、１つのシーンに付き数方向のアングルでレンダリングした映像を用意するか、数方向から撮影した実写映像を用意しておく。なお、現状の画像処理では正確な視点を認識するのは困難であるが、３次元ＣＧの手法の場合は、計算に時間がかかる問題があるが、端末の処理能力が大きければ、グラフィックスエンジンを搭載するなどして、リアルタイムにレンダリングする手法をとり、アングルを任意に変更できるようにしてもよい。又、他に、この用途には移動範囲に制約が大きいために不適当であるが、位置センサをゴーグルに取り付けて、視点に完全に追従させる方法もある。
【００４３】
本実施形態では、利用者が液晶ゴーグル１２を通して見ることのできる映像のカメラワークとしては、ＣＧ映像の場合のみではあるが、施術者の背中に隠れた動作を透過して見ることができるように、該施術者をスケルトン（骸骨）表示する機能と、逆に解剖学的に動作を見ることができるように、被施術者（患者）をスケルトン表示する機能もある。これについては、後に具体例を示す。
【００４４】
同様に、ＣＧ映像の場合のみではあるが、複数のパーツ（頭や手等）が協調して動いている場合、選択したパーツ以外の全パーツの動作を止めて再生したり、選択したパーツの動作を止めて再生したりできる、単一パーツの動作表示機能もある。
【００４５】
又、液晶ゴーグル１２に提示される模範映像を再生する際、指定領域に対する時間軸を拡大する機能がある。
【００４６】
動画の再生映像は、基本的に時間的に変化する動きを、連続的な静止画で表示するようになっている。従って、データベースには連続的に変化する静止画の１つ１つが、図７（Ａ）に示すようなフレーム１〜７・・・の画像データとして保存されている。
【００４７】
ところが、模範演技の中では１回しか出てこないため、見落とされ易い繰り返し演技の開始又は終了部分や、熟練者では繰り返し演技にスムーズに結合され、見落とされ易く、時には簡素化又は省略されることがある繰り返し演技のつなぎ部分のように、図７（Ａ）のフレームの再生速度を単に遅らせるスロー再生では対応できない場合がある。このような映像については、例えばフレーム２とフレーム３の間の詳細な映像を再生する超スローモーション再生に対応できるように、同図（Ｂ）に示したように、これら両フレーム間を細分割したフレーム２．１〜２．７・・・の映像を別途用意してある。
【００４８】
又、本実施形態では、前記（５）の機能を実現するために、前記マイクロフォン１８が、利用者の音声を入力し、該音声から前記コンピュータ本体Ａの音声認識モジュール３０により、利用者が発声した複数の文字列を認識し、文字列と文字列との時間間隔に基づいて、再生速度制御部３６で前記コンピュータ本体Ａの音声合成モジュール３４や画像処理部３８から、ヘッドフォン１６や液晶ゴーグル１２にそれぞれ提供する支援映像や音声等の時系列マルチメディア情報の再生速度を制御するようになっている。なお、ここでいう文字列には、「あ」、「い」、「う」等の１文字も含まれる。
【００４９】
即ち、動画再生のフレームレートを可変に構成すると共に、ＢＧＭサウンドをＭＩＤＩで記述しておく。利用者が、マイクロフォン１８を使って、例えば「１，２，３」を「いち、にい、さん」という複数の文字列として所定の間隔で発声すると、「１」と「３」の発音開始時間の間隔を測定し、その間隔で、例えば動画３０フレーム分、四部音符８個分を再生するように制御することができるようになっている。
【００５０】
この機能を概念的に示したのが図８である。この図には、「１，２，３」の発声を、一番上のユーザ入力パルスのパルス１〜３に置き換えて示してあり、パルス３のタイミングでシステム・クロックのパルス間隔が変化している。そして、これに同期して動画は既製のフレームデータを上書きする間隔が制御され、ＣＧ画像はバックグラウンドで描画したフレームをフロントに交替させる間隔が制御され、ＭＩＤＩは強拍音符演奏間隔が制御されるようになっている。なお、ＭＩＤＩの演奏間隔制御では、パルスの振幅の揺らぎ成分で音の強さを変調することも可能となっている。
【００５１】
又、上記再生速度制御部３６には、外部同期信号も入力可能になっており、該速度制御部３６に利用者もしくは利用者に対面している人物の心拍等の生体信号を入力し、該生体信号に基づいて同様に前記時系列マルチメディア情報の再生速度を制御することもできるようになっている。
【００５２】
又、前記支援システムには、図１に示したように、利用者が前記ゴーグルを通して見ている映像を、他の者も見れるようにＣＲＴモニタも設置されている。
【００５３】
次に、本実施形態の救急医療支援システムの使用方法を説明する。
【００５４】
近年、高齢化社会を迎え、生活習慣病（旧成人病）の増加は最早避けることができない。この生活習慣病の中でも、狭心症・心筋硬塞等の循環器疾患は、発作により一刻を争う危険性を秘めている。このような救急医療においては、病院に搬送されるまでの救命・応急処置が非常に重要であり、周囲に医者がいない、画像検査機器がない、治療用薬剤がないという環境の下で、周囲にいる人々の適切な医療行為が患者の運命を決定することになる。本実施形態の支援システムは、このような環境下で、特に優れた効果を発揮する。
【００５５】
まず、前記図３に示したように、ユーザーインタフェース装置であるヘッドセット１０を利用者の頭部に取り付ける。
【００５６】
次いで、利用者はキー入力又はマイクロフォン１８を通して音声コマンドにより、コンピュータ本体Ａに対してコード入力し、該本体ＡをＷＷＷサーバＢに接続させ、ファイルサーバＣより模範演技に関する映像、音声等の情報が入力できる状態に立ち上げる。
【００５７】
そうすると、前記図５に示したメイン管理プログラムにより、図９に端末制御プログラムの概要として示した（１）〜（１０）の各静止映像を、救急医療支援用のモードメニューとして、液晶ゴーグル１２に順次表示できる状態になる。
【００５８】
図１０には、便宜上ＣＲＴモニタのメニュー画面を示したが、前記液晶ゴーグル１２には、この画面のウィンドウに表示されている映像（ここでは図９に示した（６）の映像）が表示されると共に、同画面内にあるような指示や質問がヘッドフォン１６を通して利用者に伝えられる。
【００５９】
利用者は、その指示に従って動作を行うと共に、質問に対して“はい”又は“いいえ”でマイクロフォン１８を通して回答することにより、図９に示した各メニュー映像を順次更新することができる。
【００６０】
ここでは、便宜上、利用者が図９のメニューの中から（９）の心臓マッサージのモードを選択したとする。利用者は、図１０の画面に示した“映像”を指示するコマンドをマイクロフォン１８を通して入力すると、前記図５に示したマルチメディア表示プログラムが起動し、前記ファイルサーバＣから必要な映像、音声情報がローディングされ、液晶ゴーグル１２に心臓マッサージの模範映像が動画として表示される。
【００６１】
図１１は、この模範映像の１フレーム、それも被施術者（患者）が前述したスケルトン表示されたフレームを、前記図１０の場合と同様のモニタ画面に示したものである。実際には、この画面に文字で表示されているような操作メニューを、利用者が文字コードを音声入力することにより選択して希望する状態の支援映像を表示させ、その模範演技を見ながら心臓マッサージの方法を修得することになる。
【００６２】
因みに、操作メニューとしては、速度（Ｓpeed）、再生、停止が音声入力により選択できると共に、前記図６に示したカメラワークに相当する正面、上面、側面、拡大の４つの映像を加えて、映像の開始部を、ビデオカメラ１４のアングルや音声入力により選択できる。
【００６３】
又、心臓マッサージの動画映像に対応する連続したフレーム映像の図示は省略するが、本実施形態の救急医療支援システムが有する他の映像表示機能について説明する。
【００６４】
図１２は、横方向に仰向けになっている患者に対して、その胸の上に施術者が覆い被さって心臓マッサージをしている場面の１映像であるが、この映像では患者の胸部から上の状態が分かり難い。そこで、この図に対応する図１３に示したように、施術者をスケルトンで表示できるようになっている。
【００６５】
又、図１４は、施術者が患者の胸に手を当てている場面を正面から見た映像であるが、この映像が施術者の手が患者の心臓に対してどのような位置関係になっているか不明である。そこで、図１５に示すように、患者の方をスケルトン表示し、肋骨の内側にある心臓と施術者の手の位置の関係も分かるように表示できるようになっている。
【００６６】
このようなスケルトン表示は、例えば特に演技上ポイントとなるような映像に対して、前記４つのカメラワークによる動画フレームの他に、予め別途作成してデータベース化しておくことで対応できる。
【００６７】
以上、詳述した如く、本実施形態の救急医療支援システムによれば、利用者が救急医療の施術又はその練習を行う際、両手を使わずにシステムを操作できる上に、演技に支障がない程度に移動することができ、模範映像と現実像を同時に、しかも利用者の希望する方向の映像を視聴でき、又、模範映像の速度を利用者の技術に応じて、演技中にも変更することができる。従って、家庭においても、容易に救急医療の施し方を修得することができる。
【００６８】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００６９】
例えば、前記実施形態では、仮想環境表示装置が救急医療支援システムである場合を示したが、これに限定されない。又、ヘッドセットの具体的な外観形状や構成は同様に限定されない。
【００７０】
又、前記実施形態では、マルチ情報のサーバとしてＷＷＷサーバを利用する場合を示したが、他のネットワークを利用してもよく、又、ネットワークを使わずにデータベースと直接交信できるようにしてもよい。
【００７１】
又、コンピュータ本体（端末）が据え置き型である場合を示したが、コンピュータの小型化が進んでいることから、コンピュータ本体そのものを身に付け、該本体とデータサーバの間をワイアレスで接続するようにしてもよい。
【００７２】
【発明の効果】
以上説明したとおり、本発明によれば、実践の場で演技や作業等を続けながら、映像や音声によりその支援を受けることができる環境を提供することができる。
【００７３】
又、本発明によれば、指導者がいない実践の場において、度忘れした事項や参照したい文献等が出てきた場合に、作業を中断することなく、文献の検索や参照もできるようになり、インターネット環境で運用されていれば、一人の指導者では対応できないような難しい局面に対しても、解決策が得られる可能性を提供することもできる。
【００７４】
又、薄暗くて狭い作業現場で、多くの図面を参照する必要がある場合、従来は設計事務所の担当者と無線連絡を取りながら作業を進めざるを得なかったが、本発明によれば、現場で仮想的に図面を見ながら作業ができるため、効率良く作業を進めることができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の救急医療支援システムの概略構成を示すブロック図
【図２】上記救急医療支援システムの具体的構成を概念的に示すブロック図
【図３】上記救急医療支援システムを構成するヘッドセットを、装着状態と共に示す正面図
【図４】上記ヘッドセットを上から見た平面図
【図５】音声によるＷＷＷコンテンツの切り換え方法を概念的に示すブロック図
【図６】再生映像のカメラワークの種類を示す説明図
【図７】標準と時間軸を拡大した再生映像シーケンスの関係を示す説明図
【図８】データ再生速度制御を説明するための説明図
【図９】救急医療支援の制御プログラムの概要を示す説明図
【図１０】仮想映像に対応するモニタ画面を示す説明図
【図１１】他の仮想映像に対応するモニタ画面を示す説明図
【図１２】模範映像の１場面を示す説明図
【図１３】図１２のスケルトン表示の例を示す説明図
【図１４】模範映像の他の１場面を示す説明図
【図１５】図１４のスケルトン表示の例を示す説明図
【符号の説明】
Ａ…コンピュータ本体
Ｂ…ＷＷＷサーバ
Ｃ…ファイルサーバ
１０…ヘッドセット
１２…液晶ゴーグル
１４…小型ビデオカメラ
１６…ヘッドフォン
１８…マイクロフォン
２０…ペンライト
２２…受信器
２４…送信器
３０…音声認識モジュール
３２…ステータス制御部
３４…音声合成モジュール
３６…再生速度制御部
３８…画像処理部
４０…画像認識モジュール
【図１】
0003829005.tif 000002
【図２】
0003829005.tif 000003
【図３】
0003829005.tif 000004
【図４】
0003829005.tif 000005
【図５】
0003829005.tif 000006
【図６】
0003829005.tif 000007
【図７】
0003829005.tif 000008
【図８】
0003829005.tif 000009
【図９】
0003829005.tif 000010
【図１０】
0003829005.tif 000011
【図１１】
0003829005.tif 000012
【図１２】
0003829005.tif 000013
【図１３】
0003829005.tif 000014
【図１４】
0003829005.tif 000015
【図１５】
0003829005.tif 000016