(57)【要約】【目的】コミュニケーションをなす人同士の一体感をより向上せしめる端末装置を提供する。【構成】ネットワークに接続され、情報信号を収集して収集した情報信号の送受信をなす端末装置であり、生物体の運動及び生理のうちの少なくとも一方の状況に応じて、これらの状況を表す状況信号を生成し、併せて、該生物体を撮像した映像信号及び／又は該生物体を囲む空間の音響信号を生成する。該映像信号及び／又は音響信号と該状況信号とは、該情報信号として送受信され、該状況信号は、触覚を与える物理量への変換の如きデータ処理がなされる。【選択図】  図１
2004221815.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続され、情報信号を収集して収集した情報信号の送受信をなす端末装置であって、
生物体の運動及び生理のうちの少なくとも一方の状況に応じて、これらの状況を表す状況信号を生成する状況信号生成手段と、
前記生物体を撮像した映像信号及び／又は前記生物体を囲む空間の音響信号を生成する映像音響信号生成手段と、
前記映像信号及び／又は音響信号と前記状況信号とを前記情報信号として送受信する情報信号送受信手段と、
前記状況信号をデータ処理するデータ処理手段と、
を含むことを特徴とする端末装置。
【請求項２】
前記状況信号生成手段は、前記生物体の身体の少なくとも１部への圧力変化を計測することを特徴とする請求項１記載の端末装置。
【請求項３】
前記状況信号生成手段は、前記生物体の身体の少なくとも１部における生体電流を計測することを特徴とする請求項１記載の端末装置。
【請求項４】
前記データ処理手段は、前記生物体が触覚にて知覚し得る物理量に変換することを特徴とする請求項１記載の端末装置。
【請求項５】
前記データ処理手段は、前記生物体の状況信号と少なくとも１つの他端末の生物体の状況信号とを比較して、これらの間の周波数偏差及び／又は強度偏差を表す指標を表示する比較表示手段を更に含むことを特徴とする先行する請求項のうち１記載の端末装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばテレビ電話或いはテレビ会議システムの如きネットワークを介してコミュニケーションを図る端末装置に関する。
【０００２】
【従来の技術】
遠隔地にいる人同士が音声を交わすと共にお互いの表情をお互いに確認し合うことで臨場感のある会話を可能とする端末装置として、テレビ電話、テレビ会議システムが知られている。かかる技術については、例えば、「テレビ電話・テレビ会議システムにおけるヒューマンインタフェース」と題する文献「沖電気研究開発（Ｖｏｌ．５９，Ｎｏ．３，１９９２年７月第１５５号７１頁乃至７４頁）」が参照される。
【０００３】
これらのテレビ電話或いはテレビ会議システムにおいては、利用者の互いの間の距離感をある程度緩和し得るものの、その用途においてはなお不十分である。例えば、運動競技の指導講習の如き人同士の身体活動を伴うコミュニケーションにおいては、映像及び音響に用いた情報の交換によっては十分な相互の一体感が得られないという問題点がある。
【０００４】
【発明が解決しようとする課題】
本発明は、以上の問題点に鑑みてなされたものであり、その目的は、コミュニケーションをなす人同士の一体感をより向上せしめる端末装置を提供することである。
【０００５】
【課題を解決するための手段】
本発明による端末装置は、ネットワークに接続され、情報信号を収集して収集した情報信号の送受信をなす端末装置であり、生物体の運動及び生理のうちの少なくとも一方の状況に応じて、これらの状況を表す状況信号を生成する状況信号生成手段と、該生物体を撮像した映像信号及び／又は該生物体を囲む空間の音響信号を生成する映像音響信号生成手段と、該映像信号及び／又は音響信号と該状況信号とを該情報信号として送受信する情報信号送受信手段と、該状況信号をデータ処理するデータ処理手段と、を含むことを特徴とする。
【０００６】
【発明の実施の形態】
＜第１の実施例＞
図１は、本発明の第１の実施例であり、本発明による端末装置の２台を対向して用いられる場合の構成を示している。かかる構成の利用形態としては、端末装置の２台のうちの１台をエアロビクス等のダンス指導のインストラクターが利用し、他の１台をこの指導をマンツーマンで受ける受講者が利用する場合の運用が想定される。
【０００７】
図１を参照すると、端末装置１０ａと端末装置１０ｂとが通信網３０を介して接続される。通信網３０は、例えば、インターネット等の一般的なネットワークである。尚、通信網３０は端末装置１０ａと端末装置１０ｂとは１対１で接続される１つの回線であっても良い。利用者２０ａは端末装置１０ａを利用し、利用者２０ｂは端末装置１０ｂを利用する。尚、利用者２０ａ及び利用者２０ｂは、本実施例においては人であるが、生物体であれば良く、犬猫等の動物であっても良い。
【０００８】
端末装置１０ａは、ネットワーク制御部１と多重・分離部２を含む。ネットワーク制御部１は、通信網３０に接続され、通信網３０を介して端末装置１０ｂとの間で適切なネットワーク伝送手順及びプロトコルに従った情報信号の通信を実現する。この情報信号は、映像信号（以下、映像データと称する）、音響信号（以下、音響データと称する）及び状況信号（以下、状況データと称する）を含み、更にかかる情報信号を目的の通信端末に到着せしめるための端末識別等の情報が含まれる。多重・分離部２は、映像コーデック部３と、音響コーデック部４と、状況コーデック部５に接続され、これらから入力される符号化された映像データ、音響データ及び状況データを多重化して伝送データとしてネットワーク制御部１に出力する機能を有する。更に、多重・分離部２は、ネットワーク制御部１から出力される端末装置１０ｂの伝送データから映像データ、音響データ及び状況データを各々分離して、映像コーデック部３と、音響コーデック部４と、状況コーデック部５の各々に対応して出力する機能を有する。
【０００９】
映像コーデック部３、音響コーデック部４及び状況コーデック部５の各々は、映像データ、音響データ及び状況データの各データに対応して符号化又は復号化する機能を有する。映像コーデック部３及び音響コーデック部４は、又、ＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の手法に基づくデータ圧縮及び／又は伸張する機能を有しても良い。
【００１０】
映像コーデック部３には、利用者２０ａを含む人に向けて映像データの表示再生をなすための画像表示装置、即ちモニタ６と、利用者２０ａを含む人の映像の撮影をなすためのビデオカメラ７とが接続される。
音響コーデック部４には、利用者２０ａを含む人に向けて音響データを外部に放音するスピーカ８と、利用者２０ａを含む人の音声を集音するマイク９が接続される。尚、音響コーデック部４には、利用者２０ａに装着するマイク等の音響装置との間で音響データを無線にて送受信する音響データ送受信部（図示せず）を設けられても良い。
【００１１】
状況コーデック部５は、足圧データ及び／又は生体電流の如き生理データを含む状況データを符号化する機能と、端末装置１０ｂからの相手利用者の状況データを復号化する機能とを有する。状況コーデック部５には、利用者２０ａに装着された装着ユニット４１ａとの間で状況データを無線にて送受信する送受信部１２が接続される。
【００１２】
装着ユニット４１ａは、マイクロ波等の無線通信手段により送受信部１２との間で状況データを交換する機能を有し、利用者２０ａの例えば腰の部分の如き身体に取り付けられる。
端末装置１０ｂは、前述の端末装置１０ａと同一の構成を有すると共に、利用者２０ｂの装着ユニット４１ｂからの状況データの送受信機能を同様に有する。
【００１３】
図２は、図１に示される装着ユニット４１ａ、４１ｂの構成を示している。装着ユニット４１ａ、４１ｂは、送受信部４２と、送受信部４２に接続されたアンテナ４３と、送受信部４２からの足圧データの如き状況データをパルス信号として電極４５に電圧印加するパルス発生器４４と、感圧センサシート４６からの足圧信号の状況データを取り込み、適切なデジタル変換の後に送信のために送受信部４２に入力する計測インタフェース部４７を含む。図１に示される装着ユニット４１ｂは、装着ユニット４１ａと同一の構成を有する。
【００１４】
利用者２０ａの脚部には、人の体に力覚を与える触覚アクチュエータとして一対の電極４５が装着され、パルス発生器４４から電圧パルスが印加される。該電圧パルスは、通信端末１０ｂから受信される利用者２０ｂの足裏の足圧データを基にして発生され、人体への影響を考慮してその電圧を約４０Ｖ以下とし、その幅を約１ｍｓｅｃ以下とすることで、人の筋肉に衝撃感を与える。これにより、通信相手の利用者の足圧データ等の状況データを利用者２０ａに知覚せしめることができる。力覚を与える触覚アクチュエータとしては、これ以外にも例えば振動装置の如き機械的な形態であっても良い。
【００１５】
一方、利用者２０ａの左右の足の靴裏には感圧センサシート４６が装着される。感圧センサシート４６は、足の歩行或いは運動動作により発生する足裏と床との間の圧力変化を検知するセンサであり、足裏の全体の加圧又は一部の足圧を計測する。計測された足圧変化は利用者２０ａの状況データとして計測インタフェース部４７を介して送受信部４２に送られる。送受信部４２は、端末装置１０ａの筐体内の送受信部１２に送信する。この状況データは、通信網３０を介して通信相手たる端末装置１０ｂに送信される。
【００１６】
図１及び図２の構成における利用形態について説明する。ここで、端末装置１０ａの利用者２０ａは、エアロビクスにおけるインストラクターであり、端末装置１０ｂの利用者２０ｂは、エアロビクスにおける受講者であるとする。
インストラクターは、オーディオ装置から再生される音楽に合わせてダンスを踊り、受講者はこれに合わせてダンスを踊る。両者の映像及び音声は、端末装置２０ａ及び２０ｂの各々に備えられたモニタ６、テレビカメラ７、スピーカ８及びマイク９を介して交互に交換されて収録及び再生される。
【００１７】
利用者２０ａ、即ちインストラクターが装着している装着ユニット４１ａは、該インストラクターの左右それぞれの足の接地タイミングを状況データとして検出し、その接地タイミングの状況データを通信網３０を介して端末装置１０ｂに送信する。端末装置１０ｂの利用者２０ｂ、即ち受講者は、この状況データを自己に装着された装着ユニットを介して自己の体にて知覚する。
【００１８】
一方、利用者２０ｂ、即ち受講者が装着している装着ユニット４１ｂは、該受講者の左右それぞれの足の接地タイミングを状況データとして検出し、その接地タイミングの状況データを通信網３０を介して端末装置２０ａに送信する。端末装置１０ａの利用者２０ａ、即ちインストラクターは、この状況データを自己に装着された装着ユニット４１ａを介して自己の体にて知覚する。
【００１９】
以上の運用により、受講者はインストラクターが音楽に合わせて踊っている様子を映像と音楽、さらに音声によって知覚すると共に、ステップを踏むリズムそのものを体感することが可能になる。これにより、受講者はインストラクターの動きを体感しながらダンスを踊ることができる。一方、インストラクターは、受講者の踊りを映像で認識できるばかりでなく、実際のリズムのずれを触覚アクチュエータにより実際に体感することができ、マイク９を通して受講者に適切なアドバイスを送ることができる。
【００２０】
尚、本第１の実施例においては、状況データを利用者の足圧データとしたが、利用者の身体の運動を定量的に把握できる状況データであれば良く、例えば、足の動きの速度又は加速度データであっても良く、更には他の身体部位、例えば腕の速度又は加速度等の状況データであっても良い。
以上のように、第１の実施例においては、遠隔地にいる２つの利用者は、映像及び音声によるコミュニケーションに加えて、力覚を与えるデータ、即ち触覚情報を共有することが可能となり、コミュニケーション上の一体感を一層高めることが可能となる。このことは、エアロビクス等の団体運動においてより学習効果を高め、遊戯として娯楽性をより高めることができると期待される。
＜第２の実施例＞
図３は、本発明の第２の実施例であり、２つ以上複数の端末装置が同時に通信をなす構成を示している。ここで、複数の端末装置１０ａ乃至１０ｅが通信網３０を介して相互に接続される。通信網３０は、第１の実施例と同様にインターネット等の一般的なネットワークである。
【００２１】
端末装置１０ａ乃至１０ｅの各々は、第１の実施例と同様のネットワーク制御部１と多重・分離器２と、映像コーデック部３と、音響コーデック部４と、状況コーデック５と、モニタ６と、ビデオカメラ７と、スピーカ８と、マイク９、装着ユニット４１とを含む。利用者２０ａ乃至２０ｅの各々は、無線ヘッドセット様式のマイク９を自身の頭部に装着する形態でもよい。端末装置１０ａ乃至１０ｅ各々のネットワーク制御部１は、端末装置を１対１とする通信のみならず、１対複数の端末装置間の同時通信を可能とする。
【００２２】
端末装置１０ａ乃至１０ｅのうちの少なくとも１つ端末装置、例えば、図３の場合の端末装置１０ａは、状況コーデック部１１及び送受信部１２に接続されるずれ検出部３１と、ずれ検出部３１からの画像出力を表示するために接続される第２モニタ３２を更に含む。ずれ検出部３１は、各端末装置１０ａ乃至１０ｅから受信される足圧データの如き状況データと、それ自身の装備ユニット４１ａから計測される足圧データの如き状況データとのずれを検出する。第２モニタ３２は、ずれ検出部３１から出力されるずれ情報を適切な表示形態にて画像として再生する。
【００２３】
図４は、図３において示されるずれ検出部３１の構成及び画面例を示している。ここで、本図の（ａ）を参照すると、ずれ検出部３１は、位相差コンパレータ３３と、Ａ／Ｄ変換器３４と、画像出力部３５と、を含む。位相差コンパレータ３３は、状況コーデック部１１からの出力される複数の状況データを入力し、これと自身の装備ユニット４１ａから受信された基準状況データと時間軸上の位相を比較し、そのずれを各々検出する。Ａ／Ｄ変換器３４は、この検出された位相差を数値情報に変換し、画像表示部３５に出力する。画像表示部３５は、入力された各端末装置１０ｂ乃至１０ｅの各々について、適切な表示形態に変換して画面情報を編集し、これを外部の第２モニタ３２に向けて例えばＲＧＢ信号として出力する。
【００２４】
次に図４の（ｂ）を参照すると、ずれ検出部３１により表示される画面例を示している。ここで、複数の端末装置１０ｂ乃至１０ｅからの状況データＢ乃至Ｄについて、基準の状況データＡの位相とのずれを棒グラフ状に示している例である。各々の横軸は、左右に基準位相とのずれの遅れ及び進みを各々示している。基準位相からのずれの表示形態としては、より視認効果の高い色調の変化により遅れ又は進みを表示する形態も考えられ、多様な表示形態が可能である。
【００２５】
以上のように、第２実施例においては、例えば、端末装置１０ａの利用者をインストラクターとし、他の端末装置１０ｂ乃至１０ｅの利用者を複数の受講者とすると、インストラクターは受講者が踊っている様子を映像や音声として知覚できるだけでなく、ずれ検出画像によって多数の受講者の互いのリズムのずれを常に確認することが可能になる。これにより、受講者に適切なアドバイスを発することが可能となる。尚、ずれ検出の対象となる状況データは、リズム等の周波数情報に限られず、ステップ等の身体運動の強度であっても良い。又、本実施例においては、ずれ検出部を設けた端末装置の１つと複数の端末装置とが対向する形態が説明されたが、複数の端末装置の全部又は一部にずれ検出装置を設けて、互いに状況データのずれを認識し得るようにしても良い。
＜第３の実施例＞
図５は、本発明の第３の実施例であり、図１に示される装備ユニット４１ａ乃至４１ｂの他の構成を示している。ここで、装備ユニット４１ａは、生体電流検出電極４８を更に含む。生体電流検出電極４８は、人の例えば臀部に取り付けられ筋肉の運動により発生する生体電流を生理データとして検知する。この生理データは利用者２０ａの状況データとして計測インタフェース部４７を介して取り込まれ、送受信部４２を介して端末装置１０ａに送られる。送られた状況データは、通信相手である端末装置１０ｂに送られる。端末装置１０ｂの装備ユニット４１ｂは、装備ユニット４１ａと同様の構成を有する。これにより、利用者２０ａ及び２０ｂは、互いに相手の状況データを交換することができる。
【００２６】
本実施例における利用形態としてリハビリテーションの場合を想定すると、利用者２０ａは医師（或いは指導員）であり、利用者２０ｂは患者である。医師及び患者は、生理データを計測するために体の同一部位に生体電流検出電極４８を装着する。検出された患者の生理データは、医師側の端末装置１０ａに送信される。医師は、医師自身の生理データと受講者の生理データとのタイミングずれをずれ検出装置３１により認識する。この場合のずれは、例えば、医師の生理データのピーク値と、患者の生理データのピーク値との時間差を測定することによって検出することが考えられる。又、この生理データのずれは、第２の実施例におけると同様に例えば色調などに対応させることによって、生理データのタイミングずれの程度を色調の変化により認識することもできる。
【００２７】
この利用形態においては、医師と患者が一緒にある動作をしたときに、動作リズムのずれと同時に、筋肉の緊張など、生理データの変化タイミングのずれを認識することができる。従って、医師は、時々刻々と変化する受講者の活動状態を、自分の活動状態とのずれに基づいて、患者の表面的な運動状態と患者体内の生理データとの両面から捉えることが可能になり、より適切な指導を行うことができるようになる。
＜第４の実施例＞
図６は、第４の実施例であり、図５に示される装備ユニット４１ａ乃至４１ｂの他の構成を示している。ここで、利用者２０ａの臀部には、人の体に力覚を与える触覚アクチュエータとして一対の電極４５’が装着され、パルス発生器４４から電圧パルスが印加される。該電圧パルスは、通信端末１０ｂから受信される利用者２０ｂの生体電流の生理データを基にして発生され、人体への影響を考慮してその電圧を約４０Ｖ以下とし、その幅を約１ｍｓｅｃ以下とすることで、人の筋肉に衝撃感を与える。これにより、通信相手の利用者の生理データ等の状況データを利用者２０ａに知覚せしめることができる。力覚を与える触覚アクチュエータとしては、これ以外にも例えば振動装置の如き機械的な形態であっても良い。電極４５’の取り付け位置は、好ましくは生体電流検知電極４８に出来るだけ近づけられる。これにより、利用者２０ａ及び利用者２０ｂは、お互いに身体の同一部位に身体活動の状況を交換することができる。
【００２８】
利用形態をリハビリテージョンの場合について想定すると、患者は、医師の歩行訓練等における身体運動時の筋肉の緊張などの体内的な生理状態変化を、感覚刺激として同一身体部位に体感しつつ、リハビリテーション活動を行うことができる。従って、患者は、医師の運動生成及び制御に関わる生理的な情報を直接的に体感しながら、同様の運動を行うことによって、滞ったあるいは乱れた運動制御メカニズムを回復させる効果を期待できる。一方、医師は、患者の活動をリアルタイムに観察しつつ、自身の運動状態を、受講者に適したものに変化させていくことが可能になる。
【００２９】
以上の第１乃至第３実施例において、本発明による端末装置の利用することにより、例えば、エアロビクスの場合、インストラクターと受講者が運動における身体感覚を共有し、お互いが一体となって動くことができ、即ち、相互に乗って活動することが可能となる。従来の映像と音響といった情報だけのコミュニケーションでは、運動における身体感覚の共有が阻害され、場を共にして活動したときのような一体感が生まれにくいものであったが、本発明による端末装置の利用においては、受講者にとって自分の活動とインストラクターの活動に心理的な隔たりを感じさせることなく、結果として活動の楽しさや効果を大きく高めることができる。又、リハビリテーションの如き場合の医師と患者との間においても、お互いが遠隔地にいても、医師は患者の実際の動きを体感することが可能となり、単に患者の様子又は音声により様態を認識するに停まらず、実際の筋肉の動きを実感として認識することが可能となり、より適切なアドバイスを可能とし、よりよい治療の実現が期待され得る。特に、リハビリテーション等の医療分野における本発明による端末装置の利用は、身体動作が不能または困難な患者にとって、医師のいる場所に出向くことなく、治療を受けることが可能となり、その社会的に効果は高いものとなる。
【００３０】
【発明の効果】
以上のように本発明による端末装置によれば、通信をなす利用者同士は、映像及び音声によるコミュニケーションにとどまらず、力覚等の触覚によるコミュニケーションが可能となる。これにより、例えば、集団で行うエアロビクス、リハビリテーションの遂行の如き遠隔地間で複数の人間同士で協調的な身体運動を伴うコミュニケーションにおいて、身体感覚の共有を促進することによって一体感の感じられる活動を支援することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施例における一対の端末装置の構成を示しているブロック図である。
【図２】図１示される装備ユニットの構成を示しているブロック図である。
【図３】本発明の第２実施例における複数の端末装置の構成を示しているブロック図である。
【図４】図３に示されるずれ検出部の構成及び表示例を示しているブロック図ある。
【図５】本発明の第３実施例における装備ユニットの構成を示しているブロック図である。
【図６】本発明の第４実施例における装備ユニットの構成を示しているブロック図である。
【符号の説明】
１  ネットワーク制御部
２  多重・分離部
３  映像コーデック部
４  音響コーデック部
６  モニタ
７  カメラ
８  スピーカ
９  マイク
１０ａ乃至１０ｅ  端末装置
１１  状況コーデック部
１２  送受信部
２０ａ乃至２０ｅ  利用者
３３  位相差コンパレータ
３４  Ａ／Ｄ変換部
３５  画像出力部
４１、４１ａ及び４１ｂ  装着ユニット
４３  アンテナ
４４  パルス発生部
４５  電極
４６  感圧センサシート
４７  計測インタフェース部
４８  生体電流検出電極
【図１】
2004221815.tif 000003
【図２】
2004221815.tif 000004
【図３】
2004221815.tif 000005
【図４】
2004221815.tif 000006
【図５】
2004221815.tif 000007
【図６】
2004221815.tif 000008