(57)【要約】  【課題】最適な触覚メディア内同期方法がネットワーク負荷によって異なると、どの方式を用いればよいかがわからないという問題を解消すること。  【解決手段】本発明に係る触覚メディア内同期方法は、一つのメディア出力先でメディア発生源から発生した触覚メディアの時間構造を保持・回復する触覚メディア内同期方法であって、ネットワーク負荷が軽いときには、ネットワーク負荷に応じてメディアの出力までのバッファリング時間を動的に変更し、ネットワーク負荷が重くなると、メディアのバッファリングを行わずに、受信したら直ちに出力することを特徴とする。【選択図】  図３
2005258651.tif 000002
【特許請求の範囲】
【請求項１】
一つのメディア出力先でメディア発生源から発生した触覚メディアの時間構造を保持・回復する触覚メディア内同期方法であって、
ネットワーク負荷が軽いときには、ネットワーク負荷に応じてメディアの出力までのバッファリング時間を動的に変更し、
ネットワーク負荷が重くなると、メディアのバッファリングを行わずに、受信したら直ちに出力する
ことを特徴とする触覚メディア内同期方法。
【請求項２】
請求項１に記載のメディア内同期方法であって、
ネットワーク負荷に応じて動作モードを動的に変更する
ことを特徴とする触覚メディア内同期方法。
【請求項３】
請求項２に記載のメディア内同期方法であって、
ネットワーク負荷に応じて動作モードを動的に変更する際に、動作モード以外に中間的な切り替えモードを設定する
ことを特徴とする触覚メディア内同期方法。
【請求項４】
ネットワーク負荷の軽重を、一定周期でネットワーク遅延またはパケット欠落率を測定して判定する
ことを特徴とする触覚メディア内同期方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触覚メディア通信において、触覚メディアの時間構造を保持・回復するメディア内同期方式に関するものである。
【背景技術】
【０００２】
メディア内同期制御は、一つのメディアストリームにおけるメディアユニット（MU、メディア内同期制御の処理単位であり、メディアがビデオの場合には、ビデオフレームが相当する）間の時間関係を保持・回復する制御である。すなわち、メディア発生源におけるMU間の時間関係をメディア出力先において再現するためのものである。
【０００３】
これまで、いくつかの触覚メディア内同期方式が考案されてきている。その代表的なものに、非特許文献１の論文が挙げられる。
【０００４】
この文献では、触覚インタフェース装置として、米国SensAble Technologies,Inc.のPHANToM DESKTOPを用いている。PHANToM DESKTOPは、３次元仮想空間内の一点により仮想物体（ＣＧによって構成）に触れることができ，その点での反力が利用者に呈示される点型の装置である。この一点は、カーソルと呼ばれる。触覚MUは、１KHzで（すなわち、１ミリ秒毎に）入出力され、触覚インタフェース装置の位置情報や時間に関する情報等を含んでいる。
【０００５】
上記の論文においては、三つの触覚メディア内同期方式を提案し、実験によって、それらの触覚メディア出力品質の比較を行っている。三つの方式は、VTR,SkippingおよびBufferingと呼ばれている。まず、VTRは、Virtual-Time Renderingの略で、ネットワーク負荷に応じて触覚MUのバッファリング時間を動的に変更する方式である。Skippingは、最も新しく受信したMUだけを出力し、他のＭＵをスキップ（すなわち、廃棄）する。Bufferingでは、MUのスキップを行わず、受信したMUを順番に出力していく。
【０００６】
そして、これらの３方式の出力品質比較の結果、ネットワーク負荷が重くないときにはVTRの出力品質が最も優れており、ネットワーク負荷が重いときにはSkippingが最も優れていることが示されている。Bufferingについては、ネットワーク負荷が軽いときは、VTRと同程度の出力品質を持つが、ネットワーク負荷が増加すると、その出力品質が大きく劣化する。このように、ネットワーク負荷に応じて、適した触覚メディア内同期方式が異なっている。
【０００７】
【非特許文献１】Y.Ishibashi,S.Tanaka,and T.Hasegawa,“The Virtual-Time Rendering Algorithm for Haptic Media Synchronazation in Networked Virtual Enviroments,”in Proceedings of the 16th International Workshop on Communications Quality and Reliability(CQR'02),pp.213-217,May 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ネットワーク負荷は、事前に知ることができないだけでなく、時間的にも変動する。従って、最適な触覚メディア内同期方法がネットワーク負荷によって異なると、どの方式を用いればよいかがわからないという問題がある。例えば、ネットワーク負荷が重いときにVTRを用い、ネットワーク負荷が軽いときにSkippingを用いると良好な出力品質が得られない。
【０００９】
本発明は、上述の問題を解消するもので、ネットワーク負荷が軽いときはVTR、重いときはSkippingと同じように振舞わせることによって、広範囲のネットワーク負荷にわたって、高品質な触覚メディア出力を実現するメディア内同期方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記問題を解決するために、触覚メディア内同期方式において、ネットワーク負荷が軽いときにはVTRとして振舞い、ネットワーク負荷が重いときにはSkippingとして振舞うようにする。
【００１１】
ネットワーク負荷については、一定周期でネットワーク遅延（またはパケット欠落率）を測定することによって判断する。平均ネットワーク遅延（またはネットワーク遅延のゆらぎ、パケット欠落率）が小さいときはネットワーク負荷が軽いと判断し、大きいときは重負荷であると判定する。
【００１２】
より具体的には、本発明に係る触覚メディア内同期方法は、一つのメディア出力先でメディア発生源から発生した触覚メディアの時間構造を保持・回復する触覚メディア内同期方法であって、ネットワーク負荷が軽いときには、ネットワーク負荷に応じてメディアの出力までのバッファリング時間を動的に変更し、ネットワーク負荷が重くなると、メディアのバッファリングを行わずに、受信したら直ちに出力することを特徴とする。
【００１３】
また、本発明に係る触覚メディア内同期方法においては、ネットワーク負荷に応じて動作モードを動的に変更することを特徴とする。ここで、ネットワーク負荷に応じて動作モードを動的に変更する際には、動作モード以外に中間的な切り替えモードを設定することが好ましい。また、本発明に係る触覚メディア内同期方法においては、ネットワーク負荷の軽重を、一定周期でネットワーク遅延またはパケット欠落率を測定して判定することが好ましい。
【発明の効果】
【００１４】
以上のような制御を行う本発明によれば、ネットワーク負荷が軽いときにはVTRとして振舞い、ネットワーク負荷が重いときにはSkippingとして振舞うので、ネットワーク負荷に適したメディア内同期方法が用いられることになる。従って、高品質な触覚メディア出力を行うことが可能である。また、事前にネットワーク負荷の状態を知る必要がないだけでなく、ネットワーク負荷の時間的な変化にも対応可能である。
【００１５】
従って、本発明は、前記の欠点を解決でき、ネットワーク負荷に応じて振舞いを変更することによって、広範囲のネットワーク負荷にわたって、高品質な触覚メディア出力を実現する触角メディア内同期方法を提供することができる。
【発明を実施するための最良の形態】
【００１６】
〔実施例１〕
以下、本発明の一実施例を添付の図面に基づいて、詳細に説明する。なお、以下では、説明の簡単のため、一つのクライアントと一つのサーバネットワークを介して接続された状況を想定する。具体的には、例えば図１に示すような３次元仮想空間を想定し、この空間内において、オブジェクト１０を、クライアント１とクライアントｎが触覚インタフェース装置（例えば、前述の、PHANToM DESKTOP）を用いて、操作する場合を例に挙げる。なお、図１中、１２はクライアント１の操作するカーソル、１４はクライアントｎの操作するカーソルを示している。
【００１７】
上述のように、各クライアントには、触覚インタフェース装置（PHANToM DESKTOP）２６が接続されており、１ミリ秒毎に触覚MUの入出力が行われる（１ミリ秒という値は、使用する触覚インタフェース装置によって異なる可能性がある）。図２に示す例では、クライアント２２，２４で入力された触覚MU（カーソル位置情報や時間情報（シーケンス番号またはタイムスタンプ）を含む）２２ａは、サーバ２０に送られ、サーバ２０において３次元仮想空間内の仮想物体（前記オブジェクト１０）との接触判定２０ａが行われる。
【００１８】
そして、接触している場合には、サーバ２０においてオブジェクトの位置更新２０ｂが行われる。この更新された位置情報がクライアント（ここでは２２とする）に送られ、クライアント２２においてこれに基づく反力の計算が行われ、その結果に基づいて触覚インタフェース装置２６に応答が返される（２２ｂ〜２２ｅ：詳細については、後述する）。なお、図２中には、これ以外にも、音声，画像のＭＵも示されている。
【００１９】
反力の計算には、例えば、Spring-damperモデルが利用される。この計算から、仮想物体の移動距離を算出する。サーバは、更新された仮想物体の位置情報を触覚MUとしてクライアントに送信し、クライアントにおいて仮想物体の位置を更新して表示するとともに、触覚インタフェース装置を通して反力を利用者に呈示する。ここで、クライアントにおいて触覚MUを受信して出力する際に、本発明に係る触覚メディア内同期方法を適用することにする。
【００２０】
図３に示すように、まず、クライアントは、動作モードをVTRモードとする。VTRモードでの動作原理については、上記非特許文献１に記述されている。そして、一定間隔（例えば、１秒）で触覚MUの平均ネットワーク遅延（またはネットワーク遅延の揺らぎ、パケット欠落率）を測定する。ここで、ネットワーク遅延とは、クライアントで一つの触覚MUが発生してから、サーバがそのMUを受信して仮想物体の位置を計算し、クライアントで対応するMUを受信するまでの時間と定義する（サーバが送信してからクライアントで受信するまでの時間と定義することも可能である）。
【００２１】
一定間隔内に受信するMUの平均ネットワーク遅延davをある閾値Tdelayと比較し、dav＞Tdelayのとき、ネットワーク負荷が重いと判断して、動作モードをSkippingモードに移行させる（dav≦Tdelayであれば、VTRモードに留まる）。ここで、一定間隔の長さと閾値Tdelayについては、ネットワーク遅延の揺らぎの大きさや揺らぎへの追従の早さに応じて決定される必要がある。
【００２２】
なお、動作モードをVTRからSkippingに直ちに変更すると、触角メディアの出力品質が大きく劣化するため、緩やかにSkippingに変更する。このため、動作モードとして、VTR-Skipping切り替えモードを考える。このモードでは、一定個数NvsのMU毎に一つのMUをスキップする。ここで、一つのMUをスキップすることは、MUのバッファリング時間を１ミリ秒だけ短縮することにつながる。一つのMUの出力時間は、１ミリ秒であることに注意されたい。スキップするMU数を１でなく複数個rvsとしてもよい。この場合には、rvsミリ秒の短縮となる。
【００２３】
そして、受信バッファ内にMUがなくなれば、動作モードをSkippingにする。ただし、VTR-Skipping切り替えモードにおいても、一定間隔でネットワーク遅延が測定されており、dav＞Tdelayであることが前提となる。
パラメータNvs、rvsの値については、主観評価試験（MOS値（Mean Opinion Score）の測定）を行うことにより決定され得る。
【００２４】
動作モードがSkippingになると、最も新しく到着したMUだけを出力する。Skippingモードにおいて、dav≦Tdelayとなると、動作モードをVTRに切り替える。このときにも先ほどと同様に、緩やかにVTRに変更する。このため、動作モードとして、Skipping-VTR切替モードを考える。
【００２５】
Skipping-VTR切替モードにおいては、MUのバッファリング時間を延ばしていくことが必要である。そこで、一定個数NsvのMU毎に、ある一定時間rsvミリ秒だけポーズを行う（簡単のため、rsv＝１ミリ秒としてもよい）。ポーズ中は、直前に出力された触覚MUを出力しつづけることが考えられる。
【００２６】
そして、例えばバッファリング時間が前記非特許文献１のVTRで定義されている時間に達したら、動作モードをVTRとする。前記非特許文献１のVTRで定義されている時間とは、例えば、ネットワーク遅延の揺らぎの最大値の見積もりである。この時間を直前のVTRモードにおける（すなわち、VTRモードを出る直前の）バッファリング時間とすることも可能である。パラメータNsv、rsvの値については、Nvs、rvsの値と同様に、主観評価試験を行うことにより決定され得る。
【００２７】
VTR-Skipping切替モードにおいて、dav≦Tdelayとなると、Skipping-VTR切替モードに移行する。また、Skipping-VTR切替モードにおいて、dav＞Tdelayとなると、VTR-Skipping切替モードに移行する。
【００２８】
〔実施例２〕
複数のクライアントが存在する場合には、一つのサーバに全クライアントからの触覚MUが集められ、１ミリ秒毎に仮想物体の位置計算が行われる。そして、サーバは、仮想物体の位置情報を一つの触覚MUとして、全クライアントにマルチキャスト転送する。各クライアントでは、受信される触覚MUに対して、実施例１と同じ方法を用いることができる。
【００２９】
なお、平均ネットワーク遅延（またはネットワーク遅延の揺らぎ、パケット欠落率）の計算のために、サーバからの触覚MU内には、仮想物体の位置計算に用いられたクライアントのＩＤ番号と触覚MUのシーケンス番号（またはタイムスタンプ）が含まれている。
【００３０】
上記実施例は本発明の一例を示したものであり、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、適宜の変更・改良を行ってもよいことはいうまでもない。
【００３１】
例えば、触覚インタフェース装置としては、前述のPHANToM DESKTOP以外のものが用い得るし、また、動作モードとしては、前述のVTRモード，Skippingモード並びにこれらの中間的な切替モード等に準じたモードが採用し得る。さらに、ネットワークの軽重を判定する方法も、前述の方法に限定されるものではない。
【図面の簡単な説明】
【００３２】
【図１】本発明の適用例である３次元仮想空間を示す図である。
【図２】同、システム構成および動作概要を示す図である。
【図３】一実施例による動作モードの変更シーケンスを示す図である。
【符号の説明】
【００３３】
１０  （３次元仮想空間に存在する）オブジェクト
１２，１４  クライアントのカーソル
２０  サーバ
２０ａ，２０ｂ  サーバによる処理
２２，２４  クライアント
２２ａ〜２２ｅ  クライアントによる処理
２６  触覚インタフェース装置
【図１】
2005258651.tif 000003
【図２】
2005258651.tif 000004
【図３】
2005258651.tif 000005