(57)【要約】【課題】イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを符号化する方法等を提供する。【解決手段】方法は、パケット（２１４）において第１の情報を加えるステップを有する。第１の情報は、前記イマーシブコンテンツに関して身体モデルのポジションに対するハプティック効果の依存性を表す。方法は、ハプティック効果の標的とされる身体モデルの少なくとも第１の部分を表す第２の情報をパケットにおいて加えるステップを更に有する。パケット（２１４）を復号する方法及び対応するデバイスも示される。【選択図】図２
2016225977.tif 000002
【特許請求の範囲】
【請求項１】
イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを符号化する方法であって、
前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報を、前記パケットにおいて加えるステップと、
前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報を、前記パケットにおいて加えるステップと
を有する方法。
【請求項２】
前記イマーシブコンテンツに関して前記身体モデルの基準ポジションを表す第３の情報を、前記パケットにおいて加えるステップを更に有し、
前記第３の情報は、前記ハプティック効果が前記身体モデルの前記ポジションに従属することを前記第１の情報が示す場合に、加えられる、
請求項１に記載の方法。
【請求項３】
前記ハプティック効果を表す前記データは、前記ハプティック効果の強さの値を少なくとも含む、
請求項１に記載の方法。
【請求項４】
前記パケットを送信するステップを更に有する
請求項１に記載の方法。
【請求項５】
イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを復号する方法であって、
前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報を、前記パケットから得るステップと、
前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報を、前記パケットから得るステップと
を有する方法。
【請求項６】
前記イマーシブコンテンツに関して前記身体モデルの基準ポジションを表す第３の情報を、前記パケットから得るステップを更に有し、
前記第３の情報は、前記ハプティック効果が前記身体モデルの前記ポジションに従属することを前記第１の情報が示す場合に、得られる、
請求項５に記載の方法。
【請求項７】
前記身体モデルの前記ポジションが前記基準ポジションとは異なる場合に、前記第２の情報及び前記第３の情報に従って、前記ハプティック効果を受ける前記身体モデルの少なくとも第２の部分を決定するステップを更に有する
請求項６に記載の方法。
【請求項８】
前記決定するステップは、前記身体モデルの現在のポジション及び前記第３の情報に従って前記身体モデルを変形させることを含み、
前記少なくとも第２の部分は、前記変形された身体モデルに基づき決定される、
請求項７に記載の方法。
【請求項９】
前記ハプティック効果を表す前記データは、前記ハプティック効果の強さの値を少なくとも含む、
請求項５に記載の方法。
【請求項１０】
前記パケットを受信するステップを更に有する
請求項５に記載の方法。
【請求項１１】
前記パケットに含まれる前記データ及び前記第２の情報に従って前記ハプティック効果をレンダリングするステップを更に有する
請求項５に記載の方法。
【請求項１２】
イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを符号化するデバイスであって、
プロセッサを有し、該プロセッサは、
前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報を、前記パケットにおいて加え、
前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報を、前記パケットにおいて加える
よう構成される、デバイス。
【請求項１３】
前記プロセッサは、前記イマーシブコンテンツに関して前記身体モデルの基準ポジションを表す第３の情報を、前記パケットにおいて加えるよう更に構成され、
前記第３の情報は、前記ハプティック効果が前記身体モデルの前記ポジションに従属することを前記第１の情報が示す場合に、加えられる、
請求項１２に記載のデバイス。
【請求項１４】
前記ハプティック効果を表す前記データは、前記ハプティック効果の強さの値を少なくとも含む、
請求項１２に記載のデバイス。
【請求項１５】
前記プロセッサは、前記パケットを送信するよう更に構成される、
請求項１２に記載のデバイス。
【請求項１６】
イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを復号するデバイスであって、
プロセッサを有し、該プロセッサは、
前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報を、前記パケットから得、
前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報を、前記パケットから得る
よう構成される、デバイス。
【請求項１７】
前記プロセッサは、前記イマーシブコンテンツに関して前記身体モデルの基準ポジションを表す第３の情報を、前記パケットから得るよう更に構成され、
前記第３の情報は、前記ハプティック効果が前記身体モデルの前記ポジションに従属することを前記第１の情報が示す場合に、得られる、
請求項１６に記載のデバイス。
【請求項１８】
前記プロセッサは、前記身体モデルの前記ポジションが前記基準ポジションとは異なる場合に、前記第２の情報及び前記第３の情報に従って、前記ハプティック効果を受ける前記身体モデルの少なくとも第２の部分を決定するよう更に構成される、
請求項１７に記載のデバイス。
【請求項１９】
前記プロセッサは、前記身体モデルの現在のポジション及び前記第３の情報に従って前記身体モデルの変形を決定するよう更に構成され、
前記少なくとも第２の部分は、前記変形された身体モデルに基づき決定される、
請求項１８に記載のデバイス。
【請求項２０】
前記ハプティック効果を表す前記データは、前記ハプティック効果の強さの値を少なくとも含む、
請求項１６に記載のデバイス。
【請求項２１】
前記プロセッサは、前記パケットを受信するよう更に構成される、
請求項１６に記載のデバイス。
【請求項２２】
前記プロセッサは、前記パケットに含まれる前記データ及び前記第２の情報に従って前記ハプティック効果をレンダリングするよう更に構成される、
請求項１６に記載のデバイス。
【請求項２３】
イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを少なくとも運ぶ信号であって、
当該信号は、前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報と、前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報とを更に運ぶ、
ことを特徴とする信号。
【請求項２４】
コンピュータで実行される場合に、請求項１に記載の符号化する方法のステップを実行するプログラムコード命令を有するコンピュータプログラム製品。
【請求項２５】
コンピュータで実行される場合に、請求項５に記載の復号する方法のステップを実行するプログラムコード命令を有するコンピュータプログラム製品。
【請求項２６】
プロセッサに、請求項１に記載の符号化する方法のステップを少なくとも実行させる命令を記憶しているプロセッサ可読媒体。
【請求項２７】
プロセッサに、請求項５に記載の復号する方法のステップを少なくとも実行させる命令を記憶しているプロセッサ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ハプティクスの分野に関係がある。本開示はまた、イマーシブ視聴覚コンテンツに関連した、１つ以上のアクチュエータを使用することによってレンダリングされる何らかの種類のハプティック効果（例えば、モーション、振動）との関連で理解される。
【背景技術】
【０００２】
背景技術に従って、視聴覚コンテンツを見ている間の没入感を高めるようハプティクスと視聴覚コンテンツとを組み合わせることが知られている。ハプティクスと視聴覚コンテンツとのそのような組み合わせは、頭字語ＨＡＶ（Haptics-Audio-Visualの略語である。）の下で知られている。
【０００３】
ＭＰＥＧ−Ｖアーキテクチャは、ＨＡＶコンテンツを生成、分配及びレンダリングするためのワークフローの一形式化である。ＭＰＥＧ−Ｖ標準は、ハプティック効果だけでなく味覚及び嗅覚効果も含む“感覚効果”を記述する。ＭＰＥＧ−Ｖ標準は、あらゆる人の特異性又は視聴覚コンテンツの特異性を考慮することを認めないハプティック効果の概要を提案する。更に、ＭＰＥＧ−Ｖ標準は、冗長の又は無用なデータをカプセル化して、余分の帯域幅を消費することがある。
【発明の概要】
【０００４】
本開示の目的は、上記の不利点のうちの少なくとも１つを解消することである。
【０００５】
本開示は、イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを符号化する方法であって、
前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報を、前記パケットにおいて加えるステップと、
前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報を、前記パケットにおいて加えるステップと
を有する方法に関係がある。
【０００６】
本開示はまた、イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを符号化するデバイスであって、
プロセッサを有し、該プロセッサは、
前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報を、前記パケットにおいて加え、
前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報を、前記パケットにおいて加える
よう構成される、デバイスに関係がある。
【０００７】
特定の特徴に従って、方法は、前記イマーシブコンテンツに関して前記身体モデルの基準ポジションを表す第３の情報を、前記パケットにおいて加えるステップを更に有し、前記第３の情報は、前記ハプティック効果が前記身体モデルの前記ポジションに従属することを前記第１の情報が示す場合に、加えられる。
【０００８】
有利に、前記ハプティック効果を表す前記データは、前記ハプティック効果の強さの値を少なくとも含む。
【０００９】
本開示はまた、イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを復号する方法であって、
前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報を、前記パケットから得るステップと、
前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報を、前記パケットから得るステップと
を有する方法に関係がある。
【００１０】
本開示はまた、イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを符号化するデバイスであって、
プロセッサを有し、該プロセッサは、
前記イマーシブコンテンツに関して、ユーザの身体の少なくとも一部分を表す身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報を、前記パケットにおいて加え、
前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報を、前記パケットにおいて加える
よう構成される、デバイスに関係がある。
【００１１】
具体的な特徴に従って、方法は、前記イマーシブコンテンツに関して前記身体モデルの基準ポジションを表す第３の情報を、前記パケットから得るステップを更に有し、前記第３の情報は、前記ハプティック効果が前記身体モデルの前記ポジションに従属することを前記第１の情報が示す場合に、得られる。
【００１２】
有利に、方法は、前記身体モデルの前記ポジションが前記基準ポジションとは異なる場合に、前記第２の情報及び前記第３の情報に従って、前記ハプティック効果を受ける前記身体モデルの少なくとも第２の部分を決定するステップを更に有する。
【００１３】
具体的な特徴に従って、前記決定するステップは、前記身体モデルの現在のポジション及び前記第３の情報に従って前記身体モデルを変形させることを含み、前記少なくとも第２の部分は、前記変形された身体モデルに基づき決定される。
【００１４】
具体的な特徴に従って、前記ハプティック効果を表す前記データは、前記ハプティック効果の強さの値を少なくとも含む。
【００１５】
本開示はまた、イマーシブコンテンツに関連するハプティック効果を表すデータを含むパケットを少なくとも運ぶ信号であって、前記イマーシブコンテンツに関して身体モデルのポジションに対する前記ハプティック効果の依存性を表す第１の情報と、前記ハプティック効果の標的とされる前記身体モデルの少なくとも第１の部分を表す第２の情報とを更に運ぶ信号に関係がある。
【００１６】
本開示はまた、コンピュータで実行される場合に、符号化する方法のステップを実行するプログラムコード命令を有するコンピュータプログラム製品に関係がある。
【００１７】
本開示はまた、コンピュータで実行される場合に、復号する方法のステップを実行するプログラムコード命令を有するコンピュータプログラム製品に関係がある。
【００１８】
本開示はまた、プロセッサに、パケットを符号化／復号する上記の方法を少なくとも実行させる命令を記憶している（非一時的な）プロセッサ可読媒体に関係がある。
【図面の簡単な説明】
【００１９】
添付の図面を参照して以下の記載を読むことで、本原理がより良く理解されるとともに、他の特徴及び利点が明らかになるであろう。
【図１】Ａ及びＢは、本原理の特定の実施形態に従って、イマーシブ視聴覚コンテンツ及び関連するハプティック効果を示す。
【図２】本原理の特定の実施形態に従って、図１Ａ、１Ｂのイマーシブ視聴覚コンテンツに関連するハプティックデータストリームを示す。
【図３】本原理の特定の実施形態に従って、図１Ａ、１Ｂのイマーシブ視聴覚コンテンツに関連するハプティック効果によって影響を与えられる身体モデルの部分を示す。
【図４】Ａ及びＢは、本原理の特定の実施形態に従って、図１Ａ、１Ｂのイマーシブ視聴覚コンテンツに関連するハプティック効果によって影響を与えられる部分を決定するために使用される身体モデルの例を夫々示す。
【図５】本原理の特定の実施形態に従って、図１Ａ、１Ｂのイマーシブ視聴覚コンテンツに関連するハプティック効果によって図４の身体モデルのどの部分が影響を与えられるかを決定するプロセスを図式的に示す。
【図６】本原理の例に従って、図１Ａ、１Ｂの視聴覚コンテンツに関連するハプティック効果を表すデータを有するパケットを符号化／復号するよう構成されたデバイスのアーキテクチャの例を示す。
【図７】本原理の例に従って、通信ネットワーク上で通信する図６の２つの遠隔デバイスを示す。
【図８】本原理の例に従って、図１Ａのハプティック効果の記述を運ぶ信号のシンタックスを示す。
【図９】特定の実施形態に従って、図１Ａ、１Ｂの視聴覚コンテンツに関連するハプティック効果を表すデータを有するパケットを符号化する方法を示す。
【図１０】特定の実施形態に従って、図１Ａ、１Ｂの視聴覚コンテンツに関連するハプティック効果を表すデータを有するパケットを復号する方法を示す。
【発明を実施するための形態】
【００２０】
主題は、これより、図面を参照して記載される。図面において、同じ参照符号は、始めから終わりまで同じ要素を参照するために使用される。以下の記載で、説明のために、多数の具体的な詳細は、主題の完全な理解を提供するために示されている。なお、明らかなことだが、主題の実施形態は、それらの具体的な詳細によらずとも実施され得る。
【００２１】
本原理は、ハプティック効果を表すデータを有するパケットを符号化又は復号する方法の特定の実施形態に関して記載される。ハプティック効果は、例えば、ユーザの身体の部分に力及び振動を加えることで触覚又はモーション効果を適用することによるユーザの身体の部分の機械的な刺激と理解される。有利なことに、イマーシブ視聴覚コンテンツに関連し、ユーザが視聴覚コンテンツを見ている間にそのコンテンツに没入することを可能にする。
【００２２】
図１Ａ及び１Ｂは、本原理の特定の非制限的な実施形態に従って、イマーシブコンテンツ１０と呼ばれる４πステラジアンビデオコンテンツ１０（又は球状ビデオコンテンツ）に没入しているユーザ１１を示す。図１Ａは、イマーシブコンテンツ１０の３Ｄ表現に対応する。図１Ｂは、イマーシブコンテンツ１０の平面表現に対応する。イマーシブコンテンツ１０は、例えば、３Ｄエンジンを使用することによって合成される仮想シーン、又は１台以上のカメラにより取得された実際のシーンに対応する。変形例に従って、イマーシブコンテンツ１０は、仮想オブジェクトを含む実際のシーンの表現、すなわち、実際のシーンと仮想シーンとの融合に対応する。図１に表されるように、ユーザ１１は、観察方向１３に従ってイマーシブコンテンツ１０の部分を見ている。観察方向１３は、ユーザ１１の注視の主方向に対応する。身体モデルは、有利に、ユーザに関連する。視野１４は、観察方向１３に関連する。視野１４は、イマーシブコンテンツ１０の部分にのみ対応する。ユーザの注視方向が変わる場合に、ユーザ１１によって見られる（更に、視野１４に対応する）イマーシブコンテンツ１０の部分は必然的に変化する。ユーザ１１は、例えば、自身の頭（又は自身の体若しくはその部分）を左から右へ（若しくはその逆に）及び／又は上から下へ（若しくはその逆に）動かすことによって、その注視をイマーシブコンテンツ１０内でさまよわせることがある。１つ以上のハプティック効果１２は、有利に、イマーシブコンテンツ１０に関連する。図１Ａの例では、ハプティック効果１２の発生源は、ユーザの後ろに位置している。ハプティック効果は如何なる種類であってもよく、例えば、熱源、振動源が考えられる。
【００２３】
当然、ハプティック効果の発生源の位置は、図１Ａの例に限られない。ハプティック効果の発生源は、イマーシブコンテンツ１０の如何なる点にも、更にはユーザ１１自身（例えば、ユーザの腕を這うクモ）においても位置してよい。
【００２４】
ハプティック効果は、ユーザに関連する、例えば、ユーザによって身につけられる（例えば、時計のような振動アクチュエータ）か、又はユーザの身体の部分と接する（例えば、接している身体の部分を動かすアクチュエータ）か、又はユーザから離れている（例えば、熱源）１つ以上のアクチュエータを用いて、ユーザに対してレンダリングされる。
【００２５】
イマーシブコンテンツを視覚化するために使用されるイマーシブシステムは、例えば、ユーザの頭部に身につけられるか又はヘルメットの部分としてのＨＭＤ（Head-Mounted  Display）である。ＨＭＤは、有利に、１つ以上の表示スクリーン（例えば、ＬＣＤ（Liquid  Crystal  Display）、ＯＬＥＤ（Organic  Light-Emitting  Diode）又はＬＣＯＳ（Liquid  Crystal  On  Silicon））と、現実の世界の１つ、２つ又は３つの軸（ピッチ、ヨー及び／又はロール軸）に従ってＨＭＤのポジションの変化を測定するよう構成されたセンサ、例えば、ジャイロスコープ又はＩＭＵ（Inertial  Measurement  Unit）とを有する。ＨＭＤの測定されたポジションに対応するイマーシブコンテンツ１０の部分は、イマーシブコンテンツに関連する仮想カメラの視点と、現実の世界におけるＨＭＤに関連する視点との間の関係を定める特定の関数により有利に決定される。ＨＭＤの測定されたポジションに従って、ＨＭＤの表示スクリーン上に表示されるビデオコンテンツの部分を制御することは、ＨＭＤを装着しているユーザが、ＨＭＤの表示スクリーンに関連する視野よりも大きいイマーシブコンテンツをブラウズすることを可能にする。例えば、ＨＭＤによって提供される視野が（例えば、ヨー軸に関して）１１０°に等しい場合に、且つ、イマーシブコンテンツが１８０°のコンテンツを提供する場合に、ＨＭＤを装着しているユーザは、ＨＭＤによって提供されている視野の外にあるビデオコンテンツの部分を見るために、自身の頭を右へ又は左へ回してよい。他の例に従って、イマーシブシステムはＣＡＶＥ（Cave  Automatic  Virtual  Environment）システムであって、イマーシブコンテンツは部屋の壁に投影される。ＣＡＶＥの壁は、例えば、背面投影スクリーン又はフラットパネルから構成される。ユーザは、よって、部屋の異なる壁において自身の注視をブラウズしてよい。ＣＡＶＥシステムは、有利に、ユーザの画像を取得するカメラを設けられており、それらの画像のビデオ処理によってユーザの注視方向を決定する。変形例に従って、ユーザの注視又はポーズは、追跡システム（例えば、赤外線追跡システム、ユーザ装着型赤外線センサ）により決定される。
【００２６】
当然、イマーシブコンテンツ１０は、４πステラジアンビデオコンテンツに限られず、視野１４よりも大きいサイズを有する如何なるビデオコンテンツ（又は視聴覚コンテンツ）にも及ぶ。イマーシブコンテンツは、例えば、２π、２．５π、３πステラジアンコンテンツなどであってよい。
【００２７】
図２は、本原理の特定の非制限的な実施形態に従って、ＨＡＶビットストリーム２０を示す。ＨＡＶビットストリーム２０は、例えば、ビデオストリーム２０１、オーディオストリーム２０２及びハプティックストリーム２０３を含む。ビデオストリーム２０１のフォーマットは、例えば、ＭＰＥＧ−２、Ｈ．２６４又はＭＰＥＧ−４であってよく、オーディオストリーム２０２のフォーマットは、例えば、ＭＰ３又はＡＡＣ（Advance  Audio  Coding）であってよい。ストリーム２０１〜２０３は、例えば、コンテナ２０（例えば、Matroskaコンテナ（ＭＫＶ）、３ＧＰコンテナ、ＡＳＦ（Advanced  Systems  Format）コンテナ）において包まれる。当業者に明らかなように、本原理は、現在知られているもの及び将来開発されるものを含む他のタイプのフォーマット及びコンテナに適合する。
【００２８】
ハプティックストリーム２０３は、１つ以上のハプティックパケット２１１〜２１ｎを含む。ハプティックパケットは、ハプティック効果を表すデータを含むパケットである。ｎは１以上の整数である。ハプティックパケット２１４は、図２の部分２３において詳述される。ハプティックパケット２１４は、有利に、属性２３１の組及びペイロード２３２を有する。属性２１３の組は、有利に、イマーシブコンテンツに関して身体モデルのポジションに対するハプティック効果の記述の依存性を表す第１の情報を有する。身体モデルのポジションとユーザ１１のポジションとの間に存在する親密な関係は、ユーザが関連付けられている身体モデルによって表される。第１の情報は、例えば、ハプティック効果の記述が身体モデルのポジションに依存するかどうかを特定するブーリアン（Boolean）に対応する。値‘０’は、例えば、イマーシブコンテンツに関してハプティック効果の記述と身体モデルのポジションとの間に依存性がないことを示すために使用されてよい。値‘１’は、例えば、イマーシブコンテンツに関してハプティック効果の記述と身体モデルのポジションとの間に依存性があることを示すために使用されてよい。ハプティック効果の記述が身体モデルのポジションに従属し得る場合を説明するよう、ハプティック効果の２つの異なる例を考える。すなわち、ｉ）イマーシブコンテンツで起こる爆発に向けられている身体モデルの部分における熱量増加を表す温度効果と、ｉｉ）身体モデルの部分（例えば、前腕）の上をよじ登るクモを模擬体験すべく前腕において適用されるべき振動効果である。第１の効果（すなわち、温度効果）は、イマーシブコンテンツに関して身体モデルのポジションに大いに依存することが明らかである。身体モデルが爆発の方向において見ている場合には、それは、その正面において温度上昇を感じるべきである。一方、身体モデルが反対の方向において見ている場合には、それは、自身の背後で温度上昇を感じるべきである。加えて、身体モデルの腕がその頭部を温度上昇から守ろうと動かされる場合には、第１の効果によって影響を及ぼされる部分は変わる。それに反して、第２の効果（すなわち、振動効果）は、イマーシブコンテンツに関して身体モデルのポジションが何であろうと、ハプティック効果の効果を“感じる”又は受ける身体モデルの部分が常に同じである（例において、前腕）から、ポジションに従属しない。実際に、第２の効果の場合に、基準系は身体モデル自体であり、一方、第１の効果の場合に、基準系は身体モデルの範囲外である。これは、第１の効果の記述が身体モデルのポジションに依存し、第２の効果の記述はそうでないことを説明する。身体モデルのポジションは、身体モデルの姿勢（又は同じく、それが関連付けられているユーザの姿勢）と理解される。ポジションの変化は、身体モデルの少なくとも一部分の空間におけるポジションの変化（例えば、頭の動き、空間におけるこの動作部分の座標の変化によって表され得る頭の回転）に対応する。
【００２９】
有利に、属性２３１の組は、ユーザに対してレンダリングされるハプティック効果のタイプに関連するハプティック身体モデルの識別（ＨＩＤと呼ばれる。）を更に含む。実際に、異なる（ハプティック）身体モデルは、有利に、レンダリングされるハプティック効果の各タイプについて定義されてよい（例えば、温度効果のための（ハプティック）身体モデルは例えばＨＩＤ＃０により、振動効果のための（ハプティック）身体モデルは例えばＨＩＤ＃１により、圧力効果のための（ハプティック）身体モデルは例えばＨＩＤ＃２により、運動効果のための（ハプティック）身体モデルは例えばＨＩＤ＃３ｎによる、など。）。身体モデル２２の組を定義するために使用されるデータは、有利に、ハプティック効果を生成するために使用されるデバイスによって、更には、エンドユーザ側においてハプティック効果をレンダリングするために使用されるデバイスによってもアクセスされ得るサーバにおいて記憶される。変形例に従って、身体モデルの組を定義するために使用されるデータは、ハプティック効果を生成しレンダリングするために使用される各デバイスにおいて局所的に記憶される。ハプティック身体モデル２２を定義するために使用されるデータの部分は、ハプティック身体モデル２２のために使用される身体モデルのタイプ（図４Ａ及び４Ｂに関して記載される身体モデルの２つのそのようなタイプ）に依存してよい。例えば、身体モデルは、関節及びセグメントのような要素を含む骨格により及び／又は皮膚のメッシュ要素により定義されてよい。各要素は、有利に、夫々のハプティック身体モデルについて、要素ＩＤにより記載及び識別されてよい。皮膚を定義するために使用されるメッシュはまた、関連するハプティック効果に応じてハプティック身体モデルごとに異なってもよい。例えば、ハプティック身体モデル＃０の手のメッシュ分解能は、ハプティック身体モデル＃１の手のメッシュ分解能よりも高くてよい。関連するハプティック効果のタイプのための許容値を挙げる範囲（例えば、最小／最大値。例えば、温度効果について−２０℃／１００℃）といった、夫々のハプティック身体モデルを定義するために使用される他のデータも、夫々のハプティック身体モデルに関連してよい。ハプティックパケットにおいてＨＩＤを使用することは、ハプティックパケットによって参照されるハプティック身体モデルを定義するために使用されるデータを送信することを回避するので、送信されるデータの量の削減を可能にし、よって、バンド幅の負担を減らす。
【００３０】
変形例に従って、属性２３１の組は、イマーシブコンテンツに関して身体モデルの基準ポジションを表す第３の情報を更に含む。基準ポジションは、ハプティックソースの効果を受ける身体モデルの部分が、ハプティック効果の標的とされる第１の部分に対応する場合に、有利に、身体モデルのポジションに対応する。そのような第３の情報は、ハプティック効果の記述と身体モデルのポジションとの間に依存性があることを第１の情報が示す場合にのみ、属性としてハプティックパケットに加えられる。第３の情報は、ハプティック効果をレンダリングする場合に、対象の第１の部分がハプティック効果によって有効に影響を及ぼされる身体モデルのポジションを得ることを可能にする。第３の情報はまた、身体モデルが基準ポジションとは異なる現在のポジションにある場合に、現在のポジションを知っているとして、身体モデルのどの部分（第２の部分と呼ばれる。）がハプティック効果によって有効に影響を及ぼされるかを決定するのにも有用である。
【００３１】
変形例に従って、第３の情報は、第１の情報の値が何であろうと（‘０’又は‘１’）、ハプティックパケットに常に加えられる。
【００３２】
第３の情報は、ハプティックパケットのペイロードデータ２３２において、ハプティック効果が設計されているポジションを定義するポジション属性の形をとってよい。ポジション属性は、例えば、所与の姿勢（例えば、腰を下ろしている、立っている、横たわっている）を識別する識別子であってよい。変形例に従って、第３の情報は、基準ポジションにおけるハプティック身体モデルのメッシュ及び／又は骨格に対応する。
【００３３】
ハプティックパケットのペイロードデータ２３２は、有利に、例えば固定値であってよいサイズＳのデータアレイ（“フレーム”とも呼ばれる。）を含む。データアレイは、転送すべき実効ハプティック値を含む。各フレームは、完全なハプティックサンプルのバーストを含む（１つのハプティックパケットは、例えば、第１及び第３の情報に加えて属性において設定され得るか又はハプティック身体モデルに関連するデータにおいて設定され得る周波数でサンプリングされた幾つかの連続した全ハプティックサンプルを含んでよい。）。
【００３４】
夫々のハプティックサンプルは、ハプティック効果の標的とされる身体モデルの部分（第１の部分と呼ばれる。）を表す第２の情報を含む。第２の情報は、例えば、ハプティック効果に関連した、このハプティック効果によって影響を及ぼされるべき身体モデルの第１の部分の数‘Ｎ’に対応する。第２の情報は、ハプティック効果の標的とされる身体モデルの夫々の第１部分、すなわち、ハプティック効果の効果を受ける又は感じる身体モデルの各要素を識別する識別子（Ｆ）を更に有してよい。識別子‘Ｆ’は、夫々のハプティック身体モデル２２を定義するために使用されるデータにおいて記述されている要素を参照する。夫々のハプティックサンプルは、Ｎ個の第１の部分に関連するハプティック効果値‘Ｖ’（強さ）のリストを更に含む。各値は、スカラー又はベクトルであってよく（例えば、振動に関して、周波数／強さの組が使用されてよい。）、各値は、例えば、関連するハプティック身体モデル２２において特定されている範囲に従って０から１の間で正規化される。任意の変形例に従って、ペイロードデータ２３２は、全データアレイが使用されない場合に有用なデータの最後に加えられ得るエンド・オブ・パケット（ＥＯＰ）識別子（例えば、符号なし整数０ｘＦＦＦＦ）を含んでよい。
【００３５】
図４Ａ及び４Ｂは、本原理の２つの特定の非制限的な実施形態に従って、ハプティック身体モデル２２を定義し且つイマーシブコンテンツ１０を見ているユーザを表すために使用される身体モデルを夫々示す。
【００３６】
図４Ａは、メッシュ要素（例えば、面と呼ばれる多角形４０１、４０２）のメッシュを有する第１の例となる身体モデル４０を表す。夫々の面は、ハプティック効果によって影響を及ぼされるメッシュ要素を識別するために使用され得る識別子を有利に伴う。図４Ａに表されるように、メッシュ要素の密度は、身体モデルの部分に応じて変化してよい。面は、例えば、前腕でよりも手において密集し、胴体でよりも頭部において密集している。変形例に従って、メッシュ要素の密度は、更に、ハプティック効果のタイプ（例えば、触覚、温度、振動）に応じて変化してよく、異なる身体モデルが異なるハプティック効果について使用されてよいことを意味する。
【００３７】
図４Ｂは、関節４１１及びセグメント４１２を用いて表される簡略化されたユーザの身体モデルに対応する第２の例となる身体モデル４１を表す。例えば、腕は、２つのセグメント（上腕及び前腕）及び２つの関節（肘及び肩）と見なされる。首は、１つのセグメント及び１つの関節から成る。セグメントのサイズ及び関節の角度制限は、例えば、M.  Schuenke，E.  Schultle，U.  Schumacher，L.  M.  Ross，E.  D.  Lamperti及びM.  Voll，“General  Anatomy  and  Musculoskeletal  System”，Medical  Publishers  Inc.，２０１０年において記載されるように、有利に解剖学的データによって定義される。
【００３８】
当然、身体モデルは、例となる身体モデル４０及び４１に限られず、如何なる身体モデルにも及ぶ。身体モデルは、例えば、人間の骸骨のより正確な表現（骨のサイズ及び重さ、関節における制約）を有し、及び／又は筋肉の表現を有してよい。より詳細な身体モデルは、より実際的なハプティックフィードバックの計算を可能にする。例えば、人体における振動の伝播は、骨密度及び筋肉の減衰特性を考慮してよい。
【００３９】
図３は、本原理の特定の非制限的な実施形態に従って、身体モデル３の２つの異なる位置付けに応じてハプティック効果１２によって影響を及ぼされる身体モデルの部分を示す。図３の左側部分は、基準ポジションに従って、すなわち、ハプティック効果１２が具体的に示されている観察方向Ｄ０に従ってイマーシブコンテンツを見ている身体モデル３を示す。ハプティック効果の記載は、ハプティック効果によって影響を及ぼされる身体モデルの要素のリストと、ハプティック効果によって影響を及ぼされる夫々の要素についてのハプティック効果の強さの値とを有する。図３で表されている身体モデルの要素又は部分は、３０、３１、３２、３３、３４及び３５で参照される。ハプティック効果によって影響を及ぼされる身体モデルの第１の部分は、要素３０に対応し、破線により表されている。当然、第１の部分の数は、１つに限られず、１つ以上の如何なる数にも及ぶ。
【００４０】
図３の右側部分は、基準ポジションとは異なるポジション（現在のポジションと呼ばれる。）に従って、すなわち、観察方向Ｄ１に従ってイマーシブコンテンツを見ている身体モデル３を示す。当然、ハプティック効果１２の発生源は、イマーシブコンテンツ１０において依然として同じポジションにある。身体モデル３の現在のポジションは、ハプティック効果が示されている基準ポジションとは異なるので、ハプティック効果１２によって影響を及ぼされる身体モデルの部分（第２の部分と呼ばれる。）は、第１の部分３０とは異なる。この例では、第２の部分は、３１、３２で参照される要素、すなわち、ハプティック効果１２の発生源に少なくとも部分的に面した要素に対応する１つよりも多い第２の部分から成る。第２の部分は、ハプティック効果の基準系がこの例では身体モデル（ユーザ）の範囲外にあるので、第１の部分とは異なる。
【００４１】
身体モデル３のポジションは、有利に、関連するユーザ１１のポジションから決定される。ユーザ１１のポジション（又は姿勢）は、ユーザがＨＭＤを身につけている場合に、ＨＭＤのセンサによって測定されたデータから決定されてよい。ＣＡＶＥシステムが使用される場合には、ポジションは、ＣＡＶＥシステムにおけるユーザの顔の画像の画像処理によって、あるいは、ＣＡＶＥシステム内のユーザの動き及び／又はポーズを追跡する追跡システムによって生成されたデータから、決定されてよい。
【００４２】
身体モデルのありとあらゆるとり得るポジションに従ってハプティック効果によって影響を及ぼされる身体モデルの部分に関する情報を加えることを回避するよう、第２の部分を決定するプロセスは、図５に関して記載される。身体モデルのありとあらゆるとり得るポジションに従ってハプティック効果によって影響を及ぼされる身体モデルの部分に関する情報を送信することを回避することによって、バンド幅は低減され得る。
【００４３】
当然、身体モデルの（すなわち、ユーザの）ポジションの変化は、ユーザによるイマーシブコンテンツの観察方向の変化に限られず、身体モデルのあらゆる部分の姿勢のあらゆる変化、例えば、身体モデルの部分の動き、身体モデルの部分の回転、などに及ぶ。
【００４４】
図５は、本原理の特定の非制限的な実施形態に従って、ハプティック効果１２によって影響を及ぼされる身体モデル３の第２の部分を決定するプロセスを示す。
【００４５】
第１のステップで、レンダリングされるべきハプティック効果のタイプに関連するタイプのハプティック身体モデル（例えば、振動効果のためのハプティック身体モデル＃１）は、基準ポジションＤ０に対応するポジションに且つレンダリングされるべきハプティック効果に関連する状態にあるよう初期化（すなわち、変形）される。第１のステップを実行する３Ｄ＋物理演算エンジン５０の入力は、ＨＩＤにより識別されるハプティック身体モデル並びにＤ０ポジションに関連する条件、すなわち、基準ポジション及びレンダリングされるべきハプティック効果（例えば、ハプティック効果の発生源の位置）である。第１のステップの出力は、ポジションＤ０における変形されたハプティック身体モデル及び識別されたハプティック身体モデルの第１の部分である。
【００４６】
第２のステップで、ポジションＤ０におけるハプティック身体モデルは、ポジションＤ１にあるよう変形される。ポジションＤ１は、身体モデルに関連するユーザのポジションの測定された変化から導出される。かかるステップも、ポジションＤ０及び現在のポジションＤ１におけるハプティック身体モデルを入力として有して３Ｄ＋物理演算エンジン５０によって実行される。ポジションＤ１における変形されたハプティック身体モデルは、３Ｄ＋物理演算エンジン５０の出力で得られる。変形は、現在のポジションＤ１における身体モデルの単純な回転に、すなわち、第１の例に従って、身体モデルを形成する１つ以上の要素の回転に対応してよい。この第１の例は、身体の他の動きなしでユーザが自身の注視方向のみを変える場合に、特に適切である。第２の例に従って、機械／物理モデルは、ポジションＤ１とポジションＤ０との間の差に従ってハプティック身体モデルの変形を推測するために使用される。第２の例は、ユーザの部分の動きが第１の例でよりも複雑であるか、あるいは、ユーザが自身の注視のみを変える場合に第１の例よりも実際的な結果を与える場合に、有利である。
【００４７】
第３のステップで、ハプティック効果によって影響を実際に及ぼされるハプティック身体モデルの第２の部分は、ポジションＤ１における変形されたハプティック身体モデルに従って及び第１の部分に従って決定される。そのために、第１の部分は、例えば、ポジションＤ１における変形されたハプティック身体モデルに投影される。第２の部分は、その場合に、ポジションＤ１における変形されたハプティック身体モデルへの第１の部分の投影に対応する。効果の強さは、第１の部分から第２の部分へ伝播される（場合により、必要に応じて補間される）。
【００４８】
変形例に従って、第１及び第２のステップは結合される。ポジションＤ１におけるハプティック身体モデルは、Ｄ１ポジションとＤ０ポジションとの間の差を考慮して第１のステップの入力でハプティック身体モデルを変形することによって得られる。
【００４９】
図６は、図９及び／又は１０に関して記載される方法を実施するよう構成されるデバイス６の例となるアーキテクチャを示す。
【００５０】
デバイス６は、データ及びアドレスバス６１によって結合されている次のようを有する：
・例えば、ＤＳＰ（すなわち、Digital  Signal  Processor）であるマイクロプロセッサ６２（又はＣＰＵ）；
・ＲＯＭ（すなわち、Read  Only  Memory）６３；
・ＲＡＭ（すなわち、Random  Access  Memory）６４；
・ストレージインターフェイス６５；
・アプリケーションからの送信すべきデータの受信のためのＩ／Ｏインターフェイス６６；及び
・電源６７（例えば、バッテリ）。
【００５１】
例に従って、電源６７はデバイス６の外部にある。上記のメモリの夫々において、本明細書で使用される語「レジスタ」は、小容量（数ビット）のエリアに又は非常に大きいエリア（例えば、プログラム全体又は大量の受信若しくは復号されたデータ）に対応することができる。ＲＯＭ６３は、少なくともプログラム及びパラメータを有する。ＲＯＭ６３は、本原理に従う教示を実行するためのアルゴリズム及び命令を記憶してよい。オンされる場合に、ＣＰＵ６２は、プログラムをＲＡＭにおいてアップロードし、対応する命令を実行する。
【００５２】
ＲＡＭ６４は、レジスタにおいて、ＣＰＵ６２によって実行されて、デバイス６のスイッチオン後にアップロードされるプログラムを有し、レジスタにおいて、入力データを有し、レジスタにおいて、方法の異なる状態における中間データを有し、レジスタにおいて、方法の実行のために使用される他の変数を有する。
【００５３】
ここで記載される実施は、例えば、方法若しくはプロセス、装置、コンピュータプログラム製品、データストリーム、又は信号において実施されてよい。たとえ単一の実施形態に関してしか論じられない（例えば、方法又はデバイスとしてしか論じられない）としても、論じられる特徴の実施は、他の形態（例えば、プログラム）においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、例えば、プロセッシングデバイス全般に言及する、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含むプロセッサのような装置において実施されてよい。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（ＰＤＡ）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような通信デバイスを更に含む。
【００５４】
符号化又は符号器の例に従って、第１、第２及び／又は第３の情報はソースから得られる。例えば、ソースは、次のものを有する組に属する：
・ローカルメモリ（６３又は６４）。例えば、ビデオメモリ又はＲＡＭ（すなわち、Random  Access  Memory）、フラッシュメモリ、ＲＯＭ（すなわち、Read  Only  Memory）、ハードディスク；
・ストレージインターフェイス（６５）。例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインターフェイス；
・通信インターフェイス（６６）。例えば、有線インターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）又は無線インターフェイス（例えば、ＩＥＥＥ８０２．１１インターフェイス若しくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイス）；及び
・ユーザがデータを入力することを可能にするグラフィカルユーザインターフェイスのようなユーザインターフェイス。
【００５５】
復号化又は復号器の例に従って、第１、第２及び／又は第３の情報は、あて先へ送信される。具体的に、あて先は、次のものを有する組に属する：
・ローカルメモリ（６３又は６４）。例えば、ビデオメモリ又ＲＡＭ、フラッシュメモリ、ハードディスク；
・ストレージインターフェイス（６５）。例えば、大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク又は磁気サポートとのインターフェイス；
・通信インターフェイス（６６）。例えば、有線インターフェイス（例えば、バスインターフェイス（例えば、ＵＳＢ（すなわち、Universal  Serial  Bus））、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス、ＨＤＭＩ（登録商標）（High  Definition  Multimedia  Interface）インターフェイス）又は無線インターフェイス（例えば、ＩＥＥＥ８０２．１１インターフェイス、ＷｉＦｉ（登録商標）若しくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイス）。
【００５６】
符号化又は符号器の例に従って、ビットストリーム２０はあて先へ送信される。一例として、ビットストリーム２０は、ローカル又は遠隔のメモリ、例えば、ビデオメモリ（６４）又はＲＡＭ（６４）、ハードディスク（６３）において記憶される。変形例において、ビットストリーム２０は、ストレージインターフェイス（６５）、例えば、大容量記憶装置、フラッシュメモリ、ＲＯＭ、光ディスク若しくは磁気サポートとのインターフェイスへ送信され、及び／又は通信インターフェイス（６６）、例えば、ポイント・ツー・ポイントリンク、通信バス、ポイント・ツー・マルチポイントリンク若しくはブロードキャストネットワークへのインターフェイスを介して送信される。
【００５７】
復号化又は復号器の例に従って、ビットストリーム２０はソースから得られる。例となるように、ビットストリーム２０はローカルメモリ、例えば、ビデオメモリ（６４）、ＲＡＭ（６４）、ＲＯＭ（６３）、フラッシュメモリ（６３）又はハードディスク（６３）から読み出される。変形例において、ビットストリーム２０はストレージインターフェイス（６５）、例えば、大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスク若しくは磁気サポートとのインターフェイスから受信され、及び／又は通信インターフェイス（６６）、例えば、ポイント・ツー・ポイントリンク、通信バス、ポイント・ツー・マルチポイントリンク若しくはブロードキャストネットワークへのインターフェイスから受信される。
【００５８】
例に従って、デバイス６は、図９に関して記載される符号化方法を実施するよう構成され、次のものを有する組に属する：
・モバイルデバイス；
・通信デバイス；
・ゲーム機；
・タブレット（又はタブレット型コンピュータ）；
・ラップトップ；
・静止画カメラ；
・ビデオカメラ；
・符号化チップ；
・静止画サーバ；及び
・ビデオサーバ（例えば、ブロードキャストサーバ、ビデオ・オン・デマンドサーバ又はウェブサーバ）。
【００５９】
例に従って、デバイス６は、図１０に関して記載される復号化方法を実施するよう構成され、次のものを有する組に属する：
・モバイルデバイス；
・通信デバイス；
・ゲーム機；
・セットトップボックス；
・テレビ受像機；
・タブレット（又はタブレット型コンピュータ）；
・ラップトップ；
・ディスプレイ（例えば、ＨＤＭ）；及び
・復号化チップ。
【００６０】
図７において表されている例に従って、通信ネットワークＮＥＴ７０を介した２つの遠隔デバイス７１及び７２の間の送信の状況において、デバイス７１は、図９に関して記載されるようにピクチャを符号化する方法を実施するよう構成される手段を有し、デバイス７２は、図１０に関して記載されるように復号する方法を実施するよう構成される手段を有する。
【００６１】
例に従って、ネットワーク７０は、デバイス７１からの関連するオーディオ情報及びハプティック情報を伴った静止画又はビデオピクチャを、デバイス７２を含む復号化デバイスへブロードキャストするよう構成されたＬＡＮ又はＷＬＡＮネットワークである。
【００６２】
デバイス７１によって送信されるよう意図された信号は、ビットストリーム２０を搬送する。ビットストリーム２０は、上述されたように、符号化されたハプティックパケットを有する。この信号は、図２に関して記載されたように第１、第２及び／又は第３の情報を更に含む。
【００６３】
図８は、パケットに基づく送信プロトコルを介してデータが送信される場合のそのような信号のシンタックスの実施形態の例を示す。夫々の送信パケットＰは、ヘッダＨ８０及びペイロードＰＡＹＬＯＡＤ８１を有する。ヘッダＨのビットは、例えば、イマーシブコンテンツに関して身体モデル（又は、同じく、身体モデルによって表されるユーザ）の位置付けに対するハプティック効果の記載の依存性を示す第１の情報データを表すのに捧げられる。第２及び第３の情報は、例えば、ペイロード８１において送信される。変形例に従って、第１、第２及び第３の情報はペイロード８１において含まれる。
【００６４】
図９は、本原理の非制限的な実施形態に従って、レンダリングされるべきハプティック効果を表すデータを含むパケットを符号化する方法であって、符号化するよう構成されたデバイス６において実施される方法を表す。
【００６５】
初期化ステップ９０の間に、デバイス６の種々のパラメータは更新される。特に、レンダリングされるべきハプティック効果を表すデータは、如何なる方法においても初期化される。
【００６６】
次いで、ステップ９１の間に、第１の情報がパケットに加えられる。パケットに加えられる第１の情報は、イマーシブコンテンツに関して、ユーザをモデリング／表現するために使用される身体モデルのポジションに対するハプティック効果の記載の依存性を表す。ハプティック効果の記載は、特に、ハプティック効果のタイプと、ハプティック効果のタイプに従って、身体モデル／ユーザに適用されるべき効果の強さの値（力、温度、圧力、運動）のアレイとを含む。ハプティック効果の基準系が身体モデル／ユーザである場合には、ハプティック効果の記載と身体モデルのポジションとの間に依存性はない。ハプティック効果の基準系が身体モデル／ユーザの範囲外である場合には、ハプティック効果の記載と身体モデルのポジションとの間に依存性がある。
【００６７】
次いで、ステップ９２の間に、第２の情報がパケットに加えられる。第２の情報は、ハプティック効果の標的とされる身体モデルの第１の部分を表す。身体モデルの部分は、身体モデルを形成する要素の１つ、例えば、身体モデルが骨格を有する場合に関節又はセグメント、例えば、身体モデルがメッシュ（例えば、皮膚のメッシュ）を有する場合にメッシュ要素（例えば、多角形）に対応する。第１の情報は、例えば、身体モデルの夫々の要素（又は部分）に関連する識別子に対応する。ハプティック効果の記載と身体モデルのポジションとの間に依存性があることを第１の情報が示す場合に、“ハプティック効果の標的とされる第１の部分”は、身体モデルが基準ポジションと呼ばれる決定されたポジションにある場合に効果の強さを適用される身体モデルの部分と理解される。依存性がない場合には、第１の部分は、身体モデルのポジションが何であろうと、ハプティック効果を適用される身体モデルの要素に対応する。
【００６８】
第３の任意のステップで、第３の情報がパケットに加えられる。第３の情報は、イマーシブコンテンツに関して身体モデルの基準ポジションを表す。基準ポジションは、決定されたポジション、すなわち、ハプティック効果が第１の部分に対して有効に適用されるポジションに対応する。第３の情報は、例えば、ハプティック効果の記載と身体モデルの位置付けとの間に依存性があることを第１の情報が示す場合にのみ加えられる。変形例に従って、第３の情報は、第１の情報の意味が何であろうと、パケットに常に加えられる。
【００６９】
第１の情報を加えることは、少なくとも、依存性がないことを第１の情報が示す場合に、パケットに加えられるデータの量を減らすことができる。レンダリング側では、第１の情報はまた、少なくとも、依存性がないことを第１の情報が示す場合に、復号されるデータの量を減らす。実際に、そのような場合に、第３の情報も身体モデルのポジションに関する如何なる情報も復号／送信する必要がない。
【００７０】
更なる任意のステップで、パケットは送信される。
【００７１】
更なる任意のステップで、パケットに含まれるデータは、第１、第２及び／又は第３の情報に従って、ユーザの少なくとも１つの身体部分に適用されるハプティック効果に変換される。
【００７２】
図１０は、本原理の非制限的な実施形態に従って、レンダリングされるべきハプティック効果を表すデータを含むパケットを復号する方法であって、復号するよう構成されたデバイス６において実施される方法を表す。
【００７３】
初期化ステップ１００の間に、デバイス６の種々のパラメータは更新される。特に、前もって受信されているレンダリングされるべきハプティック効果を表すデータは、如何なる方法においても初期化される。
【００７４】
次いで、ステップ１０１の間に、受信されたパケットから、第１の情報が得られる、すなわち、抽出及び／又は復号される。パケットは、例えば、無線接続を介して又は有線接続を介して受信される。パケットは、例えば、符号化デバイス６から、又は遠隔の記憶デバイスから、又は復号化デバイス６に含まれている局所記憶デバイスから受信される。
【００７５】
次いで、ステップ１０２の間に、受信されたパケットから、第２の情報が得られる、すなわち、抽出及び／又は復号される。
【００７６】
第３の任意のステップで、受信されたパケットから、第３の情報が得られる、すなわち、抽出及び／又は復号される。第３の情報は、有利に、ハプティック効果の記載と身体モデルの位置付けとの間に依存性があることを第１の情報が示す場合にのみ得られる。これは、依存性がないことを第１の情報が示す場合に得られるデータの量を減らすことができる。
【００７７】
更なる任意のステップで、ハプティック効果によって影響を及ぼされる身体モデルの第２の部分は、少なくとも、依存性があることを第１の情報が示す場合に、決定される。第２の部分は、第３の情報と、基準ポジションとは異なる身体モデルの現在のポジションを表す情報とを用いて変形された身体モデルに基づき、決定される。
【００７８】
更なる任意のステップで、ハプティック効果は、復号されたパケットに含まれるデータに従ってアクチュエータを制御することによってユーザに対してレンダリングされる。
【００７９】
当然、本開示は、上記の実施形態に制限されない。
【００８０】
特に、本開示は、ハプティックデータを有するパケットを符号化／復号する方法に限られず、この方法を実施するあらゆるデバイス、特に、少なくとも１つのＣＰＵ及び／又は少なくとも１つのＧＰＵを有するあらゆるデバイスに及ぶ。
【００８１】
本開示は、ハプティック効果を生成する方法（及びそうするよう構成されたデバイス）と、ハプティック効果をレンダリングする方法（及びそうするよう構成されたデバイス）とに更に関係がある。
【００８２】
本開示は、ハプティックデータを有するパケットを送信及び／又は受信する方法（及びそうするよう構成されたデバイス）に更に関係がある。
【００８３】
ここで記載される実施は、例えば、方法若しくはプロセス、装置、コンピュータプログラム製品、データストリーム、又は信号において実施されてよい。たとえ単一の実施形態に関してしか論じられない（例えば、方法又はデバイスとしてしか論じられない）としても、論じられる特徴の実施は、他の形態（例えば、プログラム）においても実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、例えば、プロセッシングデバイス全般に言及する、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含むプロセッサのような装置において実施されてよい。プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（ＰＤＡ）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような通信デバイスを更に含む。
【００８４】
ここで記載される様々なプロセス及び機構の実施は、多種多様な設備又は用途、特に、例えば、データ符号化、データ復号化、ビュー生成、テクスチャ処理、並びに画像及び関連するテクスチャ情報及び／又は深さ情報の他の処理に関連する設備又は用途において具現されてよい。そのような設備の例には、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器へ入力を提供するプリプロセッサ、ビデオ符号器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスが含まれる。当然ながら、設備は、移動可能であって、移動車両において設置されてさえよい。
【００８５】
加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令（及び／又は実施によって生成されたデータ値）は、例えば、集積回路、ソフトウェア担体、又は他の記憶デバイス（例えば、ハードディスク、コンパクトディスケット（ＣＤ）、光ディスク（例えば、しばしばデジタル・バーサタイル・ディスク又はデジタルビデオディスクと呼ばれるＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）、又はリードオンリーメモリ（ＲＯＭ））のようなプロセッサ可読媒体において記憶されてよい。命令は、プロセッサ可読媒体において有形に具現されているアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせであってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれらの組み合わせにおいて見つけられ得る。プロセッサは、従って、例えば、プロセスを実行するよう構成されるデバイス、及びプロセスを実行するための命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方として見なされてよい。更には、プロセッサ可読媒体は、命令に加えて又はそれに代えて、実施によって生成されたデータ値を記憶してよい。
【００８６】
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行するための命令、又は記載されている実施の１つによって生成されたデータを含んでよい。例えば、信号は、記載されている実施形態のシンタックスを書き込み又は読み出しするためのルールをデータとして運ぶよう、あるいは、記載されている実施形態によって書き込まれる実際のシンタックス値をデータとして運ぶようフォーマットされてよい。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用する。）として、又はベースバンド信号としてフォーマットされてよい。フォーマット化は、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られているように、多種多様な有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
【００８７】
多数の実施が記載されてきた。それでもなお、様々な変更がなされてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施を生じるよう、組み合わされ、補完され、変更され、又は削除されてよい。加えて、当業者であれば、他の構造又はプロセスが、開示されているものに代用されてよく、結果として得られる実施が、開示されている実施と少なくとも略同じ結果を達成するよう、少なくとも略同じ方法において少なくとも略同じ機能を実行することを理解するであろう。然るに、それら及び他の実施は、本願によって考えられている。
【符号の説明】
【００８８】
３，２２，４０，４１  身体モデル
６                    デバイス
１０                  イマーシブコンテンツ
１１                  ユーザ
１２                  ハプティック効果
２０                  ＨＡＶビットストリーム
２０３                ハプティックストリーム
２１１〜２１ｎ        ハプティックパケット
２３１                属性の組
２３２                ペイロード
【図１】
2016225977.tif 000003
【図２】
2016225977.tif 000004
【図３】
2016225977.tif 000005
【図４】
2016225977.tif 000006
【図５】
2016225977.tif 000007
【図６】
2016225977.tif 000008
【図７】
2016225977.tif 000009
【図８】
2016225977.tif 000010
【図９】
2016225977.tif 000011
【図１０】
2016225977.tif 000012
【外国語明細書】
2016225977000001.pdf