(57)【要約】本開示は、カメラを使用して撮影されたビデオコンテンツのアイテムを再生するための方法に関する。撮影の際に、カメラに適用されるコマンドにより、シーケンスから構成されたビデオコンテンツのアイテムが構築され強化される。再生のために、ビデオコンテンツはシーケンスに分割される。カメラに適用されるコマンドは、シーケンスごとに抽出され、このシーケンスに関連付けられた少なくとも１つのハプティックアクチュエータの制御パラメータを計算することを可能にする。次いで、ビデオコンテンツのシーケンスを再生する際、少なくとも１つの制御パラメータによって少なくとも１つのハプティックアクチュエータを制御する。このようにして、観察者は、再生中にビデオドキュメントの認識を強化することを可能にする刺激を認識する。強化されたコンテンツを再生することができるプレーヤは、カメラに適用されるコマンドからシーケンスのセットの映写効果を決定する。ついで、この効果に関連付けられたハプティックメタファが、このシーケンスのセットに適用される。
2016513991.tif 000002
【特許請求の範囲】
【請求項１】
カメラ（１０）を使用して撮影されるビデオコンテンツの少なくとも１つのシーケンスを再生する方法であって、
前記少なくとも１つのシーケンスの撮影中に、前記カメラに適用される少なくとも１つのコマンドから前記少なくとも１つのシーケンスに関連付けられた少なくとも１つのハプティックアクチュエータ（５，６）の少なくとも１つの制御パラメータを計算するステップと、
前記少なくとも１つのシーケンスの前記再生中（１．５）に、前記少なくとも１つの計算された制御パラメータを使用して、前記少なくとも１つのハプティックアクチュエータ（５，６）を制御するステップと、
を含む、前記方法。
【請求項２】
前記カメラに適用される前記少なくとも１つのコマンドは、前記カメラに関連付けられた少なくとも１つの運動センサを使用して計測される、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのコマンドは、
前記カメラにより撮影されたシーンに関連付けられた座標系の少なくとも１つの軸に沿った移動のためのコマンド、
前記カメラにより撮影されたシーンに関連付けられた座標系の少なくとも１つの軸の周りの回転のためのコマンド、
前記カメラのズームコマンド
を含むコマンドのグループに属する、請求項1又は２に記載の方法。
【請求項４】
前記カメラに適用されるコマンドの数値は、前記少なくとも１つのハプティックアクチュエータ（５，６）を制御する数値を与える、請求項１ないし３のうちの１つに記載の方法。
【請求項５】
前記カメラ（１０）に適用されるコマンドから映写効果を決定するステップをさらに含み、前記少なくとも１つのハプティックアクチュエータ（５，６）の前記制御パラメータは、前記決定された映写効果から計算される、請求項１ないし３のうちの１つに記載の方法。
【請求項６】
ビデオコンテンツを再生し前記少なくとも１つのハプティックアクチュエータを制御する装置への前記少なくとも１つのシーケンスの間、前記ビデオコンテンツおよび前記カメラ（１０）に適用される制御値を送信するステップ
をさらに含み、前記少なくとも１つのハプティックアクチュエータのための制御パラメータを計算する処理のステップは、前記装置により実行される、請求項１ないし５のうちの１つに記載の方法。
【請求項７】
ビデオコンテンツを再生し前記少なくとも１つのハプティックアクチュエータを制御する装置に、前記ビデオコンテンツおよび前記少なくとも１つのハプティックアクチュエータのための制御パラメータを送信するステップをさらに含む、請求項１ないし５のうちの１つに記載の方法。
【請求項８】
前記少なくとも１つのハプティックアクチュエータのための制御パラメータの複数のグループは、前記少なくとも１つのシーケンスに関連付けられており、パラメータの各グループは、ビデオコンテンツを再生し特定のハプティックアクチュエータを制御する装置に関連付けられている、請求項７に記載の方法。
【請求項９】
前記アクチュエータの数は３つであり、２つのアクチュエータは観察者により各々の手に１つずつ握られるためのものであり、１つは前記観察者の頭部を支持するためのものである、請求項１ないし８のうちの１つに記載の方法。
【請求項１０】
シーケンスの間に映写効果が検出されない場合、前記少なくとも１つのシーケンスに関連付けられた前記少なくとも１つのハプティックアクチュエータの前記制御パラメータは、前記少なくとも１つのシーケンスの撮影中に前記カメラに提供される制御値から計算される、請求項１ないし９のうちの１つに記載の方法。
【請求項１１】
カメラ（１０）を使用して撮影されるビデオコンテンツの少なくとも１つのシーケンスを再生するように構成された装置（１）であって、
前記少なくとも１つのシーケンスの撮影中に、前記カメラに適用される少なくとも１つのコマンドから前記少なくとも１つのシーケンスに関連付けられた少なくとも１つのハプティックアクチュエータの少なくとも１つの制御パラメータを計算し、
前記少なくとも１つのシーケンスの前記再生中に、前記少なくとも１つの計算された制御パラメータを使用して、前記少なくとも１つのハプティックアクチュエータを制御するように構成された少なくとも１つのプロセッサーを備える、前記装置。
【請求項１２】
前記少なくとも１つのプロセッサーは、前記カメラ（１０）に適用されるコマンドから映写効果を決定するようにさらに構成され、前記少なくとも１つのハプティックアクチュエータの前記制御パラメータは、前記決定された映写効果から計算される、請求項１１に記載の装置。
【請求項１３】
前記少なくとも１つのプロセッサーは、３つのアクチュエータを制御するように構成され、２つのアクチュエータは観察者により各々の手に１つずつ握られるためのものであり、１つは前記観察者の頭部を支持するためのものである、請求項１１ないし１２のうちの１つに記載の装置。
【請求項１４】
コンピュータプログラム製品であって、プログラムがプロセッサーによって実行されると、請求項１ないし１０のうちの１つに記載の方法を実行するための命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、オーディオビジュアルコンテンツのアイテムの再生中におけるハプティックレンダリングの生成の分野である。より詳細には、本発明は、オーディオビジュアルコンテンツが、観客の身体に対する運動を生成するアクチュエータを制御することを可能にする信号を含む場合に関する。
【背景技術】
【０００２】
今日、映写技法は、オーディオビジュアルコンテンツおよび観客の体験を豊かにすることを可能にしている。３Ｄの出現は、ますます現実的かつ印象的になりつつある、現実に映画の中にいるかのような感覚を観客に提供している。最近、観客が座るシートにいくつかの機器が追加されて、視覚のみによって提供されるものとは異なる感覚を彼に与えるようになった。その結果、今では、シートは、いくつかの自由度に従って動き、ビジュアルコンテンツおよび場合によってはオーディオコンテンツと関連付けられた運動を観客に体験させる。例えば、ジェットコースタの車両の最前列において撮影された映画の場合、映画のスクリーン上に降下が再生されるとき、観客のシートは、僅かに前方に傾く。別の例は、地震のシーンの再生中に映画観覧用シートを左右に激しく振動させることからなる。
【０００３】
ハプティックエンハンスメントを有するオーディオビジュアルコンテンツは、記録の再生中に観客を動かすアクチュエータを制御することを可能にする。このようにして、観客は、視覚および聴覚ばかりでなく、触覚によっても、コンテンツを認識する。したがって、再生中の記録の中にいるかのような感覚は、より大きくなり、イベントを体験している印象は、より強くなる。
【０００４】
ほとんどの場合、ハプティックエンハンスメントは、すでに作成された映画に対して追加される。オペレータが、映画を視聴し、観客の知覚が彼の身体に加えられる運動によって強化されるシーケンスを決定する。オペレータは、手動で、運動のタイプ（変位、振動、拍動、震えなど）を決定し、このシーケンス中における特定のアクチュエータの作動をプログラムする。ハプティックパラメータが、特定の媒体上でビデオ信号および場合によっては音声信号に追加される。再生中、ハプティックパラメータは、読み取られ、観客に刺激を与える役割をもつアクチュエータに送信される。これらの刺激は、幸福、不安、自信、矮小さ、めまいなど、すべての種類の感覚を生成することができる。
【０００５】
現在、これらのハプティックパラメータは、ビデオまたはオーディオビジュアルコンテンツを視聴するオペレータによって手動で計算される。したがって、ハプティックアクチュエータ制御パラメータの生成、および新しいビデオコンテンツのエンハンスメントを自動化することを可能にする、新しい技法が真に必要とされている。
【発明の概要】
【０００６】
本開示は、カメラを使用して撮影されたビデオコンテンツのアイテムを再生するための方法の形態を取る、先行技術の不都合をすべては有さない、新しいソリューションを提案する。この方法は、１または複数のシーケンスの撮影中に、上記１または複数のシーケンスと関連付けられた少なくとも１つのハプティックアクチュエータのための少なくとも１つの制御パラメータを計算するために、上記カメラに供給されたコマンドを処理するステップと、上記少なくとも１つのシーケンスの再生中に、計算された上記少なくとも１つの制御パラメータを使用して、上記少なくとも１つのハプティックアクチュエータを制御するステップと、を含む。
【０００７】
このようにして、上記ビデオコンテンツは、上記ビデオコンテンツの上記シーケンスまたは様々なシーケンスの撮影中に上記カメラに供給されたコマンドから計算されたハプティックアクチュエータ制御パラメータによって自動的に強化される。
【０００８】
第１の実施形態によると、上記カメラに供給された上記コマンドの数値は、上記ハプティックアクチュエータを制御する数値を生成する。このようにして、上記アクチュエータの動作は、同時に再生される上記ビデオコンテンツに完全に適合される。
【０００９】
別の実施形態によると、映写効果が、上記カメラに供給されたコマンドから決定され、上記ハプティックアクチュエータ制御パラメータは、そのように決定された上記映写効果から計算される。このようにして、上記観客に対する上記アクチュエータの動作は、映画製作者が上記ビデオコンテンツ内で提供することを望んだ上記映写効果に良好に適合される。
【００１０】
別の実施形態によると、上記ビデオコンテンツ、および上記カメラに供給された制御値は、上記シーケンス中に、ビデオコンテンツを再生し、ハプティックアクチュエータを制御するためのデバイスに送信され、上記ハプティックアクチュエータ制御パラメータを計算するための処理の上記ステップは、このデバイスによって実行される。このようにして、上記アクチュエータのための上記制御パラメータは、上記コンテンツのその再生のために使用されるその設備に良好に適合される。
【００１１】
別の実施形態によると、上記ビデオコンテンツおよびハプティックアクチュエータ制御パラメータは、ビデオコンテンツを再生し、ハプティックアクチュエータを制御するためのデバイスに送信される。このようにして、上記アクチュエータ制御パラメータは、上記映画製作者によってただ一度計算される。
【００１２】
別の実施形態によると、ハプティックアクチュエータ制御パラメータの複数のグループは、上記コンテンツの各シーケンスと関連付けられ、パラメータの各グループは、ビデオコンテンツを再生し、特定のハプティックアクチュエータを制御するためのデバイスと関連付けられる。このようにして、上記コンテンツのその再生のために使用される上記設備は、利用可能な上記ハプティックアクチュエータに応じて、上記制御パラメータを選択する。
【００１３】
別の実施形態によると、シーケンスの持続時間は、上記ビデオコンテンツの画像を再生するための持続時間の倍数である。このようにして、ハプティック制御パラメータがその間に計算される上記コンテンツの時間区分は、より単純である。
【００１４】
別の実施形態によると、上記アクチュエータは、３つ存在し、２つのアクチュエータは、観客によって左右の手に１つずつ握られることが意図され、１つのアクチュエータは、前記観客の頭を支えることが意図されている。このようにして、ハプティックフィードバックとともにビデオを再生するための上記設備は、設置が容易であり、比較的に安価である。
【００１５】
別の実施形態によると、映写効果がシーケンス中に検出されない場合、このシーケンスと関連付けられた上記ハプティックアクチュエータ制御パラメータは、このシーケンスの撮影中に上記カメラに供給された制御値から計算される。このようにして、上記観客は、検出可能な映写効果が存在しない場合であっても、ハプティック感覚を検出する。
【００１６】
第１のハードウェアの態様によると、本開示は、カメラを使用して撮影されたビデオコンテンツのアイテムの少なくとも１つのシーケンスを再生するためのデバイスにも関し、上記デバイスは、上記少なくとも１つのシーケンスと関連付けられた少なくとも１つのハプティックアクチュエータのための少なくとも１つの制御パラメータを計算し、上記少なくとも１つのシーケンスの再生中に、計算された上記少なくとも１つの制御パラメータを使用して、上記少なくとも１つのハプティックアクチュエータを制御するために、上記少なくとも１つのシーケンスの撮影中に上記カメラに供給されたコマンドを処理するように構成された少なくとも１つのプロセッサーを備える。
【００１７】
特定の実施形態によると、上記少なくとも１つのプロセッサーは、上記カメラに供給されたコマンドから映写効果を決定するようにさらに構成され、上記少なくとも１つのハプティックアクチュエータのための上記制御パラメータは、上記決定された映写効果から計算される。
【００１８】
有利なこととして、上記少なくとも１つのプロセッサーは、３つのハプティックアクチュエータを制御するように構成され、２つのアクチュエータは、観客によって左右の手に１つずつ握られることが意図され、１つのアクチュエータは、前記観客の頭を支えることが意図されている。
【００１９】
別の態様によると、本開示は、上で説明されたビデオコンテンツを再生するための上記方法を、そのプログラムがプロセッサーによって実行された場合に実施するための命令を含む、コンピュータプログラムにも関連する。
【図面の簡単な説明】
【００２０】
本開示の他の特徴および利点は、簡潔な非制限的な例として提供され、添付の図面を参照する、特定の実施形態についての以下の説明を読むと、より明確に明らかとなる。
【図１】本発明の特定の実施形態による方法を実施するためのステップからなる例示的なフローチャートである。
【図２】ビデオコンテンツを再生し、ハプティックアクチュエータを制御するための例示的なデバイスを示す図である。
【図３．ａ】観客によって占有されていないハプティックアクチュエータを備えたシートの例を示す図である。
【図３．ｂ】観客によって占有されているハプティックアクチュエータを備えたシートの例を示す図である。
【図４．ａ】アクチュエータおよび利用可能な異なる自由度を示す図である。
【図４．ｂ】アクチュエータおよび利用可能な異なる自由度を示す図である。
【図４．ｃ】アクチュエータおよび利用可能な異なる自由度を示す図である。
【図５】本発明の特定の実施形態によるアクチュエータを備えるシートに座らされた観客を示す図である。
【図６】カメラおよび撮影中にそれに供給され得る運動の例を示す図である。
【図７】カメラが回転を行うシーケンス中のハプティックアクチュエータの運動を示す図である。
【図８】本発明の特定の実施形態によるハプティックアクチュエータを制御するように構成されたデバイスを示す図である。
【発明を実施するための形態】
【００２１】
５．１  一般的な原理
本開示の一般的な原理は、カメラを使用して撮影されるビデオコンテンツのアイテムを再生するための方法にある。１または複数のシーケンスから構成されるビデオコンテンツのアイテムは、撮影の際にカメラに供給されるコマンドによって構築され、強化される。カメラに供給されるコマンドは、各シーケンスについて抽出され、このシーケンスと関連付けられた１または複数のハプティックアクチュエータのための少なくとも１つの制御パラメータを計算することを可能にする。カメラに供給されるコマンドが、１または複数のビデオシーケンスから抽出され得ない場合、これらのコマンドは、例えば、２００６年２月、ロンドンにおけるビジュアルメディア生成に関する会議（ＣＶＭＰ：Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｖｉｓｕａｌ  Ｍｅｄｉａ  Ｐｒｏｄｕｃｔｉｏｎ）中に発表された、「Ｓｐｏｒｔｓ  Ｒｅａｌ−Ｔｉｍｅ  Ｃａｍｅｒａ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｆｏｒ  Ａｕｇｍｅｎｔｉｎｇ  Ｓｃｅｎｅｓ」と題する、Ｔｈｏｍａｓ  Ｇ  Ａによる論文において説明されるように、１または複数のビデオシーケンスから推定される。ビデオコンテンツのシーケンスを再生する際、そのように計算された少なくとも１つの制御パラメータが、少なくとも１つのハプティックアクチュエータを制御する。このようにして、観客は、再生中にビデオ記録に対する彼の知覚を強化することを可能にする刺激を知覚する。
【００２２】
有利なこととして、強化されたコンテンツを再生できるプレーヤは、カメラに供給されたコマンドからシーケンスのセットのための映写効果を決定する。その後、この効果と関連付けられたハプティックメタファが、シーケンスのこのセットに供給される。
【００２３】
５．２  実施形態の全般的な説明
図１は、一実施形態による方法を実施するためのステップからなる例示的なフローチャートを示している。
【００２４】
最初に、ステップ１．１において、ビデオまたはオーディオビジュアルコンテンツのアイテムが撮影される。撮影にわたってカメラに供給されたコマンドは、記録され、与えられた画像のシーケンスに供給されたコマンドの各グループは、このシーケンスと関連付けられる。ビデオデータから構成されるコンテンツ、カメラコマンド、および場合によってはオーディオデータが、それが再生される場所に送信される（ステップ１．２）。ステップ１．３において、ユーザは、コンテンツの再生を開始する。再生中、各シーケンスについて、このシーケンスと関連付けられた少なくとも１つのハプティックアクチュエータ制御パラメータを計算するために、カメラに供給されたコマンドが処理される（ステップ１．４）。同時に、ビデオコンテンツのシーケンスが、再生され（ステップ１．５）、そのように計算された少なくとも１つの制御パラメータが、この関連付けられたシーケンスの再生中に少なくとも１つのハプティックアクチュエータを制御する（ステップ１．６）。
【００２５】
ステップ１．７において、記録の終了がテストされる。再生される他のシーケンスが残っている場合、プログラムはステップ１．４にループする。
【００２６】
図２は、ビデオコンテンツを再生し、ハプティックアクチュエータを制御するためのデバイスの図を示している。このデバイスは、一般に、そのようなコンテンツの、例えば、映画などの再生に専用される部屋の中に設置されるが、本開示は、ハプティックアクチュエータを制御することを意図されたパラメータによって強化されたオーディオビジュアルコンテンツを受信する家庭用設備の場合も包含する。好ましい実施形態によると、そのようなデバイスは、以下のものを備える。
−  強化されたオーディオビジュアルコンテンツ用のプレーヤ１。このプレーヤは、ＤＶＤもしくはＢｌｕ−ｒａｙディスクを再生することができ、またはそのようなコンテンツがダウンロードされるハードディスクを含む。
−  フラットスクリーンとすることができる再生スクリーン２、またはスクリーン上に画像を投影するビデオプロジェクタ。
−  少なくとも１つの音声再生手段３、典型的には、部屋の周囲に分散されたラウドスピーカ。
−  スクリーン２に向かって配置された少なくとも１つのハプティックシート４。このシートは、２つのハンドアクチュエータ５と、ヘッドアクチュエータ６とを備える。
【００２７】
プレーヤ１は、ビデオコンテンツのデータを処理し、再生スクリーン２、スピーカ３、およびハプティックシート４のセットに送信される信号を計算する。データの送信は、これら様々な要素を接続するケーブルによって、または電波によって行われ得る。本開示によるハプティックレンダリングは、コンテンツの撮影中にカメラに供給されたコマンドを、ハプティックアクチュエータを制御するための制御パラメータに変換することからなる。アクチュエータは、観客の身体の一部に対して運動を生じさせ、または触感覚を生み出す。観客が見るものおよび聞くものによって提供されるコンテンツについての知覚は、観客が身体を通して感じるものによって強化される。
【００２８】
図８は、１または複数のビデオシーケンスの再生のために、およびハプティックデバイスまたは図２のデバイスの制御のために構成されたデバイス８のハードウェア実施形態を図式的に示している。例えば、パーソナルコンピュータ、ラップトップ、セットトップボックス、または画像処理モジュールに対応するデバイス８は、表示デバイス内に組み込まれてもよく、または組み込まれなくてもよい。
【００２９】
デバイス８は、クロック信号も転送するアドレスおよびデータバス８５によって互いに接続された以下の要素、すなわち、
−  マイクロプロセッサ８１（またはＣＰＵ）と、
−  例えば、オペレーティングシステムタイプのプログラム８２０を含む、ＲＯＭ（読出し専用メモリ）タイプ８２の不揮発性メモリと、
−  ランダムアクセスメモリ（ＲＡＭ）８３と、
−  例えば、キーボード、マウス、ウェブカメラなどの１または複数のＩ／Ｏ（入出力）デバイス８４と、
−  電源８６と
を備える。
【００３０】
メモリ８３を説明する際に使用される「レジスタ」という語は、言及されるメモリの各々において、（一部のバイナリデータの）低容量のメモリゾーンばかりでなく、（プログラム全体または計算もしくは表示されるデータを表すデータの全部もしくは一部の記憶を可能にする）大容量のメモリゾーンのことも指していることに留意されたい。
【００３１】
スイッチが入れられると、マイクロプロセッサ８１は、ＲＡＭ８３内に含まれるプログラムの命令をロードして実行する。
【００３２】
ランダムアクセスメモリ８３は、特に、
−  レジスタ３３０内に、デバイス８にスイッチを入れることを担当するマイクロプロセッサ８１のオペレーティングプログラムと、
−  １または複数のビデオシーケンスの再生中に計算される１または複数のハプティックアクチュエータのための制御パラメータ８３１と、
を含む。
【００３３】
本開示に特有の以下で説明される方法のステップを実施するアルゴリズムは、ＲＡＭ８３内に記憶される。変形によると、デバイス８は、ＧＲＡＭ（グラフィカルランダムアクセスメモリ）と関連付けられた１または複数のＧＰＵ（グラフィカル処理ユニット）を備えるグラフィックスカードを備え、この場合、１または複数のアクチュエータのための制御パラメータは、ＧＲＡＭ内に記憶される。別の変形によると、電源８６は、デバイス８の外部にある。
【００３４】
図３．ａおよび図３．ｂは、好ましい実施形態によるハプティックシート４を示している。このシートは、座部と、背もたれとを備える。ハンドアクチュエータ５が、座部の各側の、観客がそれらを容易に握ることができる位置に配置される。「ヘッド」アクチュエータ６と呼ばれる第３のアクチュエータが、ヘッドレストの位置に配置される。ヘッドアクチュエータ６は、そのくぼみに観客が頭をのせる三日月形のクッションを備える。シート４に対するアクチュエータ各々の位置は、各観客の身長および体型に適合させるために調整可能である。図３．ｂは、アクチュエータ５のノブを左右の手に持ち、第３のアクチュエータ６のクッションに頭をのせてシートに座った観客を示している。図３．ａおよび図３．ｂは、例として述べられているにすぎず、アクチュエータは、アームレスト、もしくは観客が足をのせる場所、または観客の身体の一部と接触する他の任意の要素を動かすこともできる。
【００３５】
各ハプティックアクチュエータ５、６は、３自由度を有する。図４．ａ、図４．ｂ、および図４．ｃは、ハンドアクチュエータおよび利用可能な異なる自由度の図を示している。図４．ａによって示されるアクチュエータは、上部に行くほどすぼんだボディ７と、ボディの上部から突出した垂直シャフト８とを備える。垂直シャフト８は、観客が握ることを意図したノブ９を上部に有する。アクチュエータは、Ｘ、Ｙ、Ｚによる標準的な方法で示される３つの相互に垂直な方向に垂直シャフト８を動かすための手段を備える。観客の位置から、シャフト８は、Ｚ軸の方向に平行移動を行うことによって前後に、Ｘ軸の方向に平行移動を行うことによって左右に、Ｙ軸の方向に上下に動かされ得る。図４．ｂは、Ｘ、Ｙ、Ｚ方向における垂直シャフト８の３つの可能な変位を示している。図４．ｃは、シャフト８およびそのノブ９が３つの方向に動いた場合の例示的な変位を示している。すなわち、ＧAは、ノブの初期位置であり、ＧA’は、ノブの最終位置であり、ノブの変位は、ベクトルＧAＧA’によって表される。
【００３６】
図５は、ヘッドアクチュエータ６に頭をのせ、２つのハンドアクチュエータを握っている観客の図を示している。見本では、ヘッドアクチュエータとハンドアクチュエータは、実現をより容易にするために同じタイプをしているが、運動が作用する身体の部分に適合された特有のアクチュエータを使用することも可能である。
【００３７】
カメラに供給されたコマンドから少なくとも１つのハプティックアクチュエータ制御パラメータを計算する方法が、２つの変形例を使用して次に詳述される。
【００３８】
５．３  送信された制御値を使用するパラメータの計算
図６は、カメラ１０と、ビデオ記録の撮影および作成中にそれに供給可能なコマンドの選択肢との図を示している。「カメラ」という用語は、動画像をキャプチャするための任意のデバイスのことを指し、このキャプチャデバイスは、例えば、モバイル電話など、別の用途のために意図されたデバイス内に組み込まれ得る。カメラ１０は、３つの方向Ｘ、Ｙ、Ｚを定義する直交座標系内に配置される。示される例によると、カメラは、以下の７つのコマンド、すなわち、
−  Ｘ軸に沿った（左または右への）変位ｘと、
−  Ｙ軸に沿った（前方または後方への）変位ｙと、
−  Ｚ軸に沿った（上方または下方への）変位ｚと、
−  Ｙ軸の周りの回転角θ（カメラの向き）と、
−  Ｘ軸の周りの回転角φ（カメラの向き）と、
−  Ｚ軸の周りの回転角Ψ（カメラの向き）と、
−  カメラのズームγコマンドと
によって制御され得る。
【００３９】
カメラ１０に供給されるコマンドは、撮影中、継続的に記録され、決定された持続時間を有するシーケンスと関連付けられる。これらのコマンドは、オペレータが手動でカメラに供給する変位および回転を測定する（ジャイロスコープなどの）変位センサからの測定値とすることができる。この決定された持続時間は、例えば、画像を再生するための時間に対応する。毎秒２４画像で再生されるビデオコンテンツのアイテムの場合、サンプリング時間は、４１．６６ミリ秒である。瞬間ｔにおいて撮影された各画像は、カメラに供給された制御値のグループＣ（ｔ）、
Ｃ（ｔ）＝［ｘc（ｔ），ｙc（ｔ），ｚc（ｔ），φc（ｔ），θc（ｔ），Ψc（ｔ），γc（ｔ）］
と関連付けられる。
【００４０】
カメラに対するコマンドのグループと関連付けられたシーケンスに対して他の持続時間を使用することが可能である。これらの持続時間は、好ましくは、ビデオコンテンツの画像を再生するための時間の倍数である。例えば、持続時間が１０画像を再生するための時間（すなわち、４１６．６ミリ秒）に対応する場合、関連付けられたグループは、これら１０画像の撮影中にカメラに供給された合計変位および合計回転角を含む。制御値の各グループＣ（ｔ）は、コンテンツのシーケンスの画像のセットと関連付けられる。再生を目的として送信される場合のビデオコンテンツは、特に、カメラに対する制御値のグループの連続と関連付けられたオーディオビジュアルデータを含む。
【００４１】
そのように強化されたビデオ記録は、その例が図２に示されている再生場所に、任意の手段によって送信される。送信は、媒体（ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、映写フィルムなど）を使用して、または通信ネットワークを介するダウンロードを使用して行われる。
【００４２】
再生の際、プレーヤ１は、オーディオビジュアルコンテンツを、カメラに供給された制御値のグループＣ（ｔ）と関連付けられたシーケンスに分割し、シーケンスは、単一の画像を含むことができる。その後、プレーヤ１は、このシーケンスと関連付けられた少なくとも１つのハプティックアクチュエータ制御パラメータを計算する。好ましい実施形態によると、プレーヤは、各々が３自由度を有する、３つのアクチュエータを制御する。いつでも、アクチュエータは、アクチュエータの基部に対するノブの空間内の位置を表すベクトルによって表され得る。すなわち、与えられた瞬間ｔにおけるノブ９の中心の点ＧAと、次の瞬間ｔ＋１における点ＧA’とを与えられた場合、与えられた瞬間におけるアクチュエータＡを制御するためのコマンドは、以下の式を使用して、ベクトル
【００４３】
【数１】
2016513991.tif 000003
【００４４】
の座標を計算することからなる。
【００４５】
【数２】
2016513991.tif 000004
【００４６】
ベクトル
【００４７】
【数３】
2016513991.tif 000005
【００４８】
は、それぞれ、画像の平行移動、回転、およびズームを表す。ベクトル
【００４９】
【数４】
2016513991.tif 000006
【００５０】
は、以下の式によって定義される。
【００５１】
【数５】
2016513991.tif 000007
【００５２】
上記の式において見られ得るように、ベクトル
【００５３】
【数６】
2016513991.tif 000008
【００５４】
は、瞬間ｔにおけるビデオコンテンツの撮影中にカメラに供給された３つの値ｘc、ｙc、ｚcに依存する。ベクトル
【００５５】
【数７】
2016513991.tif 000009
【００５６】
は、与えられた瞬間ｔにおけるカメラの３つの可能な回転θc、φc、Ψcに依存し、ズームγcは、与えられた瞬間ｔにおける前方（ズームイン）または後方（ズームアウト）への平行移動Ｆに対応する。Ｒｘ、Ｒｙ、Ｒｚは、カメラのｘ軸、ｙ軸、ｚ軸の周りの３Ｄマトリックスであり、Ｉ3は、Ｒ3における単位マトリックスである。
【００５７】
上記の式は、例として与えられたにすぎず、それらは、撮影中にカメラによって行われる運動に従って、アクチュエータの運動を定義する。関数Ｒを記述する式は、カメラの回転を、アクチュエータの垂直シャフトに供給される平行移動に変換する点で独特である。この変換は、空間内におけるアクチュエータの位置に結び付けられる。運動は、各アクチュエータで異なる。
【００５８】
図７は、カメラが回転を行うシーケンス中のハプティックアクチュエータの運動を示している。この図面における線図は、図６の上面図である（右手用のアクチュエータが１つだけ示されている）。すなわち、Ｇは、ユーザ上に、例えば、その胴体の中央に位置付けられる点である。位置Ｇ’Aは、点Ｇの周りの点ＧAの回転によって決定される。その後、ベクトル
【００５９】
【数８】
2016513991.tif 000010
【００６０】
を計算することが可能である。
【００６１】
例えば、カメラがＹ軸の周りの回転運動θを行う場合、Ｃについての式は、Ｃ（ｔ）＝［０，０，０，０，θ（ｔ），０，０］となる。
【００６２】
ベクトル計算は、
【００６３】
【数９】
2016513991.tif 000011
【００６４】
である。
【００６５】
原理は、ベクトル
【００６６】
【数１０】
2016513991.tif 000012
【００６７】
についての前述の式におけるすべての回転のために一般化される。
【００６８】
値ｋ、ｍ、ｓは、各垂直シャフト８について計算された位置が、アクチュエータ内のその作動空間から出ないことを保証する減少係数である。
【００６９】
例えば、カメラが、数値的にｚ＝２ｍに対応する、前方への２メートルの移動を行ったと仮定すると、式Ｃは、以下の値を取る。
【００７０】
Ｃ（ｔ）＝［０，０，２，０，０，０，０］
見本では、垂直シャフトの作動空間は、１辺が１０ｃｍ（０．１ｍ）の立方体によって表される。アクチュエータは、軸に沿って−０．０５ｍから＋０．０５ｍまで動かされ得る。したがって、カメラの移動は、アクチュエータの０．０５ｍの前方変位を引き起こす。この例では、Ｋｚ＝０．０２５であり、ベクトル
【００７１】
【数１１】
2016513991.tif 000013
【００７２】
の式は、
【００７３】
【数１２】
2016513991.tif 000014
【００７４】
になる。
【００７５】
この例では、ベクトル
【００７６】
【数１３】
2016513991.tif 000015
【００７７】
および
【００７８】
【数１４】
2016513991.tif 000016
【００７９】
は、ゼロであり、ハプティック運動は、平行移動のみに対応することに留意されたい。
【００８０】
決定された期間中に、同じ制御値がカメラに供給される場合、この期間は、係数ｋを計算するためにカメラの移動の最大の大きさがその間に使用される完全なシーケンスを構成する。
【００８１】
他の係数ｍおよびｓも、同じ方法で計算される。
【００８２】
ベクトルＴ、Ｒ、Ｆは、各アクチュエータの３自由度を制御することを可能にする。例えば、カメラが右に回転を行う場合、右手用のアクチュエータは、前方に動き、左手用のアクチュエータは、後方に動き、ヘッドアクチュエータは、僅かに右に旋回する。
【００８３】
プレーヤ１は、ビデオ信号をスクリーン２に、音声信号をラウドスピーカ３に送信しながら、アクチュエータ制御パラメータを計算し、それらをリアルタイムで送信する。信号のセット（ビデオ、音声、およびハプティック制御パラメータ）は、アクチュエータによって生成される運動が、関連付けられたシーケンスの画像および音声に対応するように、同期を取って送信される。
５．４  映写効果を決定することによるパラメータの計算
本開示の変形実施形態は、シーケンスまたはシーケンスのグループの間にカメラに供給されたコマンドを、このシーケンスの間の映写効果を決定するために分析し、この効果に対応する制御パラメータを様々なハプティックアクチュエータに供給することからなる。
【００８４】
撮影中にカメラに供給されたコマンドを分析することによって検出され得る映写効果のリストの例をここに示す。
【００８５】
●「アーク（ａｒｃ）ショット」
この効果は、登場人物の周りを回って、シーン内のこれらの登場人物を強調することにある。ハプティックメタファは、観客が集中していく印象を与えるために、２つのハンドアクチュエータのノブを互いの方に動かすことからなる。
【００８６】
●「クレーン（ｃｒａｎｅ）ショット」
この効果は、（遠ざかりながら移動撮影するクレーンショットのために）カメラを後方に動かしながら、それをシーンの上方に持ち上げることにあり、この効果は、映画の最後にしばしば使用されて、後方に動きながら、撮影される対象の上方に舞い上がる感覚を与える。ハプティックメタファは、観客が舞い上がることを可能にする翼の運動をまねるために、小さい傾き運動をアクチュエータに供給することからなる。
【００８７】
●「ダッチ（Ｄｕｔｃｈ）アングル（僅かに左に傾けられた画像）」
この効果は、カメラを僅かに左に傾けてシーンを撮影して、登場人物を普通とは異なる方法で見、彼を動揺しているように見せることにある。ハプティックメタファは、観客を不安定にし、彼に落ち着かない感情を与えるために、ハンドアクチュエータのノブを左右に交互に揺らすことからなる。
【００８８】
●「トラベリング（ｔｒａｖｅｌｌｉｎｇ）ショット」
この効果は、景観を示すために、または動く登場人物を追うために、横方向変位を実行することにある。ハプティックメタファは、蟹の歩みをまねること、すなわち、右手を素早く遠ざかるように動かし、次に、右手をゆっくりと元の位置に戻しながら、左手を素早く遠ざかるように動かし、次に、左手をゆっくりと元に戻しながら、右手を素早く遠ざかるように動かし、以降も同様に続けることからなる。
【００８９】
●「チルト（ｔｉｌｔ）ショット」
この効果は、登場人物を上方または下方から撮影することにある。チルトダウン（ｔｉｌｔ−ｄｏｗｎ）ショットは、矮小化効果を引き起こす。それは、とりわけ、登場人物の視点を表現するために、または主題をショット内の細部に戻すために使用され得る。チルトアップ（ｔｉｌｔ−ｕｐ）ショットは、ショット内の主題の重要性を増大させ、観客に矮小な印象を与えるために使用され得る。主題によっては、チルトアップショットは、「自然な」視点と関連付けられ得、エッフェル塔がチルトアップショットを使用して撮影される場合、人間スケールの視点が採用されている。ハプティックメタファは、３つのアクチュエータを下方に動かすことにあり、両手および頭は前方に傾く。
【００９０】
●「めまい（ｖｅｒｔｉｇｏ）ショット」
この効果は、いわゆる、アルフレッド  ヒッチコックによる映画「めまい」において使用されたようなものである。この効果は、観客にめまいの印象を与えることにある。カメラは、ズームアウトしながら前方に動き、画像の中心において撮影される対象は、それを取り囲むものとは対照的にほとんど見かけを変化させない。ハプティックメタファは、ノブを離れるように動かして、シーンが広がっていく奇妙な印象を観客に与えることからなる。
【００９１】
●「ズーム」
この効果は、標準的なズームインショットである。ハプティックメタファは、２つのハンドアクチュエータのノブを交互に前方に動かすことによって歩行をまねることにある。
【００９２】
ビデオコンテンツの各シーケンスについて、プレーヤは、最大で１つの映写効果を検出する。いくつかの連続するシーケンスにおいて同じ効果が存在する場合、これらのシーケンスは、１つのセット内に一緒にまとめられ、プレーヤは、シーケンスのこのセットの再生中、この映写効果と関連付けられたハプティックメタファに対応するアクチュエータ制御パラメータを送信する。
【００９３】
改良によると、シーケンス中に映写効果が検出されない場合、プログラムは、第１の変形において説明された式を利用し、このシーケンスの撮影中にカメラに供給されたコマンドを直接的に使用することによって、このシーケンスと関連付けられたハプティックアクチュエータ制御パラメータを計算する。
【００９４】
改良によると、プレーヤ１は、観客に対する映写効果の大きさを検出し、ハプティックメタファを生成するパラメータの値を、大きさと、運動が循環的である場合は、観客に供給される運動の頻度とによって加重する。
【００９５】
映写効果の大きさは、撮影中にカメラを調整するために供給された制御値から推論され得る。例えば、
Ｃ（ｔ）＝［０，０，０，φ（ｔ），０，０，０］
に対応するチルトアップ効果（Ｘ軸の周りの回転φ）を例に取る。
【００９６】
チルトアップ角は、映写効果の大きさを決定し、この大きさは、ハプティックレンダリングコマンドのための係数になる。
【００９７】
【数１５】
2016513991.tif 000017
【００９８】
である場合、効果Ｃ１は、効果Ｃ２よりも大きい。
【００９９】
この情報は、その後、映写効果のパワーを変調するために使用され得る。
【０１００】
別の例によると、チルトアップのハプティックレンダリング、すなわち、ベクトル
【０１０１】
【数１６】
2016513991.tif 000018
【０１０２】
を決定するために、以下のコマンドが関連付けられる。
【０１０３】
（回転角がＹ軸に沿ってアクチュエータＡを動かす）
この場合、Ｃ１についてのハプティック効果は、Ｃ２についてのものよりも自動的に大きくなる。
【０１０４】
先に説明された２つの変形に供給される改良によると、コンテンツプロバイダは、アクチュエータ制御パラメータをあらかじめ計算し、それらをビデオコンテンツのシーケンスと関連付ける。このようにして、計算は、一度だけ実行され、コンテンツを再生することを担当するプレーヤ１は、この処理を実施する必要がない。この改良は、コンテンツプロバイダが、再生中に使用されるアクチュエータの特性、および観客に対するそれらの位置を知っている場合に使用され得る。強化されたコンテンツのアイテムの再生に専用される部屋が、異なるアクチュエータモデルを有する場合、ビデオ記録は、アクチュエータ制御パラメータの異なるセットを含むことができ、プレーヤは、再生中、それのために意図されたそれを取り出す。
【０１０５】
本開示は、特定の図示された実施形態を参照して説明されたが、本開示は、これらの実施形態に決して限定されず、添付の特許請求の範囲によってのみ限定される。先に説明された実施形態に対する変更または修正が、本開示のフレームワークから離れることなく、当業者によって行われ得ることに留意されたい。
【０１０６】
先に説明された実施形態は、例えば、方法またはプロセス、装置、ソフトウェアプログラム、データストリームまたは信号で実施される。説明された補間方法を実施するデバイスまたは装置は、例えば、プログラム可能または不能なハードウェアコンポーネントの形態を取り、（ＧＰＵタイプが有利であるが、変形に従ってＣＰＵまたはＡＲＭタイプでもある）１または複数のプロセッサーの形態を取る。説明された方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能ソフトウェアデバイスを含む、一般に処理デバイスのことを指す、少なくとも１つのプロセッサーを備える装置で実施される。プロセッサーは、例えば、コンピュータ、モバイルもしくはセルラ電話、スマートフォン、ポータブル／パーソナルディジタルアシスタント（ＰＤＡ）、ディジタルタブレット、またはユーザ間での情報の伝達を可能にする他の任意のデバイスなどの、通信デバイスも含む。
【０１０７】
先に説明された様々なプロセスおよび様々な特性の実施形態は、様々な機器またはアプリケーションで、特に、データの符号化、データの復号、表示または画像の生成、テクスチャ処理、ならびに画像またはテクスチャを表す情報および／もしくは深度を表す情報の他の任意の処理と関連付けられた個々の機器またはアプリケーションで実施され得る。そのような個々の機器の例は、符号化器、復号器、復号器の出力を処理するポストプロセッサ、符号化器に入力を供給するプリプロセッサ、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、モバイル電話、ＰＤＡ、ディジタルタブレット、および他の任意の通信デバイスである。個々の機器は、移動体であること、または移動車両に搭載することができる。
【０１０８】
さらに、説明された方法は、１または複数のプロセッサーによって実行される命令の形態で実施され得、そのような命令は、例えば、集積回路、またハードディスク、光ディスク（ＣＤまたはＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）、不揮発性メモリ（ＲＯＭ）などの任意の記憶デバイスなどの、プロセッサーまたはコンピュータによって読まれ得る媒体上に記憶され得る。命令は、例えば、プロセッサー可読媒体内に記憶されるアプリケーションプログラムを形成する。命令は、例えば、ハードウェア、ファームウェア、またはソフトウェアの形態を取る。
【図１】
2016513991.tif 000019
【図２】
2016513991.tif 000020
【図３．ａ】
2016513991.tif 000021
【図３．ｂ】
2016513991.tif 000022
【図４．ａ】
2016513991.tif 000023
【図４．ｂ】
2016513991.tif 000024
【図４．ｃ】
2016513991.tif 000025
【図５】
2016513991.tif 000026
【図６】
2016513991.tif 000027
【図７】
2016513991.tif 000028
【図８】
2016513991.tif 000029
【国際調査報告】
2016513991.tif 000030
2016513991.tif 000031
2016513991.tif 000032