(57)【要約】      （修正有）【課題】素材を触っているときに生成された音を、素材の表現がタブレット／スマートフォンスクリーン上で触られている時に記録及びリプレイすることのできる方法を提供する。【解決手段】音を取得するための方法及びデバイスであって、第１の表面１０上を移動する第１の物体１３の速度を表す情報が取得される。取得した速度情報は、音を取得するための１つ又は複数の参照音で用いられる。１つ又は複数の参照音は、第２の表面上を移動する第２の物体の変位の決定された速度に関連付けられており、第１の表面は第２の表面とは異なる。【選択図】図１
2017076377.tif 000002
【特許請求の範囲】
【請求項１】
音を生成する方法であって、前記方法は、第１の表面（１０）上を移動する第１の物体（１３）の第１の速度を表す情報を取得するステップ（８１）を含み、前記方法は、少なくとも２つの参照音を表す情報及び前記第１の速度を表す前記情報に従って、前記音を生成するステップ（８２）をさらに含み、第２の表面（２０）上を移動する第２の物体の変位の異なる第２の速度は、前記少なくとも２つの参照音の各参照音に関連付けられ、前記第１の表面（１０）は、前記第２の表面（２０）と異なる、前記方法。
【請求項２】
前記第１の速度は、少なくとも２つの前記第２の速度に関連付けられた第２の値の間に含まれる第１の値を有する、請求項１に記載の方法。
【請求項３】
前記生成するステップは、前記少なくとも２つの参照音の周波数情報及びエネルギー情報を使用する、請求項１又は２に記載の方法。
【請求項４】
前記生成するステップは、周波数及びエネルギーにおいて前記少なくとも２つの参照音を補間するステップを含む、請求項１〜３のいずれかに記載の方法。
【請求項５】
前記音に関連付けられた周波数情報は、自己−回帰的モデルによって生成された前記少なくとも２つの参照音の各々の少なくとも１つのモデル化されたサンプルに関連付けられた周波数情報から生成される、請求項１〜４のいずれかに記載の方法。
【請求項６】
前記少なくとも２つの参照音は、前記自己−回帰的モデルを用いてモデル化される、請求項５に記載の方法。
【請求項７】
前記音のサンプルに関連付けられた周波数情報は、前記サンプルに対応する前記第２の速度を表す前記情報の値による前記モデル化されたサンプルの線形結合によって生成され、前記音の前記サンプルに関連付けられたエネルギー情報は、前記少なくとも２つの参照音に関連付けられたエネルギー値の線形結合によって生成される、請求項５又は６に記載の方法。
【請求項８】
音を生成する装置であって、前記装置は、第１の表面（１０）上を移動する第１の物体（１３）の第１の速度を表す情報を取得するように構成された少なくとも１つのプロセッサ（７１）を含み、前記少なくとも１つのプロセッサ（７１）は、少なくとも２つの参照音を表す情報及び前記第１の速度を表す前記情報に従って、前記音を生成するようにさらに構成され、第２の表面（２０）上を移動する第２の物体の変位の異なる第２の速度は、前記少なくとも２つの参照音の各参照音に関連付けられ、前記第１の表面（１０）は、前記第２の表面（２０）と異なる、前記装置。
【請求項９】
前記第１の速度は、少なくとも２つの前記第２の速度に関連付けられた第２の値の間に含まれる第１の値を有する、請求項８に記載の装置。
【請求項１０】
前記少なくとも１つのプロセッサは、前記少なくとも２つの参照音の周波数情報及びエネルギー情報を使用して前記音を生成するように構成される、請求項８又は９に記載の装置。
【請求項１１】
前記少なくとも１つのプロセッサは、周波数及びエネルギーにおいて前記少なくとも２つの参照音を補間するようにさらに構成される、請求項８〜１０のいずれかに記載の装置。
【請求項１２】
前記少なくとも１つのプロセッサは、前記音に関連付けられた周波数情報を取得するために、自己−回帰的モデルによって生成された前記少なくとも２つの参照音の各々の少なくとも１つのモデル化されたサンプルを使用するように構成される、請求項８〜１１のいずれかに記載の装置。
【請求項１３】
前記少なくとも２つの参照音は、前記自己−回帰的モデルを用いてモデル化される、請求項１２に記載の装置。
【請求項１４】
前記少なくとも１つのプロセッサは、前記サンプルに対応する前記第２の速度を表す前記情報の値による少なくとも１つの前記モデル化されたサンプルの線形結合によって前記音のサンプルに関連付けられた周波数情報を生成し、前記少なくとも２つの参照音に関連付けられたエネルギー値の線形結合によって前記音の前記サンプルに関連付けられたエネルギー情報を生成するように構成される、請求項１２又は１３に記載の装置。
【請求項１５】
プログラムがコンピュータによって実行されるとき、請求項１〜７のいずれかに記載の方法のステップを実行するための前記プログラムのコード命令を備えたコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ハプティクスの分野に関する。本開示はまた、素材を触る／擦るときに生じることになる音の生成のコンテキストにおいて理解される。
【背景技術】
【０００２】
消費者のタブレット及びスマートフォンの乗り換えに伴い、今、ビデオ及びピクチャなどのコンテンツ項目と対話する際にタッチ感を利用することが可能である。例えば、今、画像においてレンダリングされた素材の質感又は起伏を誰かが「感じる」ことができることが可能である。この「感じる」は、彼／彼女がエンドユーザデバイスに組み込まれたアクチュエータによって又はPeter Sergeant、Frederic Giraud及びBetty Lemaire-Semailによる２０１０年の“Geometrical optimization of an ultrasonic tactile plate for surface texture rendering”に開示されているような専用「スマートサーフェス」を用いたでこぼこの変化によって発生するバイブレーションなどの触覚効果を利用して画像を触っている際に生じ得る。
【０００３】
ユーザがマウスなどのデバイスを介して対話するとき、擬似−触覚技術はユーザが画像においてレンダリングされた素材の質感又は起伏を感じることを間接的に可能にすることができる。これは、２００９年のAnatole Lecuyerによる“Simulating haptic feedback using vision: A survey of research and applications of pseudo-haptic feedback”において説明されているような扱うデバイスの動き及び表示画像上のカーソルの位置との間の不一致を導入する。
【０００４】
感覚の質を高めるために、ユーザがスクリーンを触るか又はマウスをコントロールするとき、音はスクリーンを触りながら又はマウスをコントロールしながら生成することができる。音は、素材自体を触っている又は擦っているときに生成されることになる音に対応することができる。目的を達成するために、素材を触っているときに生成された音を、素材の表現がタブレット／スマートフォンスクリーン上で触られている時に記録及びリプレイすることができる。そのような方法は、いくつかの制限を導入する。例えば、再生される音は、制限された継続時間を有する場合がある。長い対話中にこの短い継続時間の音をループすることは、アーチファクト（縫い目（stitching）の問題）を導入する場合がある。
【発明の概要】
【０００５】
本明細書における「一実施形態」、「ある実施形態」、「例示的な実施形態」に対する参照は、記載された実施形態が特定の特徴、構造又は特性を含むことができるが、全ての実施形態が当該特定の特徴、構造又は特性を必ずしも含む必要があるわけではないということを示す。さらに、そのようなフレーズは、同じ実施形態を必ずしも言及しているわけではない。さらに、特定の特徴、構造又は特性は、ある実施形態に関連して説明され、明確に記載されていようとなかろうと他の実施形態に関連してそのような特徴、構造又は特性に影響を与える当業者の知識の範囲内であると考えられる。
【０００６】
本開示は、音を取得する方法に関し、本方法は、第１の表面上を移動する第１の物体の速度を表す情報を取得するステップを含む。本方法は、少なくとも１つの参照音を表す情報及び上記速度を表す情報に従って上記音を取得するステップをさらに含み、上記少なくとも１つの参照音は、第２の表面上を移動する第２の物体の変位の決定された速度に関連付けられ、上記第１の表面は上記第２の表面と異なる。
【０００７】
本開示はまた、音を取得する装置に関し、本装置は、第１の表面上を移動する第１の物体の速度を表す情報を取得するように構成された少なくとも１つのプロセッサを含む。上記少なくとも１つのプロセッサは、少なくとも１つの参照音を表す情報及び上記速度を表す情報に従って上記音を取得するようにさらに構成され、上記少なくとも１つの参照音は、第２の表面上を移動する第２の物体の変位の決定された速度に関連付けられ、上記第１の表面は上記第２の表面と異なる。
【０００８】
特定の特性によると、上記少なくとも１つの参照音の周波数情報及びエネルギー情報は、音を取得するために用いられる。
【０００９】
有利には、上記音は、周波数及びエネルギーにおいて少なくとも２つの参照音を補間する（interpolate）ことによって取得される。
【００１０】
特定の特性によると、上記音に関連付けられた周波数情報は、自己−回帰的モデルによって生成された上記少なくとも１つの参照音の少なくとも１つのモデル化されたサンプルに関連付けられた周波数情報に基づいて取得される。
【００１１】
有利には、上記少なくとも１つの参照音は、上記自己−回帰的モデルを用いてモデル化される。
【００１２】
特定の特性によると、上記音のサンプルに関連付けられた周波数情報は、上記サンプルに対応する上記速度を表す上記情報の値による上記モデル化されたサンプルの線形結合によって取得され、上記音のサンプルに関連付けられたエネルギー情報は、上記少なくとも１つの参照音に関連付けられたエネルギー値の線形結合によって取得される。
【００１３】
本開示はまた、上記取得した音を表すデータを含む少なくともパケットを搬送する信号に関する。
【００１４】
本開示はまた、このプログラムがコンピュータ上で実行されるとき、音を取得する上記方法の上記ステップを実行するプログラムコード命令を含むコンピュータプログラム製品に関する。
【００１５】
本開示はまた、プロセッサに音を取得する少なくとも上述した方法を実行させるための命令を格納した（非一時的）プロセッサ可読媒体に関する。
【図面の簡単な説明】
【００１６】
本原理はより理解されることとなり、他の特定の特徴及び利点は、付属の図面に触れる以下の詳細な説明を読むと明らかになるであろう。
【図１】本原理の特定の実施形態による、素材に関連付けられたテクスチャを表す画像の例を示す図である。
【図２】本原理の特定の実施形態による、素材の例を示す図であり、テクスチャは図１の画像においてレンダリングされる。
【図３】本原理の特定の実施形態による、図２の素材を触る又は擦るときの参照音を取得するプロセスのブロック図を示す。
【図４】本原理の特定の実施形態による、図３のプロセスで取得した参照音を表す信号を示す図である。
【図５】本原理の特定の実施形態による、図１の画像を触る又は擦るときの音を生成するプロセスのブロック図を示す。
【図６】本原理の例に従って、図５のプロセスで生成された音を表すパラメータを搬送する信号を示す図である。
【図７】本原理の例に従って、図１の画像を触る又は擦るときの音を生成するように構成されたデバイスを示す図である。
【図８】本原理の例に従って、図１の画像を触る又は擦るときの音を取得する方法を示す図である。
【発明を実施するための形態】
【００１７】
本主題は、図面を参照してここで説明され、同様の参照番号は全体を通して同様の要素を言及するために用いられる。以下の詳細な説明において、説明の目的で、多数の特定の詳細が本主題の完全な理解を提供するために説明される。しかしながら、主題の実施形態はこれらの特定の詳細なしで実践され得ることは明らかであろう。
【００１８】
本原理は、第１の表面（例えば、タッチスクリーン又はマウスパッド）上を第１の物体（例えば、指又はスタイラス若しくはマウス）が移動するときの音を取得、例えば生成又は合成する方法の特定の例を参照して説明されるであろう。その目的のため、本方法は、第１の表面上を移動する第１の物体の速度を表す情報と、例えば、少なくとも２つの情報音の周波数及びエネルギー情報などの少なくとも２つの参照音を表す情報とを使用する。少なくとも２つの参照音は、例えば、第１の表面とは異なる第２の表面上をある速度（各参照音とは異なる速度）で第２の物体（例えば指又はスタイラス）が移動するときに生成される音に対応する。第２の表面は、例えば、素材の表面に対応し、画像は第１の表面上を第１の物体が動いているときにレンダリングされる。
【００１９】
ユーザ経験は、まるで素材が触られた又は擦られたかのように素材の１つ又は複数の画像のレンダリングを用いて音を生成することによって高めることができる。より現実的な音は第１の表面上を移動する第１の物体の変位の速度を考慮に入れるときに生成されることができ、参照音はより現実的な音を生成することを可能にする。
【００２０】
図１は、本原理の特定及び非限定的な実施形態による、第１の表面１０上、例えばタブレット又はスマートフォンなどのデバイスのタッチ表面上、を移動する第１の物体１３、例えば指、を示す。素材のテクスチャの画像１１は、例えば第１の表面がスクリーンを具現化するときに、第１の表面上で表示されることができる。本明細書において使用されるように、「テクスチャ」は、素材の現実の表面の態様を表す画像であり、第２の表面と呼ばれる。図２は、そのような第２の表面の例を示す。第２の物体で第２の表面を触る又は擦るとき、第２の表面の素材に特有の音が生成される。第２の物体は第１の物体と同じものとすることができるが、第２の物体は第１の物体とは異なるもの（例えば、 第１の物体が指、第２の物体がスタイラス）とすることもできる。有利には、デバイスは、第１の物体１３が第１の表面１０上を移動するときの音をレンダリングするための１つ又は複数のスピーカ１２を備えることができ、レンダリングされる音は、素材の第２の表面を擦るときに生成される音に対応する合成音であり、テクスチャは、図１に例示されるように、第１の表面上で表示されることができる。有利には、本装置は、第１の物体１３が第１の表面１０上を移動するときの音をレンダリングするための１つ又は複数のスピーカ１２を備えることができ、レンダリングされた音は、素材の第２の表面を擦るときに生成されることになる音に対応する合成音であり、テクスチャは、図１に例示されるように、第１の表面上で表示されることができる。
【００２１】
第１の物体は指に限定されないが、例えばマウス又はスタイラスなど、任意の物体に及ぶ。第１の表面はタッチ表面に限定されないが、例えばマウスパッド、テーブル、スクリーンなど、任意の表面に及ぶ。他の例によると、第１の物体は、テーブル又はマウスパッド上を移動するマウスに対応し、素材の表面の画像は、ラップトップの、又はマウスを制御するコンピュータのスクリーン上に表示される。この他の例によると、音はマウスが移動しているときに生成され、マウスのポインタはスクリーン上に表示される素材の表面の画像上を移動する。この他の例によると、音はマウスの移動中に生成され、マウスのポインタはスクリーン上に表示された素材の表面の画像上を移動する。
【００２２】
１つ又は複数のスピーカによってレンダリングされた音は、第２の表面、すなわち表示された素材の現実の表面上を擦ることによって生成されることになる音をシミュレーションする。
【００２３】
図２は、本原理の特定及び非限定的な実施形態による、素材の第２の表面の例を示す。第１の例によると、第２の表面２０は、スポンジの表面に対応する。第２の例によると、第２の表面２１は、紙のシートの表面に対応する。第２の表面２０及び２１の素材は、３Ｄモデルによって表すことができる、例えば平面又は凹凸及び／若しくは穴を有する平面などの３Ｄの形状を有する。第２の表面を擦る又は触るときに生成される音は、素材のタイプに固有であるが、第２の表面上を移動する第２の物体の変位の速度にも固有である。  素材は、スポンジ又は紙のシートに限定されないが、例えば、木、プラスチック、コットン、石、砂、芝生などの任意の素材に拡張される。
【００２４】
図３は、本原理の特定及び非限定的な実施形態による、１つ又は複数の第２の表面を触る又は擦るときの参照音を取得するためのプロセスのブロック図を示す。
【００２５】
第１のステップにおいて、音声信号Ｓi ３００は、例えば、マイクロフォンなどの任意の手段によって獲得される。信号Ｓi ３００は、特定の速度で第２の表面上を移動する第２の物体によって生成される音を表す。変形形態によると、信号Ｓｉ ３００は、時間と共に増加する速度で第２の表面上を移動する第２の物体によって生成される音を表す。獲得の期間は、例えば数ミリ秒、１秒又はそれ以上である。他の変形形態によると、複数の音声信号Ｓi ３００が獲得され、各信号は第２の表面上の第２の物体の動きの異なる速度、例えば低速、中速及び高速で獲得される。信号を取得するために使用される速度の数は、３つに限定されないが、任意の数、例えば２、５、１０、２０又はそれ以上の任意の数に拡張される。
【００２６】
いくつかの音声信号Ｓi ３００は、各第２の表面に関して１つ又は複数の異なる動き速度で、異なる第２の表面、すなわち異なる素材に関して獲得することができる。
【００２７】
変形形態によると、信号Ｓi ３００が獲得されないが、異なる速度での第２の表面上の第２の物体の動きによって生成される音を表す１つ又は複数の信号を備えるデータベースから取得されるときに、第１のステップは選択的である。データベースはまた、異なる第２の表面上、すなわち異なる素材上の第２の物体の動きによって生成される音を表す信号も含む。データベースは、例えばローカルサーバ又はリモートサーバなど、ストレージ部、メモリにおいて格納される。
【００２８】
選択的な第２のステップにおいて、信号Ｓi ３００は、ハイパスフィルタリング部３０によってハイパスフィルタリングされる。信号Ｓi ３００のハイパスフィルタリングは、有用な音声特性を埋め込まない、信号Ｓi ３００のベースラインを除去することができ、音声信号の高周波数スペクトルのみを取得の対象としている。ハイパスフィルタリング部３０の出力は、中心音声信号である。中心音声信号の周波数スペクトル及びエネルギー（又は均等的な強度若しくは振幅）は決定されることができ、動き速度に依存することができる。
【００２９】
第３のステップにおいて、ハイパスフィルタリングユニット３０からの中心音声信号出力は、例えば自己−回帰的モデルユニットなどのスペクトルモデル化ユニット３１に入力される。中心音声信号は、例えば、平均電力計算ユニットなどのエネルギー判定ユニット３２にさらに入力される。スペクトルモデル化ユニット３１及び平均電力計算ユニット３２は、分離されたユニットとすることができるか、又は単一のユニットにおいて組み合わせられることができる。スペクトルモデル化ユニット３１は、音声信号Ｓi ３００のスペクトル特性を時間にわたってモデル化するために用いられる。平均電力計算ユニット３２は、音声信号Ｓi ３００のエネルギー（又は強度）特性をモデル化するために用いられる。スペクトルモデル化ユニット３１の出力は、スペクトルモデル化ユニット３１のモデルに関連付けられた係数Ｆi ３０１の組である。係数Ｆi ３０１の組は、ユニット３１のモデル（例えば自己−回帰的モデル）によって使用されるとき、モデルに入力されるホワイトノイズから信号Ｓi ３００の周波数特性と同様の周波数特性を有する信号を取得することを可能にする。そのようなモデルは、例えば、このフィルタによってフィルタリングされるホワイトノイズが信号Ｓi ３００のうちの１つと同様のスペクトル特性を有することになるように係数が最適化された全極無限インパルス応答フィルタ（ＩＩＲ）によって表される。任意の数の係数Ｆi ３０１は、スペクトルモデル化ユニット３１（例えば、６４、１２８、２５６、又はそれ以上の係数）から出力されることができる。音声信号をモデル化する自己−回帰的モデルの使用は、例えば、Shlomo Dubnovによる「YASAS - YET ANOTHER SOUND ANALYSIS-SYNTHESIS METHOD」によって説明される。自己回帰係数を決定することは、ユール−ウォーカー方程式、レビンソン−ダービン再帰アルゴリズム、又はF.S. Schlindwein and D.H. Evansによる「AUTOREGRESSIVE SPECTRAL ANALYSIS AS AN ALTERNATIVE TO FAST FOURIER TRANSFORM ANALYSIS OF DOPPLER ULTRASOUND SIGNALS」の７４〜８４ページに説明されるような任意の他の周知のプロセスを実装することによって実行することができる。スペクトルモデル化ユニット３１において実装されるモデルは、自己−回帰的モデルに限定されないが、例えば、ウェーブレット変換を用いるモデル又は「YASAS - YET ANOTHER SOUND ANALYSIS-SYNTHESIS METHOD」によって説明されるような、最小分散無歪応答（ＭＶＤＲ：minimum variance distortionless response）を用いるモデルなどの他のタイプのモデルに拡張される。
【００３０】
エネルギー判定ユニット３２の出力は、信号Ｓi ３００のエネルギー（又は振幅）を表す１つ又は複数のパラメータＡi ３０２の組である。例えば信号Ｓi ３００の各サンプルに関する１つのエネルギーパラメータ又は例えば信号Ｓi ３００のサンプルの振幅の平均に対応する信号に関する１つのエネルギーパラメータがある。信号Ｓi ３００を獲得する間に第２の表面上の第２の物体の速度が時間にわたって増加する場合、エネルギーパラメータは、各速度値又は異なる速度を表す速度値の組に関して決定されることができる。信号Ｓi ３００を獲得する間に第２の表面上の第２の物体の速度が時間にわたって一定である場合、エネルギーパラメータは、例えば信号の振幅の平均値に対応する信号に関して決定されることができる。
【００３１】
プロセスの終わりで、Ｎ個の三重項（ｖi, Ｆi, Ａi）は、（決定された素材の）決定された第２の表面に関して取得され、Ｎはユニット３１及び３２でモデル化された速度「ｖ」の数に対応し、Ｎは２以上であり、ｉは１とＮの間からなる。同じプロセスを、複数の第２の表面、すなわち複数の異なる素材に関して実行することができる。
【００３２】
参照音のライブラリは、そのようなプロセスで取得されることができ、すなわち複数の参照音が複数の第２の表面のうちの各第２の表面に関連付けられ、決定された速度は各参照音に関連付けられる。参照音は、参照音のスペクトル特性を記述する係数「Ｆ」の組、及び参照音の振幅／エネルギーを記述する１つ又は複数のエネルギーパラメータ「Ａ」の組で各々記述される。
【００３３】
参照音の記述を備えるライブラリは、それとは別で、すなわち図３のプロセスを実装せずに取得することができる。参照音の記述は、通信ネットワーク、例えばインターネットを介してリモートサーバ上に格納されたライブラリから取得することができる。
【００３４】
図４は、信号の周波数スペクトルの図表４１、４２及び４３を示し、本原理の特定及び非限定的な実施形態による、同じ第２の表面に関する参照音をそれぞれ表す。
【００３５】
図表４１は、ハイパスフィルタリング部３０から生じた参照音の周波数スペクトル（暗いグレー部分）及び、第２の表面とハイパスフィルタリング部３０において入力された音声信号Ｓを獲得した時に用いられる速度値（例えば低速での）とに関連付けられたモデル係数を用いてユニット３１のモデル、例えば自己−回帰的モデルを用いてモデル化された周波数スペクトル（明るいグレー部分）を示す。図表４１から明らかなように、フィルタリングされた信号Ｓの周波数スペクトルは、自己−回帰的モデルで取得された周波数スペクトルと非常に近接しており、これはモデル化された信号が「現実の」信号と近いことを意味する。
【００３６】
図表４２はまた、フィルタリングされた「現実の」周波数スペクトルと図表４１と同じ第２の表面に関する参照音を表す信号のモデル化された周波数スペクトルとの間の比較を示すが、図表４１の速度とは異なる速度、例えば中速に関する。
【００３７】
図表４３は、フィルタリングされた「現実の」周波数スペクトルと図表４１及び４２と同じ第２の表面に関する参照音を表す信号のモデル化された周波数スペクトルとの間の比較を示すが、図表４１及び４２の速度とは異なる速度、例えば高速に関する。
【００３８】
図表４１、４２、４３から示されるように、モデル化された周波数スペクトルは、第２の表面上の第２の物体の動きの速度値がいかなるものであっても、「現実の周波数スペクトル」と非常に近い。
【００３９】
図５は、本原理の特定及び非限定的な実施形態による、第１の物体で第１の表面を触る又は擦るときの音を生成するプロセスのブロック図を図略的に示す。図５のプロセスは、決定された速度ｖ[ｎ]を参照して説明され、本プロセスは速度情報ｖ[ｎ]から及び例えばライブラリから取り出された三重項（ｖi, Ｆi, Ａi）からｎ番目の音声サンプルｕ[ｎ]を取得することを目的とする。
【００４０】
第１のステップにおいて、複数の三重項（ｖi, Ｆi, Ａi）がライブラリ又はデータベースから取り出される。第１の例によると、インデックスａ及びｂを有する２つの三重項（ｖa, Ｆa, Ａa）及び（ｖb, Ｆb, Ａb）は、
【００４１】
【数１】
2017076377.tif 000003
【００４２】
となるようにライブラリから取り出され、ｖa及びｖbは、ｖ[ｎ]の値を取り囲むライブラリにおいて最も近いｖの値である。ｖa、Ｆa、Ａaがライブラリにおいて互いに関連付けられ、ｖb、Ｆb、Ａbもライブラリにおいて互いに関連付けられるとき、ｖa及びｖbが関連付けられたＦa、Ａa及びＦb、Ａbを取り出すことも可能にすることを決定する。
【００４３】
ライブラリから取り出された三重項の数は、２に限定ず、２以上の任意の数に拡張される。例えば、インデックスａ、ｂ及びｃを有する３つの三重項は、
【００４４】
【数２】
2017076377.tif 000004
【００４５】
となるように取り出され、又はインデックスａ、ｂ、ｃ及びｄを有する４つの三重項は、
【００４６】
【数３】
2017076377.tif 000005
【００４７】
となるように取り出されることができる。
【００４８】
第２のステップにおいて、自己−回帰的モデルなどのモデル５０でモデル化された２つのサンプルｙa[ｎ]及びｙb[ｎ]のスペクトル特定は、第１のステップにおいて決定された係数Ｆa及びＦbを用いて計算される。モデル化されたサンプルｙa[ｎ]は、以前にモデル化されたサンプルｙa[ｎ−２]、ｙa[ｎ−１]、及びホワイトノイズのホワイトノイズサンプルｗa[ｎ−１]、ｗa[ｎ]を係数Ｆaの組を用いて自己−回帰的モデルに入力することにより取得される。同じように、モデル化されたサンプルｙb[ｎ]は、以前にモデル化されたサンプルｙb[ｎ−２]、ｙb[ｎ−１]、及びホワイトノイズのホワイトノイズサンプルｗb[ｎ−１]、ｗb[ｎ]を係数Ｆbの組を用いて自己−回帰的モデルに入力することにより取得される。
【００４９】
変形形態によると、Ｎ個のサンプルｙ1[ｎ]、ｙ2[ｎ]、ｙa[ｎ]、ｙb[ｎ]、ｙN[ｎ]のスペクトル特性は、係数Ｆ1、Ｆ2、Ｆa、Ｆb、ＦNの関連付けられた組を用いて計算され、Ｎは所与の第２の表面に関してライブラリにおいて利用可能な三重項（ｖi, Ｆi, Ａi）の数に対応する。速度ｖa及びｖbに関連付けられたモデル化されたサンプルが選択され、ｖa及びｖbは
【００５０】
【数４】
2017076377.tif 000006
【００５１】
である。
【００５２】
第３のステップにおいて、速度ｖ[ｎ]で時点ｔでの第１の表面を擦るときに生成する音信号のサンプルのスペクトル情報ｕ0[ｎ]が以前に計算／選択されたモデル化されたサンプルｙa[ｎ]、ｙb[ｎ]を用いて決定される。ｕ0[ｎ]は、例えばｙa[ｎ]及びｙb[ｎ]を組み込むことにより、例えばｙa[ｎ]及びｙb[ｎ]の線形結合５１により、ｙa[ｎ]及びｙb[ｎ]の値に関連付けられた速度を考慮に入れることにより、例えば以下の等式
【００５３】
【数５】
2017076377.tif 000007
【００５４】
を適用することによる。
【００５５】
第３のステップと並行して実行されることができる第４のステップにおいて、スケーリングファクタβ[ｎ]が計算される。スケーリングファクタは、速度ｖ[ｎ]で時点ｔでの第１の表面を擦るときに生成する音信号のサンプルのエネルギー情報に対応する。β[ｎ]は、第１のステップにおいてライブラリから取り出されたエネルギー情報を補間することによって、例えばＡa及びＡbの線形結合５３によって、Ａa及びＡbの値に関連付けられた速度を考慮に入れることによって、例えば以下の等式：
【００５６】
【数６】
2017076377.tif 000008
【００５７】
を適用することによって、取得される。
【００５８】
第２の表面とは異なる第１の表面を触っている／擦っている間に第２の表面を触る／擦るときに生成することになる音をシミュレーションするために時間ｔで生成する音の最後のサンプルｕ[ｎ]は周波数情報ｕ0[ｎ]をエネルギー情報β[ｎ]でスケーリングする（５３）ことにより取得される。時間ｔで合成する音を表す最後のサンプルは、例えば以下の等式：
【００５９】
【数７】
2017076377.tif 000009
【００６０】
を用いて取得される。
【００６１】
最後のサンプルは、例えばユニット５１、５２及び５３がある単一の合成ユニットを形成することを意味する以下の等式：
【００６２】
【数８】
2017076377.tif 000010
【００６３】
を適用することにより、１つの計算パスにおいて取得されることができる。
【００６４】
変形形態によると、サンプルｕ[ｎ]は、１つの参照音のみによって取得される。すなわち、参照音は、例えばｖaなどｖ[ｎ]に最も近い速度値として、例えばｖa又はｖbなど関連付けられた速度を有する。この変形形態によると、この場合、ｖaはｖ[ｎ]に最も近い速度値である速度であり、ｕ[ｎ]はｖb＝０及びｙ[ｎ]＝０での等式４の結果の絶対値に対応する。
【００６５】
図５による例示的な実施形態は、１つ又は複数のプロセッサ、ハードウェア、又はハードウェア及びソフトウェアの組み合わせによって実装されるコンピュータソフトウェアによって実行されることができる。ユニット５０乃至５３は、ソフトウェア及び／又はハードウェアユニットとすることができる。非限定的な例として、図５による例示的な実施形態は、１つ又は複数の集積回路によって実装されることができる。技術環境に適合する任意のタイプの１つ又は複数のメモリは、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ及び取り外し可能メモリなど、任意の適切なデータストレージ技術を用いて実装することができる。１つ又は複数のプロセッサは、技術環境に適合する任意のタイプのものとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ及びマルチ−コアアーキテクチャに基づくプロセッサのうちの１つ又は複数を包含することができる。そのような技術環境の非限定的な例は、図７に関してより詳細に説明されるであろう。
【００６６】
図６は、第１の物体で第１の表面を擦る／触るとき、例えばデータがパケットベースの伝送プロトコルで伝送されるときに生成する音に対応するデータストリームを表す信号のシンタックスのある実施形態の例を示す。各伝送されたパケット６は、ヘッダＨ６０及びペイロード６１を含む。１つ又は複数のサンプルｕ[ｎ]の周波数情報及びエネルギー情報は、有利にはペイロード６１に含まれる。
【００６７】
図７は、図３、図５及び／又は図８に関連して説明された方法を実装するように構成されることができる装置７の例示的なアーキテクチャを示す。
【００６８】
デバイス７は、例えば、セットトップボックス、パーソナルコンピュータ（ＰＣ）、ラップトップ、タブレット、スマートフォン、ゲームコンソール又はマルチメディア端末に対応する。
【００６９】
デバイス７は、クロック信号も伝送する、アドレス及びデータのバス７０によって互いに接続される、以下の要素を備える：
−  １つ又は複数のプロセッサ７１（例えば、ＣＰＵ（「中央処理ユニット」）、ＤＳＰ（「デジタル信号プロセッサ」）及び／又はＧＰＵ）と；
−  メモリ７３、例えば、
・参照速度情報、すなわち、例えばリモートデータベースから取り出される周波数情報及びエネルギー情報に関連付けられた参照音を表す情報、
・第１の表面上への第１の物体の動きの速度値、
・第１の物体で第１の表面を擦る／触るときに生成する音の１つ又は複数のサンプルの周波数情報及びエネルギー情報、
・プロセッサ７１により実行されるプログラムであって、デバイス７のスイッチオン後にアップロードされるプログラム、入力データ、本原理による方法の実行のために用いられる、方法、及び他の変形の異なる状態における中間データ、
を格納するための揮発性メモリデバイス又は不揮発性メモリデバイスと；
−  例えばキーボード、マウス、タッチサーフェスなどの、１つ又はいくつかのＩ／Ｏ（入力／出力）デバイス７４と；
−  通信インターフェース７２、例えば、参照音（例えば三重項（ｖi, Ｆi, Ａi））を表す情報を受信し、及び／又は例えば１つ又は複数のスピーカに生成する音のサンプルを含む信号（例えば、ビットストリームの形式で）を送信する、ように構成された有線インターフェース（例えばバスインターフェース（例えば、ＵＳＢ（すなわちユニバーサルシリアルバス））、ワイドエリアネットワークインターフェース、ＨＤＭＩ（高解像度マルチメディアインターフェース）インターフェース）、又は無線インターフェース（IEEE 802.11インターフェース、ＷｉＦｉ（登録商標）又はブルートゥース（登録商標）インターフェースなど）；
−  第１の表面の１つ又は複数の画像を表示するように構成されたディスプレイデバイス７５。
【００７０】
変形形態によると、装置７は、限定されないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／又は光学ディスクデバイスを含む、不揮発性メモリを含むことができるストレージデバイスを追加的に含むことができる。ストレージデバイスは、非限定的な例として、内部ストレージデバイス、外部ストレージデバイス、及び／又はネットワークアクセス可能ストレージデバイスを含むことができる。
【００７１】
装置７はまた、生成する音を表す信号（ビットストリーム）の生成及びコーディングのために構成される。コーディング又はエンコーダの例によると、ビットストリームは宛先に送信される。例として、ビットストリームは、ローカル又はリモートメモリ、例えばビデオメモリ若しくはＲＡＭ、ハードディスクに記憶される。変形形態において、ビットストリームは、ストレージインターフェース、例えば、マスストレージを有するインターフェース、フラッシュメモリ、ＲＯＭ、光学ディスク若しくは磁気支持物に送信され、及び／又は通信インターフェース、例えば、ポイントツーポイントリンクへのインターフェース、通信バス、ポイントツーマルチポイントリンク又は放送ネットワークを介して送信される。
【００７２】
他の変形形態によると、ディスプレイ７５は装置の外部であり、有線（例えばＵＳＢ，ＨＤＭＩ）又は無線通信（例えばIEEE 802.11インターフェース、ＷｉＦｉ（登録商標）又はブルートゥース（登録商標））を介して装置にリンク付けされる。
【００７３】
図８は、本原理の非限定的な実施形態による、装置７において実装される音を取得するための方法を例示する。
【００７４】
初期化ステップ８０中、装置７の異なるパラメータが更新される。特に、合成するための音を表す情報、すなわち周波数及びエネルギー特性が任意の方法で初期化される。
【００７５】
ステップ８１中、第１の表面上を移動する第１の物体の速度が任意の方法によって取得される。例えば、第１の表面がタッチ表面である場合、第１の表面にわたる第１の物体の変位が測定され、速度がタッチ表面を制御するコントローラ及び／又はプロセッサによって計算される。第１の物体がマウスパッド又はテーブルにわたって移動するマウスである場合、変位の速度は、マウスを制御するコントローラ及び／又はプロセッサによって測定される。第１の物体がディスプレイスクリーン又はテーブルにわたって移動する指又はスライラスである場合、変位の速度は、例えば、第１の表面にわたって移動する第１の物体又はスタイラスのビデオを処理及び解析することによって決定することができ、個の処理はリアルタイムビデオトラッキングとして周知である。他の例によると、変位の速度は、例えば第１の物体上に配置されたマーカ（例えば光学マーカ）及びマーカの速度を取得するためにマーカの変位を測定及び検出する、第１の表面の環境において配列された検出器（例えば赤外光を用いた赤外線検出器）を備えたトラッキングシステムを用いて取得することができる。取得された速度情報は、例えば、ｍ．ｓ-1で表現され、時間に関連付けられた値に対応する。いくつかの値は、時間間隔で取得することができ、例えば。速度値は１ｍｓ、１０ｍｓ、１００ｍｓ、１秒又は１０秒の時間間隔で決定することができる。
【００７６】
ステップ８２中、音が２つ以上の参照音及びステップ８１中に取得された速度情報に基づいて取得される。取得された音は、決定された素材を擦る又は触る時に生成されることになる音に対応し、第１の物体が第１の表面にわたって移動する一方で、決定された素材の画像は選択的にレンダリング／表示される。現実の素材を擦ることに対応する音を取得する（例えば生成する）ことは、第２の表面と呼ばれる、決定された現実の素材の表面を第１の物体が移動するという感覚を増大する一方で、第１の表面は第２の表面とは異なる。取得される音を取得する（すなわち、生成又は合成）ために用いられる参照音は、異なる速度で第２の表面を触る又は擦るときに生成する音に対応する。各参照音は、例えばパラメータの組、例えば決定された速度値及び対応する周波数並びにこの決定された速度値に関する音のエネルギー特性で記述される。周波数特性は、例えば、自己−回帰的モデルなどのフィルタに適用されるとき、ホワイトノイズから参照音の周波数情報を取得することを可能にする係数の組で記述される。そのようなフィルタでは、参照音の持続時間はホワイトノイズの持続時間に制限されるだけである。参照音のエネルギー特性は、例えば、参照音の１つの振幅値又は参照音の振幅が時間に渡って変化するときに時間に依存する振幅値の組で記述される。各参照音を記述するパラメータの組は、例えば、図３に関して説明されるものなどの事前プロセスで取得される。変形形態によると、各参照音を記述するパラメータの組は、ストレージデバイス上でローカル又はリモートに格納されたライブラリから取得される。参照音は、第２の表面（すなわち、素材）に関連付けることができ、シミュレーションされる。各参照音は、第２の表面の表面に渡って第２の物体の変位の異なるシードに関して獲得される決定された素材に関連付けることができる。
【００７７】
取得された音は、第１の速度と呼ばれる、第１の表面に渡る第１の物体の変位の速度に近い、第２の速度と呼ばれる、関連付けられた速度値を有する参照音に基づく。例えば、音を取得するために用いられる参照音は、第１の速度を取り囲む関連付けられた第２の速度値を有する参照音である。すなわち、第２の速度は、第１の速度値よりも小さい最も近い値を有し、第２の速度は、第１の速度より大きい最も近い値を有する。変形形態によると、３つ以上の参照音が音を取得するために用いられ、例えば、３つ以上の参照音は、第１の速度値よりも小さい関連付けられた第２の速度値を有し、１以上の参照音は、第１の速度値よりも大きい関連付けられた第２の速度値を有する。他の例によると、第１の速度値よりも小さい関連付けられた第２の速度値を有する１以上の参照音が用いられ、１以上の参照音は第１の速度値よりも大きい関連付けられた第２の速度値を有する。
【００７８】
第１の表面にわたる第１の物体の変位に関連付けられた音は、例えば、参照音を補間することによって、すなわち、音の周波数情報を取得するために参照音に関連付けられた周波数情報を補間する（周波数において補間）ことによって、及び音のエネルギー情報を取得するために参照音に関連付けられたエネルギー情報を補間する（エネルギー情報において補間）ことによって、取得される。
【００７９】
変形形態によると、１つのみの参照音が音を取得するために用いられる。例えば、第１の速度値に最も近い関連付けられた第２の速度値を有する参照音は、音を生成するために用いられ、生成する音はこの選択された参照音である。この変形形態によると、取得する音の周波数情報は、参照音の周波数情報と同じであり、取得する音のエネルギー情報は、参照音のエネルギー情報と同じである。
【００８０】
音は、例えば、時間にわたってサンプル毎に取得される。所与のサンプルに関して、第１の速度値が取得され、参照音の対応するサンプルは、その（それらの）関連付けられた第２の速度値に従って選択される。
【００８１】
選択的ステップにおいて、取得された音に関連付けられた周波数及びエネルギー情報は、例えば１つ又は複数のスピーカに送信される。
【００８２】
他の選択的ステップによると、取得された音は１つ又は複数のスピーカによってレンダリングされる。
【００８３】
本開示は、前述された実施形態に限定されるものではない。
【００８４】
特に、本開示は、音を取得する方法に限定されないが、この方法を実装する任意の装置にも拡張される。
【００８５】
本開示はまた、音の周波数及びエネルギー情報を含む信号を生成する方法にも関し、信号を生成するように構成された装置にも関する。
【００８６】
本開示はまた、取得された音をレンダリングする方法にも関し、取得された音をレンダリングするように構成された装置にも関する。
【００８７】
本明細書において説明された実装形態は、例えば、方法若しくはプロセス、装置、コンピュータプログラム製品、データストリーム、又は信号において実装されることができる。たとえ実装形態の単一の形式のコンテキストにおいてのみ議論される場合（例えば、方法又はデバイスとしてのみ議論される）であっても、議論された特徴の実装形態は、他の形式（例えばプログラム）において実装されることもできる。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実装されることができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理回路を含む、一般に処理デバイスを言及する、例えばプロセッサなどの装置に実装されることができる。プロセッサはまた、例えば、スマートフォン、タブレット、コンピュータ、モバイルフォン、ポータブル／パーソナルデジタルアシスタント（ＰＤＡ）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
【００８８】
本明細書において説明された様々なプロセス及び特徴の実装形態は、様々な異なる設備又はアプリケーション、特に、例えばデータエンコーディング、データデコーディング、ビュー生成、テクスチャプロセッシング、並びに他の画像、関連テクスチャ情報及び／又はデプス情報に関連付けられた設備又はアプリケーションにおいて具現化される。そのような設備の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポスト−プロセッサ、エンコーダへの入力を提供するプリ−プロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルフォン、ＰＤＡ、及び他の通信デバイスを含む。明確であるように、設備は移動型とすることができ、及び移動車両において設置されることもできる。
【００８９】
加えて、本方法は、プロセッサによって実行される命令によって実装されることができ、そのような命令（及び／又は実装形態によって生成されたデータ値）は、例えば集積回路、ソフトウェアキャリア、又は例えばハードディスク、コンパクトディスケット（ＣＤ）、光学ディスク（例えば、デジタル汎用ディスク又はデジタルビデオディスクとしてしばしば言及されるＤＶＤなど）、ランダムアクセスメモリ（ＲＡＭ）、若しくは読み出し専用メモリ（ＲＯＭ）などの他のストレージデバイスなどのプロセッサ可読媒体上に格納することができる。本命令は、プロセッサ可読媒体上で明白に具現されるアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア又はその組み合わせにおけるものとすることができる。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は２つの組み合わせにおいて見出されることができる。プロセッサは、それ故、プロセスを実行するように構成されたデバイスとプロセスを実行するための命令を有するプロセッサ可読媒体（ストレージデバイスなど）を含むデバイスとの両方として特徴付けられることができる。さらに、プロセッサ可読媒体は、加えて又は命令の代わりに、実装形態によって生成されたデータ値を格納することができる。
【００９０】
当業者にとって明らかなように、実装形態は、例えば、格納又は送信されることができる情報を搬送するようにフォーマット化された様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、又は説明した実装形態の１つによって生成されたデータを含むことができる。例えば、信号は、説明された実施形態のシンタックスを書き込む又は読み込むためのルールをデータとして搬送する、又は説明された実施形態によって書き込まれた実際のシンタックス値をデータとして搬送するようにフォーマット化することができる。そのような信号は、例えば、電磁波（例えばスペクトルの無線周波数部分）又はベースバンド信号としてフォーマット化することができる。フォーマット化することは、例えば、データストリームをエンコーディングすること及びキャリアをエンコードされたデータストリームで変調することを含むことができる。信号が搬送する情報は、例えば、アナログ又はデジタル情報とすることができる。信号は、周知なように、様々な異なる有線又は無線リンクにわたって送信されることができる。信号は、プロセッサ可読媒体上に格納することができる。
【００９１】
多くの実装形態が説明されてきた。それにも関わらず、様々な変更がなされることを理解するであろう。例えば、異なる実装形態の要素は、他の実装形態を生成するように、組み合わされ、補充され、変更され、又は除去されることができる。加えて、当業者は、他の構造及びプロセスを、開示されたこれらのものに関して代用することができ、結果として生じた実装形態が、開示された実装形態と少なくとも実質的に同じ結果を達成するように、少なくとも実質的に同様の手法において、少なくとも実質的に同じ機能を実行することになることを理解するであろう。従って、これらの及び他の実装形態は、この出願によって検討される。
【図１】
2017076377.tif 000011
【図２】
2017076377.tif 000012
【図３】
2017076377.tif 000013
【図４】
2017076377.tif 000014
【図５】
2017076377.tif 000015
【図６】
2017076377.tif 000016
【図７】
2017076377.tif 000017
【図８】
2017076377.tif 000018
【外国語明細書】
2017076377000001.pdf