(57)【要約】【課題】聴取者が音像信号の方向を探すために頭部を動かすことなく、方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現する。【解決手段】提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の音像を生成し提供する音像提示方法において、音像を提示する際に、仮想音像を本来の提示位置と異なる位置に一旦出現させてから本来の提示位置に移動させて聴取者に提示することを特徴とする音像提示方法。【選択図】図１
2007166126.tif 000002
【特許請求の範囲】
【請求項１】
提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の音像を生成し提供する音像提示方法において、
音像を提示する際に、仮想音像を本来の提示位置と異なる位置に一旦出現させてから本来の提示位置に移動させて聴取者に提示することを特徴とする音像提示方法。
【請求項２】
前記仮想音源の出現位置は、仮想音源の本来の提示位置が存在する水平面上であることを特徴とする請求項１に記載の音像提示方法。
【請求項３】
前記仮想音源の出現位置は、仮想音源の本来の提示位置を含む耳眼面に平行な面上に存在することを特徴とする請求項１に記載の音像提示方法。
【請求項４】
提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報を基に、聴取者の周囲の一の固定点を仮想音源として音像を再生する３次元音像処理部とを備え、聴取者に対して３次元の音像を生成し提供する音像提示装置において、
前記３次元音像処理部の前段に仮想音源位置または仮想音源方向に時間的に変化する位置成分の情報を追加する位置変化成分情報追加部を有することを特徴とする音像提示装置。
【請求項５】
前記位置変化成分情報追加部は、仮想音源の出現位置を調整することができることを特徴とする請求項４に記載の音像提示装置。
【請求項６】
前記位置変化成分情報追加部は、仮想音源の出現位置が、本来の提示位置が存在する水平面上となるよう情報を追加することを特徴とする請求項４または５に記載の音像提示装置。
【請求項７】
前記位置変化成分情報追加部は、仮想音源の出現位置が、仮想音源の本来の提示位置を含む耳眼面に平行な面上に存在するよう情報を追加することを特徴とする請求項４または５に記載の音像提示装置。
【請求項８】
前記位置変化成分情報追加部は、仮想音源の出現位置から本来の提示位置までの移動の経路を変化させることができることを特徴とする請求項４乃至７のいずれかに記載の音像提示装置。
【請求項９】
前記位置変化成分情報追加部は、仮想音源の出現位置から本来の提示位置までの移動の速さを調整することができることを特徴とする請求項４乃至８のいずれかに記載の音像提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元音像により情報を提示する音像提示方法および音像提示装置に関し、詳しくは、聴取者の方向認識性を向上させることのできる音像提示方法および音像提示装置に関するものである。
【背景技術】
【０００２】
近年、民生のゲーム機を中心として立体音響や３Ｄ（３次元）オーディオと呼ばれるシステムが利用されている。これは、ヘッドホンやスピーカを使用したゲーム音響により臨場感を与えるために利用される。例えば、目の前を戦闘機等が通過していく場面では、コンピュータグラフィックスによる映像とともに、あたかも目の前を戦闘機が通過していくような方向感覚を持った音を生成している。
【０００３】
提示する音は、従来使用されているモノラルの音像に人間の音に対する方向認識を模擬したコンピュータ処理を加えたものである。３次元空間で人間が音の方向を認識する際に行っている処理をコンピュータで模擬したものであり、模擬の主要素は聴取者の耳介の形状による周波数変調、左右の耳に聞こえる音量の変化、左右の耳への音の到達時間の差である。
【０００４】
３次元空間のさまざまな方向からの音は、聴取者の耳介の形状により周波数変調され、耳道を通過して鼓膜に達し音として認識される。耳介は前後左右非対称な複雑な形状をしており、音が到達する方向により異なる周波数変調特性を持ち、人間の方向感覚を生んでいる。このような頭部や外耳による音の歪み方を数値化したものを頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ  Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼ぶ。
【０００５】
このように、従来から頭部伝達関数等を用いてモノラルの音像を３次元化し聴取者に提示する技術が提案されている。
【０００６】
【特許文献１】特願２００４−３７２５０３
【０００７】
図６は聴取者位置と音源の位置関係を示した図である。音像の３次元処理においては、音源を点音源（仮想音源）として扱い、図６に示すような空間上で指定した音源の３次元座標（Ｘｓ，Ｙｓ，Ｚｓ）または方位（ＡＺｓ，ＥＬｓ）と、聴取者の頭部位置および方位（ＡＺｈ，ＥＬｈ，ＲＬｈ）から、モノラルの提示音像信号に頭部伝達関数等を用いた演算処理を行い、左右両耳の音像信号を生成し、ヘッドホン等の音像出力装置で聴取者に提示する。ここで、ＡＺはアジマス角、ＥＬはエレベーション角、ＲＬはロール角を意味し、ｓは音源の位置を、ｈは聴取者の頭部を意味するものとする。
【０００８】
図７は従来の３次元音像提示装置の一例を示す構成図であり、提示音像信号源１、聴取者頭部位置検出部２、提示位置指定部３、提示音像信号の３次元処理を行う３次元音像処理部４、聴取者に３次元の音像を提示する音像出力部６から構成される。
【０００９】
提示音像信号源１では、３次元音像化する提示音像を準備する。この音像信号はモノラル信号で準備される。
【００１０】
聴取者頭部位置検出部２では、音像を提示する聴取者の頭部の位置および向き（ＡＺｈ，ＥＬｈ，ＲＬｈ）を検出し、３次元音像処理部４に出力する。
【００１１】
提示位置指定部３では、聴取者に対し提示する音像の音源の位置（Ｘｓ，Ｙｓ，Ｚｓ）または方位（ＡＺｓ，ＥＬｓ）を指定する位置データを３次元音像処理部４に出力する。
【００１２】
３次元音像処理部４では、音源の位置と聴取者頭部の位置から、提示音像信号の３次元処理を行う。提示位置指定部３の出力から、頭部伝達関数等を用いたアルゴリズムにより、モノラルの入力信号から右耳用および左耳用音像を生成し、ヘッドホン等の音像出力部６により人間に提示する。このとき、音像出力部６から聴取者に提示する音像（仮想音源）の位置は、聴取者頭部位置検出部２の出力を考慮して決定する。すなわち、聴取者が頭を動かした場合は、頭部方向をヘッドトラッカなどの手段により検出し、音像が空間上の所定の方向から聞こえるよう、演算処理を行う。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
従来技術では提示する音像の音源は点音源として扱われるため、音源の位置は必ず空間上の一点に固定される。しかしながら、人間が音像の３次元方向を判断する場合、空間的に移動する音像に比べ、音源の位置または座標の移動のない音像は方向が認識しにくいという特性がある。
【００１４】
この特性は、特に音源位置が人間の正中面（身体を左右に等分する平面）に存在する場合に顕著である。すなわち、音像が人間の正面〜真上〜真後ろ〜真下の方向から発せられる場合には、音像の方向認識性が低下してしまう。また、人間は、鉛直方向に移動する音像よりも、水平面上を移動する音像の方が位置を把握しやすいという特性もある。日常生活において、我々は、意識する・しないに関わらず、頭部を動かして耳に対する音源の方向を相対的に変化させることにより、方向認識性を向上させている。
【００１５】
特に、聴取者がヘッドホン等で３次元音像を聴取している場合には、ヘッドホンから音像を聴取していることに意識が集中する結果、頭部が静止する傾向が強まる。従来の３次元音像処理では仮想音源の位置が固定されているため、頭部が静止することによってさらに方向認識性が低くなってしまう。
【００１６】
本発明は、上記のような従来技術の問題をなくし、聴取者が音像信号の方向を探すために頭部を動かすことなく、方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現することを目的としたものである。
【課題を解決するための手段】
【００１７】
上記のような目的を達成するために、本発明の請求項１では、提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報とから、聴取者に対して３次元の音像を生成し提供する音像提示方法において、
音像を提示する際に、仮想音像を本来の提示位置と異なる位置に一旦出現させてから本来の提示位置に移動させて聴取者に提示することを特徴とする。
【００１８】
請求項２では、請求項１に記載の音像提示方法において、前記仮想音源の出現位置は、仮想音源の本来の提示位置が存在する水平面上であることを特徴とする。
【００１９】
請求項３では、請求項１に記載の音像提示方法において、前記仮想音源の出現位置は、仮想音源の本来の提示位置を含む耳眼面に平行な面上に存在することを特徴とする。
【００２０】
請求項４では、提示音像情報と、仮想音源位置情報または仮想音源方向情報と、聴取者の頭部の位置および方向の情報を基に、聴取者の周囲の一の固定点を仮想音源として音像を再生する３次元音像処理部とを備え、聴取者に対して３次元の音像を生成し提供する音像提示装置において、
前記３次元音像処理部の前段に仮想音源位置または仮想音源方向に時間的に変化する位置成分の情報を追加する位置変化成分情報追加部を有することを特徴とする。
【００２１】
請求項５では、請求項４に記載の音像提示装置において、前記位置変化成分情報追加部は、仮想音源の出現位置を調整することができることを特徴とする。
【００２２】
請求項６では、請求項４または５に記載の音像提示装置において、前記位置変化成分情報追加部は、仮想音源の出現位置が、本来の提示位置が存在する水平面上となるよう情報を追加することを特徴とする。
【００２３】
請求項７では、請求項４または５に記載の音像提示装置において、前記位置変化成分情報追加部は、仮想音源の出現位置が、仮想音源の本来の提示位置を含む耳眼面に平行な面上に存在するよう情報を追加することを特徴とする。
【００２４】
請求項８では、請求項４乃至７のいずれかに記載の音像提示装置において、前記位置変化成分情報追加部は、仮想音源の出現位置から本来の提示位置までの移動の経路を変化させることができることを特徴とする。
【００２５】
請求項９では、請求項４乃至８のいずれかに記載の音像提示装置において、前記位置変化成分情報追加部は、仮想音源の出現位置から本来の提示位置までの移動の速さを調整することができることを特徴とする。
【発明の効果】
【００２６】
音像の出現時に仮想音源の位置を移動させることによって、聴取者が頭部を動かさなくても、頭部を動かして音像の方向を探すのと同等の効果を実現することができる。
【００２７】
仮想音源の出現位置を本来の音像の提示位置が存在する水平面上とすることによって、音像の本来の提示位置まで移動させる経路が水平方向となり、方向認識性を効果的に高めることができる。
【００２８】
仮想音像の出現位置を本来の提示位置を含む耳眼面に平行な面上とすれば、聴取者の頭部が水平面に対して傾いている場合でも、聴取者の耳に対して常に水平方向に音源を移動させることができ、方向認識性を効果的に高めることができる。なお、耳眼面とは、人間の眼窩点と耳珠点を含む平面を意味する。
【００２９】
このように、音像を出現時に移動させながら聴取者に提示することによって、聴取者が音像信号の方向を探すために頭部を動かすことなく、方向感覚の直感的な理解を向上させる音像提示方法および音像提示装置を実現することができる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を用いて本発明の音像提示方法および音像提示装置を説明する。
【実施例１】
【００３１】
図１は本発明による音像提示方法および装置の実施例を示す構成図であり、図７の従来例で示した構成に、音像提示位置に時間的に変化する位置成分情報を追加する位置変化成分情報追加部を追加した構成となっている。
【００３２】
位置変化成分情報追加部５では、提示位置指定部３が出力する仮想音源の位置情報（ＡＺｓ，ＥＬｓ）に、音像が出現してから所定の期間内に時間的に変化する方位成分（ＡＺｖ，ＥＬｖ）を追加する。追加する方位成分（ＡＺｖ，ＥＬｖ）は、音像出現時には仮想音源本来の提示位置と異なる位置（ＡＺ０，ＥＬ０）に音像を出現させ、その出現位置から本来の提示位置へ移動させ、所定の時間で移動が完了するように時間変化する情報とする。音像出現時の位置は（ＡＺ０，ＥＬ０）＝（ＡＺｓ＋ＡＺｖ，ＥＬｓ＋ＥＬｖ）と表すことができ、移動時間経過後は（ＡＺｖ，ＥＬｖ）＝（０，０）、すなわち音像の提示位置を提示位置指定部３で指定された位置情報に一致させる。
【００３３】
図２は、仮想音源の位置の移動の例を示す図である。仮想音源７（ＡＺｓ，ＥＬｓ）に対し、仮想音源７を含む水平面上に仮想音源出現位置８（ＡＺ０，ＥＬ０）を設定した場合、すなわち位置変化成分情報追加部５で追加する方位成分を（ＡＺｖ，０）とした場合を示している。仮想音源出現位置８は（ＡＺ０，ＥＬ０）＝（ＡＺｓ＋ＡＺｖ，ＥＬｓ）となる。音像出現時に音像を仮想音源出現位置８に出現させ、その後所定の移動時間をかけて本来の仮想音源７の提示位置（ＡＺｓ，ＥＬｓ）に移動させる。移動後は本来の提示位置に留まる。
【００３４】
音像の移動時間は任意に決定することができるようにし、例えば０．１秒に設定する。人間は耳に音が聞こえてからおよそ０．２秒は反応できないと言われている。従って、移動時間をこの反応時間より短い時間に設定しておけば、聴取者は音源の移動を感知できても反応することはできず、仮想音源の方位として認識できるのは本来の提示位置（ＡＺｓ，ＥＬｓ）のみとなる。一方移動時間をこの反応時間よりも長く設定すると、聴取者は音像の出現位置（ＡＺ０，ＥＬ０）から本来の提示位置（ＡＺｓ，ＥＬｓ）への移動に反応してしまい、かえって音像位置の把握に混乱してしまう。
【００３５】
追加する方位成分（ＡＺｖ，ＥＬｖ）の大きさも任意に決定することができるようにする。本来は仮想音像が大きく移動した方が聴取者は音源の方向を認識しやすくなるが、追加する方位成分（ＡＺｖ，ＥＬｖ）を大きくして出現時の移動の振れ幅が大きくなりすぎると、かえって聴取者が方向を誤解する可能性がある。そのため、追加する方位成分（ＡＺｖ，ＥＬｖ）の大きさは、それぞれ最大４５°程度とするのが望ましいと考えられる。
【００３６】
図３は仮想音源の位置の移動の他の例を示す図である。図３では、位置変化成分情報追加部５で追加する方位成分を（０，ＥＬｖ）とした場合を示している。仮想音源出現位置８は（ＡＺ０，ＥＬ０）＝（ＡＺｓ，ＥＬｓ＋ＥＬｖ）となり、設定した移動時間をかけて本来の提示位置（ＡＺｓ，ＥＬｓ）に移動させる。
【００３７】
仮想音源の出現位置から本来の提示位置までの移動の経路は、任意に決定することができるようにする。３次元空間を直線的に移動させるような経路であってもよいし、聴取者位置までの距離を保ちながら移動させるような経路であってもよい。
【実施例２】
【００３８】
図４は仮想音源の位置の移動の他の例を示す図である。図中、平面９は聴取者の耳眼面、平面１０は平面９に平行で仮想音源７が存在する平面とする。聴取者の耳眼面が平面９のようにＸＹ水平面に対して傾いているような場合には、図２と同様に仮想音源７をＸＹ平面に水平に移動させても、聴取者の頭部に対して水平な移動を提供することにはならない。そのため、仮想音源出現位置８を平面１０上とし、本来の仮想音源の提示位置まで平面１０上を移動させることによって、聴取者の頭部に対して水平に移動して出現する音像を提示することができる。
【実施例３】
【００３９】
図５は仮想音源の位置の移動の他の例を示す図である。本図のように、仮想音源出現時の移動の経路をらせん状としてもよい。
【００４０】
なお、音像の移動速度は、移動中常に一定としてもよいし、途中で変化するものであってもよい。
【図面の簡単な説明】
【００４１】
【図１】図１は本発明の音像提示装置の構成例を示す図。
【図２】図２は本発明の音像提示装置における、仮想音源の位置の移動（水平方向）の例を示す図。
【図３】図３は本発明の音像提示装置における、仮想音源の位置の移動（鉛直方向）の例を示す図。
【図４】図４は本発明の音像提示装置における、仮想音源の位置の移動（耳眼面上）の例を示す図。
【図５】図５は本発明の音像提示装置における、仮想音源の位置の移動（らせん状）の例を示す図。
【図６】図６は従来例の音像提示装置における聴取者と仮想音源の位置関係を示す図。
【図７】図７は従来例の音像提示装置の構成例を示す図。
【符号の説明】
【００４２】
１      提示音像信号源
２      聴取者頭部位置検出部
３      提示位置指定部
４      ３次元音像処理部
５      位置変化成分情報追加部
６      音像出力部
７      仮想音源位置
８      仮想音源出現位置
９      耳眼面
１０    耳眼面に平行な面
【図１】
2007166126.tif 000003
【図２】
2007166126.tif 000004
【図３】
2007166126.tif 000005
【図４】
2007166126.tif 000006
【図５】
2007166126.tif 000007
【図６】
2007166126.tif 000008
【図７】
2007166126.tif 000009