(57)【要約】【課　　題】音像定位の手法を更に拡張し、定位させた音像が自在に移動しているように受聴者に聴感させることができる方法を提供すること。【解決手段】入力信号の定位音像を得るとき、この手法により音像定位可能な少なくとも２つの音像定位点において、両点での各周波数帯域ごとの音像移動パラメータの中で遅延パラメータの差と混合時のゲインパラメータの差を求めると共に、定位音像を一方の定位点から他方の定位点に移動させる時間とこの時間における前記パラメータの差の単位時間当りの変化量を前記２定位点の間の音像移動パラメータとして求め、この音像移動パラメータにより前記一方の定位点での遅延差とゲイン差を前記移動時間において変化させ、他方の定位点で前記遅延差とゲイン差以外の音像移動パラメータをその点での音像定位パラメータに入替えることにより移動感を覚える音を生成すること。【選択図】　　図１
2004056168.tif 000002
【特許請求の範囲】
【請求項１】
モノラルの入力信号を、左右両チャンネル用のデジタルフィルタによって低周波数帯域から高周波数帯域の間で複数の帯域に分割し、分割帯域が、低周波数帯域の場合は時間差と音量差をパラメータとしデジタルフィルタを用いて、中間周波数帯域の場合は頭部伝達関数の周波数特性に沿わせるためにパラメトリックイコライザを用いて、高周波数帯域の場合はコムフィルタを用いて各帯域ごとに音像定位のための処理を行い、前記両チャンネルの各周波数帯域ごとに音の回析による遅延差、両耳に到達する音の伝達時間差を考慮した遅延処理を行った後、各周波数帯域ごとに処理された音の量の比率（ゲイン）を調整してミキサーで混合することにより前記入力信号の定位音像を得るとき、この手法により音像定位可能な少なくとも２つの音像定位点において、両点での各周波数帯域ごとの音像移動パラメータの中で遅延パラメータの差と混合時のゲインパラメータの差を求めると共に、定位音像を一方の定位点から他方の定位点に移動させる時間とこの時間における前記パラメータの差の単位時間当りの変化量を前記２定位点の間の音像移動パラメータとして求め、この音像移動パラメータにより前記一方の定位点での遅延差とゲイン差を前記移動時間において変化させ、他方の定位点で前記遅延差とゲイン差以外の音像移動パラメータをその点での音像定位パラメータに入替えることにより移動感を覚える音を生成することを特徴とする入力信号を音像定位させて三次元空間を移動させる方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は入力する音響信号を、受聴者があたかも実音源がある三次元空間で、前記実音源の音を聴いているような聴感を覚えるように処理して定位させた音像を、当該三次元空間内で自由に移動させる定位音像の移動方法に関する。
【０００２】
【従来の技術】
本発明の発明者は、先に頭部伝達関数（Ｈｅａｄ　Ｒｅｌａｔｅｄ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ；ＨＲＴＦ）の周波数特性に着目し、入力信号の周波数帯域を複数に分け、各帯域の信号に対して適切な処理を施せば演算量が比較的少なく、それ故に入力信号の音像定位のための処理をリアルタイムで実行できる手法を、特開平１０−２２８５２０号などとして提案している。
【０００３】
【発明が解決しようとする課題】
本発明は、先に本発明者が提案している音像定位の手法を更に拡張し、定位させた音像が自在に移動しているように受聴者に聴感させることができる方法を提供することを、その課題とするものである。
【０００４】
【課題を解決するための手段】
上記課題を解決することを目的としてなされた本発明方法の構成は、モノラルの入力信号を、左右両チャンネル用のデジタルフィルタによって低周波数帯域から高周波数帯域の間で複数の帯域に分割し、分割帯域が、低周波数帯域の場合は時間差と音量差をパラメータとしデジタルフィルタを用いて、中間周波数帯域の場合は頭部伝達関数の周波数特性に沿わせるためにパラメトリックイコライザを用いて、高周波数帯域の場合はコムフィルタを用いて各帯域ごとに音像定位のための処理を行い、前記両チャンネルの各周波数帯域ごとに音の回析による遅延差、両耳に到達する音の伝達時間差を考慮した遅延処理を行った後、各周波数帯域ごとに処理された音の量の比率（ゲイン）を調整してミキサーで混合することにより前記入力信号の定位音像を得るとき、この手法により音像定位可能な少なくとも２つの音像定位点において、両点での各周波数帯域ごとの音像移動パラメータの中で遅延パラメータの差と混合時のゲインパラメータの差を求めると共に、定位音像を一方の定位点から他方の定位点に移動させる時間とこの時間における前記パラメータの差の単位時間当りの変化量を前記２定位点の間の音像移動パラメータとして求め、この音像移動パラメータにより前記一方の定位点での遅延差とゲイン差を前記移動時間において変化させ、他方の定位点で前記遅延差とゲイン差以外の音像移動パラメータをその点での音像定位パラメータに入替えることにより移動感を覚える音を生成することを特徴とするものである。
【０００５】
本発明は、音像を定位できる範囲において定位した音像が連続して移動しているように聴感させるため、一例として任意の音像定位点から次の定位可能点に前記音像を連続的に移動させるには、先に述べた音像定位手法に用いたすべてのパラメータを利用し、全音像定位パラメータについて上記２点間での補間をすることが考えられる。しかし、すべてのパラメータを補間すると、２点間の補間制御のための演算量が飛躍的に増大し、従ってまたメモリも大容量のものを不可欠とする。
【０００６】
そこで本発明では、上記の音像定位手法において、聴感上、音像の移動に重要な役割を担う各周波数帯域ごとの遅延制御と、各周波数帯域の信号を混合する際の処理された各周波数帯域の音の量の比率（ゲイン）とを補間することにより、定位された音像の三次元空間で移動する聴感を実現するものである。
【０００７】
【発明の実施の形態】
本発明方法の実施の形態例の説明に先立ち、本発明の発明者が先に提案しているオーデオ入力信号の音像定位の手法について述べる。
【０００８】
一般に、人が任意の実音源の音をその人の両耳で聴取するとき、その人の頭部、その頭部の左右側面に付いている両耳、両耳における音の伝達構造などの物理的要因が、前記実音源の音像定位に深く係わっていることが知られている。
【０００９】
本発明の発明者は、音像定位に影響を及ぼす上記の物理的要因の中で、人の頭部とその左右側に付いている耳介の音像に対する影響乃至は作用を鋭意検討し、実験を重ねた結果次のような知見を得た。
【００１０】
即ち、人の頭部は、個人差はあるが、概ね１５０〜２００ｍｍφ程度の振動伝達性の球体とみなすと、この直径を半波長とする周波数（以下、この周波数を「ａＨｚ」とする）以下の周波数では、その半波長が前記球体の直径よりも大きくなるので、前記ａＨｚ以下の周波数の音は、人の頭部による影響は少ないとする知見が、その第一である。これを換言すれば、ａＨｚ以下の音は、人の頭部による音の反射，回析を無視し、ａＨｚ以下の音源からの音がその人の両方の耳に入る時間差と音量差とがａＨｚ以下の音の音像定位に深く係るという点である。
【００１１】
一方、人の両耳の耳介を、底面が大略直径３５〜５５ｍｍφの円錐形とみなすと、半波長がこの耳介の直径を超える周波数（以下、この周波数を「ｂＨｚ」とする）以上の周波数の音は、その周波数の音の音像定位の物理的要因としては、耳介の影響が少ないとする点が第二の知見である。因みに、発明者がダミーヘッドを使用してｂＨｚ以上の周波数帯域の音の影響特性を測定したところ、その特性はコムフィルタを通した音の音響特性に酷似していることを知得た。そして、ｂＨｚ以上の周波数帯域の音は、この帯域の入力信号をコムフィルタを通して処理し、左右の音が耳に入る時間差と音量差とが、この帯域の音の音像定位に深く係ることも知得した。
【００１２】
このことから、ｂＨｚ乃至はその近傍の周波数帯域の音については、上記のｂＨｚ以上の周波数帯域の音とは要素が異なる音響特性を考慮する必要があるとの知見を得るに至った。
【００１３】
上記で検討した周波数帯域、即ち、ａＨｚ以下の帯域とｂＨｚ以上の帯域以外の帯域、つまり、ａＨｚ〜ｂＨｚの間の狭い帯域については、従来から公知の、人の頭部や左右の耳介を物理的要因とする反射や回析による周波数特性のシミュレートを行って入力信号の処理，制御をすれば足りることを知得した。
【００１４】
上記知見に基づいて、本発明の発明者は周波数ａＨｚ以下、同ｂＨｚ以上、同ａＨｚ〜ｂＨｚの間の各帯域について、左，右の耳に入る音の時間差や音量差などの制御要素をパラメータとして音像定位に関するテストを行い、次のテスト結果を得た。
【００１５】
ａＨｚ以下の周波数帯域のテスト結果
この帯域のオーディオ信号は、左，右の耳に入る音の時間差と音量差の２つのパラメータを制御するだけでも、ある程度の音像定位が可能であった。しかし、上下方向を含めた任意の空間についての定位はこの要素の制御だけでは不十分でった。そこで左，右の両耳で時間差を１／４×１０−５〜１／５×１０−５秒単位で、音量差をｎｄＢ（ｎは０．１から２桁の自然数）単位で、それぞれ制御することにより水平面、垂直面、及び、距離における音像定位の位置を任意に実現できることが判った。なお、この帯域の音は左，右耳に入る時間差をより大きくすると音像定位の位置が受聴者の側方になる。
【００１６】
ａＨｚ〜ｂＨｚの間の周波数帯域のテスト結果
時間差の影響
この帯域の入力信号について、パラメトリックイコライザ（以下、ＰＥＱという）を無効状態にして左，右両耳に入る音に時間差を与える制御を試みた。この結果、上記のａＨｚ以下の帯域における制御によるような音像定位は得られなかった。なお、時間差を与える制御によって、この帯域の音像は左右に直線的移動することが判った。
入力するオーディオ信号をＰＥＱを通して処理を行った場合には、左右両耳に入る時間差をパラメータとする制御が重要になる。ここで、ＰＥＱにより補正できる音響特性は、ｆｃ（中心周波数）、Ｑ（尖鋭度）、Ｇａｉｎ（利得）の三種類である。
音量差の影響
左，右両耳に対する音量差をｎｄＢ（ｎは１桁の自然数）前後で制御すると、受聴者から音像定位点までの距離が大きくなる。音量差は大きくするほど音像定位点までの距離は小さくなる。
ｆｃの影響
受聴者の前方４５度の角度に音源を置き、その音源から入力するオーディオ信号を受聴者の頭部伝達関数に従ってＰＥＱ処理をするとき、ａＨｚ〜ｂＨｚの帯域でｆｃを高い側にシフトすると、音像定位位置までの距離が大きくなる傾向があることが判った。逆に、ｆｃを低い方にシフトすると、音像定位位置までの距離が小さくなる傾向があることも判った。
Ｑの影響
上記ｆｃの場合と同じ条件でａＨｚ〜ｂＨｚの帯域のオーディオ信号のＰＥＱ処理を行うとき、右耳用のオーディオ信号の１ｋＨｚ付近のＱを元の値から４倍程度に上げると、水平角度は小さくなるが、逆に距離が大きくなり、垂直角度は変らなかった。この結果、このａＨｚ〜ｂＨｚの帯域では１ｍ前後で音像を前方に定位させることが可能である。なお、ＰＥＱのＧａｉｎがマイナスのとき、補正するＱを上げると、音像が広がり、距離も短くなる傾向になることも判った。
Ｇａｉｎの影響
上記ｆｃの影響，Ｑの影響の場合と同じ条件でＰＥＱ処理を行うとき、右耳用のオーディオ信号の１ｋＨｚ付近のピーク部のＧａｉｎを数ｄＢ下げると、水平角度が４５度より小さくなり、距離は大きくなる。上記のＱを上げた場合とほぼ同等の音像定位位置が実現された。なお、ＰＥＱによりＱとＧａｉｎの効果を同時に得るように処理しても音像定位の距離に変化は生じなかった。
【００１７】
ｂＨｚ以上の周波数帯域のテスト結果
時間差の影響
左，右の耳に入る時間差だけの制御では、音像定位は殆んど実現できなかった。しかし、コムフィルタ処理を行った後、左，右の耳に時間差を与える制御は音像定位に有効であった。
音量差の影響
この帯域のオーディオ信号に左右の耳に対する音量差を与えると、その影響は他の帯域の場合に比較して、非常に効果的であることが判った。即ち、この帯域の音を音像定位させるには、相当レベル、例えば、１０ｄＢ以上の音量差を左右の耳に与える制御が必要である。
コムフィルタの間隔の影響
コムフィルタの間隔を変えてテストしてみると音像定位の位置が顕著に変化した。また、左耳又は右耳の片チャンネルについてだけコムフィルタの間隔を可変にしてみたが、この場合には左右の音像が分離し、音像定位を聴感することは困難であった。従って、コムフィルタの間隔は、左，右両耳に対する両チャンネルとも同時に可変することが必要である。
コムフィルタの深さの影響
深さと垂直角度の関係は、左右が逆の特性であった。
深さと水平角度の関係も、左右が逆の特性であった。
深さは音像定位の距離に比例していることが判った。
【００１８】
クロスオーバー帯域のテスト結果
ａＨｚ以下の帯域とａＨｚ〜ｂＨｚの中間帯域、およびこの中間帯域とｂＨｚ以上の帯域のクロスオーバー部分には不連続は認められず、逆位相感もなかった。そして、３つの帯域をミックスした周波数特性は、ほぼフラットであった。
【００１９】
以上のテスト結果から、音像定位は、入力するオーディオ信号を左右両耳用で複数の周波数帯域に分け、各帯域ごとに異なる要素により制御可能であることを知得した。即ち、例えば、左，右の耳に入る音の時間差が音像定位に及ぼす影響はａＨｚ以下の帯域において顕著であるが、ｂＨｚ以上の高域においては、時間差の影響は少ないということが、その一つである。また、ｂＨｚ以上の高周波帯域においては、コムフィルタの使用と左，右の耳に対して音量差を付けることが音像定位に有意であることも明らかとなった。なお、ａＨｚ〜ｂＨｚの中間帯域においては、距離は短いが、前方定位する上記制御要素以外のパラメータも見出した。
【００２０】
次に、図１によりモノラルのオーディオ信号を上記で説明した手法に基づき３次元の任意の位置に音像定位させる例について説明する。１は任意の音源の音をマイクロフォンにより拾ったモノラルのオーディオ入力信号である。
【００２１】
２は前記のマイクロフォンから送られる入力信号１を左右の耳用の２つのチャンネルに分けると共に、両チャンネルの信号を複数の周波数帯域に分割する帯域分割フィルターである。この実施例では入力するオーディオ信号１を、一例として、約１０００Ｈｚ以下の低周波数帯域、約１０００〜約４０００Ｈｚの中間周波数帯域、約４０００Ｈｚ以上の高周波数帯域の３つの帯域に分けて出力できるデジタルフィルターとして３個の３３次ＦＩＲフィルタ２Ｌ，２Ｍ，２Ｈを使用した。本発明では、入力信号１の帯域分割は、上記の３帯域に限られるものではなく、例えば、低周波数帯域と中高周波数帯域の２分割、或は、入力信号１の全帯域を４〜５の帯域に分割することもある。なお、以下は処理も左右チャンネル用の各帯域の信号について行っているものとする。
【００２２】
３Ｌ，３Ｍ，３Ｈは、前記の各フィルタ２Ｌ，２Ｍ，２Ｈにおいて分割された各帯域ごとに、夫々の帯域のオーディオ信号を、先に述べた音像定位の手法により処理，制御するための信号処理部である。低周波数帯域では、左右の耳用の各チャンネルに対し、時間差と音量差を音像定位のためのパラメータとして処理するため、一次のＩＩＲフィルタ３１を用いる。中間周波数帯域では、頭部伝達関数の周波数特性を精度良く再現するためパラメトリックイコライザ（ＰＥＱ）による処理のため、ここでは当該ＰＥＱを２次のＩＩＲフィルタ３２を３段直列して構成している。高周波数帯域では、頭部伝達関数が櫛状特性を示すので、コムフィルタ３３を用いる。
【００２３】
上記構成による各周波数帯域ごとの音像定位処理の後、各周波数帯域ごとに音の回析による遅延差や両耳に到達する音の伝達時間差を考慮した遅延制御を行うため、各周波数帯域ごとに遅延制御部４Ｌ，４Ｍ，４Ｈを設け、各遅延制御部４Ｌ，４Ｍ，４Ｈから出力される処理された各周波数帯域の音響信号を、ミキサー５においてそれぞれの帯域の音の量の比率（ゲイン）を調整して混合することにより、このミキサー５から三次元で音像定位される音響信号を得ることができる。
【００２４】
上記の三次元音像定位の手法によって、図２に例示するように、受聴者Ｍを中心とする同心円上の任意の位置に音像を定位させることができるので、本発明では、この音像定位手法による機能をより拡張し、ある点に定位させた音像を次の点に移動させることができるようにしたものである。
【００２５】
定位音像を図２に例示したＡ点からＢ点へ、或は、これとは逆に２点間で移動させるには、図１の音像定位手法に用いられているすべてのパラメータを、上記２点間で補間すればよいが、これでは演算量，メモリ量が膨大になるため実用的ではない。
【００２６】
そこで本発明では、先に述べた音像定位手法において、音像の移動効果を表現するために重要な役割を担う各周波数帯域ごとの音像定位処理における遅延制御と、ミキシング処理における各周波数帯域の比率（ゲイン）を上記の２点間で補間することとした。以下に、補間手順について述べる。
【００２７】
まず、音像定位のパラメータが定義されているＡ，Ｂ２点間の遅延差，ゲイン差を求める。次に、定位音像をＡ点からＢ点に移動させるに要する時間によって前記遅延差とゲイン差とを割り、遅延とゲインの最小単位の差分が変化する時間間隔を求める。図２の例では、Ａ点とＢ点が音像定位できる点であり、説明の便宜上、図２の「５」がＡ点での遅延差又はゲイン差のパラメータの係数、「１５」がＢ点での当該パラメータの係数を表わすものとする。ここで、音像定位点Ａ点からＢ点に音像を移動させるとき、両点における前記係数の差「１０」により音像の移動に要する時間を割ることによって、この音像の移動により前記係数の最小単位「１」が変化する時間間隔が得られるので、この時間間隔によって前記係数をＡ点の「５」から順次６，７，８・・・・・・１４，「１５」と変化させてやれば、Ａ，Ｂ２点間の遅延差とゲイン差の線形補間を行うことになる。このとき、図１に例示した音像定位手法に用いられている他のパラメータは、定位された音像がＢ点に移動したとき、Ｂ点での定位パラメータの係数に入替える。
【００２８】
つまり、定位音像をＡ点からＢ点に移動させるとき、遅延差とゲイン差については、線形補間した値を用いるが、それら以外のパラメータについては、移動中には点Ａの定位パラメータを用いておき、Ｂ点に到着したときＢ点のパラメータに入替える。これとは逆に、定位音像をＢ点からＡ点に移動させるには、Ａ点に到達するまでＢ点の定位パラメータを用いる。
【００２９】
上記の定位音像を移動させるために必要な処理は、各周波数帯域ごとに、左，右の耳に対する遅延差を求める処理、ゲインの差を求める処理、前記各処理で求められた遅延差とゲイン差の夫々の最小単位分が変化する時間間隔を求める処理、及び、遅延とゲインの値を得られた遅延とゲインの最小単位の値ずつ変化させる処理である。
【００３０】
従って、図１の音像定位手法のアルゴリズムに、上記の音像移動のための各処理を実行するアルゴリズムを加えることにより、図１と同じ処理フローによって受聴者Ｍが移動感を覚える音像定位された音を任意に生成することができる。
【００３１】
上記に説明した手法の例は、受聴者Ｍに同心円または球上で定位した音像が移動する聴感を覚えさせるものであるが、本発明は受聴者Ｍを中心に三次元の放射状の距離の変化においても音像を移動させることができる。
【００３２】
【発明の効果】
本発明は以上の通りであって、入力されるオーディオ信号について、それを左、右の両耳用のチャンネルに分け、各チャンネルのオーディオ信号を、一例として低，中，高の各周波数域の３つの帯域に分け、各周波数の帯域ごとに左右の耳における時間差，音量差などを音像定位要素とするパラメータとして制御する処理を施すことにより定位音像を得ると共に、前記の各周波数帯域ごとに、前記音像の移動効果を知覚させる要素である左右耳に対する遅延差と各帯域の音をミキシングするときの比率（ゲイン）差とを、単位時間ごとに変化させて、定位音像の移動感が知覚できる音を生成するようにしたので、適宜の音源から入力される左，右の耳用の入力オーディオ信号から音像定位に優れた再生音を得られることは勿論のこと、定位させた音像を三次元移動させることにより、定位音像の変化する奥行き感や変化する立体感を聴感できる再生音を得ることが可能になる。また、前記手法に加えて再生時にも音像定位並びにその音像を移動させる制御を重畳すれば、更に効果的、かつ、高精度の音像定位とその音像の移動を、容易に実現することができる。
【図面の簡単な説明】
【図１】本発明方法を実施するための一例の機能ブロック図。
【図２】本発明方法を説明するための模式図。
【符号の説明】
１　　　　　　入力信号
２　　　　　　帯域分割フィルター
３Ｌ，３Ｍ，３Ｈ　　信号処理部
４Ｌ，４Ｍ，４Ｈ　　遅延制御部
５　　　　　　ミキサー
【図１】
2004056168.tif 000003
【図２】
2004056168.tif 000004
【手続補正書】
【提出日】平成14年10月9日(2002.10.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【特許請求の範囲】
【請求項１】モノラルの入力信号を、左右両チャンネル用のデジタルフィルタによって低周波数帯域から高周波数帯域の間で複数の帯域に分割し、分割帯域が、低周波数帯域の場合は時間差と音量差をパラメータとしデジタルフィルタを用いて、中間周波数帯域の場合は頭部伝達関数の周波数特性に沿わせるためにパラメトリックイコライザを用いて、高周波数帯域の場合はコムフィルタを用いて各帯域ごとに音像定位のための処理を行い、前記両チャンネルの各周波数帯域ごとに音の回析による遅延差、両耳に到達する音の伝達時間差を考慮した遅延処理を行った後、各周波数帯域ごとに処理された音の量の比率（ゲイン）を調整してミキサーで混合することにより前記入力信号の定位音像を得るとき、この手法により音像定位可能な少なくとも２つの音像定位点において、両点での各周波数帯域ごとの音像移動パラメータの中で遅延パラメータの差と混合時のゲインパラメータの差を求めると共に、定位音像を一方の定位点から他方の定位点に移動させる時間とこの時間における前記パラメータの差の単位時間当りの変化量を前記２定位点の間の音像移動パラメータとして求め、この音像移動パラメータにより前記一方の定位点での遅延差とゲイン差を前記移動時間において変化させ、他方の定位点で前記遅延差とゲイン差以外の音像移動パラメータをその点での音像定位パラメータに入替えることにより移動感を覚える音を生成することを特徴とする入力信号を音像定位させて三次元空間を移動させる方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は入力する音響信号を、受聴者があたかも実音源がある三次元空間で、前記実音源の音を聴いているような聴感を覚えるように処理して定位させた音像を、当該三次元空間内で自由に移動させる定位音像の移動方法に関する。
【０００２】
【従来の技術】
本発明の発明者は、先に頭部伝達関数（Ｈｅａｄ　Ｒｅｌａｔｅｄ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ；ＨＲＴＦ）の周波数特性に着目し、入力信号の周波数帯域を複数に分け、各帯域の信号に対して適切な処理を施せば演算量が比較的少なく、それ故に入力信号の音像定位のための処理をリアルタイムで実行できる手法を、特開平１０−２２８５２０号などとして提案している。
【０００３】
【発明が解決しようとする課題】
本発明は、先に本発明者が提案している音像定位の手法を更に拡張し、定位させた音像が自在に移動しているように受聴者に聴感させることができる方法を提供することを、その課題とするものである。
【０００４】
【課題を解決するための手段】
上記課題を解決することを目的としてなされた本発明方法の構成は、モノラルの入力信号を、左右両チャンネル用のデジタルフィルタによって低周波数帯域から高周波数帯域の間で複数の帯域に分割し、分割帯域が、低周波数帯域の場合は時間差と音量差をパラメータとしデジタルフィルタを用いて、中間周波数帯域の場合は頭部伝達関数の周波数特性に沿わせるためにパラメトリックイコライザを用いて、高周波数帯域の場合はコムフィルタを用いて各帯域ごとに音像定位のための処理を行い、前記両チャンネルの各周波数帯域ごとに音の回析による遅延差、両耳に到達する音の伝達時間差を考慮した遅延処理を行った後、各周波数帯域ごとに処理された音の量の比率（ゲイン）を調整してミキサーで混合することにより前記入力信号の定位音像を得るとき、この手法により音像定位可能な少なくとも２つの音像定位点において、両点での各周波数帯域ごとの音像移動パラメータの中で遅延パラメータの差と混合時のゲインパラメータの差を求めると共に、定位音像を一方の定位点から他方の定位点に移動させる時間とこの時間における前記パラメータの差の単位時間当りの変化量を前記２定位点の間の音像移動パラメータとして求め、この音像移動パラメータにより前記一方の定位点での遅延差とゲイン差を前記移動時間において変化させ、他方の定位点で前記遅延差とゲイン差以外の音像移動パラメータをその点での音像定位パラメータに入替えることにより移動感を覚える音を生成することを特徴とするものである。
【０００５】
本発明は、音像を定位できる範囲において定位した音像が連続して移動しているように聴感させるため、一例として任意の音像定位点から次の定位可能点に前記音像を連続的に移動させるには、先に述べた音像定位手法に用いたすべてのパラメータを利用し、全音像定位パラメータについて上記２点間での補間をすることが考えられる。しかし、すべてのパラメータを補間すると、２点間の補間制御のための演算量が飛躍的に増大し、従ってまたメモリも大容量のものを不可欠とする。
【０００６】
そこで本発明では、上記の音像定位手法において、聴感上、音像の移動に重要な役割を担う各周波数帯域ごとの遅延制御と、各周波数帯域の信号を混合する際の処理された各周波数帯域の音の量の比率（ゲイン）とを補間することにより、定位された音像の三次元空間で移動する聴感を実現するものである。
【０００７】
【発明の実施の形態】
本発明方法の実施の形態例の説明に先立ち、本発明の発明者が先に提案しているオーデオ入力信号の音像定位の手法について述べる。
【０００８】
一般に、人が任意の実音源の音をその人の両耳で聴取するとき、その人の頭部、その頭部の左右側面に付いている両耳、両耳における音の伝達構造などの物理的要因が、前記実音源の音像定位に深く係わっていることが知られている。
【０００９】
本発明の発明者は、音像定位に影響を及ぼす上記の物理的要因の中で、人の頭部とその左右側に付いている耳介の音像に対する影響乃至は作用を鋭意検討し、実験を重ねた結果次のような知見を得た。
【００１０】
即ち、人の頭部は、個人差はあるが、概ね１５０〜２００ｍｍφ程度の振動伝達性の球体とみなすと、この直径を半波長とする周波数（以下、この周波数を「ａＨｚ」とする）以下の周波数では、その半波長が前記球体の直径よりも大きくなるので、前記ａＨｚ以下の周波数の音は、人の頭部による影響は少ないとする知見が、その第一である。これを換言すれば、ａＨｚ以下の音は、人の頭部による音の反射，回析を無視し、ａＨｚ以下の音源からの音がその人の両方の耳に入る時間差と音量差とがａＨｚ以下の音の音像定位に深く係るという点である。
【００１１】
一方、人の両耳の耳介を、底面が大略直径３５〜５５ｍｍφの円錐形とみなすと、半波長がこの耳介の直径を超える周波数（以下、この周波数を「ｂＨｚ」とする）以上の周波数の音は、その周波数の音の音像定位の物理的要因としては、耳介の影響が少ないとする点が第二の知見である。因みに、発明者がダミーヘッドを使用してｂＨｚ以上の周波数帯域の音の影響特性を測定したところ、その特性はコムフィルタを通した音の音響特性に酷似していることを知得た。そして、ｂＨｚ以上の周波数帯域の音は、この帯域の入力信号をコムフィルタを通して処理し、左右の音が耳に入る時間差と音量差とが、この帯域の音の音像定位に深く係ることも知得した。
【００１２】
このことから、ｂＨｚ乃至はその近傍の周波数帯域の音については、上記のｂＨｚ以上の周波数帯域の音とは要素が異なる音響特性を考慮する必要があるとの知見を得るに至った。
【００１３】
上記で検討した周波数帯域、即ち、ａＨｚ以下の帯域とｂＨｚ以上の帯域以外の帯域、つまり、ａＨｚ〜ｂＨｚの間の狭い帯域については、従来から公知の、人の頭部や左右の耳介を物理的要因とする反射や回析による周波数特性のシミュレートを行って入力信号の処理，制御をすれば足りることを知得した。
【００１４】
上記知見に基づいて、本発明の発明者は周波数ａＨｚ以下、同ｂＨｚ以上、同ａＨｚ〜ｂＨｚの間の各帯域について、左，右の耳に入る音の時間差や音量差などの制御要素をパラメータとして音像定位に関するテストを行い、次のテスト結果を得た。
【００１５】
ａＨｚ以下の周波数帯域のテスト結果
この帯域のオーディオ信号は、左，右の耳に入る音の時間差と音量差の２つのパラメータを制御するだけでも、ある程度の音像定位が可能であった。しかし、上下方向を含めた任意の空間についての定位はこの要素の制御だけでは不十分でった。そこで左，右の両耳で時間差を１／４×１０−５〜１／５×１０−５秒単位で、音量差をｎｄＢ（ｎは０．１から２桁の自然数）単位で、それぞれ制御することにより水平面、垂直面、及び、距離における音像定位の位置を任意に実現できることが判った。なお、この帯域の音は左，右耳に入る時間差をより大きくすると音像定位の位置が受聴者の側方になる。
【００１６】
ａＨｚ〜ｂＨｚの間の周波数帯域のテスト結果
時間差の影響
この帯域の入力信号について、パラメトリックイコライザ（以下、ＰＥＱという）を無効状態にして左，右両耳に入る音に時間差を与える制御を試みた。この結果、上記のａＨｚ以下の帯域における制御によるような音像定位は得られなかった。なお、時間差を与える制御によって、この帯域の音像は左右に直線的移動することが判った。
入力するオーディオ信号をＰＥＱを通して処理を行った場合には、左右両耳に入る時間差をパラメータとする制御が重要になる。ここで、ＰＥＱにより補正できる音響特性は、ｆｃ（中心周波数）、Ｑ（尖鋭度）、Ｇａｉｎ（利得）の三種類である。
音量差の影響
左，右両耳に対する音量差をｎｄＢ（ｎは１桁の自然数）前後で制御すると、受聴者から音像定位点までの距離が大きくなる。音量差は大きくするほど音像定位点までの距離は小さくなる。
ｆｃの影響
受聴者の前方４５度の角度に音源を置き、その音源から入力するオーディオ信号を受聴者の頭部伝達関数に従ってＰＥＱ処理をするとき、ａＨｚ〜ｂＨｚの帯域でｆｃを高い側にシフトすると、音像定位位置までの距離が大きくなる傾向があることが判った。逆に、ｆｃを低い方にシフトすると、音像定位位置までの距離が小さくなる傾向があることも判った。
Ｑの影響
上記ｆｃの場合と同じ条件でａＨｚ〜ｂＨｚの帯域のオーディオ信号のＰＥＱ処理を行うとき、右耳用のオーディオ信号の１ｋＨｚ付近のＱを元の値から４倍程度に上げると、水平角度は小さくなるが、逆に距離が大きくなり、垂直角度は変らなかった。この結果、このａＨｚ〜ｂＨｚの帯域では１ｍ前後で音像を前方に定位させることが可能である。なお、ＰＥＱのＧａｉｎがマイナスのとき、補正するＱを上げると、音像が広がり、距離も短くなる傾向になることも判った。
Ｇａｉｎの影響
上記ｆｃの影響，Ｑの影響の場合と同じ条件でＰＥＱ処理を行うとき、右耳用のオーディオ信号の１ｋＨｚ付近のピーク部のＧａｉｎを数ｄＢ下げると、水平角度が４５度より小さくなり、距離は大きくなる。上記のＱを上げた場合とほぼ同等の音像定位位置が実現された。なお、ＰＥＱによりＱとＧａｉｎの効果を同時に得るように処理しても音像定位の距離に変化は生じなかった。
【００１７】
ｂＨｚ以上の周波数帯域のテスト結果
時間差の影響
左，右の耳に入る時間差だけの制御では、音像定位は殆んど実現できなかった。しかし、コムフィルタ処理を行った後、左，右の耳に時間差を与える制御は音像定位に有効であった。
音量差の影響
この帯域のオーディオ信号に左右の耳に対する音量差を与えると、その影響は他の帯域の場合に比較して、非常に効果的であることが判った。即ち、この帯域の音を音像定位させるには、相当レベル、例えば、１０ｄＢ以上の音量差を左右の耳に与える制御が必要である。
コムフィルタの間隔の影響
コムフィルタの間隔を変えてテストしてみると音像定位の位置が顕著に変化した。また、左耳又は右耳の片チャンネルについてだけコムフィルタの間隔を可変にしてみたが、この場合には左右の音像が分離し、音像定位を聴感することは困難であった。従って、コムフィルタの間隔は、左，右両耳に対する両チャンネルとも同時に可変することが必要である。
コムフィルタの深さの影響
深さと垂直角度の関係は、左右が逆の特性であった。
深さと水平角度の関係も、左右が逆の特性であった。
深さは音像定位の距離に比例していることが判った。
【００１８】
クロスオーバー帯域のテスト結果
ａＨｚ以下の帯域とａＨｚ〜ｂＨｚの中間帯域、およびこの中間帯域とｂＨｚ以上の帯域のクロスオーバー部分には不連続は認められず、逆位相感もなかった。そして、３つの帯域をミックスした周波数特性は、ほぼフラットであった。
【００１９】
以上のテスト結果から、音像定位は、入力するオーディオ信号を左右両耳用で複数の周波数帯域に分け、各帯域ごとに異なる要素により制御可能であることを知得した。即ち、例えば、左，右の耳に入る音の時間差が音像定位に及ぼす影響はａＨｚ以下の帯域において顕著であるが、ｂＨｚ以上の高域においては、時間差の影響は少ないということが、その一つである。また、ｂＨｚ以上の高周波帯域においては、コムフィルタの使用と左，右の耳に対して音量差を付けることが音像定位に有意であることも明らかとなった。なお、ａＨｚ〜ｂＨｚの中間帯域においては、距離は短いが、前方定位する上記制御要素以外のパラメータも見出した。
【００２０】
次に、図１によりモノラルのオーディオ信号を上記で説明した手法に基づき３次元の任意の位置に音像定位させる例について説明する。１は任意の音源の音をマイクロフォンにより拾ったモノラルのオーディオ入力信号である。
【００２１】
２は前記のマイクロフォンから送られる入力信号１を左右の耳用の２つのチャンネルに分けると共に、両チャンネルの信号を複数の周波数帯域に分割する帯域分割フィルターである。この実施例では入力するオーディオ信号１を、一例として、約１０００Ｈｚ以下の低周波数帯域、約１０００〜約４０００Ｈｚの中間周波数帯域、約４０００Ｈｚ以上の高周波数帯域の３つの帯域に分けて出力できるデジタルフィルターとして３個の３３次ＦＩＲフィルタ２Ｌ，２Ｍ，２Ｈを使用した。本発明では、入力信号１の帯域分割は、上記の３帯域に限られるものではなく、例えば、低周波数帯域と中高周波数帯域の２分割、或は、入力信号１の全帯域を４〜５の帯域に分割することもある。なお、以下は処理も左右チャンネル用の各帯域の信号について行っているものとする。
【００２２】
３Ｌ，３Ｍ，３Ｈは、前記の各フィルタ２Ｌ，２Ｍ，２Ｈにおいて分割された各帯域ごとに、夫々の帯域のオーディオ信号を、先に述べた音像定位の手法により処理，制御するための信号処理部である。低周波数帯域では、左右の耳用の各チャンネルに対し、時間差と音量差を音像定位のためのパラメータとして処理するため、一次のＩＩＲフィルタ３１を用いる。中間周波数帯域では、頭部伝達関数の周波数特性を精度良く再現するためパラメトリックイコライザ（ＰＥＱ）による処理のため、ここでは当該ＰＥＱを２次のＩＩＲフィルタ３２を３段直列して構成している。高周波数帯域では、頭部伝達関数が櫛状特性を示すので、コムフィルタ３３を用いる。
【００２３】
上記構成による各周波数帯域ごとの音像定位処理の後、各周波数帯域ごとに音の回析による遅延差や両耳に到達する音の伝達時間差を考慮した遅延制御を行うため、各周波数帯域ごとに遅延制御部４Ｌ，４Ｍ，４Ｈを設け、各遅延制御部４Ｌ，４Ｍ，４Ｈから出力される処理された各周波数帯域の音響信号を、ミキサー５においてそれぞれの帯域の音の量の比率（ゲイン）を調整して混合することにより、このミキサー５から三次元で音像定位される音響信号を得ることができる。
【００２４】
上記の三次元音像定位の手法によって、図２に例示するように、受聴者Ｍを中心とする同心円上の任意の位置に音像を定位させることができるので、本発明では、この音像定位手法による機能をより拡張し、ある点に定位させた音像を次の点に移動させることができるようにしたものである。
【００２５】
定位音像を図２に例示したＡ点からＢ点へ、或は、これとは逆に２点間で移動させるには、図１の音像定位手法に用いられているすべてのパラメータを、上記２点間で補間すればよいが、これでは演算量，メモリ量が膨大になるため実用的ではない。
【００２６】
そこで本発明では、先に述べた音像定位手法において、音像の移動効果を表現するために重要な役割を担う各周波数帯域ごとの音像定位処理における遅延制御と、ミキシング処理における各周波数帯域の比率（ゲイン）を上記の２点間で補間することとした。以下に、補間手順について述べる。
【００２７】
まず、音像定位のパラメータが定義されているＡ，Ｂ２点間の遅延差，ゲイン差を求める。次に、定位音像をＡ点からＢ点に移動させるに要する時間によって前記遅延差とゲイン差とを割り、遅延とゲインの最小単位の差分が変化する時間間隔を求める。図２の例では、Ａ点とＢ点が音像定位できる点であり、説明の便宜上、図２の「５」がＡ点での遅延差又はゲイン差のパラメータの係数、「１５」がＢ点での当該パラメータの係数を表わすものとする。ここで、音像定位点Ａ点からＢ点に音像を移動させるとき、両点における前記係数の差「１０」により音像の移動に要する時間を割ることによって、この音像の移動により前記係数の最小単位「１」が変化する時間間隔が得られるので、この時間間隔によって前記係数をＡ点の「５」から順次６，７，８・・・・・・１４，「１５」と変化させてやれば、Ａ，Ｂ２点間の遅延差とゲイン差の線形補間を行うことになる。このとき、図１に例示した音像定位手法に用いられている他のパラメータは、定位された音像がＢ点に移動したとき、Ｂ点での定位パラメータの係数に入替える。
【００２８】
つまり、定位音像をＡ点からＢ点に移動させるとき、遅延差とゲイン差については、線形補間した値を用いるが、それら以外のパラメータについては、移動中には点Ａの定位パラメータを用いておき、Ｂ点に到着したときＢ点のパラメータに入替える。これとは逆に、定位音像をＢ点からＡ点に移動させるには、Ａ点に到達するまでＢ点の定位パラメータを用いる。
【００２９】
上記の定位音像を移動させるために必要な処理は、各周波数帯域ごとに、左，右の耳に対する遅延差を求める処理、ゲインの差を求める処理、前記各処理で求められた遅延差とゲイン差の夫々の最小単位分が変化する時間間隔を求める処理、及び、遅延とゲインの値を得られた遅延とゲインの最小単位の値ずつ変化させる処理である。
【００３０】
従って、図１の音像定位手法のアルゴリズムに、上記の音像移動のための各処理を実行するアルゴリズムを加えることにより、図１と同じ処理フローによって受聴者Ｍが移動感を覚える音像定位された音を任意に生成することができる。
【００３１】
上記に説明した手法の例は、受聴者Ｍに同心円または球上で定位した音像が移動する聴感を覚えさせるものであるが、本発明は受聴者Ｍを中心に三次元の放射状の距離の変化においても音像を移動させることができる。
【００３２】
【発明の効果】
本発明は以上の通りであって、入力されるオーディオ信号について、それを左、右の両耳用のチャンネルに分け、各チャンネルのオーディオ信号を、一例として低，中，高の各周波数域の３つの帯域に分け、各周波数の帯域ごとに左右の耳における時間差，音量差などを音像定位要素とするパラメータとして制御する処理を施すことにより定位音像を得ると共に、前記の各周波数帯域ごとに、前記音像の移動効果を知覚させる要素である左右耳に対する遅延差と各帯域の音をミキシングするときの比率（ゲイン）差とを、単位時間ごとに変化させて、定位音像の移動感が知覚できる音を生成するようにしたので、適宜の音源から入力される左，右の耳用の入力オーディオ信号から音像定位に優れた再生音を得られることは勿論のこと、定位させた音像を三次元移動させることにより、定位音像の変化する奥行き感や変化する立体感を聴感できる再生音を得ることが可能になる。また、前記手法に加えて再生時にも音像定位並びにその音像を移動させる制御を重畳すれば、更に効果的、かつ、高精度の音像定位とその音像の移動を、容易に実現することができる。
【図面の簡単な説明】
【図１】本発明方法を実施するための一例の機能ブロック図。
【図２】本発明方法を説明するための模式図。
【符号の説明】
１　　　　　　入力信号
２　　　　　　帯域分割フィルター
３Ｌ，３Ｍ，３Ｈ　　信号処理部
４Ｌ，４Ｍ，４Ｈ　　遅延制御部
５　　　　　　ミキサー