(57)【特許請求の範囲】
【請求項１】
仮想音源から聴取者の両耳までのインパルス応答に従って入力音声信号を信号処理して再生することにより上記仮想音源の位置にその再生音像を定位させる仮想音源再生装置において、
上記インパルス応答のうち、上記仮想音源の位置の知覚に寄与する第１のインパルス応答部分に従って上記入力信号を信号処理して一対の初期応答信号を得るとともに、上記入力音声信号を上記第１のインパルス応答部分の時間長さに相当する時間だけ遅延させて遅延信号を得る頭部伝達処理手段と、
上記インパルス応答のうち、上記仮想音源の距離のみの知覚に寄与する第２のインパルス応答部分にしたがって上記遅延信号を処理して一対の反射応答信号を得る反射音処理手段と、
上記一対の初期応答信号と上記一対の反射応答信号をそれぞれ合成して一対の合成音声信号を得る合成手段と、
上記聴取者の頭部が回転したことを検出して上記頭部伝達関数処理手段の応答特性を変更する特性変更手段とを備え、
上記反射音処理手段は、上記仮想音源から上記聴取者の左耳までのインパルス応答のうち、上記仮想音源の距離のみの知覚に寄与するインパルス応答部分に従って上記遅延出力信号を信号処理する第１のＦＩＲ型デジタルフィルタと、上記仮想音源から上記聴取者の右耳までのインパルス応答のうち、上記仮想音源の距離のみの知覚に寄与するインパルス応答部分に従って上記遅延出力信号を信号処理する第２のＦＩＲ型デジタルフィルタとが縦続接続された遅延器を共通にして構成され、各遅延器により遅延された出力信号を、上記仮想音源から上記聴衆者の左耳または右耳までのインパルス応答の少なくともいずれか一方のインパルス応答のうち、上記仮想音源の距離のみの知覚に寄与するインパルス応答部分から求められることで割り当てられた共通する係数で畳み込んで得た信号を上記一対の反射応答信号として出力するようにし、
上記特性変更手段は、上記聴衆者の頭部の回転角速度を検出する頭部回転角検出手段と、上記頭部回転角検出手段の出力から上記聴取者の両耳の位置変化量を算出する変位量演算手段と、上記変位量演算手段の出力に応じて、上記頭部伝達関数処理手段の応答特性を変更する特性制御手段とを備え、上記特性制御手段は、上記仮想音源の位置の知覚に寄与する第１のインパルス応答の出力に対して応答特性を変更するように構成した仮想音源再生装置。
【請求項２】
上記頭部伝達関数処理手段は、ＦＩＲ型デジタルフィルタにより構成され、上記ＦＩＲ型デジタルフィルタは、上記仮想音源から上記聴衆者の左耳までのインパルス応答のうち、上記仮想音源の位置の知覚に寄与するインパルス応答部分に従って上記入力音声信号を信号処理する第１のＦＩＲ型デジタルフィルタと、上記仮想音源から上記聴取者の右耳までのインパルス応答のうち、上記仮想音源の位置の知覚に寄与するインパルス応答部分に従って上記入力音声信号を信号処理する第２のＦＩＲ型デジタルフィルタとが縦続接続された遅延器を共通にして構成され、上記入力音声信号を供給されて上記一対の初期応答信号及び上記遅延出力信号を得るようにした請求項１記載の仮想音源再生装置。
【請求項３】
上記特性制御手段は、上記頭部伝達関数処理手段のパラメータを直接制御して上記応答特性を変更する請求項１記載の仮想音源再生装置。
【請求項４】
上記入力音声信号は、複数の音声信号であって、上記複数の音声信号がそれぞれ供給される複数の上記頭部伝達関数処理手段と、上記複数の頭部伝達関数処理手段から出力される上記一対の初期応答信号及び上記遅延出力信号をそれぞれに合成し、一対の合成初期応答信号及び合成遅延出力信号を得る合成手段とをさらに備え、この合成遅延出力信号を上記反射音処理手段に供給すると共に、この反射音処理手段からの上記一対の反射応答信号と上記一対の合成初期応答信号とをそれぞれ合成するようにした請求項１記載の仮想音源再生装置。
【請求項５】
仮想音源から聴取者の両耳までのインパルス応答に従って一対の入力音声信号を信号処理し、上記聴取者に対して左右対称に配置された一対の音響変換器から再生することにより上記仮想音源の位置にその再生音像を定位させる仮想音源再生装置において、
上記一対の入力音声信号から和信号と差信号を生成する第１の加減算処理部と、
上記第１の加減算処理部からの上記和信号を信号処理する第１のフィルタ手段と、
上記第１の加減算処理部からの上記差信号を信号処理する第２のフィルタ手段と、
上記第１及び第２のフィルタ手段からの一対の出力信号から上記一対の音響変換器に供給される和信号と差信号を生成する第２の加減算処理部と、
上記聴取者の頭部が回転したことを検出して上記頭部伝達関数処理手段の応答特性を変更する特性変更手段とを備え、
上記第１及び第２のフィルタ手段は、それぞれのフィルタ手段のインパルス応答のうち、上記仮想音源の位置の知覚に寄与する第１のインパルス応答部分に従って、入力信号を信号処理して初期応答信号を得るとともに入力信号を上記第１のインパルス応答部分の時間長さに相当する時間だけ遅延させて遅延出力信号を得る頭部伝達関数処理手段と、上記仮想音源の距離のみの知覚に寄与する第２のインパルス応答部分に従って上記遅延出力信号を信号処理して反射応答信号を得る反射音処理手段と、上記初期応答信号と上記反射応答信号とを合成する合成手段とをそれぞれに備え、
上記反射音処理手段は、上記仮想音源から上記聴取者の左耳までのインパルス応答のうち、上記仮想音源の距離のみの知覚に寄与するインパルス応答部分に従って上記遅延出力信号を信号処理する第１のＦＩＲ型デジタルフィルタと、上記仮想音源から上記聴取者の右耳までのインパルス応答のうち、上記仮想音源の距離のみの知覚に寄与するインパルス応答部分に従って上記遅延出力信号を信号処理する第２のＦＩＲ型デジタルフィルタとが縦続接続された遅延器を共通にして構成され、各遅延器により遅延された出力信号を、上記仮想音源から上記聴衆者の左耳または右耳までのインパルス応答の少なくともいずれか一方のインパルス応答のうち、上記仮想音源の距離のみの知覚に寄与するインパルス応答部分から求められることで割り当てられた共通する係数で畳み込んで得た信号を上記一対の反射応答信号として出力するようにし、
上記特性変更手段は、上記聴取者の頭部の回転角速度を検出する頭部回転角検出手段と、上記頭部回転角検出手段の出力から上記聴取者の両耳の位置変化量を算出する変位量演算手段と、上記変位量演算手段の出力に応じて上記頭部伝達関数処理手段の応答特性を変更する特性制御手段とを備え、上記特性制御手段は、上記仮想音源の位置の知覚に寄与する第１のインパルス応答の出力に対して応答特性を変更するように構成した仮想音源再生装置。
【請求項６】
上記特性制御手段は、上記頭部伝達関数処理手段のパラメータを直接制御して上記応答特性を変更する請求項５記載の仮想音源再生装置。
【請求項７】
複数組の上記一対の入力音声信号がそれぞれに入力される複数の上記第１の加減算処理部と上記複数の第１の加減算処理部からの音声信号がそれぞれ供給される複数組の上記頭部伝達関数処理手段と一対の上記反射音処理手段を備え、上記複数組の頭部伝達関数処理手段から出力される複数の上記初期応答信号及び上記遅延出力信号をそれぞれに合成して、合成初期応答信号及び合成遅延出力信号を得、この合成遅延出力信号を上記反射音処理手段に供給するとともに上記反射音処理手段からの上記反射応答信号と上記一対の合成初期応答信号とをそれぞれ合成するようにした請求項５記載の仮想音源再生装置。
【請求項８】
上記頭部伝達関数処理手段から出力される一対の初期応答信号を供給され、この一対の初期応答信号の間で時間差及びレベル差を付加する時間差付加部及びレベル差付加部をさらに備え、
上記特性制御手段は、上記変位量演算手段の出力に応じて上記時間差付加部及びレベル差付加部の時間差及びレベル差を変更する請求項５記載の仮想音源再生装置。
【請求項９】
上記時間差付加部及びレベル差付加部は、上記一対の初期応答信号の間で相補的に時間差及びレベル差を変更する請求項８記載の仮想音源再生装置。
【請求項１０】
上記複数の頭部伝達関数処理手段から出力される上記一対の合成初期応答信号が供給され、この一対の合成初期応答信号の間で時間差及びレベル差を付加する時間差付加部及びレベル差付加部をさらに備える請求項８記載の仮想音源再生装置。
【請求項１１】
上記装置は、さらに上記聴取者の頭部が回転したことを検出して、上記時間差付加部及びレベル差付加部の時間差及びレベル差を変更する特性補正手段をさらに備える請求項１０記載の仮想音源再生装置。
【請求項１２】
上記特性補正手段は、上記聴取者の頭部の回転角速度を検出する頭部回転角検出手段と上記頭部回転角検出手段の出力から上記聴取者の両耳の位置変化量を算出する変位量演算手段とを備え、
上記特性制御手段は、上記変位量演算手段の出力に応じて上記時間差付加部及びレベル差付加部の時間差及びレベル差を変更する請求項１１記載の仮想音源再生装置。
【請求項１３】
上記時間差付加部及びレベル差付加部は、上記一対の初期応答信号の間で相補的に時間差及びレベル差を変更する請求項１０記載の仮想音源再生装置。
【発明の詳細な説明】
【０００１】
技術分野
本発明は、仮想音源を生成する仮想音源装置に関し、さらに詳しくは、仮想音源より両耳までの音声信号の伝達関数のインパルス応答のうち、仮想音源の位置を知覚し得るインパルス応答部分にしたがって信号処理する第１の信号処理手段と、仮想音源の距離のみを知覚し得るインパルス応答部分にしたがって信号処理する第２の信号処理手段と、両耳の位置の変化や動きを検出して第１の信号処理手段の応答特性を制御し補正する応答特性制御手段を備える仮想音源再生装置に関する。
【０００２】
背景技術
映画等の映像に伴う音源は複数チャンネルのオーディオ信号が用いられ、これら複数チャンネルのオーディオ信号チャンネルは、映像が投射されるスクリーンの両側及びセンターに配置したスピーカ及び聴取者の後方あるいは両横に配置したスピーカ等にそれぞれ供給して再生することを想定して記録されている。このように複数チャンネルのオーディオ信号を立体的に配置したスピーカにより再生することにより映像に伴う音源位置と実際に聞こえてくる音像位置を一致させることができ、音響の自然な広がりをもった音場を確立することができる。
【０００３】
ところで、複数チャンネルのオーディオ信号からなる音源を頭部装着型のヘッドホン装置を用いて鑑賞しようとすると、両耳へのオーディオ信号による音像が頭の中に定位し、音源の位置と音像の定位置が一致しなくなり、極めて不自然な音像定位となってしまう。さらに、ヘッドホン装置を用いた再生にあっては、各音源の音像の定位位置を分離独立して再生することができない。左右２チャンネルのオーディオ信号を再生する場合であっても、ヘッドホン装置はスピーカによる再生と異なり、音像が頭の中に定位し、頭の中の一箇所から音が聞こえるようになり、音像の定位置が分離することがなく極めて不自然な音場しか生成することができない。
【０００４】
このような問題点を解消し、ヘッドホン装置を用いて複数チャンネルのオーディオ信号を聴取した場合であっても、スピーカにより再生した場合と同等の音像を得るようにするため、予め各チャンネルのオーディオ信号をそれぞれ再生するように設けられたスピーカから聴取者の両耳までの伝達関数又はインパルス応答を測定しあるいは計算し、これらをデジタルフィルタ等により音源からのオーディオ信号に畳み込んだ後ヘッドホン装置により受聴することにより、音像を頭外に位置させるようにしたステレオ頭外音像定位型ヘッドホン装置が用いられている。
【０００５】
この種のステレオ頭外音像定位型ヘッドホン装置として、図１に示すように構成されたものが提案されている。このヘッドホン装置８は、左耳への音声信号及び右耳への音声信号による再生音像を頭外に定位させるものである。
【０００６】
ここで、ステレオ頭外音像定位型ヘッドホン装置８の動作を説明する。
【０００７】
まず、ステレオ頭外音像定位型ヘッドホン装置８の動作に先だって、聴取者から離間した位置に設置される２個のスピーカにより音声信号を聴取する場合を説明すると、左側の音源ＳＬより聴取者Ｍの左耳ＹＬ及び右耳ＹＲには、それぞれＨＬＬ、ＨＬＲなる伝達関数を有する経路を通じて音声信号が伝達される。また、右側の音源ＳＲより聴取者の左耳ＹＬ及び右耳ＹＲには、それぞれＨＲＬ、ＨＲＲなる伝達関数を有する経路を通じて音声信号が伝達される。
【０００８】
２個のスピーカを用いて左右の音源からの音声信号を再生する状態を、図１に示す頭部に装着されるヘッドホンを用いて再現するためには、左側の音源ＳＬを音声信号Ｓａｌを伝達関数ＨＬＬを実現するフィルタを通して左耳用音声信号Ｓｂｌｌを得るとともに音声信号Ｓａｌを伝達関数ＨＬＲを実現するフィルタを通して右耳用音声信号を得、さらに、右側の音源ＳＲの音声信号Ｓａｒを伝達関数ＨＲＬを実現するフィルタを通して左耳用音声信号Ｓｂｒｌを得るとともに音声信号Ｓａｒを伝達関数ＨＲＲを実現するフィルタを通して右耳用音声信号Ｓｂｒｒを得るようにする。
【０００９】
次に、左耳用合成音声信号Ｓｂｌ＝（Ｓｂｌｌ＋Ｓｂｒｌ）及び右耳用合成音声信号Ｓｂｒ＝（Ｓｂｌｒ＋Ｓｂｒｒ）を得、これら左右の合成音声信号Ｓｂｌ、Ｓｂｒによりヘッドホン６の左右のヘッドホン素子６ａ，６ｂを駆動することにより、聴取者は、音源があたかも音源ＳＬ及びＳＲに配置されているかのような音像を知覚することができる。
【００１０】
ここで、従来提案されているステレオ頭外音像定位型ヘッドホン装置８の具体的な構成を図１を参照して説明すると、このヘッドホン装置８は、音声信号Ｓａｌが入力される第１の入力端子１Ｌと、音声信号Ｓａｒが入力される第２の入力端子１Ｒと、各音声信号Ｓａｌ，Ｓａｒをそれぞれデジタル信号に変換するＡ／Ｄコンバータ２Ｌ，２Ｒと、デジタル信号に変換された各音声信号Ｓａｌ，Ｓａｒに対してフィルタ処理を施す信号処理回路３Ｌ，３Ｒと、それぞれの２系統の出力を加算する加算器７Ｌ，７Ｒと、２系統の加算出力をアナログ信号に変換するＤ／Ａコンバータ４Ｌ，４Ｒと、各Ｄ／Ａコンバータ４Ｌ，４Ｒから出力されるアナログ音声信号を増幅してヘッドホン６の左右のヘッドホン素子６ａ，６ｂに供給する増幅器５Ｌ，５Ｒを備えている。
【００１１】
ここで、一方の信号処理回路３Ｌは、図３に示すように、２つのデジタルフィルタ１０，１１により構成され、一方のデジタルフィルタ１０は、入力端子１２を介して入力される音声信号Ｓａｌに伝達関数ＨＬＬのインパルス応答の畳み込みを行って左耳用音声信号Ｓｂｌｌを形成して出力端子１３から出力し、他方のデジタルフィルタ１１は、入力端子１２を介して入力される音声信号Ｓａｌに伝達関数ＨＬＲのインパルス応答の畳み込みを行って右耳用音声信号Ｓｂｌｒを形成して出力端子１４から出力する。
【００１２】
他方の信号処理回路３Ｒも同様に、図３に示すように、２つのデジタルフィルタ１０，１１により構成され、一方のデジタルフィルタ１０は、入力端子１２を介して入力される音声信号Ｓａｒに伝達関数ＨＲＬを実現するためのインパルス応答の畳み込みを行って左耳用音声信号Ｓｂｒｌを形成して出力端子１３から出力し、他方のデジタルフィルタ１１は、入力端子１２を介して入力される音声信号Ｓａｒに伝達関数ＨＲＲを実現するためのインパルス応答の畳み込みを行って右音声信号Ｓｂｒｒを形成して出力端子１４から出力する。
【００１３】
上記インパルス応答は、図４に示すような特性を有し、これを実現するため、各デジタルフィルタ１０，１１は、例えば図５に示すようなＦＩＲ型デジタルフィルタ１５により構成される。このＦＩＲ型デジタルフィルタ１５は、図５に示すように、所定の遅延量を有する縦続接続された複数の遅延器１６と、入力される音声信号及び各遅延器１６で遅延された音声信号にインパルス応答の畳み込みを行うための係数を乗算する複数の係数乗算器１７と、各係数乗算器１７から出力される音声信号を加算する複数の加算器１８とから構成される。
【００１４】
例えば信号処理回路３Ｌにおけるデジタルフィルタ１０（１１）の１段目の遅延器１６は、入力端子１２を介して入力される音声信号Ｓａｌ（又はＳａｒ）を、例えば１サンプリング周期遅延し、ｉ（ｉ＝２，３，・・・）段目の遅延器１６は、前段（ｉ−１段）の遅延器１６から出力される遅延された音声信号を、同じく１サンプリング周期遅延して、後段（ｉ＋１段）の遅延器１６に供給する。各段の係数乗算器１７は、入力音声信号Ｓａｌ及び各段の遅延器１６で順次遅延された音声信号に、インパルス応答の畳み込みを行うための係数をそれぞれ乗算して、対応する段の加算器１８に供給する。各段の加算器１８は、前段の加算器１８の出力にその段の係数乗算器１７の出力を加算し、後段の加算器１８に供給する。すなわち、最終段の加算器１８は、入力端子１２を介して入力される音声信号Ｓａｌ（Ｓａｒ）に伝達関数ＨＬＬ（ＨＬＲ）のインパルス応答の畳み込みを行って左耳用音声信号Ｓｂｌｌ（右耳用音声信号Ｓｂｌｒ）を形成し、出力端子１３（１４）を介して出力する。
【００１５】
同様に、信号処理回路３Ｒにおけるデジタルフィルタ１０（１１）の最終段の加算器１８は、入力端子１２を介して入力される音声信号Ｓａｌ（Ｓａｒ）に伝達関数ＨＲＬ（ＨＲＲ）のインパルス応答の畳み込みを行って左耳用音声信号Ｓｂｒｌ（右耳用音声信号Ｓｂｒｒ）を形成し、出力端子１３（１４）を介して出力する。
【００１６】
前述した図３に示す２つのデジタルフィルタ１０，１１をＦＩＲ型デジタルフィルタにより実現する場合には、図６に示すようにまとめることができる。この図６に示すＦＩＲ型デジタルフィルタ２０は、図５に示すＦＩＲ型デジタルフィルタ１５を２つ用いて２系統の出力を得るにあたり、縦続接続された複数の遅延器１６を共用して一つのフィルタブロックとして構成したものである。このように、図５に示すようなＦＩＲ型デジタルフィルタ１５を２つ用意するよりも、図６に示すようにＦＩＲ型デジタルフィルタ２０を構成することにより、遅延器１６の数が半分となり回路規模が小さくなり信号処理演算量が削減される。
【００１７】
図１に示すヘッドホン装置８の信号処理回路３Ｌ，３Ｒより出力される上述の左耳用音声信号Ｓｂｌｌ，Ｓｂｒｌは、一方の加算器７Ｌにより加算されて左耳用合成音声信号Ｓｂｌが得られ、信号処理回路３Ｌ，３Ｒより出力される上述の右耳用音声信号Ｓｂｌｒ，Ｓｂｒｒは、一方の加算器７Ｌにより加算されて右耳用合成音声信号Ｓｂｒが得られる。こうして得られた左耳用合成音声信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒは、それぞれＤ／Ａコンバータ４Ｌ，４Ｒでアナログ信号に変換され、アナログ信号に変換された左耳用合成音声信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒはそれぞれ増幅器５Ｌ，５Ｒにより増幅されてヘッドホン６の左右のヘッドホン素子６ａ，６ｂにそれぞれ供給されて再生される。このように左耳用合成音声信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒが再生されることにより、ヘッドホン６を装着した聴取者Ｍは、あたかも図２に示すように左右の２つの音源ＳＬ，ＳＲが実際に存在するかのように知覚し、左耳用合成音声信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒによる再生音像をそれぞれ頭外に定位させることができる。
【００１８】
一方、スピーカを用いた音声信号の再生においては、室内におけるスピーカの配置に制約を受ける場合もあって、多数のスピーカをリスニングルームに配置することが困難になる場合がある。そこで、少ないスピーカ、例えば２つのスピーカを用いて多数の再生音源を聴取者の周囲に仮想音源として構成するものが提案されている。
【００１９】
この２つのスピーカを用いて多くの仮想スピーカ音源を構成する例を図７及び図８を参照して説明する。
【００２０】
まず、図７に示すスピーカ装置３０の原理を図８を参照して説明する。
【００２１】
音源ＳＬ及び音源ＳＲを用いて仮想的に音源ＳＯを再現するには、音源ＳＬから聴取者Ｍの左耳ＹＬ、右耳ＹＲに至る音声信号の伝達関数をそれぞれＨＬＬ，ＨＬＲとし、音源ＳＲから聴取者Ｍの左耳ＹＬ、右耳ＹＲに至る音声信号の伝達関数をそれぞれＨＲＬ，ＨＲＲとし、音源ＳＯから聴取者Ｍの左耳ＹＬ、右耳ＹＲに至る音声信号の伝達関数をそれぞれＨＯＬ，ＨＯＲとすると、音源ＳＬと音源ＳＯの伝達関係は、下記に示す式（１）のように表され、音源ＳＲと音源ＳＯの伝達関係は下記に示す式（２）のように表される。
【００２２】
ＳＬ＝｛（ＨＯＬ×ＨＲＲ−ＨＯＲ×ＨＲＬ）／（ＨＬＬ×ＨＲＲ−ＨＬＲ×ＨＲＬ）｝×ＳＯ  ・・・・（１）
ＳＲ＝｛（ＨＯＲ×ＨＬＬ−ＨＯＬ×ＨＬＲ）／（ＨＬＬ×ＨＲＲ−ＨＬＲ×ＨＲＬ）｝×ＳＯ  ・・・・（２）
したがって、音源ＳＯの音声信号Ｓａｏを式（１）の伝達関数部分を実現するフィルタを通して左耳用合成音声信号Ｓｂｌを得るとともに、音声信号Ｓａｏを式（２）の伝達関数部分を実現するフィルタを通して右耳用合成音声信号Ｓｂｒを得、これら左耳用及び右耳用の合成音声信号Ｓｂｌ，Ｓｂｒによって音源ＳＬ，ＳＲの位置に配された２つのスピーカを駆動することにより、あたかも音源ＳＯの位置から音声信号Ｓａｏが発生しているかのような仮想音源を定位させることができる。
【００２３】
上述したような仮想音源ＳＯを再現するスピーカ装置３０は、図７に示すように、２つのスピーカより両耳に入る入力信号の音像を任意の位置に定位させることができる。このスピーカ装置３０は、音声信号Ｓａｏが供給される入力端子２１と、音声信号Ｓａｏをデジタル信号に変換するＡ／Ｄコンバータ２２と、デジタル信号に変換された音声信号Ｓａｏに対してフィルタ処理を施す信号処理装置２３とを備えている。信号処理装置２３は、前述した図３に示すような２つのデジタルフィルタ１０，１１により構成され、一方のデジタルフィルタ１０は、音声信号Ｓａｏに対して上述の式（１）の伝達関数部分に対応するインパルス応答を畳み込み左耳用合成音声信号Ｓｂｌを形成し、他方のデジタルフィルタ１１は、音声信号Ｓａｏに対して上述の式（２）の伝達関数部分に対応するインパルス応答を畳み込み右耳用合成音声信号Ｓｂｒを形成する。伝達関数を実現するデジタルフィルタ１０，１１は、例えば前述した図５に示すＦＩＲ型デジタルフィルタ１５又は図６に示すＦＩＲ型デジタルフィルタ２０を用いることにより、回路規模を小さくすることができる。
【００２４】
左耳用及び右耳用の合成音声信号Ｓｂｌ，Ｓｂｒは、それぞれＤ／Ａコンバータ２４Ｌ，２４Ｒによりアナログ信号に変換され、アナログ信号の左耳用及び右耳用の合成音声信号Ｓｂｌ，Ｓｂｒがそれぞれ増幅器２５Ｌ，２５Ｒにより増幅されて左スピーカ２６Ｌ、右スピーカ２６Ｒとに供給される。左右のスピーカ２６Ｌ，２６Ｒは、それぞれ聴取者Ｍに対して音源ＳＬ，ＳＲの位置に配される。
【００２５】
以上により、音声信号Ｓａｏによる再生音像を仮想音源ＳＯの位置に定位させることができる。さらに多数の音源に対しては、上述の処理を音源の数だけ設けるようにすればよい。この方法により、少ないスピーカ音源から多くの仮想スピーカ音源を構成することができるので、スピーカの数を減らすことができる。
【００２６】
上述したヘッドホン装置やスピーカ装置は、仮想音源に対して十分な距離感を得るため、有響室内で測定して得られた各音源から両耳へのインパルス応答を再現する必要があり、このインパルス応答は残響時間の長い膨大なデジタル量となるので、これをデジタルフィルタにより構成する場合にはその演算量及び規模が非常に大きくなってしまうという問題点がある。
【００２７】
さらに、上述したステレオ頭外音像型ヘッドホン装置にあっては、仮想音源を受聴中に聴取者の両耳の位置が変化した場合、再生音源である電器音響変換器（ヘッドホン素子）より両耳への伝達関数は変化しないので、聴取者の両耳の動きに関係なく両耳に対して常に同じ方向から音が聞こえてくることになり、頭を動かしているにもかかわらず聞こえる方向が同じという不自然さを感ずる。
【００２８】
またスピーカ装置にあっては、聴取者の両耳の位置の変化により、再生音源である音響変換器（スピーカ）から両耳への伝達関数が変化してしまうので、本来の仮想音源の位置が不適切な位置に定位することになり、これも聴取者に違和感を常時させてしまう。
【００２９】
発明の開示
本発明は、このような実情に鑑みて提案されたものであり、ヘッドホン装置やスピーカ装置などの音響装置及びこれらと組み合わせられて使用される音響機器において、前述した伝達関数のインパルス応答の演算量を抑えながらも、任意の位置に十分な距離感をもって音像を定位することができ、聴取者の両耳の位置の変化に対応して仮想音源の位置が変化する仮想音源再生装置を提供することを目的とする。
【００３０】
このような目的を達成するために提案される本発明は、空間に配置された一つ以上の音源、例えばスピーカより発生する各音声信号Ｓａが両耳に到達して各音声信号Ｓｂとなるまでの伝達関数又はインパルス応答にしたがって信号処理を行って各音声信号Ｓｂを生成する。これら音声信号Ｓｂを合成して両耳用に２種類の合成音声信号を生成し、この２種類の合成音声信号を両耳に入力してあたかも一つ以上の音源が空間に配置されているように知覚させる仮想音源を再生する仮想音源再生装置に関するものである。
【００３１】
本発明に係る仮想音源再生装置は、一つ以上の音源から発生する各音声信号Ｓａのそれぞれの伝達関数に対応するインパルス応答中、一つ以上の仮想音源のそれぞれの位置の知覚に寄与するインパルス応答の部分を形成し、この形成されたそれぞれのインパルス応答の部分にしたがって、各音声信号Ｓａを信号処理して一対の初期応答信号を得るとともに、入力された音声信号をこのインパルス応答部分の時間長さに相当する時間だけ遅延させて遅延出力信号を得る第１の信号処理手段と、それぞれの伝達関数に対応するインパルス応答中一つ以上の仮想音源の距離のみの知覚に寄与するインパルス応答部分にしたがってこの遅延出力信号を信号処理して一対の反射応答信号を得る第２の信号処理手段と、一対の初期応答信号と一対の反射応答信号を両耳のそれぞれについて加算して両耳への出力を形成する合成手段とを具備するものである。
【００３２】
さらに、本発明に係る仮想音源再生装置は、両耳の位置の変化が仮想音源にも対応し、あたかも空間に配置された一つ以上の音源に対して両耳の位置が変化しているかのように知覚させるべく第１の信号処理手段の伝達特性を補正する仮想音源伝達特性補正手段を備える。
【００３３】
さらにまた、本発明に係る仮想音源再生装置は、次のような構成を備える。
【００３４】
すなわち、第１の信号処理手段は、所定の遅延量を有する複数の遅延素子を縦続接続し、各遅延素子の接続点の各々の出力を重み付けして合成するＦＩＲ型デジタルフィルタを各音声信号Ｓａに対する伝達関数毎に設けたものであって、一つの音声信号Ｓａｌが左耳に伝達されるまでの伝達関数ＨＬに対応するＦＩＲ型デジタルフィルタと右耳に伝達されるまでの伝達関数ＨＲに対応するＦＩＲ型デジタルフィルタとが縦続接続された遅延素子を共通にして構成される。この第１の信号処理手段において、一つの音声信号Ｓａｌに対して、この音声信号Ｓａｌが遅延された音声信号Ｓａｌｄと、伝達関数ＨＬにしたがって信号処理されたＳｂｌｌと、伝達関数ＨＲにより信号処理された音声信号Ｓｂｌｒとが得られる。複数の音声信号に対しては、各音声信号Ｓａについて音声信号Ｓａｌｄ同士を合成した遅延合成音声信号、各音声信号Ｓａについて音声信号Ｓｂｌｌ同士を合成した左耳用の初期応答信号、各音声信号Ｓａについて音声信号Ｓｂｌｒ同士を合成した右耳用の初期応答信号が得られるものである。
【００３５】
第２の信号処理手段は、所定の遅延量を有する複数の遅延素子を縦続接続し、各遅延素子の接続点の各々の出力を重み付けして合成するＦＩＲ型デジタルフィルタであって、ＦＩＲ型デジタルフィルタでは、第１の信号処理手段からの遅延合成音声信号を入力とし、右耳用の伝達関数に対応するＦＩＲ型デジタルフィルタと左耳用の伝達関数に対応するＦＩＲ型デジタルフィルタが縦続接続された遅延素子を共通にして構成され、各遅延器により遅延された出力信号を、上記仮想音源から上記聴衆者の左耳または右耳までのインパルス応答の少なくともいずれか一方のインパルス応答のうち、上記仮想音源の距離のみの知覚に寄与するインパルス応答部分から求められることで割り当てられた共通する係数で畳み込んで得た左耳用の反射応答信号と、右耳用の反射応答信号を出力するものである。
【００３６】
仮想音源伝達特性補正手段は、空間に配置された一つ以上の音源の位置に対する両耳の位置を基準にして再生された仮想音源が受聴される両耳の位置を初期状態として、初期状態の両耳の位置からの両耳の変位速度を検出する変位速度検出手段と、変位速度検出手段の出力に基づき初期状態からの両耳の位置変化量を算出する変位量演算手段と、変位量演算手段の出力により各音声信号Ｓａに対する第１の信号処理手段の応答特性を補正する応答特性制御手段とで構成される。
【００３７】
この応答特性制御手段は、第１の信号処理手段を構成するパラメータを直接制御して応答特性の変化を補正する。
【００３８】
さらに、応答特性制御手段は、第１の信号処理手段を構成するために両耳用に別々に設けられた時間差付加部及びレベル差付加部を制御して応答特性の変化を補正する。
【００３９】
上述のような構成を備える本発明に係る仮想音源再生装置は、各音源から両耳への各音声信号の伝達関数に対応するインパルス応答中、各音源の位置の知覚に寄与するインパルス応答部分にしたがって各音声信号を信号処理し、両耳用に別々に合成して一対の反射応答信号と遅延出力信号を得、第２の信号処理手段により各音源の距離のみの知覚に寄与するインパルス応答の部分ににしたがって遅延出力信号を信号処理し、両耳用のそれぞれに対応する一対の反射応答信号を得、合成手段により一対の初期応答信号と一対の反射応答信号を両耳のそれぞれについて加算してヘッドホン素子などの音響変換素子により両耳に供給することにより、各音源に対する仮想音源を十分な距離感と方向感をもって再現することができる。さらに、各音源の距離のみの知覚に寄与するインパルス応答の部分にしたがった信号処理を第２の信号処理手段により各音声信号に対して一括して処理する構成としたことにより信号処理手段の規模を小型にすることができる。
【００４０】
また、空間に配置された一つ以上の音源の位置に対する両耳の位置を基準として再生された仮想音源が受聴される両耳の位置を初期状態とし、この初期状態にある両耳の位置からの両耳の変位速度を変位速度検出手段により検出し、変位量演算手段により初期状態からの両耳の位置変化量を算出して応答特性の変化を補正することにより、仮想音源に対して両耳を動かしたにもかかわらず両耳に対して常に同じ方向から音が聞こえしまう状態や、両耳を動かすと本来の仮想音源の位置とは全く異なる不適切な位置に音像が定位するというような聴取者が感ずる不自然な再生音の聴取を解消することができる。
【００４１】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施例の説明から一層明らかにされるであろう。
【００４２】
発明を実施するための最良の形態
以下、本発明に係る仮想音源再生装置、これを備える音響装置及び音響機器の具体的な例を図面を参照して説明する。
【００４３】
まず、本発明を仮想音源再生装置を備えるヘッドホン装置４０に適用した例を説明すると、このヘッドホン装置４０は、図９に示すように、音声信号Ｓａｌが入力される第１の入力端子３１Ｌと、音声信号Ｓａｒが入力される第２の入力端子３１Ｒと、各音声信号Ｓａｌ，Ｓａｒをそれぞれデジタル信号に変換するＡ／Ｄコンバータ３２Ｌ，３２Ｒと、デジタル信号に変換された各音声信号Ｓａｌ，Ｓａｒに対して所定のデジタル信号処理を施してステレオ信号として左耳用及び右耳用の合成音声信号Ｓｂｌ，Ｓｂｒの２系統に分割して出力する仮想音源再生装置５０と、この仮想音源再生装置５０から出力される各音声信号Ｓａｌ，Ｓａｒをアナログ信号に変換するＤ／Ａコンバータ３４Ｌ，３４Ｒと、各Ｄ／Ａコンバータ３４Ｌ，３４Ｒから出力されるアナログ音声信号を増幅してヘッドホン３６の左右のヘッドホン素子３６ａ，３６ｂに供給する増幅器３５Ｌ，３５Ｒを備えている。
【００４４】
このヘッドホン装置４０は、第１及び第２の入力端子３１Ｌ，３１Ｒからそれぞれ入力された仮想音源からの各音声信号Ｓａｌ，Ｓａｒを２つのＡ／Ｄコンバータ３２Ｌ，３２Ｒによりデジタル信号に変換し、このデジタル信号に変換された各音声信号Ｓａｌ，Ｓａｒに対し仮想音源再生装置５０によりデジタル信号処理を施し、左耳用及び右耳用の合成音声信号Ｓｂｌ，Ｓｂｒの２系統に分割して出力し、これら合成音声信号Ｓｂｌ，ＳｂｒをＤ／Ａコンバータ３４Ｌ，３４Ｒによりアナログ信号に変換し、増幅器３５Ｌ，３５Ｒにより増幅してヘッドホン３６の左右のヘッドホン素子３６ａ，３６ｂに供給して再生することにより、仮想音源の音像をヘッドホン３６を装着した聴取者の頭外の所定の位置に定位させることができる。
【００４５】
ここで用いられる仮想音源装置５０は、ヘッドホン３６などの音響装置の中に具備してもよく、あるいは別の音響機器内に設けるようにしてもよい。
【００４６】
上述したヘッドホン装置４０に用いられる本発明に係る仮想音源再生装置５０は、図１０に示すように、左耳用及び右耳用の合成音声信号Ｓｂｌ，Ｓｂｒをヘッドホン３６で受聴したとき、所定の方向に対して仮想音源の頭外音像定位を得るようなデジタル信号処理を施す第１の信号処理手段５１と、音像定位の距離を知覚させる処理を行う第２の信号処理手段５２からなる。
【００４７】
ここで、仮想音源再生装置５０で再生しようとする音源から両耳までの伝達関数に対応するインパルス応答の例を示すと、このインパルス応答は、図１１に示すように、音源の位置の知覚に寄与するインパルス応答部分（ａ）と、音源までの距離のみの知覚に寄与するインパルス応答部分（ｂ）からなりたっており、（ａ）は主として頭部伝達関数を表すインパルス応答部分で、頭部伝達関数領域と呼び、（ｂ）は主として反射音を表すインパルス応答部で、反射音領域と呼ぶ。ここで、インパルス応答部分は、１０〜３０ｍｍ／ｓｅｃ程度である。
【００４８】
仮想音源再生装置５０を構成する第１の信号処理手段５１は、例えば図１２に示すようなＦＩＲ型デジタルフィルタ４５で構成される。このデジタルフィルタ４５は、第１の入力端子５３を介して入力される入力信号Ｓａｌを２系統の出力信号として出力し、第２の入力端子５３を介して入力される入力信号Ｓａｒを２系統の出力信号として出力するように構成された２組のＦＩＲ型デジタルフィルタを組み合わせて構成されたものであり、各組のデジタルフィルタは、縦続接続された複数の遅延器５６を共用して一つのフィルタブロックとして構成されたものである。
【００４９】
図１２に示すＦＩＲ型デジタルフィルタ４５を構成する各組のデジタルフィルタは、所定の遅延量を有する縦続接続された複数の遅延器５６と、入力される音声信号及び各遅延器５７で遅延された音声信号にインパルス応答の畳み込みを行うための係数を乗算するそれぞれ複数の係数乗算器５７，５８と、各係数乗算器５７，５８から出力される音声信号を加算するそれぞれ複数の加算器５９，６０とから構成される。
【００５０】
例えば音声信号Ｓａｌが入力される組のデジタルフィルタの１段目の遅延器５６は、入力端子５３を介して入力される音声信号Ｓａｌを、所定遅延量、例えば１サンプリング周期遅延し、ｉ（ｉ＝２，３，・・・）段目の遅延器５６は、前段（ｉ−１段）の遅延器５６から出力される遅延された音声信号を、同じく１サンプリング周期遅延して、後段（ｉ＋１段）の遅延器５６に供給する。各段の係数乗算器５７（５８）は、入力音声信号Ｓａｌ及び各段の遅延器５６で順次遅延された音声信号に、インパルス応答の畳み込みを行うための係数をそれぞれ乗算して、対応する段の加算器５９（６０）に供給する。各段の加算器５９（６０）は、前段の加算器５９（６０）の出力に、その段の係数乗算器５７（５８）の出力を加算し、後段の加算器５９（６０）に供給する。すなわち、最終段の加算器５９（６０）は、入力端子５３を介して入力される音声信号Ｓａｌに伝達関数ＨＬＬ（ＨＬＲ）のインパルス応答の畳み込みを行い、応答信号Ｓｂ’ｌｌ（Ｓｂ’ｌｒ）を形成して、加算器６１（６２）に供給する。
【００５１】
同様に、音声信号Ｓａｒが入力される組のデジタルフィルタの最終段の加算器は、入力端子５４を介して入力される音声信号Ｓａｒに伝達関数ＨＲＬ（ＨＲＲ）のインパルス応答の畳み込みを行い、応答信号Ｓｂ’ｒｌ（Ｓｂ’ｒｒ）を形成して、加算器６１（６２）に供給する。
【００５２】
すなわち、このＦＩＲ型デジタルフィルタ４５は、２系統の出力信号を出力するデジタルフィルタを２組組み合わせることにより、４系統のフィルタを構成しているので、２系統のフィルタで縦続接続された遅延器５６を共有でき、使用する遅延器５６の数を半減できる。
【００５３】
図１２に示されるＦＩＲ型デジタルフィルタ４５のインパルス応答は、前述した図２を参照して説明した４系統の伝達関数ＨＬＬ、ＨＬＲ、ＨＲＬ、ＨＲＲに対応するそれぞれのインパルス応答の一部、すなわち、図１１に示すように最初の応答から主として頭部伝達関数を表すインパルス応答部分（ａ）に相当する頭部伝達関数領域を形成する。この領域ではＦＩＲ型デジタルフィルタ４５の４系統でそれぞれ異なったインパルス応答（ａ）が畳み込まれる。この演算により、仮想音源から聴取者の両耳までのインパルス応答にしたがって入力信号を信号処理して再生することにより仮想音源の位置にその再生音像を定位させる仮想音源の位置の知覚に寄与する応答信号が得られる。
【００５４】
図１２に示すＦＩＲ型デジタルフィルタ４５の４系統の出力は、加算器６１，６２によりそれぞれ合成され、左耳用及び右耳用の初期応答信号Ｓｂ’ｌ，Ｓｂ’ｒとして第１及び第２の出力端子６３，６４よりそれぞれ出力される。また、各組のデジタルフィルタを構成する縦続接続された遅延器５６，５６により所定の時間だけ遅延された入力信号Ｓａｌ，Ｓａｒは加算器６５により合成され、その後遅延器６６により遅延されて合成遅延出力信号として出力端子６７より出力される。なお、出力端子６７に付加される遅延器６６は、図１２に示すＦＩＲ型デジタルフィルタ４５により構成される第１の信号処理手段５１からの初期応答信号と後述する第２の信号処理手段５２からの反射応答信号とを合成するときのタイミング補正用の遅延を与えるものである。厳密なタイミング補正が不要である場合には省略することもでき、この遅延器６６を第２の信号処理手段５２の入力端子６８に付加するようにしてもよい。
【００５５】
次に図１２に示すＦＩＲ型デジタルフィルタ４５の出力端子６７から出力される合成遅延信号は、複数の音声信号が供給される頭部伝達関数処理手段から出力される遅延出力信号を合成して得られる合成遅延出力信号に相当するものであり、図１３に示すＦＩＲ型デジタルフィルタ４６により構成された第２の信号処理手段５２の入力端子６８に入力される。
【００５６】
図１３に示す第２の信号処理手段５２を構成するＦＩＲ型デジタルフィルタ４６は、入力端子６８を介して入力される入力信号を２系統の出力信号として出力するように構成されたものであって、縦続接続された複数の遅延器７６を共用して一つのフィルタブロックとして構成されたものである。具体的には、このＦＩＲ型デジタルフィルタ４６は、所定の遅延量を有する縦続接続された複数の遅延器７６と、入力信号及び各遅延器７６で遅延された信号にインパルス応答の畳み込みを行うための係数を乗算するそれぞれ複数の係数乗算器７７，７８と、各係数乗算器７７，７８から出力される信号を加算するそれぞれ複数の加算器７９，８０とから構成される。
【００５７】
１段目の遅延器７６は、入力端子６８を介して入力される信号を、所定遅延量、例えば１サンプリング周期遅延し、ｉ（ｉ＝２，３，・・・）段目の遅延器７６は、前段（ｉ−１段）の遅延器７６から出力される遅延された信号を、同じく１サンプリング周期遅延して、後段（ｉ＋１段）の遅延器７６に供給する。各段の係数乗算器７７（７８）は、入力信号及び各段の遅延器７６で順次遅延された信号に、インパルス応答の畳み込みを行うための係数をそれぞれ乗算して、対応する段の加算器７９（８０）に供給する。各段の加算器７９（８０）は、前段の加算器７９（８０）の出力に、その段の係数乗算器７７（７８）の出力を加算し、後段の加算器７９（８０）に供給する。すなわち、最終段の加算器７９（８０）は、入力端子５３を介して入力される信号に初期応答音を表すインパルス応答の畳み込みを行って、反射音を形成し、この反射音を出力端子８１（８２）を介して出力する。
【００５８】
第２の信号処理手段５２を構成する図１３に示すＦＩＲ型デジタルフィルタ４６は、上述の４系統の伝達関数ＨＬＬ、ＨＬＲ、ＨＲＬ、ＨＲＲに対応するインパルス応答の中のいずれか２系統の異なるインパルス応答の一部が畳み込まれ第１及び第２の出力端子８１，８２から出力される。これら出力端子８１，８２から出力される各出力は、主として前述の反射音を表すインパルス応答部分である（ｂ）反射音領域を形成するもので、仮想音源から聴取者の両耳までの距離のみの知覚に寄与するインパルス応答部分に対応するものである。
【００５９】
再生しようとする仮想音像の位置が聴取者より概ね同じ距離に配置される場合には、それぞれの反射音領域のインパルス応答部分は、いずれの系統でも類以したインパルス応答となるため、上述のように何れか２系統の反射音領域のインパルス応答部分をＦＩＲ型デジタルフィルタの係数として使用してもよいし、何れか２系統の反射音領域のインパルス応答部分を合成してもよいし、上記以外の仮想音源位置、例えば、前方中央からの伝達関数に対応するインパルス応答のうち反射音領域のインパルス応答部分を求めて使用してもよい。
【００６０】
第１の信号処理手段５１を構成する図１２に示すＦＩＲ型デジタルフィルタ４５の第１の出力端子６３からの出力Ｓｂ’ｌ及び第２の出力端子６４からの出力Ｓｂ’ｒは、仮想音源の位置に寄与する一対の初期応答信号に相当するものであり、第２の信号処理手段５２を構成する図１３に示すＦＩＲ型デジタルフィルタ４６の第１の出力端子８１及び第２の出力端子８２からそれぞれ出力される出力信号は、仮想音源から聴取者の両耳までの距離のみの知覚に寄与する一対の反射応答信号である。
【００６１】
第１の信号処理手段５１から出力される一対の初期応答信号と第２の信号処理手段５２から出力される一対の反射応答信号は、ステレオ再生する場合の左右の信号に相当する信号毎に演算手段８３を構成する各加算器８４，８５に加算され、左耳用合成信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒとして第１及び第２の出力端子８６，８７から出力される。これら出力端子８６，８７からそれぞれ出力される左耳用合成信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒを、図９に示す２系統のＤ／Ａコンバータ３４Ｌ，３４Ｒにより再びアナログ信号に戻し、増幅器３５Ｌ，３５Ｒを介してヘッドホン６の左右のヘッドホン素子３６ａ，３６ｂに供給し再生することにより、最適の頭外音像定位を有する再生音を聴取者に聴取させることができる。
【００６２】
次に、本発明に係る仮想音源再生装置の第２の実施例を図１４を参照して説明する。
【００６３】
この仮想音源再生装置１５０は、１個の音源から両耳にそれぞれ入る左耳用合成信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒを得るものであり、１個の音源を頭外の任意の位置に定位させるため、仮想音源から両耳までの２つの伝達関数のインパルス応答の畳み込みをデジタルフィルタにより実現するものである。
【００６４】
図１４に示す仮想音源装置１５０は、インパルス応答の初期の応答、すなわち、頭部伝達関数領域のインパルス応答は、仮想音源より左耳までの伝達関数ＨＬ及び仮想音源より右耳までの伝達関数ＨＲの頭部伝達関数から形成されるように、２つのＦＩＲ型デジタルフィルタにそれぞれの係数を割り当てて独立に畳み込む。この部分は前述した第１の実施例の図１０に示す仮想音源装置５０の第１の信号処理手段５１に相当するものである。
【００６５】
この仮想音源装置１５０の第１の信号処理手段１５１は、入力端子１６８を介して入力される入力信号Ｓａを２系統の出力信号として出力するように構成されたＦＩＲ型デジタルフィルタであって、縦続接続された複数の遅延器１７６を共用して一つのフィルタブロックとして構成されたものである。具体的には、このＦＩＲ型デジタルフィルタは、所定の遅延量を有する縦続接続された複数の遅延器１７６と、入力信号及び各遅延器１７６で遅延された信号にインパルス応答の畳み込みを行うための係数を乗算するそれぞれ複数の係数乗算器１７７，１７８と、各係数乗算器１７７，１７８から出力される信号を加算するそれぞれ複数の加算器１７９，１８０とから構成される。
【００６６】
１段目の遅延器１７６は、入力端子１６８を介して入力される信号Ｓａを、所定遅延量、例えば１サンプリング周期遅延し、ｉ（ｉ＝２，３，・・・）段目の遅延器１７６は、前段（ｉ−１段）の遅延器１７６から出力される遅延された信号を、同じく１サンプリング周期遅延して、後段（ｉ＋１段）の遅延器１７６に供給する。各段の係数乗算器１７７（１７８）は、入力信号及び各段の遅延器１７６で順次遅延された信号に、インパルス応答の畳み込みを行うための係数をそれぞれ乗算して、対応する段の加算器１７９（１８０）に供給する。各段の加算器１７９（１８０）は、前段の加算器１７９（１８０）の出力に、その段の係数乗算器１７７（１７８）の出力を加算し、後段の加算器１７９（１８０）に供給する。すなわち、最終段の加算器１７９（１８０）は、入力端子１６８を介して入力される信号に初期応答音を表すインパルス応答の畳み込みを行って、反射音を形成し、ステレオ再生する場合の左右の信号に相当する信号毎に演算手段１８３を構成する各加算器１８４，１８５で加算され、左耳用合成信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒとして第１及び第２の出力端子１８６，１８７から出力される。
【００６７】
後部のインパルス応答、すなわち、反射音領域のインパルス応答は、上述した第１の信号処理手段１５１を構成するＦＩＲ型デジタルフィルタの遅延器１７６により遅延された出力信号をそれぞれの反射音領域のインパルス応答に共通する係数で畳み込む。これにより係数の数を低減、すなわち、乗算器を低減することができ、信号処理の規模を小型にすることができる。この部分は、前述した第１の実施例における仮想音源装置５０の第２の信号処理手段５２に相当するものである。
【００６８】
ここで、第２の信号処理手段１５２は、所定の遅延量を有する縦続接続された複数の遅延器１１６と、入力される第１の信号処理手段１５１からの出力信号及び各遅延器１１６で遅延された信号にインパルス応答の畳み込みを行うための係数を乗算する複数の係数乗算器１１７と、各係数乗算器１１７から出力される信号を加算する複数の加算器１１８とから構成される。
【００６９】
第２の信号処理手段１５２によって処理された出力信号は、演算手段１８３を構成する各加算器１８４，１８５で左耳用合成信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒにそれぞれ加算され、左耳用合成信号Ｓｂｌ及び右耳用合成音声信号Ｓｂｒに合成された状態で第１及び第２の出力端子１８６，１８７から出力される。
【００７０】
上述したように、それぞれの反射音領域のインパルス応答部分は、いずれの系統でも類以したインパルス応答となるため、何れかの系統の反射音領域のインパルス応答部分をＦＩＲ型デジタルフィルタの係数として使用してもよく、また、複数の系統の反射音領域のインパルス応答部分を合成してもく、さらに上記以外の仮想音源位置、例えば前方中央からの伝達関数に対応するインパルス応答のうち反射音領域のインパルス応答部分を求めて使用してもよい。
【００７１】
次に、本発明に係る仮想音源再生装置の第３の実施例を図１５を参照して説明する。
【００７２】
この仮想音源再生装置２５０は、図１５に示すように、４つの音源が聴取者に対してほぼ左右対称に配置され、聴取者の左右の耳への伝達特性もほぼ対称であると仮定した場合の例を示す。
【００７３】
この例において、聴取者の正面方向に対し対称に配置された２つの音源から聴取者の両耳への伝達特性は対称であるから、図２を参照して説明したように、伝達関数には下記式（３）の関係がある。
【００７４】
ＨＬＲ＝ＵＲＬ
ＨＬＬ＝ＨＲＲ  （３）
仮想音源再生装置２５０を構成する図１６に示す信号処理手段は、上記式（３）に従ってＦＩＲ型デジタルフィルタにより２つの対称に配置された仮想音源に対する伝達関数を直接得るように構成したものである。一対の入力端子２０１，２０２からそれぞれ入力される一対の入力信号が加減算処理部２７４に入力され、加減算処理部２７４によりそれぞれの和信号及び差信号が形成される。これらの和信号及び差信号はそれぞれ第１及び第２のＦＩＲ型デジタルフィルタ２０３，２０４により信号処理された後、第１及び第２のＦＩＲ型デジタルフィルタ２０３，２０４が出力される各信号が加減算処理部２７５により加減算処理され、それぞれの和信号及び差信号が一対の出力信号として第１及び第２の出力端子２０５，２０６から出力される。
【００７５】
ここで用いられる第１及び第２のＦＩＲ型デジタルフィルタ２０３，２０４は、前述した図５に示すものと同様に構成されてなるものであって、各デジタルフィルタ２０３，２０４は、図１６に示すように、所定の遅延量を有する縦続接続された複数の遅延器２１６と、入力される音声信号及び各遅延器２１６で遅延された音声信号にインパルス応答の畳み込みを行うための係数を乗算する複数の係数乗算器２１７と、各係数乗算器２１７から出力される音声信号を加算する複数の加算器２１８とから構成される。
【００７６】
これら第１及び第２のＦＩＲ型デジタルフィルタ２０３，２０４の１段目の遅延器２１６は、入力端子２０１（２０２）を介して入力される音声信号Ｓａｌ（又はＳａｒ）を、例えば１サンプリング周期遅延し、ｉ（ｉ＝２，３，・・・）段目の遅延器２１６は、前段（ｉ−１段）の遅延器２１６から出力される遅延された音声信号を、同じく１サンプリング周期遅延して、後段（ｉ＋１段）の遅延器２１６に供給する。各段の係数乗算器２１７は、入力音声信号Ｓａｌ及び各段の遅延器２１６で順次遅延された音声信号に、インパルス応答の畳み込みを行うための係数をそれぞれ乗算して、対応する段の加算器２１８に供給する。各段の加算器２１８は、前段の加算器２１８の出力にその段の係数乗算器２１７の出力を加算し、後段の加算器２１８に供給する。すなわち、最終段の加算器２１８は、入力端子２０１（２０２）を介して入力される音声信号Ｓａｌ（Ｓａｒ）に伝達関数ＨＬＬ（ＨＬＲ）のインパルス応答の畳み込みを行って左耳用音声信号Ｓｂｌｌ（右耳用音声信号Ｓｂｌｒ）を形成し加減算処理部２７５に出力する。
【００７７】
ここで、ほぼ対称に配置された４つの仮想音源の場合には、上述の対称に配置された２つの音源の場合を拡張すればよく、図１５に示す仮想音源装置２５０は、１対の対称音源が複数存在する場合に図１６を参照して説明した信号処理手段のインパルス応答を、頭部伝達関数領域のインパルス応答の部分と、それに続く反射音領域のインパルス応答部分とに分割し、頭部伝達関数領域に対応する信号処理は第１の信号処理手段２５１として音源から両耳までの伝達関数を独立に構成し、反射音領域に対応する信号処理は第２の信号処理手段２５２として共通の係数がＦＩＲ型デジタルフィルタにより畳み込まれるように構成したものである。
【００７８】
仮想音源装置２５０を図１５に示すように構成することにより、左右対称であると仮定された音源に対して、仮想音源を再生する信号処理においても、前述した第１の実施例において、図１０を参照して説明した第１の信号処理手段５１及び第２の信号処理手段５２と同様に、信号処理手段の規模を大幅に低減することができる。本実施例では音源が４つの場合について仮想音源を再生する場合を説明したが、一般に左右対称に配置される更に多数の音源に対しても本実施例を適用して仮想音源を再生できる。
【００７９】
なお、仮想音源を前方中央に定位させようとするような信号に対しては、この信号のために加減算処理部２７４を設け、その両方の入力信号を均等に分配して入力してもよく、他の対称音源の音声信号にこの信号を均等に合成して加減算処理部２７４に入力するようにしてもよい。
【００８０】
次に、本発明に係る仮想音源再生装置３５０の第４の実施例を図１７を参照して説明する。
【００８１】
この仮想音源装置３５０を用いたヘッド装置３００は、本発明に係る仮想音源再生装置に相当する仮想音源伝達特性補正手段３１０を備えるものであり、前述した第３の実施例の図１５に示す４つの左右対称に配置された仮想音源を再生する仮想音源再生装置をヘッドホン装置３００として構成したものであり、一対ずつ２組の入力端子３１１，３１２からそれぞれ入力される一対ずつ入力信号を加減算処理する２組の加減算処理回路３７４ａ，３７４ｂを有する加減算処理部３７４を備える。この加減算処理部３７４を構成する２組の加減算処理回路３７４ａ，３７４ｂは、それぞれ入力される一対の入力信号を加減算してそれぞれの和信号及び差信号を形成する。
【００８２】
このヘッドホン装置３００を構成する仮想音源伝達特性補正手段３１０は、ヘッドホン３０６を装着している聴取者の頭部の回転角速度、すなわち変位速度を検出するためにヘッドホン３０６に取り付けられた回転角速度センサ３７０と、この回転角速度センサ３７０の出力を帯域制限する帯域制限フィルタ３７１と、帯域制限されたアナログ信号出力をデジタル信号に変換するＡ／Ｄコンバータ３７２と、このＡ／Ｄコンバータ３７２から出力されるデジタル信号出力からヘッドホン３０６を装着した聴取者の正面方向からの回転運動角度、すなわち両耳の位置変化量を計算する回転運動角度計算機能を持つマイクロプロセッサ３７３とで構成されている。回転角速度センナ３７０及びマイクロプロセッサ３７３は、聴取者の頭部の回転角速度を検出する頭部回転角検出手段と、この頭部回転角検出手段からの聴取者の両耳の位置変化量を算出する変位量演算手段と、この変位量演算手段の出力に応じて頭部伝達関数処理手段の応答特性を変更する特性制御手段とを備える特性変更手段を構成するものであって、応答特性制御手段３０１を構成する。本発明の仮想音源伝達補正手段３００としては、聴取者の頭部の回転や両耳の位置の変化などを検知して、所定の制御を行うものであれば、上述の検出手段などに限定されるものではない。
【００８３】
ヘッドホン３０６を装着した聴取者が両耳を左右に回転して、ヘッドホン３０６が回転運動を行うと、ヘッドホン３０６に取り付けられた回転角速度センサ３７０は、その角速度に比例した電圧を検出出力として出力する。この出力信号は、帯域制限フィルタ３７１で帯域制限された後、Ａ／Ｄコンバータ３７２でデジタル信号に変換され、マイクロプロセッサ３７３に入力される。マイクロプロセッサ３７３は、入力されたＡ／Ｄコンバータ３７２の出力信号を、一定時間間隔でサンプリングした後積分し、角度データに変換し、この角度データから仮想音源を回転させるための回転角度を算出し、対応する応答特性制御用データを第１の信号処理手段３５１に転送する。
【００８４】
ここで用いられる第１の信号処理手段３５１は、マイクロプロセッサ３７３で算出された応答特性制御用データに応じて４個の仮想音源から再生される音声信号の信号処理内容を更新し、仮想音源を頭外及び前方に適切な位置に音像定位させるためのデジタル信号処理、すなわち頭部伝達関数領域に対応するＦＩＲ型デジタルフィルタのパラメータ（係数乗算器の係数データ）の変更を行う。図示は省略するが、第１の信号処理手段３５１の内部には頭部伝達関数領域に対応するＦＩＲ型デジタルフィルタの係数を可変し得るデジタル回路が用意されている。その後、第１の信号処理手段３５１の出力は、第２の信号処理手段３５２により得られる反射音領域に対応する信号処理を介した出力と演算され、この演算処理された一対の出力信号が加減算処理部３７５に入力される。この加減算処理部３７５により加減算処理された一対の処理信号は、和信号及び差信号として出力される。加減算処理部３７５により加減算処理された一対の処理信号は、２つのＤ／Ａコンバータ３０４Ｌ，３０４Ｒにそれぞれ出力される。２つのＤ／Ａコンバータ３０４Ｌ、３０４Ｒにより再びアナログ信号に戻された両耳用合成音声信号Ｓｂｌ，ｓｂｒは、増幅器３０５Ｌ、３０５Ｒを介して、ヘッドホン３０６の左右のヘッドホン素子３０６ａ，３０６ｂにそれぞれ供給されて再生されることにより、これを聴取する聴取者に両耳の位置変化に対応して最適の頭外定位感を与える。
【００８５】
第１の信号処理手段３５１を構成する各ＦＩＲ型デジタルフィルタは、前述した図２を参照して説明したスピーカから聴取者の両耳に至るＨＬＬ、ＨＬＲ、ＨＲＬ、ＨＲＲの伝達関数の頭部伝達関数を構成しており、これらの頭部伝達関数は実際には固定されたものではなく聴取者の頭の動きに伴って変化する。この頭部伝達関数の頭の動きに同期した変化は聴取者が音像の位置を認識するための要因となっており、従ってこの動作を正確に再現することは音像定位の質の向上に寄与することが知られている。
【００８６】
本実施例のヘッドホン装置３００は、検出された聴取者の頭の回転角に応じてその角度に対応する頭部伝達関数を実現するよう、頭部伝達関数を上述のように、各ＦＩＲ型デジタルフィルタの係数をマイクロプロセッサ３７３よってリアルタイムに更新することによりこのことを実現している。このように、位置の知覚に寄与する頭部伝達関数領域に対応するＦＩＲ型デジタルフィルタの係数のみがリアルタイムで更新され、距離の知覚に寄与する反射音領域に対応するＦＩＲ型デジタルフィルタの係数は固定されたままである。従って、伝達関数を構成するＦＩＲ型デジタルフィルタの全ての係数を更新する場合に比べれば、係数更新のために必要となる係数メモリ容量を大幅に低減できる。
【００８７】
次に、本発明に係る仮想音源再生装置４５０の第５の実施例を図１８を参照して説明する。
【００８８】
この仮想音源装置４５０は、図１７に示す仮想音源伝達特性補正手段３１０により頭部伝達関数領域に対応する応答特性を制御するものであり、２つの仮想音源の場合について本発明に係る仮想音源再生装置４５０の第１の信号処理手段４５１に関連させたものである。
【００８９】
なお、図１８中符号４０２は仮想音源伝達特性補正手段３１０のうち、第１の信号処理手段４５１のうち再生する仮想音源位置に関係するパラメータを可変する部分のみを示し、応答特性制御手段３０１については、動作が第４の実施例で説明したものと同様であるのでその説明は省略する。
【００９０】
図１８に示す第１の信号処理手段４５１を構成する第１乃至第４のＦＩＲ型デジタルフィルタ９０〜９３は、例えば第１の実施例で図１２を参照して説明したものと同様なものが用いられる。ここで各ＦＩＲ型デジタルフィルタ９０〜９３は、前述した図２を参照して説明したスピーカから聴取者が一定方向、例えば、前方を向いている場合の両耳に至るＨＬＬ、ＨＬＲ、ＨＲＬ、ＨＲＲの頭部伝達関数領域に対応するインパルス応答部分を実現する。
【００９１】
なお、第１及び第２のＦＩＲ型デジタルフィルタ９０，９１には、一つの音源から第１の入力端子４１１を介して音声信号が入力され、第３及び第４のＦＩＲ型デジタルフィルタ９２，９３には、他の一つの音源から第２の入力端子４１２を介して音声信号が入力される。
【００９２】
第１のＦＩＲ型デジタルフィルタ９０と第３のＦＩＲ型デジタルフィルタ９２の出力が、また、第２のＦＩＲ型デジタルフィルタ９１と第４のＦＩＲ型デジタルフィルタ９３の出力が加算されそれぞれ時間差付加部４８４，４８５に出力される。更にそれぞれの出力は、レベル差付加部４８３，４８６に与えられ、その出力が第１の実施例において図１０を参照して説明したと同様に、第１及び第２の出力端子４８０，４８１を介して左右の２系統の出力信号として出力されて第２の信号処理手段に入力されて加算される。また、第１の信号処理手段４５１からの出力信号は、第３の出力端子４８２を介して第２の信号処理手段４０２に入力され、前述した第１の実施例と同様の処理が行われる。
【００９３】
ここで、時間差付加部４８４，４８５及びレベル差付加部４８３，４８６は、例えば聴取者が頭部を右に回転した場合、左耳に到達する音声信号は右耳に到達する音声信号に比べて早くなり、また、左耳は音源に近づき、右耳は音源から遠くなるため、左耳に到達する音声信号のレベルは右耳に到達する音声信号に比べて高くなるという点に着目して、聴取者の頭が動くことによる伝達関数の変化を両耳に到達する音声信号の時間差とレベル差により代表させ、両耳に到達するこの差分をマイクロプロセッサにより制御することにより動的な伝達関数を模擬簡略化することができる。
【００９４】
図１９は、時間差付加部４８４，４８５の遅延時間特性を示したものであり、左側用の時間差付加部４８４で付加される遅延時間は、一点鎖線の特性曲線Ｔａで示され、右側用の時間差付加部４８５で付加される遅延時間は、破線の特性曲線Ｔｂで示される。特性曲線Ｔａ及びＴｂは聴取者Ｍの頭部の回転方向に対して全く逆の増減方向を持つ曲線となっている。
【００９５】
このように、時間差付加部４８４，４８５を用いて両耳への音声信号の到来に時間差を付けることにより、前述した図２を参照して説明した聴取者Ｍが前方１８０°の範囲内に置かれた音源からの音を、頭を左右に回転させながら聞いた場合と同様の音源から両耳までの時間差の変化をヘッドホンなどの音響装置を用いて実現できる。
【００９６】
また、図２０は、レベル差付加部４８３，４８６の相対レベル特性を示したものである。左側用のレベル差付加部４８３で付加されるレベル差は、一点鎖線の特性曲線Ｌａで示され、右側用のレベル差付加部４８６で付加されるレベル差は、破線の特性曲線Ｌｂで示される。図２０では、頭の回転位置が０°（前方正面）の状態からの相対レベルを示している。
【００９７】
図２０において、特性曲線Ｌａ，Ｌｂは、聴取者Ｍの頭部の回転方向に対して全く逆の増減方向を持つ曲線となっている。このように、レベル糸付加部４８３，４８６を用いて両耳での音声信号にレベル差を付けることにより、図２に示した聴取者Ｍが前方１８０°の範囲内に置かれた音源からの音を、頭を左右に回転させながら聞いた場合と同様の両耳でのレベル差の変化をヘッドホンなどの音響装置を用いて実現できる。
【００９８】
以上、本発明の仮想音源再生装置について説明したが、本発明の仮想音源再生装置は、ヘッドホン装置やスピーカ装置などの音響装置に具備してもよいし、またオーディオ機器などの音響を扱う音響機器に具備してもよい。何れの場合も仮想音源を適切に形成できるとともに、当該音響装置及び音響機器の構成規模を小型にすることができることは明らかである。
【００９９】
発明の効果
本発明に係る仮想音源再生装置では、仮想音源再生装置が第１の信号処理手段と第２の信号処理手段からなり、第１の信号処理手段により主として頭部伝達関数を表し、仮想音源の位置を知覚し得るインパルス応答の部分を再現させ所望の方向に音像を頭外定位させることができ、且つ第２の信号処理手段により仮想音源の距離のみを知覚するインパルス応答の部分を再現し、反射音等を付加することにより音像に距離感を与える信号処理を行い、あたかも空間に配置された音源が実際に存在するかのようなリアリティの高い音像を頭外に定位させることが可能となるとともに、反射音領域のインパルス応答に対して共通する係数で畳み込むにより、第２の信号処理手段を構成する乗算器の数を低減することができ、仮想音源からの両耳までの伝達関数を信号処理手段により直接構成した場合に比べて、信号処理に要する演算量が格段に少なく、従って構成規模の小型な仮想音源再生装置を実現できるという効果がある。
【０１００】
また、仮想音源に対して、聴取者が頭を左右に動かすことに起因する仮想音源から両耳への伝達関数の変化に対応するために、聴衆者の頭部の回転角速度を検出し、検出した聴取者の両耳の位置変化量を算出し、算出した位置変化量に応じて頭部伝達関数処理手段の応答特性を変更することにより、聴取者が頭を左右に動かしたときにおいてさえも、あたかも空間に配置された音源に対して頭を動かしているようなリアリティの高い音像を感じ取らせることができる。
【０１０１】
さらに、本発明に係る仮想音源再生装置をヘッドホン装置やスピーカ装置などの音響装置、あるいはオーディオ装置などの音響機器に具備するならば、該音響装置及び音響機器の小型化や低消費電力化を図ることができる。
【図面の簡単な説明】
【図１】  図１は、ステレオ頭外音像定位型ヘッドホン装置の概略構成を示したブロック図である。
【図２】  図２は、音源と両耳までの音声信号の伝達関数を説明するための説明図である。
【図３】  図３は、図１に示すヘッドホン装置を構成する信号処理装置を示すブロック図である。
【図４】  図４は、音源から両耳までの音声信号の伝達関数のインパルス応答を別に説明するための説明図である。
【図５】  図５は、図１に示すヘッドホン装置の信号処理装置を構成するＦＩＲ型デジタルフィルタの構成を示す概略構成図である。
【図６】  図６は、図１に示すヘッドホン装置を構成する信号処理装置を構成する別のＦＩＲ型デジタルフィルタの構成を示す概略構成図である。
【図７】  図７は、仮想音源を再生するスピーカ装置を示すブロック図である。
【図８】  図８は、図７に示すスピーカ装置による仮想音源の再生原理を説明するための説明図である。
【図９】  図９は、本発明に係る仮想音源再生装置をヘッドホン装置に適用した例を示すブロック図である。
【図１０】  図１０は、本発明に係る仮想音源再生装置の概略構成を示すブロック図である。
【図１１】  図１１は、音源から両耳までの音声信号の伝達関数のインパルス応答を説明するための説明図である。
【図１２】  図１２は、本発明に係る仮想音源再生装置を構成する第１の信号処理手段のブロック図である。
【図１３】  図１３は、本発明に係る仮想音源再生装置を構成する第２の信号処理手段のブロック図である。
【図１４】  図１４は、音源が１個である仮想音源を再生する場合の本発明に係る仮想音源再生装置のブロック図である。
【図１５】  図１５は、音源が左右対称である仮想音源を再生する場合の本発明に係る仮想音源再生装置のブロック図である。
【図１６】  図１６は、音源が左右対称である場合の両耳までの伝達関数を実現する仮想音源装置を示すブロック図である。
【図１７】  図１７は、本発明に係る仮想音源再生装置を構成する仮想音源伝達特性補正手段を示すブロック図である。
【図１８】  図１８は、本発明に係る仮想音源再生装置を構成する仮想音源伝達特性補正手段の別の実施例を示すブロック図である。
【図１９】  図１９は、図１８に示す仮想音源伝達特性補正手段に用いられる時間差付加装置の動作を説明するための説明図である。
【図２０】  図２０は、図１８に示す仮想音源伝達特性補正手段に用いられるレベル差付加装置の動作を説明するための説明図である。
【図１】
0004744695.tif 000002
【図２】
0004744695.tif 000003
【図３】
0004744695.tif 000004
【図４】
0004744695.tif 000005
【図５】
0004744695.tif 000006
【図６】
0004744695.tif 000007
【図７】
0004744695.tif 000008
【図８】
0004744695.tif 000009
【図９】
0004744695.tif 000010
【図１０】
0004744695.tif 000011
【図１１】
0004744695.tif 000012
【図１２】
0004744695.tif 000013
【図１３】
0004744695.tif 000014
【図１４】
0004744695.tif 000015
【図１５】
0004744695.tif 000016
【図１６】
0004744695.tif 000017
【図１７】
0004744695.tif 000018
【図１８】
0004744695.tif 000019
【図１９】
0004744695.tif 000020
【図２０】
0004744695.tif 000021