(57)【要約】【課題】音声信号を複数周波数帯域に分割し、分割した各周波数帯域の音声信号に対し人間の聴覚特性を直接利用した音声信号処理を行って好適なサラウンド効果を持った音声信号を得るサラウンドシステムを提供する。【解決手段】種々の方位から発せられるインパルス応答の録音により得られた空間伝達関数を格納した空間伝達関数データベース８と、音声信号を時間フレーム毎に分割するフレーム分割部３と、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部４と、周波数変換した時間フレームの音声信号をメル周波数軸上でフィルタバンク分析を行うフィルタバンク分析部５と、情報畳み込み部６を備え、音声信号と方位情報を含む入力混合信号に対し、方位情報を空間伝達関数データベース８に、音声信号が音声信号処理系統１１に供給され、情報畳み込み部６は、音声信号処理系統１１で処理した音声信号に方位情報で指定した空間伝達関数を畳み込み、その畳み込み音声信号をスピーカから放声する。【選択図】図１
2007221445.tif 000002
【特許請求の範囲】
【請求項１】
予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドで録音し、その録音時に得られた空間伝達関数をデータベース化して格納した空間伝達関数データベースと、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部を含んだ音声信号処理系統と、情報畳み込み部とを備え、音声信号と方位情報とを含む混合信号が入力された際に、方位情報が前記空間伝達関数データベースに、音声信号が音声信号処理系統にそれぞれ供給され、前記情報畳み込み部は、前記音声信号処理系統で処理された音声信号に対して前記方位情報により指定された空間伝達関数を畳み込み、空間伝達関数を畳み込んだ音声信号を左右のスピーカから出力することを特徴とするサラウンドシステム。
【請求項２】
前記混合信号は、音声信号における特定の時間間隔で、分割された音声信号の決められた周波数帯域に対して方位情報が含まれているものであることを特徴とする請求項１に記載のサラウンドシステム。
【請求項３】
音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号に１以上の加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１より小さい加重係数を乗算し、周波数帯域毎の振幅差を強調した音声信号を出力することを特徴とするサラウンドシステム。
【請求項４】
音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号により小さい加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１以上の加重係数を乗算し、周波数帯域毎の振幅差をイコライズした音声信号を出力することを特徴とするサラウンドシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サラウンドシステムに係わり、特に、音声信号に音声信号の到来方向を表す方位情報を付加した混合信号の入力時に音声信号に方位情報により指定された空間伝達関数を畳み込んだ出力信号を発生させる、または、サラウンド音声信号の入力時にセンタースピーカに供給する音声信号振幅とそれ以外のスピーカに供給する音声信号振幅とを異ならせて出力させるサラウンドシステムに関する。
【背景技術】
【０００２】
従来、サラウンドシステムにおいては、サラウンド装置とサラウンド装置の出力音声信号を放声する複数のスピーカとをそれぞれ結合する接続リード線を配置することの煩わしさを解消するため、スピーカを視聴者の前方だけに配置し、そのスピーカから放声される音声信号がサラウンド効果を発揮するように、サラウンド装置にサラウンド効果を発揮させる構成手段を組み込んだものが使用されたり、サラウンド装置に２台程度のスピーカを接続し、サラウンド装置の中に３台以上のスピーカを用いることによるサラウンド効果を得ることができる音声信号と同等の効果が得られる構成手段を組み込み、２台程度のスピーカを用いて３台以上のスピーカを用いることによるサラウンド効果を得ることができるものが使用されたり、サラウンド装置に２台以上のスピーカを接続し、それらのスピーカから放声される音声信号に対して、聴取者の聴取箇所における音声信号間の時間差を補正する構成手段をを組み込んだものが使用されたりしていた。
【０００３】
前記既知のサラウンドシステムは、サラウンド装置内に、使用される音声信号を複数の周波数帯域の音声信号に分割し、分割したそれぞれの周波数帯域の音声信号に対して異なる信号処理を行う構成手段が配置され、それにより使用されるスピーカから所望のサラウンド効果を持った音声信号を放声するようにしている。
【特許文献１】引用する特許文献なし
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記既知のサラウンドシステムは、一応のところ、サラウンド効果を持った音声信号を放声させることができるものの、いずれのサラウンドシステムも、理論的に好適な周波数特性を用いてサラウンド効果を発揮させることを意図しているものである。しかしながら、人間が音声信号を現実に聴取したときに得られる聴覚特性と、理論的に好適な周波数特性の音声信号を聴取したときに得られる聴覚特性とは、必ずしも一致するものではないことから、サラウンド装置内に理論的に好適な周波数特性の音声信号が得られる構成手段を配置しても、現実に聴取したときの音声信号では未だ不十分であるということができる。この場合、人間が音声信号を現実に聴取したときに得られる聴覚特性とは、メル周波数を用いた音声信号の高低に対する人間の聴覚特性であって、既知のサラウンドシステムにおいては、かかるメル周波数に基づく周波数帯域分割やフィルタバンク分析等を行っているものは提案されていない。
【０００５】
本発明は、このような技術的背景に鑑みてなされたもので、その目的は、音声信号を複数の周波数帯域の音声信号に分割し、分割した各周波数帯域の音声信号に対して人間の聴覚特性を直接利用した音声信号処理を行うことによって好適なサラウンド効果を持った音声信号が得られるサラウンドシステムを提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、本発明によるサラウンドシステムは、予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドで録音し、その録音時に得られた空間伝達関数をデータベース化して格納した空間伝達関数データベースと、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部を含んだ音声信号処理系統と、情報畳み込み部とを備え、音声信号と方位情報とを含む混合信号が入力された際に、方位情報が前記空間伝達関数データベースに、音声信号が音声信号処理系統にそれぞれ供給され、前記情報畳み込み部は、前記音声信号処理系統で処理された音声信号に対して前記方位情報により指定された空間伝達関数を畳み込み、空間伝達関数を畳み込んだ音声信号を左右のスピーカから出力するようにした第１の構成手段を備える。
【０００７】
また、前記目的を達成するために、本発明によるサラウンドシステムは、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号に１以上の加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１より小さい加重係数を乗算し、周波数帯域毎の振幅差を強調した音声信号を出力するようにした第２の構成手段を備える。
【０００８】
さらに、前記目的を達成するために、本発明によるサラウンドシステムは、音声信号を決められた時間フレーム毎に分割するフレーム分割部、分割した時間フレームの音声信号をメル周波数に基づいて周波数変換する周波数変換部、周波数変換した時間フレームの音声信号に対してメル周波数軸上によるフィルタバンク分析を行うフィルタバンク分析部、加重付加部とを含んだ音声信号処理系統を備え、サラウンド音声信号が入力され、そのサラウンド音声信号が前記音声信号処理系統で処理される際に、前記加重付加部は、各フィルタバンクの音声信号をセンタースピーカに供給されるフィルタバンクの振幅和と比較し、センタースピーカよりも大きい振幅和の音声信号であったときはその音声信号により小さい加重係数を乗算し、センタースピーカよりも小さい振幅和の音声信号であったときその音声信号に１以上の加重係数を乗算し、周波数帯域毎の振幅差をイコライズした音声信号を出力するようにした第３の構成手段を備える。
【発明の効果】
【０００９】
以上のように、本発明に係るサラウンドシステムによれば、音声信号処理系統に入力される音声信号に対して、メル周波数に基づいた周波数帯域の分割を行っているので、聴取者が感じる音声信号の高さと実際に放声される音声信号の高さとが確実に比例するようになり、好適なサラウンド効果を持った音声信号が得られるサラウンドシステムを得ることができる。
【００１０】
この場合、前記第１の構成手段によれば、音声信号に方位情報により指定された空間伝達関数を畳み込むようにしているので、少ない台数のスピーカを用いた場合であっても、異なる周波数の音声信号を種々の方位から到来させることができ、迫力のあるサラウンド効果を持った音声信号を放声させることができ、しかも、入力される音声信号がモノラル信号であっても、サラウンド効果を持った音声信号として放声させることが可能である。
【００１１】
また、前記第２及び第３の構成手段によれば、従来の５．１チャネルサラウンド放送の受信信号に対応させることが可能であり、特に、第３の構成手段によれば、フィルタバンクの音声信号の振幅和を比較する際に、フィルタバンクの音声信号の振幅和同士の比較をするだけであるので、比較時の演算処理量を少なくすることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面を参照して説明する。
【００１３】
図１は、本発明によるサラウンドシステムにおけるサラウンド装置の第１の実施の形態を示すもので、その要部構成を示すブロック図である。
【００１４】
図１に示すように、第１の実施の形態に係るサラウンド装置は、入力端子１と、信号分岐部２と、フレーム分割部３と、周波数変換部４と、フィルタバンク分析部５と、情報畳み込み部６と、増幅・分配部７と、空間伝達関数データベース８と、出力端子９とを備え、この他に空間伝達関数作成部１０を設けている。この場合、フレーム分割部３と周波数変換部４とフィルタバンク分析部５とからなる部分は、音声信号処理系統１１を構成している。
【００１５】
そして、信号分岐部２は、入力端が入力端子１に接続され、一方の出力端がフレーム分割部３の入力端に接続され、他方の出力端が空間伝達関数データベース８に結合されている。フレーム分割部３は、出力端が周波数変換部４の入力端に接続され、周波数変換部４は、出力端がフィルタバンク分析部５の入力端に接続される。情報畳み込み部６は、一方の入力端がフィルタバンク分析部５の出力端に接続され、他方の入力端が空間伝達関数データベース８に結合され、出力端が増幅・分配部７の入力端に接続される。増幅・分配部７は、出力端が出力端子９に接続される。さらに、空間伝達関数作成部１０は、選択的に空間伝達関数データベース８の入力端に接続される。
【００１６】
この場合、入力端子１には、音声信号中に方位情報を含んだ混合信号が入力され、信号分岐部２は、入力端子１を通して入力された混合信号を音声信号と方位情報とに分岐し、音声信号をフレーム分割部３に供給し、方位情報空間伝達関数データベース８に供給する。フレーム分割部３は、入力された音声信号を決められた時間フレーム毎に分割し、フレーム分割した音声信号を周波数変換部４に供給する。周波数変換部４は、入力されたフレーム分割した音声信号をメル周波数に基づいて周波数変換し、得られた周波数変換信号をフィルタバンク分析部５に供給する。フィルタバンク分析部５は、入力された周波数変換信号をメル周波数軸上で周波数帯域分割する。
【００１７】
一方、空間伝達関数データベース８は、空間伝達関数作成部１０によって、予め決められた特定の環境状態のときに種々の方位から発せられるインパルス応答をダミーヘッドを用いて録音し、その録音時に得られた空間伝達関数をデータベース化して作成したものを空間伝達関数データベースとして格納しているもので、方位情報が入力されたとき、その方位情報に対応した空間伝達関数が抽出される。また、情報畳み込み部６は、フィルタバンク分析部５から周波数帯域分割信号が供給されると、空間伝達関数データベース８から抽出された当該周波数帯域分割信号に対応した空間伝達関数が供給され、同時供給された周波数帯域分割信号に空間伝達関数が畳み込まれ、この畳み込み信号が増幅・分配部７に供給される。増幅・分配部７は、入力された畳み込み音声信号を所定レベルになるように増幅し、増幅した畳み込み音声信号を対応する出力端子９に出力されるように分配する。この後、それぞれの出力端子９に出力された畳み込み音声信号は、図示されない対応するスピーカに供給され、２台またはそれ以上のスピーカによってサラウンド効果を持った音声信号が放声される。
【００１８】
ここで、図２は、空間伝達関数データベース８にデータベース化した空間伝達関数を格納する処理を行うときの状態の一例を示す概要図である。
【００１９】
図２の図示の例では、ダミーヘッド１２の両耳の位置にそれぞれマイクロフォン１３L 、１３R が設けられており、ダミーヘッド１２の周辺に複数のスピーカが配置されているものである。この場合、複数のスピーカは、図２の垂直方向の設置数をｍとし、水平方向の設置数をｎとし、離散スペクトルの周波数番号をｋとしたとき、左側の耳の位置にあるマイクロフォン１３L においては、空間伝達関数ＡL （ｋ、ｎ、ｍ）が得られ、右側の耳の位置にあるマイクロフォン１３R においては、空間伝達関数ＡR （ｋ、ｎ、ｍ）が得られる。このような手法を用いることにより、空間伝達関数データベース８には、種々の方位から得られた空間伝達関数をデータベースとして格納される。
【００２０】
ところで、入力端子１に供給される混合信号が、音声信号の予め決められた期間毎にその音声信号に方位情報が付加されている混合信号である場合、フィルタバンク分析部５で実行される処理を、三角窓を周波数軸上に配置した図３を用いて説明する。
【００２１】
図３において、横軸はｋで表した周波数番号であり、縦軸はＷ（ｋ、ｂ）で表した加重である。
【００２２】
図３に示すように、三角窓Ｗ（ｋ、ｂ）（ｂ＝１、・・・、Ｂ）が周波数軸上に配置され、Ｗ（ｋ、ｂ）は下記の式（１）によって表される。
【数１】
2007221445.tif 000003
【００２３】
式（１）において、ｋlo（ｂ）、ｋc （ｂ）、ｋm （ｂ）はそれぞれ１番目のフィルタの下限、中心、上限の周波数番号であり、隣り合うフィルタ間で以下の関係を持っている。
【００２４】
ｋc （ｂ）＝ｋhi（ｂ−１）＝ｋlo（ｂ＋１）
さらに、ｋc （ｂ）はメル周波数軸上で等間隔に配置される。このとき、ｋc （ｂ）に対するメル周波数Ｍｅｌ・ｋc （ｂ）は以下の式（２）によって計算される。
【数２】
2007221445.tif 000004
【００２５】
式（２）において、Ｋは周波数番号の中の最大数を示し、ｆｓはサンプリング周波数を表す。
【００２６】
前記式（１）の三角窓Ｗ（ｋ、ｂ）を用いて、各フィルタバンクに対する加重が付与された以下の式（３）に示される信号が得られる。
【００２７】
Ｙ（ｋ、ｂ）＝Ｗ（ｋ、ｂ）・Ｘ（ｋ）｛ｋlo（ｂ）≦ｋ≦ｋhi（ｂ）｝・・・（３）
最後に、情報畳み込み部６において、各フィルタバンクｂに対する方位情報に基づいて指定された空間伝達関数ＡL （ｋ、ｎ、ｍ）及びＡR （ｋ、ｎ、ｍ）を、Ｙ（ｋ、ｂ）に畳み込んだ下記の式（４）に示されるような音声信号ＺL （ｋ）、ＺR （ｋ）が形成され、その音声信号ＺL （ｋ）、ＺR （ｋ）を２台またはそれ以上のスピーカに供給することにより、サラウンドシステムを構築することができる。
【数３】
2007221445.tif 000005
【００２８】
次いで、図４は、本発明によるサラウンドシステムにおけるサラウンド装置の第２の実施の形態を示すもので、その要部構成を示すブロック図である。
【００２９】
なお、図４において、図１に図示された構成要素と同じ構成要素については同じ符号を付している。
【００３０】
図４に示すように、この第２の実施の形態に係るサラウンド装置は、入力端子１と、信号分岐部２と、フレーム分割部３と、周波数変換部４と、フィルタバンク分析部５と、増幅・分配部７と、出力端子９と、振幅差比較部１４と、強調型加重付加部１５とを備えている。この場合においても、フレーム分割部３と周波数変換部４とフィルタバンク分析部５とからなる部分は、音声信号処理系統１１を構成している。
【００３１】
そして、フレーム分割部３は、入力端が入力端子１に接続され、出力端が周波数変換部４の入力端に接続される。周波数変換部４は、出力端がフィルタバンク分析部５の入力端に接続され、フィルタバンク分析部５は、出力端が振幅差比較部１４の入力端に接続される。振幅差比較部１４は、出力端が補正・強調処理部１５の入力端に接続され、強調型加重付加部１５は、出力端が増幅・分配部７の入力端に接続される。増幅・分配部７は、出力端が出力端子９に接続される。
【００３２】
この場合、入力端子１にサラウンド音声信号が入力されると、そのサラウンド音声信号はフレーム分割部３に供給される。フレーム分割部３は、入力されたサラウンド音声信号を決められた時間フレーム毎に分割し、フレーム分割した音声信号を周波数変換部４に供給する。周波数変換部４は、入力されたフレーム分割した音声信号をメル周波数に基づいて周波数変換し、得られた周波数変換信号をフィルタバンク分析部５に供給する。フィルタバンク分析部５は、入力された周波数変換信号をメル周波数軸上で周波数帯域分割する。
【００３３】
ここで、周波数変換部４において周波数変換された各サラウンド音声信号をそれぞれＸSW（ｋ）、ＸC （ｋ）、ＸFL（ｋ）、ＸFR（ｋ）、ＸRL（ｋ）、ＸRR（ｋ）としたとき、振幅差比較部１４は、前記式（１）に示された三角窓Ｗ（ｋ、ｂ）を用いて各フィルタバンクの信号の振幅和ＹC （ｂ）を算出する。この算出は、例えばセンタースピーカＣに対する信号ＸC （ｋ）であれば、下記の式（５）で示される。
【数４】
2007221445.tif 000006
【００３４】
この後、振幅差比較部１４は、センタースピーカＣに対するフィルタバンクの信号の振幅和ＹC （ｂ）を基準とし、センタースピーカＣを除いた各スピーカに対するフィルタバンクの振幅和とを比較する。
【００３５】
次いで、強調型加重付加部１５は、振幅差比較部１４の比較によって、基準の振幅和ＹC （ｂ）よりも振幅和が大きいスピーカへの供給信号に対しては、それぞれの信号振幅に１以上の加重係数αを乗算し、基準の振幅和ＹC （ｂ）との振幅差を大きくし、一方、基準の振幅和ＹC （ｂ）よりも振幅和が小さいスピーカへの供給信号に対しては、それぞれの信号振幅に１より小さい加重係数βを乗算し、同じように基準の振幅和ＹC （ｂ）との振幅差を大きくする。このような処理を行うことによって、例えばフロントレフトスピーカＦＬへの供給信号は、下記の式（６）に示すようになる。
【数５】
2007221445.tif 000007
【００３６】
また、図５は、本発明によるサラウンドシステムにおけるサラウンド装置の第３の実施の形態を示すもので、その要部構成を示すブロック図である。
【００３７】
なお、図５において、図１に図示された構成要素と同じ構成要素については同じ符号を付している。
【００３８】
図５に示すように、第３の実施の形態に係るサラウンド装置は、第２の実施の形態に係るサラウンド装置と比べて、強調型加重付加部１５を用いる代わりに、イコライズ型加重付加部１６を用いている点を除けば、第２の実施の形態に係るサラウンド装置と同じ構成のものである。
【００３９】
この第３の実施の形態に係るサラウンド装置において、イコライズ型加重付加部１６は、振幅差比較部１４の比較によって、基準の振幅和ＹC （ｂ）よりも振幅和が大きいスピーカへの供給信号に対しては、それぞれの信号振幅に１より小さい加重係数βを乗算し、基準の振幅和ＹC （ｂ）との振幅差を小さくし、一方、基準の振幅和ＹC （ｂ）よりも振幅和が小さいスピーカへの供給信号に対しては、それぞれの信号振幅に１以上の加重係数αを乗算し、同じように基準の振幅和ＹC （ｂ）との振幅差を小さくするもので、その結果として、イコライズ型加重付加部１６はイコライザー機能を有するものである。
【図面の簡単な説明】
【００４０】
【図１】本発明によるサラウンドシステムにおけるサラウンド装置の第１の実施の形態を示すもので、その要部構成を示すブロック図である。
【図２】空間伝達関数データベースにデータベース化した空間伝達関数を格納する処理を行うときの状態の一例を示す概要図である。
【図３】フィルタバンク分析部で実行される処理を説明するもので、三角窓を周波数軸上に配置した説明図である。
【図４】本発明によるサラウンドシステムにおけるサラウンド装置の第２の実施の形態を示すもので、その要部構成を示すブロック図である。
【図５】本発明によるサラウンドシステムにおけるサラウンド装置の第３の実施の形態を示すもので、その要部構成を示すブロック図である。
【符号の説明】
【００４１】
１  入力端子
２  信号分岐部
３  フレーム分割部
４  周波数変換部
５  フィルタバンク分析部
６  情報畳み込み部
７  増幅・分配部
８  空間伝達関数データベース
９  出力端子
１０  空間伝達関数作成部
１１  音声信号処理系統
１４  振幅差比較部
１５  強調型加重付加部
１６  イコライザ型加重付加部
【図１】
2007221445.tif 000008
【図２】
2007221445.tif 000009
【図３】
2007221445.tif 000010
【図４】
2007221445.tif 000011
【図５】
2007221445.tif 000012