(57)【要約】【課題】頭部伝達関数との畳み込みにより音声が聞こえなくなることを防ぐ。【解決手段】入力音声信号の各チャンネル信号と頭部伝達関数との畳み込みを行う畳み込みステップと、前記畳み込みステップにより得られた畳み込み後の各チャンネル信号の音量を補正して出力する音量補正ステップと、前記音量補正ステップにより得られた音量補正後の各チャンネル信号を加算して出力する加算ステップとを有する３次元音声信号出力方法による。【選択図】図１
2007208755.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力された入力音声信号の各チャンネル信号と頭部伝達関数との畳み込みを行う畳み込みステップと、
前記畳み込みステップにより得られた畳み込み後の各チャンネル信号の音量を補正して出力する音量補正ステップと、
前記音量補正ステップにより得られた音量補正後の各チャンネル信号を加算して出力する加算ステップとを有することを特徴とする３次元音声信号出力方法。
【請求項２】
前記音量補正ステップは、
畳み込み前の前記チャンネル信号の音量が所定の閾値よりも大きく、かつ前記畳み込み後のチャンネル信号の音量が前記閾値より小さい場合には、前記畳み込み後のチャンネル信号の音量を増幅補正した後に出力することを特徴とする請求項１に記載の３次元音声信号出力方法。
【請求項３】
外部から入力された入力音声信号の各チャンネル信号と頭部伝達関数との畳み込みを行う畳み込み手段と、
前記畳み込み手段の出力である畳み込み後の各チャンネル信号の音量を補正して出力する音量補正手段と、
前記音量補正手段により得られた音量補正後の各チャンネル信号を加算して出力する加算手段とを備えることを特徴とする３次元音声信号出力装置。
【請求項４】
前記音量補正手段は、
前記チャンネル信号の音量が予め定められた閾値よりも大きく、かつ前記畳み込み後のチャンネル信号の音量が前記閾値より小さい場合には、前記畳み込み後のチャンネル信号の音量を増幅補正した後に出力することを特徴とする請求項３に記載の３次元音声信号出力装置。
【請求項５】
前記音量補正手段は、
前記頭部伝達関数の周波数特性のうち谷に相当する周波数では山となっている周波数特性を有するイコライザを用いることを特徴とする請求項４に記載の３次元音声信号出力装置。
【請求項６】
請求項１ないし請求項２のいずれかに記載の３次元音声信号出力方法をコンピュータに実行させることを特徴とする３次元音声信号出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常のヘッドホンを用いて５．１チャンネルを典型とする多チャンネル音を擬似的に再生するための３次元音声信号出力方法及びその装置並びに３次元音声信号出力プログラムに関するものである。
【背景技術】
【０００２】
従来、３次元音声信号出力に関するものとして知られている技術には、例えば『スピーカの前方組と後方組を使用して三次元音場を合成する方法であって、ａ）音源の望ましい位置を決定し、ｂ）ＨＲＴＦフィルタを使用して音源に対応する双聴覚用信号の組を提供し、ｃ）前方及び後方ゲイン制御手段を通して左前方と左後方のスピーカの両方に双聴覚用信号の組の左信号を提供し、ｄ）前方及びゲイン制御手段を通して右前方と右後方のスピーカの両方に双聴覚用信号の組の右信号を提供し、ｅ）前方信号ゲインの後方信号ゲインに対する比率を、音源の方位角の関数として制御し、及びｆ）それぞれの横断クロストーク補償手段を使用して、前方及び後方信号の組上で横断クロストーク補償を実行する。』というものがある（特許文献１参照）。
【特許文献１】特開２０００−１２５３９９号公報（要約）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
最近ではホームシアターと呼ばれる設備を用いて、多チャンネルのオーディオ音声を一般家庭でも楽しむことが普通になりつつある。
これは以前からのステレオ・スピーカーを拡張し、例えば５．１チャンネルと呼ばれるシステムでは、前方に左、中央、右の三つのスピーカー、後方に左、右の２つのスピーカー、最後にサブウーファーと呼ばれる、低音部のみを再生するスピーカーの計６つのスピーカーを用いて６つのチャンネル信号を再生するものであり、ステレオ・オーディオ音声と比べて音の広がり、方向感が向上する。
しかしながら、このような設備では多数のスピーカー（上記５．１チャンネルの例では６つ）を設置する必要があるので、場所や予算の制約などの課題がある。
【０００４】
一方、頭部伝達関数（ＨｅａｄーＲｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ、以下ＨＲＴＦと言う）を用いた処理を行うと、多数のスピーカーを設置しなくとも、通常のヘッドホンだけを用いて音響を３次元空間的に表現できることが知られている。
ＨＲＴＦは、視聴者からある方向、距離においたスピーカーからインパルス音を発生させ、それを実際の人間の、あるいはダミーヘッドと呼ばれる人間の頭を模した人形の耳内部に埋め込まれたマイクでそのスピーカーからのインパルス音を録音することによって計測される。通常、あらゆる方向からのインパルス音を録音することで、あらゆる方向のＨＲＴＦを計測する。
入力音声信号をヘッドホンで聞く際、入力音声信号をそのままヘッドホンで再生するのではなく、一度この入力音声信号をＨＲＴＦと畳み込んでからヘッドホンで再生することで、人間の耳にはこのＨＲＴＦに対応した方向から音が聞こえてくるように感じられる。したがって、ＨＲＴＦを変化させると、同じ入力音声信号であっても様々な方向から聞こえてくるように感じられる出力音声信号が得られる。
【０００５】
しかしながら、入力音声信号によってはＨＲＴＦとの畳み込みによってほとんど聞こえなくなってしまう場合がある。
【０００６】
そこで、入力音声信号の音量が小さい場合に、ＨＲＴＦとの畳み込みによって出力音声信号の音量が小さくなり、出力音声が聞こえなくなってしまう現象を防ぐ３次元音声信号出力方法は検討されていない。
【課題を解決するための手段】
【０００７】
本発明者は上記課題を解決するため、その原因が、入力音声信号の音量が小さい時に、入力音声信号の周波数が、ＨＲＴＦの周波数特性のうち谷の部分の周波数とほぼ一致する場合に生じ、この場合、音源の３次元方向感を出すどころか、出力音そのものが聞こえなくなってしまうことにある、ということをつきとめ、その解決は以下のようにすることでこのような問題を解決できることを知見した。
本発明に係る３次元音声信号出力方法は、
外部から入力された入力音声信号の各チャンネル信号と頭部伝達関数との畳み込みを行う畳み込みステップと、
畳み込みステップにより得られた畳み込み処理後の各チャンネル信号の音量を補正して出力する音量補正ステップと、
音量補正ステップにより得られた音量補正後の各チャンネル信号を加算して出力する加算ステップとを有することを特徴とするものである。
【０００８】
また、本発明に係る３次元音声信号出力装置は、
外部から入力された入力音声信号の各チャンネル信号と頭部伝達関数との畳み込みを行う畳み込み手段と、
畳み込み手段の出力である畳み込み後の各チャンネル信号の音量を補正して出力する音量補正手段と、
音量補正手段により得られた音量補正後の各チャンネル信号を加算して出力する加算手段とを備えることを特徴とするものである。
【発明の効果】
【０００９】
本発明によれば、入力音声信号によってはＨＲＴＦとの畳み込みにより音が聞こえなくなってしまうという現象を防ぐことができ、優れた３次元音声信号を得ることができる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１に係る３次元音声信号出力方法を実現するための３次元音声信号出力装置の全体構成図である。
図１の３次元音声信号出力装置には、入力音声信号ａが入力され、出力音声信号ｂを出力する。
入力音声信号ａは、例えば５．１チャンネルを典型とする多チャンネルオーディオ信号であり、チャンネル信号毎にそのチャンネルの畳み込み手段ＣＯＮＶに入力されるとともに、音量補正手段ＶＯＬにも入力される。入力音声信号ａのチャンネル１成分をチャンネル１信号、入力音声信号ａのチャンネル２成分をチャンネル２信号、等と表現し、名称についた数字は便宜上、チャンネルの種別を意味するものとする。
畳み込み手段ＣＯＮＶは、チャンネル信号ごとに備えられており、チャンネル１に備えられた畳み込み手段をＣＯＮＶ１、チャンネル２に備えられた畳み込み手段をＣＯＮＶ２、等と表現する。
畳み込み手段ＣＯＮＶの出力は、そのチャンネルの音量補正手段ＶＯＬに入力される。
音量補正手段ＶＯＬは、チャンネル信号ごとに備えられており、チャンネル１に備えられた音量補正手段をＶＯＬ１、チャンネル２に備えられた音量補正手段をＶＯＬ２、等と表現する。
各チャンネルの音量補正手段ＶＯＬの出力は、加算手段ＡＤＤに入力される。
加算手段ＡＤＤは、各チャンネルの音量補正手段ＶＯＬの出力を加算し、出力音声信号ｂとして出力する。
【００１１】
ここで、本発明の実施の形態１の理解を簡単にするため、本発明の実施の形態１についての詳細説明の前に、本発明でいう畳み込みについて説明する。本発明の畳み込みとは、
時刻ｎでの入力信号をｘ（ｎ）、ｎ＝０，１，２，．．．
ＨＲＴＦをｈ（ｍ）、ｍ＝０，１，２，．．，Ｎ−１（ただしＮはＨＲＴＦの長さ）
とした時、時刻ｎでの出力信号ｙ（ｎ）を
【数１】
2007208755.tif 000003
として計算する処理である。
ここではＨＲＴＦは時間軸でのインパルス応答とする。
【００１２】
本発明者らの知見によれば、ＨＲＴＦの周波数特性が谷となっている周波数領域では、出力信号ｙ（ｎ）の音量レベルは小さくなる。このとき、畳み込み前の入力信号ｘ（ｎ）の音量レベルが最初から小さければ、畳み込みによりさらに音量レベルが下がり、人間の耳には聞こえなくなってしまう場合があり、音量レベルが人間の耳に聞こえないほどであれば、音の方向感を得ることはできず、３次元方向感を出すべく畳み込みを行ったことの目的が達せられない。
【００１３】
このような課題を回避する方法として、畳み込みによる音量レベルの低下を検出し、好ましくは閾値を設けることで検出し、閾値を下回る場合には音量レベルを再度上げるように補正をするものである。
【００１４】
以降では、本発明の実施の形態１の動作について説明する。
【００１５】
図２は、図１のチャンネル１に備えられた音量補正手段ＶＯＬ１の詳細を示すブロック図である。以下図２を用いて音量補正手段の動作の詳細を説明する。なお、図２はＶＯＬ１についての説明であるが、他のチャンネルに備えられた音量補正手段もそれぞれ同様に処理を行う。
【００１６】
ＶＯＬ１は、音量計算手段２１、条件判断手段２２、音量増幅手段２３を備える。
またＶＯＬ１には、図１に示すように入力音声信号のチャンネル１成分（チャンネル１信号）と、畳み込み手段ＣＯＮＶ１の出力である畳み込み後のチャンネル１信号とが入力される。
音量計算手段２１には、チャンネル１信号と畳み込み後のチャンネル１信号が入力される。音量計算手段２１は、チャンネル１信号の音量である音量ＩＮ、畳み込まれたチャンネル１信号の音量である音量Ｘを求め、条件判断手段２２に出力する。
条件判断手段２２は、「音量ＩＮが予め定められた閾値Ｔより大きく、かつ音量Ｘが閾値Ｔより小さいか？」という条件判断を行う。なお、閾値Ｔについては後述する。
音量増幅手段２３には、畳み込み後のチャンネル１信号が入力される。条件判断手段２２の判断結果が偽であれば、ＶＯＬ１は畳み込まれたチャンネル１信号をそのまま出力する。条件判断手段２２の判断結果が真であれば、音量増幅手段２３が畳み込み後のチャンネル１信号の音量を増幅し、ＶＯＬ１の出力とする。
ＶＯＬ１の出力は、加算手段ＡＤＤに入力される。
【００１７】
次に、図２の条件判断手段２２及び閾値Ｔについて説明する。
閾値Ｔは、人間の耳が聞くことのできる最小の音量になるように予め設定されることが好ましい。
もし音量ＩＮが閾値Ｔより小さい場合は、畳み込み手段ＣＯＮＶ１による畳み込み前のチャンネル１信号が、人間の耳には聞こえないことを意味する。
この場合には、畳み込み前には聞こえていたチャンネル１信号が畳み込みにより聞こえなくなるということはないため、音量補正をする必要はなく、畳み込み後のチャンネル１信号をそのままＶＯＬ１の出力とすればよい。
【００１８】
一方、音量ＩＮが閾値Ｔより大きい場合は、畳み込み前のチャンネル１信号の音量が人間の耳に聞こえる程度に十分大きいことを意味する。
この場合には、畳み込み後のチャンネル１信号の音量Ｘが閾値Ｔより小さければ、畳み込み前には聞こえていたチャンネル１信号が畳み込みにより聞こえなくなるため、音量増幅手段２３で畳み込み後のチャンネル１信号の音量を増幅することで聞こえるようにしてから、ＶＯＬ１の出力とする。
【００１９】
ここで、閾値Ｔの具体的な決め方としては、例えば次のようにすることができる。
あらかじめ、人間が最も聞き取りやすい例えば２ＫＨｚ程度の周波数のサイン波（トーン）を発生させ、聞き取ることの出来る最も小さな音量を設定し、その値をＴ０とする。また、この時のミキサー機器の音量レベルをＬ０とする。
閾値Ｔ０は、それを決定した時のミキサー機器の音量レベルに依存して決定できるので、実際の稼動時のミキサー音量レベルをＬとすると、閾値Ｔは「Ｔ＝Ｔ０×Ｌ／Ｌ０」として求めればよい。
【００２０】
以上のように、本発明の実施の形態１に係る３次元音声信号出力装置によれば、音量補正手段ＶＯＬに閾値を設け、音量補正手段ＶＯＬは、畳み込み前のチャンネル信号の音量ＩＮが閾値Ｔよりも大きく、かつ畳み込み後のチャンネル信号の音量Ｘが閾値Ｔより小さい場合には、畳み込み後のチャンネル信号の音量を増幅補正処理した後に出力することとしたので、畳み込みによりチャンネル音声が聞こえなくなることを防止できる。
【００２１】
実施の形態２．
本発明の実施の形態２に係る３次元音声信号出力装置は、本発明の実施の形態１における図２の音量増幅手段２３を、イコライザで実装したものである。
イコライザは公知のものを使用することができ、各チャンネルのＨＲＴＦの周波数特性に応じて予め調整しておく必要がある。すなわち、ＨＲＴＦの周波数特性で谷に相当する部分が入力音声信号を聞こえなくする原因であるから、その谷に相当する周波数ではイコライザの周波数特性が山になるようにイコライザを調整する。
【００２２】
図３は、本発明の実施の形態２に係る３次元音声信号出力装置のＨＲＴＦの周波数特性と、イコライザの周波数特性を概念的に図示したものである。
図３の上図において、周波数特性が谷になっている周波数領域では、ＨＲＴＦとの畳み込みによりチャンネル信号の音量が小さくなり、畳み込み後のチャンネル信号が人間の耳には聞こえなくなる原因がある。
このため、ＨＲＴＦの周波数特性のうち谷に相当する周波数領域と、イコライザの周波数特性のうち山となる周波数領域が一致するように、イコライザを予め調整する。
【００２３】
以上のように、本発明の実施の形態２に係る３次元音声信号出力装置によれば、ＨＲＴＦとの畳み込みにより音量レベルが小さくなり、人間の耳には聞こえづらくなった場合に、イコライザの山部分の周波数特性をもって音量を増幅補正し、確実に聞こえるようにしてから出力することとしたので、ＨＲＴＦとの畳み込みによりチャンネル音声が聞こえなくなることを防止できる。
【００２４】
実施の形態３．
図４は、本発明の実施の形態３に係る３次元音声信号出力プログラムの全体処理フローを示すものである。
本発明の実施の形態３に係る３次元音声信号出力プログラムは、例えばマイコンや信号処理プロセッサ（ＤＳＰ）等に実装することができる。本発明の実施の形態３においては、演算手段４０に実装されているものと想定している。
演算手段４０に入力音声信号ａが入力されると、演算手段４０はチャンネル信号毎に畳み込みステップＳ４１、音量補正ステップＳ４２及び加算ステップＳ４３を実行する。
畳み込みステップＳ４１では、入力音声信号ａの各チャンネル信号と頭部伝達関数との畳み込みを行われる。
音量補正ステップＳ４２では、畳み込みステップＳ４１により得られた畳み込み後の各チャンネル信号の音量が補正される。
加算ステップＳ４３では、音量補正ステップＳ４２により得られた音量補正後の各チャンネル信号が加算される。
演算手段４０のチャンネル信号毎の処理結果は、出力音声信号ｂとなる。
【００２５】
なお図４は、演算手段４０はチャンネル信号毎の処理を繰返し処理により実行するものとして記載しているが（図４の「チャンネル＝０，１，２，．．．ｎ」）、各チャンネル信号のＳ４１、Ｓ４２の組の処理を同時並列で行い、最後にＳ４３の加算ステップを行うようにしてもよい。
【００２６】
図５は、図４の音量補正ステップＳ１１の処理内容を示すものである。なお、図５ではチャンネル１信号の処理についての説明であるが、他のチャンネル信号の処理も同様であるので説明は省略する。
図４の演算手段４０は、チャンネル１信号の音量ＩＮを計算する（図５のＳ１）。
次に演算手段４０は、音量ＩＮを予め定められた閾値Ｔと比較する（図５のＳ２）。音量ＩＮが閾値Ｔ以下であれば、畳み込み後のチャンネル１信号をそのままＳ４２の出力とする（図５のＳ６）。なお、閾値Ｔは、本発明の実施の形態１で述べた閾値Ｔと同様である。
音量ＩＮが閾値Ｔより大きければ、演算手段４０は畳み込み後のチャンネル１信号の音量Ｘを計算する（図５のＳ３）。
次に演算手段４０は、音量Ｘを閾値Ｔと比較する（図５のＳ４）。音量Ｘが閾値Ｔ以上であれば、演算手段４０は畳み込み後のチャンネル１信号をそのままＳ４２の出力とする（図５のＳ６）。
音量Ｘが閾値Ｔより小さければ、演算手段４０は畳み込み後のチャンネル１信号の音量を増幅する（図５のＳ５）。
以上のようにして音量補正ステップＳ４２の出力が定まる。
【００２７】
以上のように、本発明の実施の形態３に係る３次元音声信号出力プログラムによれば、畳み込み後のチャンネル信号の音量を補正した３次元音声信号を得ることができる。
【００２８】
実施の形態４．
図６は、本発明の実施の形態４に係る３次元音声信号出力プログラムを動作させるための、３次元音声出力コンピュータの全体構成図である。
３次元音声出力コンピュータ６０は、演算手段６１、記憶手段６２、入力装置６５、表示装置６６、音声出力装置６７を備える。
記憶手段６２は、３次元音声信号出力プログラム６３、多チャンネル音声ファイル６４を格納している。
入力装置６５は、３次元音声出力コンピュータ６０のユーザによって操作され、これにより演算手段６１にユーザの指示を伝える。
表示装置６６は、演算手段６１の処理結果を表示する。
音声出力装置６７は、３次元音声信号出力プログラム６３の処理により出力された出力音声信号を元に、実際の音声を出力する。
【００２９】
なお、３次元音声出力コンピュータ６０は、例えば市販のパーソナルコンピュータに３次元音声信号出力プログラム６３と多チャンネル音声ファイル６４をインストールすることでも実現できる。
また、音声出力装置６７は、通常のヘッドホンとすることができる。
【００３０】
図７は、３次元音声信号出力プログラム６３の動作フローを説明するものである。
３次元音声出力コンピュータ６０のユーザは、入力装置６５を操作し、３次元音声信号出力プログラム６３を起動すべき旨を演算手段６１に指示する（図７のＳ７１）。
演算手段６１は、３次元音声信号出力プログラム６３を起動する。
次に３次元音声出力コンピュータ６０のユーザは、入力装置６５を操作し、記憶手段６２に格納された多チャンネル音声ファイル６４を指定し、演算手段６１に伝える（図７のＳ７２）。
次に演算手段６１は、Ｓ７２で指定された多チャンネル音声ファイル６４を読み込む（図７のＳ７３）。
次に演算手段６１は、チャンネル信号毎に畳み込みステップＳ７４、音量補正ステップＳ７５及び加算ステップＳ７６を実行する。ステップＳ７４〜ステップＳ７６は、本発明の実施の形態３における図４及び図５と同様の処理であるため、説明を省略する。
次に演算手段６１は、ステップＳ７４〜ステップＳ７６により得られた出力音声信号を音声出力装置６７へ出力する（図７のＳ７７）。
音声出力装置６７は、出力音声信号を元に、実際の音声を出力する（図７のＳ７８）。
ユーザは、音声出力装置６７から出力された実際の音声を視聴する（図７のＳ７９）。
【００３１】
なお、図７においては、演算手段６１は多チャンネル音声ファイル６４を全て読み込み（図７のＳ７３）、全ての出力音声信号を得てから音声出力装置６７に出力音声信号を出力することとしたが、多チャンネル音声ファイル６４を少しずつ読み込み、読み込んだデータについてステップＳ７４〜ステップＳ７６を実行して得られた出力音声信号を、逐次音声出力装置６７に出力することを繰り返してもよい。
【００３２】
以上のように、本発明の実施の形態４に係る３次元音声信号出力プログラムを実装したコンピュータによれば、例えばコンピュータとヘッドホンを用いて、畳み込み後のチャンネル信号の音量を補正した３次元音声信号及びその再生音を得ることができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１に係る３次元音声信号出力装置の全体構成図である。
【図２】図１のチャンネル１に備えられた音量補正手段ＶＯＬ１の詳細を示すブロック図である。
【図３】本発明の実施の形態２におけるＨＲＴＦの周波数特性と、イコライザの周波数特性を概念的に図示したものである。
【図４】本発明の実施の形態３に係る３次元音声信号出力プログラムの全体処理フローを示すものである。
【図５】図４の音量補正ステップＳ１１の処理内容を示すものである。
【図６】本発明の実施の形態４に係る３次元音声信号出力プログラムを動作させるための、３次元音声出力コンピュータの全体構成図である。
【図７】３次元音声信号出力プログラム６３の動作フローを説明するものである。
【符号の説明】
【００３４】
ａ  入力音声信号、ｂ  出力音声信号、２１  音量計算手段、２２  条件判断手段、２３  音量増幅手段、４０  演算手段、６０  ３次元音声出力コンピュータ、６１  演算手段、６２  記憶手段、６３  ３次元音声信号出力プログラム、６４  多チャンネル音声ファイル、６５  入力装置、６６  表示装置、６７  音声出力装置、ＣＯＮＶ１  チャンネル１畳み込み手段、ＣＯＮＶ２  チャンネル２畳み込み手段、ＣＯＮＶｎ  チャンネルｎ畳み込み手段、ＶＯＬ１  チャンネル１音量補正手段、ＶＯＬ２  チャンネル２音量補正手段、ＶＯＬｎ  チャンネルｎ音量補正手段、ＡＤＤ  加算手段。
【図１】
2007208755.tif 000004
【図２】
2007208755.tif 000005
【図３】
2007208755.tif 000006
【図４】
2007208755.tif 000007
【図５】
2007208755.tif 000008
【図６】
2007208755.tif 000009
【図７】
2007208755.tif 000010