(57)【要約】【課題】多チャンネルで構成された音声信号を多スピーカで再生する際に、再生された音声信号が聴取点で足し合わされた状態で聞いても聴感上自然に聞くことができる音声信号補償装置、音声信号補償方法、及びプログラムを提供する。【解決手段】マルチチャンネル音声信号の相互の相関係数を算出し、チャンネル音声信号間の相関係数が高いチャンネル音声信号を足し合わせて高相関チャンネル合成信号を生成し、高相関チャンネル合成信号及びそれ以外の各チャンネル音声信号、並びに、雑音のレベルを算出し、それぞれのレベルに基づいて各チャンネル音声信号の補償量を算出し、算出された補償量をもとにマルチチャンネル音声信号を補償することを特徴とする。相関係数及び補償量の算出は、周波数範囲ごとに行うことができる。【選択図】図６
2018133660.tif 000002
【特許請求の範囲】
【請求項１】
マルチチャンネル音声信号の相互の相関係数を算出するチャンネル信号間相関算出部と、
チャンネル音声信号間の前記相関係数が所定の閾値よりも高い全てのチャンネル音声信号の周波数成分同士を足し合わせて高相関チャンネル合成信号を生成する高相関チャンネル合成部と、
前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル音声信号のレベルを算出する音声信号レベル算出部と、
前記マルチチャンネル音声信号以外の追加音声信号のレベルを算出する追加音声信号レベル算出部と、
前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル信号のレベルと、前記追加音声信号のレベルから、各チャンネル音声信号の補償量を算出する、マルチチャンネル音声信号補償量算出部と、
前記補償量をもとにマルチチャンネル音声信号を補償するマルチチャンネル音声信号補償部と、
を有する音声信号補償装置。
【請求項２】
請求項１に記載の音声信号補償装置において、前記マルチチャンネル音声信号の相互の相関係数の算出、前記高相関チャンネル合成信号の生成、音声信号のレベルの算出、及び前記マルチチャンネル音声信号の補償量の算出を、予め規定された周波数範囲ごとに行い、前記マルチチャンネル音声信号の周波数特性の補償を行うことを特徴とする、音声信号補償装置。
【請求項３】
請求項１又は２に記載の音声信号補償装置において、前記チャンネル信号間相関算出部が、入力された全てのチャンネル音声信号について、異なる２つのチャンネルの組み合せに対する相関係数を算出することを特徴とする、音声信号補償装置。
【請求項４】
請求項１又は２に記載の音声信号補償装置において、前記チャンネル信号間相関算出部が、入力されたチャンネル音声信号のうち予め規定したレベルよりも大きいチャンネル又は最大信号レベルから所定範囲内のレベルにあるチャンネルを選択し、前記選択された全てのチャンネルについて、異なる２つのチャンネルの組み合せに対する相関係数を算出することを特徴とする、音声信号補償装置。
【請求項５】
請求項１又は２に記載の音声信号補償装置において、前記チャンネル信号間相関算出部が、入力されたチャンネル音声信号のうち予め規定したレベルよりも大きいチャンネル又は最大信号レベルから所定範囲内のレベルにあるチャンネルを選択し、前記選択されたそれぞれのチャンネルに対して予め規定された相関が高いと想定される事前設定チャンネルセットを求め、その後、前記選択されたチャンネルと対応する前記事前設定チャンネルセット内のチャンネルの組み合せに対する相関係数を算出することを特徴とする、音声信号補償装置。
【請求項６】
請求項１又は２に記載の音声信号補償装置において、前記チャンネル信号間相関算出部が、予め相関の高いチャンネルの組み合わせが明示されている場合に、相関係数計算をスキップして前記高相関チャンネル合成部に加算するチャンネルの組み合わせ情報を出力することを特徴とする、音声信号補償装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の音声信号補償装置において、前記チャンネル信号間相関算出部は、チャンネル音声信号間の相互相関関数を求め、前記相互相関関数の予め規定した時間差内で最も大きい関数値を、前記チャンネル音声信号間の相関係数として用いることを特徴とする、音声信号補償装置。
【請求項８】
請求項２に記載の音声信号補償装置において、前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル音声信号のレベルと、前記追加音声信号のレベルに基づいて、マルチチャンネル音声信号の補償を周波数範囲で選択的に行うことを特徴とする、音声信号補償装置。
【請求項９】
請求項８に記載の音声信号補償装置であって、
前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル信号と、追加音声信号との前記予め規定された周波数範囲ごとのレベル差が予め規定した範囲以内にあるときのみ、補償を行うこと、
予め与えられた全体の補償量の上限に合わせて、優先度の高い帯域又はチャンネルから順に補償し、補償量が前記上限を上回った時点で未補償の帯域又はチャンネルへの補償処理を省略すること、又は
予め規定したレベルよりも高いチャンネル音声信号を選択し、選択された当該チャンネル全体の予め規定された周波数範囲ごとの平均レベルを算出し、算出した平均レベルと、追加信号の当該周波数範囲ごとのレベルとのレベル差を用いて、補償範囲を決定すること、
のいずれかにより補償を行う範囲を選択することを特徴とする、音声信号補償装置。
【請求項１０】
マルチチャンネル音声信号の相互の相関係数を算出し、
チャンネル音声信号間の前記相関係数が所定の閾値よりも高い全てのチャンネル音声信号の周波数成分同士を足し合わせて高相関チャンネル合成信号を生成し、
前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル音声信号、並びに、前記マルチチャンネル音声信号以外の追加音声信号のレベルを算出し、
前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル信号のレベルと、前記追加音声信号のレベルから、各チャンネル音声信号の補償量を算出し、
前記補償量をもとにマルチチャンネル音声信号を補償することを特徴とする、音声信号補償方法。
【請求項１１】
コンピュータを、請求項１乃至９のいずれか一項に記載の音声信号補償装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号補償装置、音声信号補償方法、及びプログラムに関し、特に、マルチチャンネルで構成された音声信号（音響信号）を騒音環境下で複数のスピーカにより再生するときに、聴感上自然に聞くことができるようにする音声信号補償装置、音声信号補償方法、及びプログラムに関する。
【背景技術】
【０００２】
パブリックビューイングや展示会場で番組音を再生する際は、その環境の暗騒音や人が行き交うことにより発せられる騒音のため、再生される音声信号が聞き取りにくくなったり、音質が劣化することがある。そこで、従来より、周囲の騒音のレベルに応じて自動的に信号レベルを調整し、聞きやすい状況を維持する自動音量制御が提案されている（例えば、特許文献１〜３）。これらの特許文献に記載の発明は、騒音のある環境における再生音声信号に対して、マスキングを補償する適応音質音量制御を行うものである。
【０００３】
音質を保持しながら周囲騒音に対して音声信号を補償する方法として、ＭＡＥＱ（Masking Adaptation EQualizer）法が注目されている（非特許文献１）。ＭＡＥＱ法は、周波数範囲ごとに騒音によるマスキング量を補償するもので、騒音がない場合でのラウドネスと一致するように補償量を決定するアルゴリズムである。図１３に、ＭＡＥＱ法の概要を示す。図１３の左側の図が音声信号と騒音の関係の一例を示しており（横軸が周波数、縦軸が信号レベル）、棒グラフが音声信号の帯域ごとのレベルであり、横線が騒音の帯域ごとのレベルである。そして、帯域ごとに音声信号と騒音のレベル差を求め、そのレベル差に基づいて各帯域の補償量を求める。例えば、補償量は次式（１）で求められる。
【０００４】
Ｍ ＝ 0.0073（Ｓ−Ｎ）2 − 0.53（Ｓ−Ｎ） + 7.31     −−−−−（１）
Ｍ：帯域ごとの音声信号への補償量［ｄＢ］
Ｓ：音声信号の帯域レベル［ｄＢ］
Ｎ：騒音の帯域レベル［ｄＢ］
【０００５】
図１３の右側の図は、音声信号（棒グラフ）に、帯域ごとの音声信号の補償量（上向き矢印）を加えた状態を表わしており、破線の横線が、補償後の音声信号の帯域ごとのレベルを示す。この補償により、各帯域で音声信号レベルが騒音レベルを越えるようになり、騒音特性によらず、騒音が無いときと同様に再生音声を聞き取ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−１１６３６１号公報
【特許文献２】特開平９−１１６３６２号公報
【特許文献３】特開２００２−２３２２４７号公報
【非特許文献】
【０００７】
【非特許文献１】村瀬敦信、他、「周囲騒音によるマスキングを考慮した音質制御方法」、日本音響学会講演論文集（Autumn Meeting of The Acoustical Society of Japan）、平成９年３月、ｐ．５２３−５２４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記した従来技術では、補償対象となる音声信号が１つであることを想定しているため、音声信号を多チャンネル（多スピーカ）で再生する際、１つ１つのチャンネルの音声信号に対して、それぞれ騒音によるマスキングの補償を行うか、或いは、全チャンネルを足し合わせた１つの音声信号に対してマスキングの補償を行うといった単純な補償を行うと、聴取点で再生された音声信号が足し合わされたとき、音声信号によっては補償に過不足が生じることがある。
【０００９】
図１４に、複数の音声信号に対して補償を行う、従来技術の概念図を示す。従来は、例えば、２つのチャンネルの音声信号ａ，ｂについてそれぞれ独立に補償を行い、雑音レベルを越えるように音声信号ａに補償量αを加えて信号レベルをａ＋αとし、音声信号ｂに補償量βを加えて信号レベルをｂ＋βとしている。そして、音声信号ａ＋αをＡチャンネルのスピーカＡｃｈから再生し、音声信号ｂ＋βをＢチャンネルのスピーカＢｃｈから再生する。このとき、Ａチャンネルの音声とＢチャンネルの音声が、互いに独立した音声である場合はこのような補償方法で問題は無いが、両チャンネルが同じ音声であると、聴取点では両チャンネルの音声が足されて一つの音声として聞こえる。
【００１０】
したがって、複数のチャンネルに同一の成分が小さいレベルで入っている場合に、チャンネルごとに騒音によるマスキングの補償を行ってしまうと、聴取点で足し合わされたときに、必要以上に補償量が大きくなってしまったり、補償が特定の帯域に集中して音質が崩れてしまうという問題が生じる。一方で別々のチャンネルに異なる音響事象が含まれているにもかかわらず、全体を足し合わせた１つの信号に対してマスキングによる補償量を決定すると、個々の音響事象に対するマスキング量が考慮されずに補償が不足してしまうという問題がある。
【００１１】
従って、上記のような問題点に鑑みてなされた本発明の目的は、多チャンネルで構成された音声信号を多スピーカで再生する際に、再生された音声信号が聴取点で足し合わされた状態で聞いても聴感上自然に聞くことができる音声信号補償装置、音声信号補償方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために本発明に係る音声信号補償装置は、マルチチャンネル音声信号の相互の相関係数を算出するチャンネル信号間相関算出部と、チャンネル音声信号間の前記相関係数が所定の閾値よりも高い全てのチャンネル音声信号の周波数成分同士を足し合わせて高相関チャンネル合成信号を生成する高相関チャンネル合成部と、前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル音声信号のレベルを算出する音声信号レベル算出部と、前記マルチチャンネル音声信号以外の追加音声信号のレベルを算出する追加音声信号レベル算出部と、前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル信号のレベルと、前記追加音声信号のレベルから、各チャンネル音声信号の補償量を算出する、マルチチャンネル音声信号補償量算出部と、前記補償量をもとにマルチチャンネル音声信号を補償するマルチチャンネル音声信号補償部と、を有することを特徴とする。
【００１３】
また、前記音声信号補償装置は、前記マルチチャンネル音声信号の相互の相関係数の算出、前記高相関チャンネル合成信号の生成、音声信号のレベルの算出、及び前記マルチチャンネル音声信号の補償量の算出を、予め規定された周波数範囲ごとに行い、前記マルチチャンネル音声信号の周波数特性の補償を行うことが望ましい。
【００１４】
また、前記音声信号補償装置は、前記チャンネル信号間相関算出部が、入力された全てのチャンネル音声信号について、異なる２つのチャンネルの組み合せに対する相関係数を算出することが望ましい。
【００１５】
また、前記音声信号補償装置は、前記チャンネル信号間相関算出部が、入力されたチャンネル音声信号のうち予め規定したレベルよりも大きいチャンネル又は最大信号レベルから所定範囲内のレベルにあるチャンネルを選択し、前記選択された全てのチャンネルについて、異なる２つのチャンネルの組み合せに対する相関係数を算出することが望ましい。
【００１６】
また、前記音声信号補償装置は、前記チャンネル信号間相関算出部が、入力されたチャンネル音声信号のうち予め規定したレベルよりも大きいチャンネル又は最大信号レベルから所定範囲内のレベルにあるチャンネルを選択し、前記選択されたそれぞれのチャンネルに対して予め規定された相関が高いと想定される事前設定チャンネルセットを求め、その後、前記選択されたチャンネルと対応する前記事前設定チャンネルセット内のチャンネルの組み合せに対する相関係数を算出することが望ましい。
【００１７】
また、前記音声信号補償装置は、前記チャンネル信号間相関算出部が、予め相関の高いチャンネルの組み合わせが明示されている場合に、相関係数計算をスキップして前記高相関チャンネル合成部に加算するチャンネルの組み合わせ情報を出力することが望ましい。
【００１８】
また、前記音声信号補償装置は、前記チャンネル信号間相関算出部は、チャンネル音声信号間の相互相関関数を求め、前記相互相関関数の予め規定した時間差内で最も大きい関数値を、前記チャンネル音声信号間の相関係数として用いることが望ましい。
【００１９】
また、前記音声信号補償装置は、前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル音声信号のレベルと、前記追加音声信号のレベルに基づいて、マルチチャンネル音声信号の補償を周波数範囲で選択的に行うことが望ましい。
【００２０】
また、前記音声信号補償装置は、前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル信号と、追加音声信号との前記予め規定された周波数範囲ごとのレベル差が予め規定した範囲以内にあるときのみ、補償を行うこと、予め与えられた全体の補償量の上限に合わせて、優先度の高い帯域又はチャンネルから順に補償し、補償量が前記上限を上回った時点で未補償の帯域又はチャンネルへの補償処理を省略すること、又は予め規定したレベルよりも高いチャンネル音声信号を選択し、選択された当該チャンネル全体の予め規定された周波数範囲ごとの平均レベルを算出し、算出した平均レベルと、追加信号の当該周波数範囲ごとのレベルとのレベル差を用いて、補償範囲を決定すること、のいずれかにより補償を行う範囲を選択することが望ましい。
【００２１】
また、本発明に係る音声信号補償方法は、マルチチャンネル音声信号の相互の相関係数を算出し、チャンネル音声信号間の前記相関係数が所定の閾値よりも高い全てのチャンネル音声信号の周波数成分同士を足し合わせて高相関チャンネル合成信号を生成し、前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル音声信号、並びに、前記マルチチャンネル音声信号以外の追加音声信号のレベルを算出し、前記高相関チャンネル合成信号及び高相関チャンネル合成信号生成に用いられなかった各チャンネル信号のレベルと、前記追加音声信号のレベルから、各チャンネル音声信号の補償量を算出し、前記補償量をもとにマルチチャンネル音声信号を補償することを特徴とする。
【００２２】
また、本発明に係るプログラムは、コンピュータを、前記音声信号補償装置として機能させることを特徴とする。
【発明の効果】
【００２３】
本発明における音声信号補償装置、音声信号補償方法、及びプログラムによれば、複数のチャンネルに含まれる同一の音声信号成分を１つの信号としてとらえることができ、一方でチャンネルごとに異なる音声信号は別々に補償量を決定することで、補償量の過不足を防ぐことができる。したがって、マルチチャンネル音声信号が有するチャンネルのうち複数のチャンネルに同一の成分が含まれる場合でも、聴感上自然に聞くことができる。
【図面の簡単な説明】
【００２４】
【図１】本発明のチャンネル間相関の高い音声信号を補償する方法を概念的に示す図である。
【図２】本発明の周波数成分ごとの補償を行う方法（前半）を概念的に示す図である。
【図３】本発明の周波数成分ごとの補償を行う方法（後半）を概念的に示す図である。
【図４】マルチチャンネル音響再生を行う環境の例を示す図である。
【図５】本発明の音声信号補償装置のブロック図である。
【図６】本発明の音声信号補償装置の実施例１の信号補償量決定部のブロック図の例である。
【図７】実施例１の信号補償量決定部の処理のフローチャートである。
【図８】本発明の音声信号補償装置の実施例２の信号補償量決定部のブロック図の例である。
【図９】実施例２の信号補償量決定部の処理のフローチャートである。
【図１０】２２．２マルチチャンネル音響のチャンネル配置を示す図である。
【図１１】本発明の音声信号補償装置の実施例３の信号補償量決定部のブロック図の例である。
【図１２】音声信号と騒音との周波数範囲ごとのレベル差に基づいて、選択的に補償を行う例である。
【図１３】ＭＡＥＱ法の概要を示す図である。
【図１４】複数の音声信号に対して補償を行う、従来技術を示す概念図である。
【発明を実施するための形態】
【００２５】
まず、本発明のマルチチャンネル音声信号の補償方法の原理について、図１〜図３を用いて簡単に説明する。
【００２６】
図１は、チャンネル間相関の高い音声信号を補償する方法を概念的に示した図である。図１（１）に示すように、チャンネル間相関の高い音声信号（例えば、同じ音声信号）は、各チャンネルのスピーカ（Ａｃｈ，Ｂｃｈ）で再生された後、聴取点においては合成され、一体となった音声として聴取される。
【００２７】
したがって、このようなチャンネル間相関の高い音声信号は、別々に補償を行うのではなく、図１（２）に示すように、各チャンネルの音声信号ａ，ｂを加算し、足し合わせた信号（ａ＋ｂ）に対してマスキングによる補償量γを決定する。聴取点においては、（ａ＋ｂ）＋γの信号レベルがあれば、雑音の影響を受けない十分な再生音声となる。そして、この補償量γを２つのチャンネルに割り当てて、スピーカＡｃｈ，Ｂｃｈからそれぞれ再生する。この結果、ＡｃｈとＢｃｈの再生音声は、空間で加算されると適切な補償量となる。なお、チャンネル間相関の低い音声信号、すなわち、互いに独立した音声信号は、従来どおり別々に補償を行えばよい。
【００２８】
よって、マルチチャンネル音声信号の相互の相関係数を算出し、チャンネル音声信号間の相関係数が高いチャンネル音声信号を足し合わせて高相関チャンネル合成信号を生成し、高相関チャンネル合成信号及びそれ以外の各チャンネル音声信号、並びに、雑音のレベルを算出し、それぞれのレベルに基づいて各チャンネル音声信号の補償量を算出し、算出された補償量をもとにマルチチャンネル音声信号を補償することができる。
【００２９】
図２、図３は、更に、周波数成分ごとの補償を行う方法を概念的に示した図であり、マルチチャンネル音声信号に、ＭＡＥＱ法を適用する例を示している。各図は、横軸が周波数、縦軸が信号レベルであり、各処理工程における音声信号を示している。
【００３０】
図２において、まず、（ａ）の段階として、Ａｃｈの音声信号とＢｃｈの音声信号をそれぞれスペクトル分析し、帯域ごとに分割する。
【００３１】
次に、（ｂ）の段階として、同じ帯域ごとにチャンネル間の相関を計算する。図では、右下がりのハッチングで描いた帯域が信号の相関の高い帯域であり、左下がりのハッチングで描いた帯域が信号の相関の低い帯域である。
【００３２】
（ｃ）の段階では、相関の高い帯域について、Ａｃｈの音声信号とＢｃｈの音声信号を加算する。その後の処理では、高相関帯域の信号は、加算された音声信号を対象として取り扱う。一方、相関の低い帯域の音声信号は、ＡｃｈとＢｃｈをそれぞれ独立した音声信号として取り扱う。
【００３３】
次に、図３において、（ｄ）の段階では、帯域ごとに音声信号を一定レベルに換算し、その後の処理で使用する各帯域における信号レベルを求める。高相関帯域については、ＡｃｈとＢｃｈの加算された音声信号に対してレベル換算を行う。なお、音声信号とは別に、環境騒音の信号レベルを求めておく。環境騒音についても、スペクトルを求めた後に、音声信号と同じ帯域分割を行い、帯域ごとに騒音を一定レベルに換算し、その後の処理で使用する各帯域における騒音レベルを求める。
【００３４】
（ｅ）の段階では、帯域ごとに音声と騒音のレベル差（信号−雑音比、（Ｓ−Ｎ）ｄＢ）を算出する。低相関帯域では、Ａｃｈ，Ｂｃｈそれぞれ独立に音声レベルと騒音レベルを比較し、高相関帯域では、ＡｃｈとＢｃｈの加算された音声レベルと騒音レベルの比較を行う。
【００３５】
そして、（ｆ）の段階では、帯域ごとに音声と騒音のレベル差に基づく補償量を算出する。補償量の算出式は、例えば、ＭＡＥＱ法の補償量算出式である式（１）を利用することができる。求めた補償量は、低相関帯域ではそれぞれチャンネル別の補償量として取り扱い、高相関帯域では、両チャンネル（Ａｃｈ，Ｂｃｈ）共通の補償量として取り扱う。その後の音声再生においては、求められた帯域ごとの補償量を、各チャンネルの音声信号に加えてスピーカにより再生する。
【００３６】
このようにして、マルチチャンネルにおける適切な補償・再生が可能となる。
【００３７】
以下、本発明の具体的な実施の形態について説明する。
【００３８】
（実施の形態）
複数のスピーカが設置された視聴空間で、聴取エリア全体に一様に騒音が分布している環境において、本発明の音声信号補償装置を用いて音響再生を行う例を、図を用いて説明する。
【００３９】
図４は、マルチチャンネル音響再生を行う環境の例を示したものであり、視聴エリアを囲むように１０個のスピーカが配置され、各スピーカを図中左上から時計回りにｓｐ１，ｓｐ２，・・・，ｓｐ１０と呼ぶものとする。図４では、聴取者の前面に５つのスピーカ、背面に３つのスピーカ、両側に１つずつのスピーカが配置されている。視聴エリア内にはマイクロホンＭを１つ設置しており、本実施例では、マイクロホンＭで収録した聴取エリア内の騒音（「追加音声」と言う場合がある。）と、各スピーカで再生する１０チャンネル（ｃｈ）の音声信号を入力とし、音声信号補償装置１００で音声信号を調整し、各スピーカに出力するものとなっている。１０チャンネルの音声信号は１ｃｈから順にｓｐ１，ｓｐ２，ｓｐ３，・・・と割り当てられるものとする。ここで、マイクロホンＭで収音する騒音は、音声信号再生時に同時に収音した信号に対し、音源分離処理などで騒音成分を取り出す処理を行った信号でもよいし、騒音が定常的な場合には事前に収音しておいた信号を用いてもよい。また、本実施例ではマイクロホンが１つで騒音を収音しているが、実際はマイクロホンを複数本設置し、各マイクロホンでの収音した信号を用いて騒音成分を取り出す処理を行ってもよい。
【００４０】
図５に、本発明の音声信号補償装置１００のブロック図を示す。なお、音声信号補償装置１００は、音声（音響）再生装置全体の音声補償信号処理部を構成するものであっても良い。音声信号補償装置１００は、信号補償量決定部１１０と、音声信号補償部１３０で構成される。
【００４１】
信号補償量決定部１１０は、マルチチャンネル音声信号とマイクロホンＭからの騒音（マルチチャンネル音声信号以外の追加音声信号）を入力とし、決定された補償量を音声信号補償部１３０に出力する。また、信号補償量決定部１１０には予め、再生スピーカの特性や再生環境での聴取点までの伝達関数などを入力又は登録しておくことができる。再生スピーカの周波数特性や伝達特性を加味した音声信号を分析に用いることで、再生環境に適した補償量を決定することができる。例えば、再生スピーカの周波数特性が平坦でない場合に、その特性を事前に音声信号に付与してやることで、実際に聴取位置で聞いたときの再生信号と似た信号を得ることができるので、再生環境に合わせた補償量が決定できる。本発明における音声信号は、このような再生スピーカの周波数特性や伝達特性を加味した音声信号も含む。
【００４２】
音声信号補償部１３０では、信号補償量決定部１１０で求めた補償量に基づいて、マルチチャンネル音声信号を補償する。すなわち、各チャンネル音声信号の周波数特性を調整する。音声信号補償部１３０は、ＩＩＲ（Infinite impulse response、無限インパルス応答）フィルタを用いたイコライザーとして調整してもいいし、ＦＩＲ（Finite Impulse Response、有限インパルス応答）フィルタを用いた畳み込みで実現してもよい。音声信号の調整（補償）処理は、公知のデジタル処理等を利用して実現できる。
【実施例１】
【００４３】
図６に、本発明の音声信号補償装置における、実施例１の信号補償量決定部１１０のブロック図の例を示す。図７には、このブロック図における処理のフローチャートを示す。ここでは、全チャンネル間の相関を調べ周波数範囲ごと（例えば、周波数ビンごと）に補償量を決定する実施例について、周波数領域で相関を求める処理を行う場合を例として、説明する。
【００４４】
実施例１の信号補償量決定部１１０は、周波数スペクトル算出部１１２及び周波数別チャンネル間相関算出部１１３を有するチャンネル信号間相関算出部１１１と、高相関チャンネル合成部１１４と、音声信号レベル算出部１１５と、追加音声信号レベル算出部１１６と、補償量算出部１１７とを、備える。
【００４５】
チャンネル信号間相関算出部１１１は、入力された音響信号に対し、全てのチャンネルの組み合わせ間で周波数範囲別の相関を計算する。図４の例では１０チャンネルなので各周波数範囲で４５通りの組み合わせについて、相関を調べる。
【００４６】
まず、周波数スペクトル算出部１１２には、マルチチャンネル（ここでは１０チャンネル）の音声信号が入力される（図７のフローチャートのステップ１１［ＳＴ１１］）。そして、周波数スペクトル算出部１１２は、各音声信号について、周波数スペクトルを計算し（ステップ１２［ＳＴ１２］）、周波数別チャンネル間相関算出部１１３に出力する。
【００４７】
周波数別チャンネル間相関算出部１１３は、周波数範囲ごとに、全チャンネルの音声信号について、異なる２つのチャンネルの組み合わせ（ここでは４５通り）についてそれぞれ相関を計算する（ステップ１３［ＳＴ１３］）。
【００４８】
図６のチャンネル信号間相関算出部１１１の構成は、周波数領域で相関計算を行う場合の例であり、周波数スペクトルを求め、その後クロススペクトル計算などでチャンネル間の相関係数を求めるなどの計算方法が採用される。なお、周波数領域での相関計算は一手法であり、時間領域で相関計算を行う構成（図示せず）を採用しても良い。時間領域で相関を計算する際は、時間領域での２つのチャンネル音声信号を直接演算して相関係数を得るといった、時間軸上のずれを許容しない相関値を求めてもよいし、時間軸上のずれ（時間差τ）を許容したチャンネル音声信号間の相互相関関数を求め、相互相関関数の予め規定した時間差以内での最大の関数値を、そのチャンネル音声信号間の相関係数として用いてもよい。この時間差τを考慮した計算は、スピーカ配置等に基づいて、同じ音声信号を時間をずらせて出力するマルチチャンネル音声再生方法に対応するものである。なお、時間領域で相関計算する場合であっても、デジタルフィルタ等で周波数範囲ごとに分割したあと、時間領域で相関係数や相互相関関数を計算するなどの手法があり、相関計算には任意の手法を採用することができる。
【００４９】
そして、算出された相関係数が、閾値より高いか低いかを判断する（ステップ１４［ＳＴ１４］）。周波数範囲ごとに算出した相関係数が予め規定した閾値よりも高い（又は以上である）場合、例えば、０から１で正規化した相関値が０．８以上（この閾値は適宜設定し得る）の値となるチャンネルの組については、高相関チャンネルセットとして、高相関チャンネル合成部１１４に出力し、それ以外のチャンネル及び周波数範囲については、低相関チャンネルとして、音声信号レベル算出部１１５に直接出力する。
【００５０】
高相関チャンネル合成部１１４は、高相関チャンネルセットとして入力された当該チャンネル組の当該周波数成分を足し合わせ（ステップ１５［ＳＴ１５］）、音声信号レベル算出部１１５に出力する。例えばある周波数範囲において、１ｃｈから１０ｃｈの信号がそれぞれａ，ｂ，ｃ，・・・，ｊのエネルギーを持ち、１ｃｈと２ｃｈのチャンネル組のみ相関が閾値より高いと判断されたときは、１ｃｈと２ｃｈの当該周波数範囲のみ両者のエネルギーを足し合わせ、ａ＋ｂとする。つまり１ｃｈと２ｃｈの当該周波数範囲は共通の成分であるとし、両者を足し合わせたａ＋ｂという値を用いて１，２ｃｈの補償量を決定していく。同様に、１ｃｈから１０ｃｈのうち、１ｃｈと２ｃｈ、２ｃｈと３ｃｈ、１ｃｈと３ｃｈという３つの組み合わせで相関が高くなった場合には、１，２，３ｃｈの補償量はａ＋ｂ＋ｃのエネルギーを用いて決定するものとする。また、１ｃｈから１０ｃｈのうち１ｃｈと２ｃｈ、２ｃｈと３ｃｈ、の２つの組み合わせの相関が高かった場合に１，２，３ｃｈの補償量はａ＋ｂ＋ｃのエネルギーを用いて決定してもよいし、１ｃｈはａ＋ｂ、２ｃｈはａ＋ｂ＋ｃ、３ｃｈはｂ＋ｃを用いて補償量を決定してもよい。なお、ここまでの説明は信号の加算をエネルギー加算で行ったが、時間波形における振幅値での加算としてもよい。あるいは、エネルギー加算と振幅加算を組み合わせて、例えば加算するチャンネルのスピーカ間距離に応じて、エネルギー加算を行う帯域と振幅加算を行う帯域を分けて使用してもよい。以下の説明でも同様である。
【００５１】
音声信号レベル算出部１１５は、周波数範囲ごとの音声信号のレベル計算を行う（ステップ１６［ＳＴ１６］）。すなわち、以上の処理により、入力された各チャンネルの音声信号のうち、相関の高い周波数範囲を持つチャンネルは、その当該周波数範囲のみ足し合わされてレベル（パワースペクトル）が算出される。それ以外のチャンネル、周波数範囲についてはチャンネルごとにレベル（パワースペクトル）を算出する。算出された信号レベルは、補償量算出部１１７に出力される。
【００５２】
一方、騒音信号については単純に周波数範囲ごとのレベルを算出する（ステップ１７［ＳＴ１７］）。すなわち、追加音声信号レベル算出部１１６は、マイクロホンＭから追加音声信号が入力され、追加音声信号のパワースペクトルを算出し、その結果を補償量算出部１１７に出力する。なお、追加音声信号としては、一般には、騒音やノイズが想定されるが、これに限らず、マルチチャンネル音声信号以外の任意の音響信号が含まれてもよい。
【００５３】
その後、補償量算出部１１７は、各チャンネルの周波数範囲ごとの音声信号レベルと、周波数範囲ごと騒音レベルを用いて、補償量を決定する（ステップ１８［ＳＴ１８］）。上記の処理（ＳＴ１５）で足し合わされたチャンネルについては足し合わされた値を用いて補償量を決定し、決定された補償量を足し合わせた元のチャンネルに適用するものとする。
【００５４】
補償量の決定方法は、特定の方法に限られない。例えば各チャンネルのレベルが騒音に埋もれた周波数範囲だけを判断し、当該周波数範囲のみに対して、騒音とのレベル差に応じて補償量を決定してもよいし、各チャンネルの全周波数帯域で信号レベルと騒音レベルの比が一定になるように補償量を決定してもよい。また、前述のＭＡＥＱ法に基づいて周波数範囲ごとに補償量を決定してもよい。
【００５５】
以上により、多チャンネルの音声信号の騒音に対する補償方法及び補償装置として、全チャンネル間での相関を計算し、周波数範囲ごとの補償量を決定することができる。
【００５６】
（実施例１の変形例１）
上記の実施例１では周波数別チャンネル間相関算出部で、入力された全てのチャンネル音声信号の組み合せについて相関係数を算出したが、相関係数を算出する組み合わせを限定しても良い。すなわち、各音声信号について周波数スペクトルを計算した後、入力されたマルチチャンネル音声信号のチャンネルごとの信号レベルを計算し、予め規定したレベルよりも大きいチャンネル又は最大信号レベルから所定範囲内のレベルにあるチャンネルを選択し、選択されたレベルの大きいチャンネルについて、異なる２つのチャンネルの組み合せに対する相関係数を算出する。高相関チャンネルセットを求めた後の処理は、実施例１と同様である。これにより、聴取時に支配的となるレベルの大きいチャンネル間についてのみ相関係数を求める処理を行うため、処理を効率的に行うことができる。
【００５７】
（実施例１の変形例２）
上記の実施例１では周波数別チャンネル間相関算出部で、チャンネル間の相関（相関係数）を算出し、相関係数が予め規定した閾値よりも高いチャンネルの組を、高相関チャンネルセットとしたが、予めチャンネル間相関が高いチャンネルの組み合わせが明示されている場合、例えば、音響メタデータとしてチャンネルの組み合わせが付与された音声信号が入力された場合には、相関係数計算をスキップして、この組み合わせ情報を高相関チャンネル合成部１１４に出力する。或いは、このチャンネルの組み合わせ情報に基づいて、高相関チャンネル合成部１１４に加算する音声信号（又はその周波数スペクトル）を出力してもよい。これにより、チャンネルの相関係数を算出する処理を省略できるため、処理時間を短縮することができる。
【実施例２】
【００５８】
全てのチャンネル組での相関を計算するとチャンネルの組み合わせ数が多いので、処理時間が長くなったり、多くの計算資源が必要となったりする。そこで、実時間処理など計算時間・量に制約がある場合には、相関を計算するチャンネル組を自動的に選択することが望ましい。
【００５９】
図８は、本発明の音声信号補償装置における、実施例２の信号補償量決定部１１０のブロック図の例であり、一部のチャンネルの相関のみを計算する場合についての信号補償量決定部１１０を示す。また、図９には、このブロック図における処理のフローチャートを示す。なお、図８、図９においては、周波数領域で相関を求める処理を行う場合を例として説明するが、時間領域で相関計算を行う構成（図示せず）を採用しても良いことは実施例１と同様であり、実施例１で例示した様々な手法を相関係数の算出に利用することができる。
【００６０】
実施例２の信号補償量決定部１１０は、高レベルチャンネルセット選択部１１８、周波数スペクトル算出部１１２及び周波数別チャンネル間相関算出部１１３を有するチャンネル信号間相関算出部１１１と、高相関チャンネル合成部１１４と、音声信号レベル算出部１１５と、追加音声信号レベル算出部１１６と、補償量算出部１１７とを、備える。
【００６１】
この実施例２では、チャンネル信号間相関算出部１１１は、入力された音響信号のレベルが高いチャンネルと、当該チャンネルと相関が高いと想定されるチャンネルの組み合わせ間で周波数範囲別の相関を計算する。
【００６２】
まず、周波数スペクトル算出部１１２と高レベルチャンネルセット選択部１１８には、マルチチャンネル（ここでは１０チャンネル）の音声信号が入力される（図９のフローチャートのステップ２１［ＳＴ２１］）。そして、周波数スペクトル算出部１１２は、各音声信号について、周波数スペクトルを計算する（ステップ２２［ＳＴ２２］）。
【００６３】
一方、高レベルチャンネルセット選択部１１８は、入力された多チャンネル音声信号のチャンネルごとの信号レベルを計算する（ステップ２３［ＳＴ２３］）。次いで、計算した信号レベルのうち最大の信号レベルを求め、最大信号レベルから予め規定した差分α（例えば、−３ｄＢ）に入るチャンネルをすべて選択する（ステップ２４［ＳＴ２４］）。つまり、入力のうちレベルの大きい上位数チャンネルのみを選択し、これを高レベルチャンネルセットとする。なお、レベルの大きいチャンネル音声信号を選択する手段として、予め所定のレベルを設定し、規定したレベルよりも大きいチャンネルを選択しても良い。そして、選択した高レベルチャンネルに対して予め規定した事前設定チャンネルセットの群から該当する事前設定チャンネルセットを選択する。
【００６４】
この事前設定チャンネルセットとは、予め規定した、あるチャンネルに対して相関が高いと想定されるチャンネルの組み合わせである。例えば図４の環境において、スピーカｓｐ２に割り当てられる音声信号（２ｃｈ）は、その近傍のスピーカに割りてられる音声信号に共通の成分を多く持つ可能性が高いとして、スピーカ［ｓｐ１，ｓｐ３］を１つのグループとし、そこに割り当てられるチャンネル［１ｃｈ，３ｃｈ］をチャンネルセットとして、これが２ｃｈに対して予め規定した事前設定チャンネルセットを指す。ステップ２４により選択された高レベルチャンネルに対して、それぞれ、対応する予め規定した事前設定チャンネルセット（紐づけられたチャンネルセット）が選択される。つまり、高レベルチャンネルとして２ｃｈが選択されると［１ｃｈ，３ｃｈ］の２つのチャンネルが事前設定チャンネルセットとして追加選択される。このように、高レベルチャンネルとそれに紐づけられた事前設定チャンネルセットが選択される。高レベルチャンネルセット選択部１１８からは、高レベルチャンネルセット（及び対応する事前設定チャンネルセット）が出力される。
【００６５】
高レベルチャンネルセット選択部１１８の出力に基づいて、周波数別チャンネル間相関算出部１１３には、高レベルチャンネルと当該高レベルチャンネルに紐づけられた事前設定チャンネルセットについて、周波数スペクトルが入力される。なお、高レベルチャンネルセットとして選択されなかったチャンネルの周波数スペクトルについては、周波数スペクトル算出部１１２から音声信号レベル算出部１１５に直接出力される。
【００６６】
周波数別チャンネル間相関算出部１１３は、選択された高レベルチャンネルとその事前設定チャンネルセット中の組み合わせで周波数範囲ごとに相関を計算する（ステップ２５［ＳＴ２５］）。例として、２ｃｈのみが高レベルチャンネルとして選択され、その事前設定チャンネルセットとして、［１ｃｈ，３ｃｈ］が選択された場合には、２ｃｈと１ｃｈ、２ｃｈと３ｃｈの音声信号の組み合わせにのみ周波数範囲ごとに相関係数を計算する。
【００６７】
このように、信号レベルが大きいチャンネルとそのチャンネルと予め紐づけられた事前設定チャンネル間の相関係数が周波数別に計算される。そして、周波数別に算出した相関係数が予め規定した閾値より高い（又は以上である）かが判断され（ステップ２６［ＳＴ２６］）、相関値が高いチャンネルの組については、高相関チャンネルセットとして、高相関チャンネル合成部１１４に出力し、それ以外のチャンネル及び周波数範囲については、低相関チャンネルとして、音声信号レベル算出部１１５に直接出力する。
【００６８】
これ以降の処理は実施例１と同様にして補償量を決定すればよい。すなわち、高相関チャンネル合成部１１４は、高相関チャンネルセットとして入力された当該チャンネル組の当該周波数成分を足し合わせ（ステップ２７［ＳＴ２７］）、音声信号レベル算出部１１５に出力する。
【００６９】
例えば、図４において、１ｃｈと５ｃｈが高レベルチャンネルとして選択され、１ｃｈに対する予め規定した相関が高いと想定される事前設定チャンネルセットが［１０ｃｈ，２ｃｈ，５ｃｈ］であり、５ｃｈに対する予め規定した相関が高いと想定される事前設定チャンネルセットが［１ｃｈ，４ｃｈ，６ｃｈ］であるとする。ここでお互いの事前設定チャンネルセットに対して、１ｃｈと５ｃｈが選択されている。この場合、１ｃｈと５ｃｈ、５ｃｈと６ｃｈの相関がそれぞれ高いと判断される場合があるが、その時は実施例１のときと同様に３つのチャンネル全てを加算してもよいし、１ｃｈについては１ｃｈと５ｃｈの加算を補償のための信号レベルとし、５ｃｈについては１ｃｈと５ｃｈと６ｃｈの加算を補償のための信号レベルとし、６ｃｈについては５ｃｈと６ｃｈの加算を補償のための信号レベルとする等、それぞれ分けて処理してもよい。
【００７０】
音声信号レベル算出部１１５は、周波数範囲ごとの音声信号のレベル計算を行う（ステップ２８［ＳＴ２８］）。算出された信号レベル（パワースペクトル）は、補償量算出部１１７に出力される。
【００７１】
また、追加音声信号レベル算出部１１６は、追加音声信号（騒音、ノイズ）が入力され、追加音声信号の周波数範囲ごとに信号レベル（雑音のパワースペクトル）を算出し（ステップ２９［ＳＴ２９］）、その結果を補償量算出部１１７に出力する。
【００７２】
その後、補償量算出部１１７は、各チャンネルの周波数範囲ごとの音声信号レベルと、周波数範囲ごと騒音レベルを用いて、補償量を決定する（ステップ３０［ＳＴ３０］）。上記の処理（ＳＴ２７）で足し合わされたチャンネルについては足し合わされた値を用いて補償量を決定し、決定された補償量を足し合わせた元のチャンネルに適用する。
【００７３】
実施例２の説明に当たり、図４のスピーカ１０台を設置した環境を例として、予め規定された事前設定チャンネルセットを説明したが、事前設定チャンネルセットは、２２．２マルチチャンネル音響においても設定できる。
【００７４】
図１０に２２．２マルチチャンネル音響のチャンネル配置を示す。チャンネル（スピーカ）は、上層、中層、下層の３層に配置されており、また、前面、中間面、後ろ面をそれぞれグループとしても良い。
【００７５】
２２．２マルチチャンネル音響において相関が高いと想定される事前設定チャンネルセットを、表１〜表７にまとめる。事前設定チャンネルセットは対象のチャンネル１つにつき１つのセットが設定される。そのため、２２．２マルチチャンネル音響では、２２セットの事前設定チャンネルセットが設定されるものとなる。
【００７６】
表１は、２２の各チャンネルについて規定された、基本的なチャンネルセットの一例を示したものである。
【００７７】
【表１】
2018133660.tif 000003
【００７８】
また、前面、後ろ面、中間面ごとの組み合わせで、事前設定チャンネルセットを規定することができる。表２は前面スピーカを用いるチャンネルであり、表３は中間面のスピーカを用いるチャンネルであり、表４は後面スピーカを用いるチャンネルであって、それぞれのグループで事前設定チャンネルセットを規定しても良い。例えば、表２において、ＦＬチャンネルについて予め規定されたセットは、ＦＬチャンネル以外のＦＲ，ＦＣ，ＦＬｃ，ＦＲｃ，ＴｐＦＬ，ＴｐＦＲ，ＴｐＦＣ，ＢｔＦＬ，ＢｔＦＣ，ＢｔＦＲの各チャンネルを事前設定チャンネルセットとする。すなわち、各表において、自身のチャンネル以外をそのチャンネルの事前設定チャンネルセットとする。
【００７９】
また、表１の事前設定チャンネルセットにおけるそれぞれのチャンネルに、表２〜表４のチャンネルセットを加えてもよい。
【００８０】
【表２】
2018133660.tif 000004
【００８１】
【表３】
2018133660.tif 000005
【００８２】
【表４】
2018133660.tif 000006
【００８３】
また、上層、中層、下層ごとの組み合わせで、事前設定チャンネルセットを規定することができる。表５は中層スピーカを用いるチャンネルであり、表６は上層スピーカを用いるチャンネルであり、表７は下層スピーカを用いるチャンネルであって、それぞれのグループで事前設定チャンネルセットを規定しても良い。表２〜表４と同様に、各表において、自身のチャンネル以外をそのチャンネルの事前設定チャンネルセットとする。
【００８４】
また、表１の事前設定チャンネルセットにおけるそれぞれのチャンネルに、表５〜表７のチャンネルセットを加えてもよい。
【００８５】
【表５】
2018133660.tif 000007
【００８６】
【表６】
2018133660.tif 000008
【００８７】
【表７】
2018133660.tif 000009
【実施例３】
【００８８】
実施例１，２における説明で使用した「周波数範囲」は、図６、図８に示すように、スペクトルの周波数ビンであったが、図１１に示すように補償処理を予め定められた周波数帯域（例えば、１００Ｈｚごと、１／３オクターブバンドごと等に設定）としてもよい。
【００８９】
図１１に、本発明の音声信号補償装置における、実施例３の信号補償量決定部１１０のブロック図の例を示す。実施例３は、予め定められた周波数帯域で、且つ一部のチャンネルの相関のみを計算して補償処理を行う場合の信号補償量決定部１１０である。
【００９０】
実施例３の信号補償量決定部１１０は、高レベルチャンネルセット選択部１１８、帯域分割部１１９及び帯域別チャンネル間相関算出部１２０を有するチャンネル信号間相関算出部１１１と、高相関チャンネル合成部１１４と、音声信号レベル算出部１１５と、追加音声信号レベル算出部１１６と、補償量算出部１１７とを、備える。
【００９１】
実施例３では、チャンネル信号間相関算出部１１１は、各チャンネルを予め定められた周波数帯域で分割し、入力された音響信号のレベルが高いチャンネルと、当該チャンネルと相関が高いと想定される事前設定チャンネルの組み合わせ間で帯域別の相関を計算する。
【００９２】
まず、帯域分割部１１９と高レベルチャンネルセット選択部１１８には、マルチチャンネルの音声信号が入力される。そして、高レベルチャンネルセット選択部１１８は、実施例２と同様に、入力された多チャンネル音声信号のチャンネルごとの信号レベルを計算して、信号レベルの大きい上位数チャンネルを選択し、選択した高レベルチャンネルに対して予め規定した事前設定チャンネルセットの群から該当する事前設定チャンネルセットを選択する。これにより、高レベルチャンネルとそれに紐づけられた事前設定チャンネルセットが選択される。また、帯域分割部１１９では、各チャンネルを予め定められた周波数帯域で分割する。
【００９３】
高レベルチャンネルセット選択部１１８の出力に基づいて、帯域別チャンネル間相関算出部１２０には、高レベルチャンネルと当該高レベルチャンネルに紐づけられた事前設定チャンネルセットについて、帯域別の音声信号が入力される。なお、高レベルチャンネルセットとして選択されなかったチャンネルの音声信号については、帯域分割部１１９から音声信号レベル算出部１１５に直接出力される。
【００９４】
帯域別チャンネル間相関算出部１２０は、高レベルチャンネルと選択された事前設定チャンネルセット中の組み合わせで周波数帯域ごとに相関を計算する。そして、帯域ごとに算出した相関係数が予め規定した閾値より高い（又は以上である）かが判断され、相関値が高いチャンネルの組については、高相関チャンネルセットとして、高相関チャンネル合成部１１４に出力し、それ以外のチャンネル及び周波数帯域については、低相関チャンネルとして、音声信号レベル算出部１１５に直接出力する。
【００９５】
高相関チャンネル合成部１１４は、高相関チャンネルセットとして入力された当該チャンネル組の帯域成分を足し合わせ、音声信号レベル算出部１１５に出力する。
【００９６】
音声信号レベル算出部１１５は、帯域ごとの音声信号のレベル計算を行い、算出された信号レベルは、補償量算出部１１７に出力される。
【００９７】
また、追加音声信号レベル算出部１１６は、追加音声信号（騒音、ノイズ）が入力され、追加音声信号の帯域ごとに信号レベル（雑音レベル）を算出し、その結果を補償量算出部１１７に出力する。
【００９８】
その後、補償量算出部１１７は、各チャンネルの帯域ごとの音声信号レベル（足し合わされたチャンネルについては足し合わされた信号レベル）と、帯域ごとの騒音レベルを用いて、補償量を決定する。決定された補償量をそれぞれの元のチャンネルの各帯域に適用する。
【００９９】
なお、実施例３においては、実施例２と同様に高レベルチャンネルセットを選択して処理を行ったが、実施例１のように、高レベルチャンネルセット選択を行わずに、全チャンネルについて周波数帯域別に相関を求めても良く、また、その変形例に示したような手法を利用しても良い。
【実施例４】
【０１００】
実施例１〜３の補償量算出部１１７においては、各チャンネル音声信号の周波数範囲ごとレベルと、騒音の周波数範囲ごとレベルを用いて、全周波数領域で各周波数範囲の補償量を決定していた。
【０１０１】
実施例４では、補償量を決定する際に、各チャンネル音声信号（又は合成信号）のレベルと、追加音声信号（雑音）のレベルに基づいて、マルチチャンネル音声信号の補償を周波数範囲で選択的に行う。例えば、各チャンネル音声信号と騒音との周波数範囲ごとのレベル差から、補償を行うレベル差の範囲を設定することで、元の信号が騒音に対して小さい場合は補償を行わない。この選択的な補償により、騒音に対して十分に小さい信号が過剰に補償され、音色が急激に不自然に変化したり、その他のチャンネルの音声の聞き取りを妨害することを防ぐことができる。
【０１０２】
図１２は、音声信号と騒音との周波数範囲ごとのレベル差に基づいて、選択補償を行った例である。図１２の横軸は周波数［Ｈｚ］、縦軸はレベル［ｄＢ］で、粗い破線が元の音声信号（「補償なし」で表示）であり、細い実線が「騒音」のレベルであり、太い実線が「選択補償」を行った後の音声信号である。また、全周波数領域を一定の割合で補償する従来の補償方法（「一括調整」と言うことがある。）を行った場合の信号を、細かい破線で示している。なお、選択補償と一括調整の補償は、全時間でのマルチチャンネル全体での総エネルギーが一致するように設定されている。
【０１０３】
本実施例によれば、図１２で、音声信号と騒音とのレベル差が小さい約２８００Ｈｚ以下の領域Ｉでは、騒音に埋もれないように音声信号を補償する。一方、音声信号が騒音よりもはるかに小さい約２９００Ｈｚから３６００Ｈｚの領域IIでは、音声信号と騒音とのレベル差が、補償を行うレベル差の範囲を越えているから、補償を行わない。
【０１０４】
補償範囲の設定の方法としては、例えば、予め騒音の帯域ごとレベルより９ｄＢ小さい信号までといったように値で指定してもよいし、全体の補償量を指定しておいて、優先度の高い帯域又はチャンネル（例えば、レベルの大きい帯域又はチャンネル）から順に補償し、補償量が上限を上回った時点で未補償の帯域又はチャンネルへの補償処理を省略するといったことをしてもよい。また、音声信号のうちレベルの大きい上位数チャンネルを選択し、選択したチャンネルの帯域ごとの平均レベルを計算し、騒音の帯域ごとのレベルとのレベル差を用いて補償範囲を決定してもよい。これは例えば、レベルの大きい上位数チャンネルの帯域ごとの平均レベルのうちノイズのレベルを下回る帯域全体の平均レベル差を補償範囲とすることで、少なくともレベルの大きい上位数チャンネルの信号は補償範囲に含まれるような補償範囲を設定することができる。
【０１０５】
実施例４の選択補償は、例えば、補償量算出部１１７で、補償を行うチャンネル及び周波数範囲（又は、補償を行わないチャンネル及び周波数範囲）を求め、これを音声信号補償部１３０に出力し、音声信号補償部１３０にて実行される。この選択補償は、実施例１〜３のいずれのマルチチャンネル信号間相関算出部の処理と組み合わせることができる。
【０１０６】
以上より、本発明の音声信号補償装置によって、多チャンネル音声信号を騒音環境下で再生するときに、複数チャンネルに共通の信号が含まれている場合にも相関に応じて複数チャンネルをまとめて補償することで、聴感上自然に聞くことができる。
【０１０７】
なお、上述した音声信号補償装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、音声信号補償装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【０１０８】
（発明の効果の検証）
複数のコンテンツについて、実際に、本発明のマルチチャンネル音声補償（実施例４の選択補償を含む）を行った場合と、従来技術の一括調整による補償との比較を行った。評価者６名により６個のコンテンツについて、補償前の音声と、本発明による補償後の音声と、従来の一括調整による補償後の音声とを比較し、いずれの音声が聞き取り易いかを評価した。
【０１０９】
結果は、本発明による補償手法と一括調整は、ともに全コンテンツで補償前よりも聞き取りが改善したが、本発明による補償手法がより聞き取り易いとの回答が延べ３４件であったのに対し、一括調整による補償が聞き取り易いとの回答は延べ２件であった。これにより、本発明の補償方法の効果が高いことが検証された。
【０１１０】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【０１１１】
１００  音声信号補償装置
１１０  信号補償量決定部
１１１  チャンネル信号間相関算出部
１１２  周波数スペクトル演算部
１１３  周波数別チャンネル間相関演算部
１１４  高相関チャンネル合成部
１１５  音声信号レベル算出部
１１６  追加音声信号レベル算出部
１１７  補償量算出部
１１８  高レベルチャンネルセット選択部
１１９  帯域分割部
１２０  帯域別チャンネル間相関演算部
１３０  音声信号補償部
【図１】
2018133660.tif 000010
【図２】
2018133660.tif 000011
【図３】
2018133660.tif 000012
【図４】
2018133660.tif 000013
【図５】
2018133660.tif 000014
【図６】
2018133660.tif 000015
【図７】
2018133660.tif 000016
【図８】
2018133660.tif 000017
【図９】
2018133660.tif 000018
【図１０】
2018133660.tif 000019
【図１１】
2018133660.tif 000020
【図１２】
2018133660.tif 000021
【図１３】
2018133660.tif 000022
【図１４】
2018133660.tif 000023