"第1の音声信号のレベルである第1のレベルを検出する第1のレベル検出部と、第2の音声信号のレベルである第2のレベルを検出する第2のレベル検出部と、前記第1のレベルの統計値である第1の統計値を算出する第1の統計値算出部と、前記第2のレベルの統計値である第2の統計値を算出する第2の統計値算出部と、前記第2のレベルと前記第1のレベルの差であるレベル差を算出するレベル差算出部と、前記第1のレベルと前記第2のレベルに応じてミキシングバランスを評価するための評価信号として前記レベル差と前記第2のレベルのいずれかを選択する評価信号選択部と、前記評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部と、前記第1の統計値および前記第2の統計値に応じて定まる閾値と前記評価信号平均値に応じて適正なミキシングバランスを維持するための前記第2の音声信号に対するゲインを算出するゲイン算出部と、前記第1の音声信号および前記ゲインを乗算した前記第2の音声信号を出力する音声出力部と、を備えるミキシングバランス自動調整装置。前記第1の統計値算出手段が、前記第1の音声信号のレベルのパーセント時間率平均値を算出する第1の平均値算出手段と、前記第1の平均値算出手段により算出された前記第1の音声信号のレベルのパーセント時間率平均値に基づき前記第1の音声信号のレベルの統計的平均値を算出する第1の統計的平均値算出手段と、を備え、前記第1の音声信号のレベルの統計的平均値を出力するものである請求項1に記載のミキシングバランス自動調整装置。前記第1の統計的平均値算出手段が、前記第1の平均値算出手段の出力のヒストグラムを作成するヒストグラム作成部と、前記ヒストグラムの複数の極大値の中から最も支配的な極大値を探索する支配的極大値探索部と、前記支配的極大値を極大値とする正規分布のパラメータに基づき前記第1の統計的平均値を決定する統計的平均値決定部と、を含む請求項2に記載のミキシングバランス自動調整装置。前記第2の統計値算出手段が、前記第2の音声信号のレベルのパーセント時間率平均値を算出し出力するものである請求項1から請求項3のいずれか一項に記載のミキシングバランス自動調整装置。前記ミキシングバランス評価信号出力手段が、前記第1の統計値算出手段の出力が予め定められた第1の値以上であるときは、前記レベル差をミキシングバランス評価信号として出力し、前記第1の統計値算出手段の出力が前記第1の値以下の値である予め定められた第2の値未満であるときは、前記第2の統計値算出手段の出力をミキシングバランス評価信号として出力し、前記第1の統計値算出手段の出力が前記第1の値未満かつ前記第2の値以上であるときは、前記第1の統計値算出手段の出力が前記第1の値であるときに前記第1の統計値算出手段の出力が前記第1の値であるときの前記レベル差となり、前記第1の統計値算出手段の出力が前記第2の値であるときに前記第2の統計値算出手段の出力となる単調関数値をミキシングバランス評価信号として出力するものである請求項2から請求項4のいずれか一項に記載のミキシングバランス自動調整装置。第1の音声信号データおよび第2の音声データを読み込む音声データ読み込み部と、前記第2の音声データに対してミキシングバランス自動調整を実行する請求項1から請求項5のいずれか一項に記載のミキシングバランス自動調整装置と、前記第1の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第2の音声データとを出力する音声データ出力部とを備えるミキシングバランス自動調整システム。前記ゲイン算出部が、前記音声データ読み込み部により読み込まれた前記第1の音声信号データおよび前記第2の音声データのミキシングバランスが予め定められた適正範囲を逸脱した区間を検出するゲイン制御区間検出部と、前記ゲイン制御区間検出部で検出されたゲイン制御区間に適応する目標ゲインを決定するゲイン決定部と、を含み、前記音声データ出力部が、前記目標ゲインを前記第2の音声データに乗算してミキシングバランスを調整するものである請求項6に記載のミキシングバランス自動調整システム。前記音声データ出力部が、前記ゲイン制御区間の前に前記目標ゲインに向けてゲインを第1の変化率で変更する前処理部と、前記ゲイン制御区間の後に前記目標ゲインからゲインを前記第1の変化率より小さい第2の変化率で変更する後処理部と、を含む請求項7に記載のミキシングバランス自動調整システム。予め定められたフレーム数の第1の音声信号データおよび第2の音声データを読み込む音声データ読み込み部と、前記フレーム数に相当する時間より短い時間内に前記第2の音声データに対してミキシングバランス自動調整を実行する請求項1から請求項5のいずれか一項に記載のミキシングバランス自動調整装置と、前記第1の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第2の音声データとを前記フレーム数ごとに出力する音声データ出力部とを備えるミキシングバランス自動調整システム。前記ゲイン算出部が、前記音声データ読み込み部により読み込まれた前記第1の音声信号データおよび前記第2の音声データのミキシングバランスが予め定められた適正範囲を逸脱したときにミキシングバランスを前記適正範囲に戻すための目標ゲインを決定するものであり、前記音声データ出力部が、ミキシングバランスが予め定められた適正範囲を逸脱したときには前記目標ゲインを前記第2の音声データに乗算してミキシングバランスを調整し、ミキシングバランスが予め定められた適正範囲に復帰したときには前記第2の音声データをそのまま出力するものである請求項9に記載のミキシングバランス自動調整システム。コンピュータを、第1の音声信号および第2の音声信号を入力する音声信号入力手段と、前記第1の音声信号のレベルおよび前記第2の音声信号のレベルを検出するレベル検出手段と、前記第1の音声信号のレベルの統計値を算出する第1の統計値算出手段と、前記第2の音声信号のレベルの統計値を算出する第2の統計値算出手段と、前記第2の統計値算出手段の出力と前記第1の統計値算出手段の出力の差であるレベル差を算出するレベル差算出手段と、前記第1の音声信号のレベルと前記第2の音声信号のレベルに応じてミキシングバランス評価信号として前記レベル差と前記第2の音声信号のレベルのいずれかを出力するミキシングバランス評価信号出力手段と、前記ミキシングバランス評価信号のパーセント時間率平均値を算出するミキシングバランス評価信号平均値算出手段と、前記第1の統計値算出手段で算出された第1の音声信号のレベルの統計値および前記第2の統計値算出手段で算出された前記第2の音声信号のレベルの統計値に応じて定まる閾値と前記ミキシングバランス評価信号平均値算出手段で算出されたミキシングバランス評価信号の平均値に応じて適正なミキシングバランスを維持するための前記第2の音声信号に対するゲインを算出するゲイン算出手段と、前記第1の音声信号および前記ゲイン算出手段で算出されたゲインを乗算した前記第2の音声信号を出力する音声信号出力手段と、して機能させることを特徴とするミキシングバランス自動調整プログラム。しかしながら、番組の音声、特に背景音を自動調整する際には、視聴者の感じる音の大きさ、特にナレーションやセリフの平均的な音の大きさを決定する必要がある。特許文献3に開示された方法では、平均的な音の大きさを決定することができず、さらに、背景音の大きさを自動的に調整することができないという課題があった。さらに、特許文献3に開示された装置は、高齢者の聴覚特性を考慮に入れたものではない。本発明は、このような従来の課題を解決するためになされたものであって、音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することができるミキシングバランス自動調整装置、システムおよびプログラムを提供することを目的とする。本発明に係るミキシングバランス自動調整装置は、第1の音声信号のレベルである第1のレベルを検出する第1のレベル検出部と、第2の音声信号のレベルである第2のレベルを検出する第2のレベル検出部と、前記第1のレベルの統計値である第1の統計値を算出する第1の統計値算出部と、前記第2のレベルの統計値である第2の統計値を算出する第2の統計値算出部と、前記第2のレベルと前記第1のレベルの差であるレベル差を算出するレベル差算出部と、前記第1のレベルと前記第2のレベルに応じてミキシングバランスを評価するための評価信号として前記レベル差と前記第2のレベルのいずれかを選択する評価信号選択部と、前記評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部と、前記第1の統計値および前記第2の統計値に応じて定まる閾値と前記評価信号平均値に応じて適正なミキシングバランスを維持するための前記第2の音声信号に対するゲインを算出するゲイン算出部と、前記第1の音声信号および前記ゲインを乗算した前記第2の音声信号を出力する音声出力部と、を備える。上記構成のミキシングバランス自動調整装置によれば、長期間の第1の音声信号の統計値に基づき、第1の音声信号と第2の音声信号のミキシングバランスを高齢者の聴感に合わせて調整することが可能となる。本発明に係るミキシングバランス自動調整装置は、前記第1の統計値算出手段が、前記第1の音声信号のレベルのパーセント時間率平均値を算出する第1の平均値算出手段と、前記第1の平均値算出手段により算出された前記第1の音声信号のレベルのパーセント時間率平均値に基づき前記第1の音声信号のレベルの統計的平均値を算出する第1の統計的平均値算出手段と、を備え、前記第1の音声信号のレベルの統計的平均値を出力するものである。上記構成のミキシングバランス自動調整装置によれば、番組間のミキシングバランスの相違を考慮してミキシングバランスを調整することが可能となる。本発明に係るミキシングバランス自動調整装置は、前記第1の統計的平均値算出手段が、前記第1の平均値算出手段の出力のヒストグラムを作成するヒストグラム作成部と、前記ヒストグラムの複数の極大値の中から最も支配的な極大値を探索する支配的極大値探索部と、前記支配的極大値を極大値とする正規分布のパラメータに基づき前記第1の統計的平均値を決定する統計的平均値決定部と、を含む構成としてもよい。本発明に係るミキシングバランス自動調整装置は、前記第2の統計値算出手段が、前記第2の音声信号のレベルのパーセント時間率平均値を算出し出力するものである。本発明に係るミキシングバランス自動調整装置は、前記ミキシングバランス評価信号出力手段が、前記第1の統計値算出手段の出力が予め定められた第1の値以上であるときは、前記レベル差をミキシングバランス評価信号として出力し、前記第1の統計値算出手段の出力が前記第1の値以下の値である予め定められた第2の値未満であるときは、前記第2の統計値算出手段の出力をミキシングバランス評価信号として出力し、前記第1の統計値算出手段の出力が前記第1の値未満かつ前記第2の値以上であるときは、前記第1の統計値算出手段の出力が前記第1の値であるときに前記第1の統計値算出手段の出力が前記第1の値であるときの前記レベル差となり、前記第1の統計値算出手段の出力が前記第2の値であるときに前記第2の統計値算出手段の出力となる単調関数値をミキシングバランス評価信号として出力するものである。本発明に係るミキシングバランス自動調整システムは、第1の音声信号データおよび第2の音声データを読み込む音声データ読み込み部と、前記第2の音声データに対してミキシングバランス自動調整を実行するミキシングバランス自動調整装置と、前記第1の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第2の音声データとを出力する音声データ出力部とを備える。上記構成のミキシングバランス自動調整システムによれば、予め収録された第1の音声信号データと第2の音声信号データをバッチ的に処理して、ミキシングバランスを調整することが可能となる。本発明に係るミキシングバランス自動調整システムは、前記ゲイン算出部が、前記音声データ読み込み部により読み込まれた前記第1の音声信号データおよび前記第2の音声データのミキシングバランスが予め定められた適正範囲を逸脱した区間を検出するゲイン制御区間検出部と、前記ゲイン制御区間検出部で検出されたゲイン制御区間に適応する目標ゲインを決定するゲイン決定部と、を含み、前記音声データ出力部が、前記目標ゲインを前記第2の音声データに乗算してミキシングバランスを調整するものである。本発明に係るミキシングバランス自動調整システムは、前記音声データ出力部が、前記ゲイン制御区間の前に前記目標ゲインに向けてゲインを第1の変化率で変更する前処理部と、前記ゲイン制御区間の後に前記目標ゲインからゲインを前記第1の変化率より小さい第2の変化率で変更する後処理部と、を含む。本発明に係るミキシングバランス自動調整システムは、予め定められたフレーム数の第1の音声信号データおよび第2の音声データを読み込む音声データ読み込み部と、前記フレーム数に相当する時間より短い時間内に前記第2の音声データに対してミキシングバランス自動調整を実行するミキシングバランス自動調整装置と、前記第1の音声データと、前記ミキシングバランス自動調整装置によりミキシングバランス調整された前記第2の音声データとを前記フレーム数ごとに出力する音声データ出力部とを備える。上記構成のミキシングバランス自動調整システムによれば、第1の音声信号データと第2の音声信号データを実時間処理して、ミキシングバランスを調整することが可能となる。本発明に係るミキシングバランス自動調整システムは、前記ゲイン算出部が、前記音声データ読み込み部により読み込まれた前記第1の音声信号データおよび前記第2の音声データのミキシングバランスが予め定められた適正範囲を逸脱したときにミキシングバランスを前記適正範囲に戻すための目標ゲインを決定するものであり、前記音声データ出力部が、ミキシングバランスが予め定められた適正範囲を逸脱したときには前記目標ゲインを前記第2の音声データに乗算してミキシングバランスを調整し、ミキシングバランスが予め定められた適正範囲に復帰したときには前記第2の音声データをそのまま出力するものである。本発明は、所定数の過去のフレームから現フレームまでの間の比較的長い時間区間における第1の音声信号の統計値に基づいて、第2の音声信号を制御するためのゲインを算出することにより、音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することができるミキシングバランス自動調整装置、システムおよびプログラムを提供するものである。以下、本発明に係るミキシングバランス自動調整装置およびプログラムの実施形態について図面を用いて説明する。すなわち、本発明に係るミキシングバランス自動調整装置を、テレビやラジオ等の番組制作時にNR信号とBGM信号とのミキシングバランスの状態を自動調整するミキシングバランス自動調整装置に適用する場合について説明する。なお、本実施形態におけるNR信号及びBGM信号は、特許請求の範囲に記載の第1の音声信号及び第2の音声信号にそれぞれ対応する。以下の説明においては、適正なレベルでミキシングされたNR信号のラウドネスレベル[phon]を0で正規化した相対レベルを用いて、NR信号のレベルを表すことにする。また、BGM信号のレベルもNR信号と同一のレベルで正規化した相対レベルを用いて表すことにする。一例を挙げれば、適正なレベルでミキシングされたNR信号のラウドネスレベルが70[phon]の場合では、NR信号またはBGM信号のラウドネスレベルが、70[phon]のときは当該信号の相対レベルは0であり、75[phon]のときは当該信号の相対レベルは5である。正規化後の相対レベルが例えば-50程度以下の場合は、NR信号及びBGM信号のラウドネスレベルは聴感的に非常に小さいものであるので、-50以下の値を全て-50で置き換えても実用上は十分である。なお、0で正規化しないで後述する処理を行うこともできるが、その場合には後述する各閾値の値が相対的に変わってくる。以下、正規化されたNR信号の相対レベルをN、正規化されたBGM信号の相対レベルをBと表す。また、両者の相対レベルの差をΔLと表す。図1は本発明に係るミキシングバランス自動調整装置1の構成を示すブロック図である。本実施の形態においては、NR信号およびBGM信号は、サンプリング周波数が48kHz、量子化ビット数が16ビットのデジタルNR信号およびデジタルBGM信号であるとする。なお、入力されるNR信号及びBGM信号がアナログ信号である場合は、図示しないAD変換器によりデジタル信号に変換する必要がある。図1に示すように、本発明に係るミキシングバランス自動調整装置1は、NR信号のレベルであるNRレベルを検出するNRレベル検出部20と、BGM信号のレベルであるBGMレベルを検出するBGMレベル検出部30と、NRレベルの統計値であるNR統計値を算出するNR統計値算出部2と、BGMレベルの統計値であるBGM統計値を算出するBGM統計値算出部3と、BGMレベルとNRレベルの差であるレベル差を算出するレベル差算出部41と、NRレベルとBGMレベルに応じてミキシングバランスを評価するための評価信号としてレベル差とBGMレベルのいずれかを選択する評価信号選択部42と、評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部43と、NR統計値およびBGM統計値に応じて定まる閾値と評価信号平均値に応じて適正なミキシングバランスを維持するためのBGM信号に対するゲインを算出するゲイン算出部5と、NR信号およびゲインを乗算したBGM信号を出力する音声出力部6と、を備える。NR統計値算出部2の構成NR統計値算出部2は、NRレベルのパーセント時間率平均値であるNR平均値Npを算出するNR平均値算出部21と、NR平均値Npの統計的平均値であるNR統計的平均値Nsを算出するNR統計的平均値算出部22を含む。なお、NR統計的平均値算出部22は必須ではなく、NR統計的平均値算出部22を具備しない場合は、NR統計値算出部2の出力は、NR平均値Npとなる。BGM統計値算出部3の構成BGM統計値算出部3は、BGMレベルのパーセント時間率平均値であるBGM平均値を算出し、BGM統計値算出部3の出力とするBGM平均値算出部31を含む。なお、BGM統計値算出部3は、BGM平均値からBGM相対レベルの統計的平均値であるBGM統計的平均値を算出するBGM統計的平均値算出部33を含んでいてもよく、この場合は、BGM統計値算出部3の出力は、BGM統計的平均値となる。ハードウエア構成本発明に係るミキシングバランス自動調整装置1は、パーソナルコンピュータ等のプログラマブル制御装置でミキシングバランス自動調整プログラムを実行することにより構成することができる。図2は、本実施形態で使用するパーソナルコンピュータ7のハードウエア構成を示すブロック図であって、たとえば表示パネル71、キーボード72、およびマウス73で構成されるマンマシンインターフェイスと、演算装置74と、で構成される。演算装置74は、サンプリング周波数48kHz、量子化ビット数16ビットでNR信号及びBGM信号をデジタル音声信号に変換するAD変換器741、アナログ音声信号を出力するDA変換器742、CPU743、メモリ744、ハードディスクHDD745、および周辺機器I/F746がバス747を介して相互に結合された構成を有する。表示パネル71、キーボード72、およびマウス73は周辺機器I/F746に接続される。なお、NR信号及びBGM信号がデジタル信号である場合は、AD変換部器741を省略することができる。また、出力信号がデジタル信号である場合には、DA変換部742を省略することができる。そして、NR信号のレベルであるNRレベルを検出するNRレベル検出部20、BGM信号のレベルであるBGMレベルを検出するBGMレベル検出部30、NRレベルの統計値を算出するNR統計値算出部2、BGMレベルの統計値を算出するBGM統計値算出部3、BGMレベルとNRレベルの差であるレベル差を算出するレベル差算出部41、NRレベルとBGMレベルに応じてミキシングバランスを評価するための評価信号としてレベル差とBGMレベルのいずれかを選択する評価信号選択部42、評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部43、ならびに、BGM信号に乗じるゲインを算出するゲイン算出部5およびゲイン調整されたBGM信号とNR信号とのミキシング信号を出力する音声出力部6は、演算装置74内にソフトウエア的に構成される。動作の説明以下メモリに記憶されているプログラムのフローチャートを参照しつつ、本発明に係るミキシングバランス自動調整装置1の動作を説明する。図3は第1のミキシングバランス調整プログラムのフローチャートであって、バッチ処理的にミキシングバランス調整を行う場合と、実時間でミキシングバランス調整を行う場合2つの場合について説明する。1バッチ処理の場合番組全体のNR信号およびBGM信号が既知であり、予め記録された番組全体のNR信号およびBGM信号を事後的にミキシングバランス調整する場合である。まず、演算装置74は、NR信号およびBGM信号を読み込むステップS11。NR信号およびBGM信号がデジタル信号である場合には、予めハードディスク745に記憶されているNRデータおよびBGMデータからNフレーム分のデータを読み込む。NR信号およびBGM信号がアナログ信号である場合には、AD変換器741を介してNフレーム分のNR信号およびBGM信号を読み込む。Nの値は特に制限されないが、約5分間のNR信号およびBGM信号を1つのバッチとして処理することが現実的である。次に、演算装置74は、NR信号のレベルであるNRレベルNおよびBGM信号のレベルであるBGMレベルBをフレームごとに検出するステップS12。すなわち、演算装置74は、NR信号およびBGM信号の相対レベル瞬時ラウドネスレベルN[phon]を所定時間ΔT毎に検出し、それをNRレベルNおよびBGMレベルBとして出力するようになっている。ここで、所定時間ΔTは、NR信号およびBGM信号をサンプリング周波数48kHzで例えば1024サンプルを取得する場合は、約21.3ms=1024/48000sとなる。以下の説明では、サンプリング周波数48kHzでサンプリングした1024サンプルを1フレームと呼ぶことにする。各フレームは互いに時間的に重複する部分を有していても良い。ここで、NR信号およびBGM信号のラウドネスレベルを検出する方法としては、例えばISO562に規格化されたものを使用することができる。なお、ラウドネスレベルに代えてNR信号およびBGM信号の平均エネルギレベル[dB]を算出してもよい。この場合は、例えばサンプル値の2乗平均値を算出し、それらをdB変換することになる。NRレベルおよびBGMレベルの検出処理中は、演算装置74がNRレベル検出部20およびBGMレベル検出部30として動作していることとなる。次に演算装置74は、NR統計値Nsを算出するステップS13。図4はNR統計値算出処理の詳細フローチャートであって、演算装置74は、NRレベルNのパーセント時間率平均値Npを算出するステップS131。ここで、パーセント時間率平均値とは、過去から現フレームまでのn個のフレームに含まれるNRレベルNから降冪の順にm個の値を選択し、そのm個の平均値として定義される。なお、n及びmは正の整数であり、n≧mである。nおよびmを大きくするほど、NR平均値Npの変化を滑らかにすることができるが、nおよびmが大き過ぎるとNRレベルの変化に対する追従が悪くなるので、nおよびmを適当な大きさに設定する必要がある。本実施例においては、nを相対的に大きな値として平均値の変化を滑らかとするとともに、mを相対的に小さな値として追従性を確保している。実用上は、n=100、m=4程度とするのが好ましい。次に演算装置74は、NR平均値NpからNR相対レベルの統計的平均値Nsを算出するステップS132。R相対レベルの統計的平均値Nsを算出する理由は以下の通りである。すなわち、視聴者は聴感的なラウドネスを基準としてBGMが大きいか否かを判断していると考えることができる。したがって、番組全体を通してNR平均値Npが一定であれば、NR平均値Npを基準としてBGMのゲインを調整すればミキシングバランスは適正なレベルを維持するものと言える。しかし、本発明者の調査によれば、複数回にわたって放送される放送番組において、VU計等も補助的に利用して同程度たとえば、相対レベル=0の音量になるように音声レベルを調整しても、視聴者は放送回によりラウドネスが異なると感じる場合があることが明らかとなった。通常の番組ではNR信号の相対レベルがおよそ零程度になるように制作されることが多いが、本発明者のこれまでの調査によれば、実際にはNR信号の相対レベルの平均値は1~2[phon]となっている場合が多い。このことはNR平均値Npに基づきミキシングバランスを調整することが、必ずしも適切ではないことを意味している。一方、本発明者は、NR平均値Npを1つの正規分布ではなく、複数の正規分布が混合した混合正規分布と仮定し、最も支配的な1つの正規分布のパラメータから視聴者の感じるラウドネスをある程度推定可能であることを明らかにした。従来から、ヒストグラムの分布を複数の正規分布の混合で近似する手法が知られているRで学ぶデータサイエンスパターン認識,金森敬文,竹之内高志,村田昇,共立出版,2009年。さらに、このときの混合数の推定には、AICAkaikesInformationCriterionやBICBayesianInformationCriterionなどを用いることもできることも知られている。したがって、NR平均値Npの代わりに統計的平均値Nsを用いれば、視聴者の感じるミキシングバランスを達成することが可能となる。統計的平均値Nsの算出方法として、混合正規分布モデルGMMGaussianMixtureModelを使用することが可能である。本発明者の実験によれば、ナレーション音声のヒストグラムは、混合数を2~3程度とすれば十分よい近似ができることが分かっている。混合数が2の場合について、統計的平均値Nsの算出方法を説明する。図5は、混合数を2の場合の混合分布を模式的に示すグラフである。図5において、1番目の混合分布の平均値mu[1]=0、2番目の平均値mu[2]=1.5とする。また混合比率を表す混合パラメータをp[1]=0.6、p[2]=0.4とする。図5の分布の統計的平均値は1番目の分布、あるいは1番目と2番目の中間の値に従うように見えるが、視聴者の感じる平均的なナレーションの大きさは、ラウドネスレベルの大きな分布により影響されることが、これまでの本発明者の調査で明らかになっている。図5の例においては、α×p[1]<p[2]αは経験的に0.6程度が適当である。である場合は、2番目の混合分布が有効と判断でき、統計的平均値Nsとしてmu[2]を選択する。一方、α×p[1]≧p[2]が成り立つ場合には、1番目の混合分布が有効と判断でき、統計的平均値Nsとしてmu[1]を選択すればよい。上記の混合正規分布モデルによらずヒストグラムから統計平均値Nsを算出する方法も提案されており、本実施形態ではこの方法を採用する。図6はNR統計平均値算出処理ステップS133の詳細フローチャートであって、演算装置74は、所定数のNR平均値Npの平均値mgおよび中間値mdを算出するステップS321。次に、演算装置74は、1[phon]刻みのNR平均値Npのヒストグラムを作成し、混合数に対応した数の極大値を探索する。実用上は、混合数を3とすれば十分であるので、3個の極大値を探索すれば十分である。次に、演算装置74は、極大値の中から最も支配的な極大値を決定するステップS323。以下、支配的な極大値の決定方法を極大値が2個の場合につき説明する。図7は、ヒストグラム作成処理により作成されたヒストグラムの一例を示すグラフである。横軸のhist[x]x=0,±1,±2,は、レベル平均値NA相対ラウドネスレベルの値の小数点以下を四捨五入した値がxであることを意味している。また、縦軸はhist[x]の頻度を表している。図7のヒストグラムにおいては、hist[0]とhist[2]が局所的な極大値となっている。そして、hist[0]及びhist[2]の頻度を混合数所定の規格化を行った値としても良いと推定する。α×hist[0]<hist[2]が成り立てば、相対ラウドネスレベル2[phon]を仮の統計的平均値とする。一方、α×hist[0]≧hist[2]が成り立つ場合には、相対ラウドネスレベル0[phon]を仮の統計的平均値とする。最後に、演算装置74は、仮の統計的平均値、NR平均値Npの平均値mg、NR平均値Npの中間値mdの3値の中で最大の値を統計的平均値NsとするステップS324。なお、仮の統計的平均値をそのまま統計的平均値Nsとしてもよい。NRレベルの統計値算出処理中は、演算装置74がNR統計値算出部2として動作していることとなる。以上でNR信号統計値算出処理を終了し、演算装置74はBGM信号統計値算出処理を実行するステップS14。すなわち、演算装置74は、BGM平均値BpをBGMレベルBのパーセント時間率平均値であるBGM平均値Bpを算出する。なお、BGM平均値Bpに基づいてBGM統計的平均値Bsを算出してもよいが、算出方法はNR統計的平均値Nsの算出方法と同一であるので詳細な説明は省略する。ただし、実際にはBGM統計的平均値Bsを使用する場合は少ない。BGMレベルの統計値算出処理中は、演算装置74がBGM統計値算出部3として動作していることとなる。次に、演算装置74はBGMレベルBとNRレベルNの差であるレベル差ΔL=B-Nを算出するステップS15。レベル差算出処理中は、演算装置74がレベル差算出部41として動作していることとなる。次に、演算装置74は、ミキシングバランスを評価するための評価信号Hを選択するステップS16。評価信号の選択は、ミキシングバランスを評価する対象を切り換えるための処理であって、NRレベルNが所定レベル以上であるときはレベル差ΔLを評価信号Hとして選択し、NRレベルNが所定レベル未満であるときはBGMレベルを評価信号Hとして選択する。図8は、縦軸を評価信号H、横軸をNRレベルNとしたグラフである。図8および下記の[数1]に示すように、NRレベルNが所定値TBよりも小であるときN<TBには、NR信号を考慮せずにミキシングバランスを評価するために、評価信号HをBGMレベルBに設定する。NR信号の相対レベルNが所定値TAよりも大であるときN>TAは、NR信号とBGM信号を共に考慮してミキシングバランスを評価するために、評価信号Hをレベル差ΔL=B-Nに設定する。ここで、TA≧TBである。なお、TA=TBとしたときは評価信号Hが不連続となり、視聴者が不自然さを感じるおそれがある。そこで、TA>TBとし、NRレベルNがTB以上かつTA以下のときTB≦N≦TAのときには、評価信号Hとして、BN=TBのときからB-TAN=TAのときの重み付きレベル差ΔLwの値まで単調に変化する関数の関数値を使用することが望ましい。点TB,Bと点TAB-TAとを直線で結ぶ関数を適用した場合は、評価信号Hは[数1]の3行目の式で算出される値となる。[数1]より、例えば、TB≦N≦TA、TA=-10、TB=-20のとき、評価信号はBN20となる。図9は、レベル差および評価信号の波形の模式図である。NRレベルNおよびBGMレベルBが図9aに示すような関係にある場合、レベル差ΔLは図9bに示す波形、評価信号Hは図9cに示す波形となる。図9bに示すように、レベル差ΔLは、BGM信号の相対レベルBが大きいほど、またはNR信号の相対レベルNが小さいほど大きくなる。NR信号の相対レベルNが小さい場合、すなわち、NR信号がほとんど存在しない場合は、BGM信号のみの大きさに依存してミキシングバランスを調整すれば良いことになる。なお、レベル差ΔLをそのまま評価信号Hとしてもよい。評価信号選択処理中は、演算装置74は評価信号選択部42として動作していることとなる。次に、演算装置74は、評価信号Hのパーセント時間率平均値である評価信号平均値Hpを算出するステップS17。評価信号平均値算出処理中は、演算装置74は評価信号平均値算出部43として動作していることとなる。続いて、演算装置74はゲインGの算出ステップS18を行う。図10はゲイン算出処理のフローチャートであって、演算装置74はフレーム番号を表す整数nを1に初期化するステップS160。なお、ゲイン算出処理の説明においては、フレーム番号nを記載する。次に、演算装置74はnフレームにNR信号が含まれているか否かを判定するステップS161。図11は、NR信号が含まれているか否かの判定用グラフであって、条件{TB≦NsかつBp≧BENs}が成立するときはフレームnにNR信号が含まれているとし、この条件が成立しないときはフレームnにNR信号が含まれていないと判定する。なお、TB=-20、BE=2.5程度とするのが望ましい。演算装置74は、NR信号が含まれていると判定したときは、領域を表す領域番号Inを1に設定しステップS162、制御区間決定用のフレームXnを評価信号平均値HpnとするステップS163。一方、演算装置74は、NR信号が含まれてないと判定したときは、領域番号Inを2に設定しステップS164、制御区間決定用のフレームXnをBGM平均値BpnとするステップS165。次に、演算装置74は、全フレームについて処理が終了したか否かを判定しステップS166、終了していないと判定したときはフレーム番号nをインクリメントしてステップS167、ステップS161に戻る。次に、演算装置74は、ゲイン制御区間を検出するステップS168。図12は、ゲイン制御区間検出処理のフローチャートであって、演算装置74はフレーム番号nおよびゲイン制御区間番号kを1に初期化するステップS600。次に、演算装置74は、フレームXnが閾値THI,3以上であるか否かを判定するステップS601。演算装置74は、フレームXnが閾値THI,3以上であると判定したときは、つづいてフレームXnが閾値THI,4以下であるか否かを判定するステップS602。図13は、閾値THI,Jの設定例を示す図であって、BGM信号のレベルBを過小、小、やや小、適正、やや大、大、過大の7領域に分割するために6つの閾値が設定されている。そして、ミキシングバランスを評価する際にNR信号も考慮する必要があるときは、領域番号Iは1であり、BGM信号の相対レベルBが-10~-6の範囲にあれば適正と判断される。NR信号を考慮する必要が無いときは、領域番号Iは2であり、BGM信号の相対レベルBが-5~0の範囲にあれば適正と判断される。演算装置74は、フレームXnが閾値THI,4以下であると判定したときは、適正レベル未満の状態が継続したフレーム数を表す整数mLが予め定められた数ML以上であるか否かを判定するステップS603。演算装置74は、整数mLが所定数ML以上であると判定したときは、現在のフレームよりmLフレーム前から現在のフレームまでがBGM信号の相対レベルBを調整する必要があるゲイン制御区間であるとして、現在のフレーム番号nをYkに、継続フレーム数mLをLkに、ゲインを増加させる必要があることを示すUを記憶領域Ckに記憶するステップS604。演算装置74は、整数mLが所定数ML未満であると判定したときは、適正レベルより大である状態が継続したフレーム数を表す整数mHが予め定められた数MH以上であるか否かを判定するステップS605。演算装置74は、整数mHが所定数MH以上であると判定したときは、現在のフレームよりmHフレーム前から現在のフレームまでがBGM信号の相対レベルBを調整する必要があるゲイン制御区間であるとして、現在フレームのフレーム番号nをYkに、継続フレーム数mLをLkに、ゲインの調整方向を記憶領域Ckにゲインを低減させる必要があることを示すDを記憶するステップS606。演算装置74は、ステップS605で整数mHが所定数MH未満であると判定したとき、ならびに、ステップS604およびステップS606の処理を終了したときは、制御区間番号kをインクリメントしステップS607、継続フレーム数を表す整数mLおよびmHをリセットしてステップS608この処理を終了する。演算装置74は、ステップS601でフレームXnが閾値THI,3未満であると判定したときは、ゲイン制御区間に入ったものとして、適正レベル未満の状態が継続したフレーム数を表す整数mLをインクリメントしてステップS609、この処理を終了する。演算装置74は、ステップS602でフレームXnが閾値THI,4より大であると判定したときは、ゲイン制御区間に入ったものとして、適正レベルより大である状態が継続したフレーム数を表す整数mHをインクリメントするステップS610。そして、演算装置74はN個のフレームについて処理が終了したか否かを判定しステップS611、完了していないときはフレーム番号nをインクリメントしてステップS612、ステップS601の処理に戻る。N個のフレームについて処理が終了したときはゲイン制御区間検出処理を終了する。続いて演算装置74はゲイン決定処理を実行するステップS169。図14はゲイン決定処理のフローチャートであって、演算装置74はゲイン制御区間検出処理で検出したゲイン制御区間を示す整数kを1に初期化するステップS701。次に演算装置74は、ゲイン制御区間kのCkに記憶されているゲイン調整方向がUであるか否かを判定するステップS702。演算装置74はゲイン制御区間kのゲイン調整方向がUであると判定したときは、ゲイン制御区間kに含まれるフレームXiYk-Lk≦i≦Ykの最小値Xminを探索するステップS703。そして、演算装置74は[数2]によりゲイン調整量Gkを算出するステップS704。なお、βUは予め定められた値である。演算装置74はゲイン制御区間kのゲイン調整方向がUでないと判定したときは、ゲイン制御区間kに含まれるフレームXiYk-Lk≦i≦Ykの最大値Xmaxを探索するステップS705。そして、演算装置74は[数3]によりゲイン調整量Gkを算出するステップS706。なお、βDは予め定められた値である。演算装置74はkについてkmaxまでの処理が完了したかを判定しステップS707、終了していないと判断したときはkをインクリメントしてステップS708、ステップS702に戻り処理を継続する。演算装置74はkmaxまでの処理が完了したときは、ゲイン調整量の算出を終了する。ゲイン算出処理中は、演算装置74はゲイン算出部5として動作していることとなる。続いて、演算装置74は音声出力処理を実行するステップS19。図15は音声出力処理の詳細フローチャートであって、演算装置74は、フレーム番号nおよびゲイン制御区間番号kを1に初期化する。次に、演算装置74はフレームがゲイン制御区間内にあるか否かを、nがYk-Lkに等しいか否かにより判定するステップS172。演算装置74はフレームがゲイン制御区間内にあると判定したときは、フレーム番号がYk-LkからYkまでのフレーム内のBGM信号にゲイン調整量Gkを乗算してBGM信号のゲインを制御しステップS173、kをインクリメントするステップS174。なお、演算装置74はフレームがゲイン制御区間内にないと判定したときは、ステップS173およびステップS174をバイパスする。演算装置74はN個のフレームについてゲイン制御が終了したか否かを判定しステップS175、終了していない場合はフレーム番号nをインクリメントしてステップS176、ステップS172の処理に戻る。演算装置74はN個のフレームについてゲイン制御が終了したときは、NR信号およびゲイン制御後のBGM信号を例えば図2のHDD744に出力してステップS177この処理を終了する。なお、上記の処理ではゲイン制御区間の始端および終端においてゲインの急変により視聴者に不自然さを与えるおそれがあるため、前処理ステップS178および後処理ステップS179を追加し、ゲインの変化を連続的に行うことが有利である。すなわち、前処理ステップS178においては、ゲイン制御区間の始端前の所定フレーム数たとえば、0.5秒に相当する20~25フレームからゲイン制御量をゲイン制御区間内のゲイン制御量Gkに向けて滑らかに変化させるようにすることが望ましい。さらに、後処理ステップS179においては、ゲイン制御区間の終端後の所定フレーム数たとえば、0.5~2.0秒に相当する20~100フレームまでゲイン制御量をゲイン制御区間内のゲイン制御量Gkから滑らかに変化させるようにすることが望ましい。音声出力処理中は、演算装置74は音声出力部6として動作していることとなる。図16はミキシングバランス調整プログラムを使用したバッチ処理によるBGM信号のゲイン調整効果を示す波形図であって、上から、入力BGM信号レベル、ゲイン、出力BGM信号レベルを示している。入力BGM信号のレベルが適正範囲を逸脱している範囲AおよびBのうち、逸脱している期間の長いAはゲイン制御区間となるが、逸脱期間の短いBはゲイン制御区間とはならない。入力BGM信号のレベルが急上昇したときは前処理によりゲインを所定速度で降下させて、出力BGM信号レベルを適正範囲に引き戻す。入力BGM信号のレベルが適正範囲になれば、ゲイン制御区間は終了するが、後処理によりゲインを降下速度よりも遅い速度で上昇させて、適正範囲に復帰させる。2実時間処理の場合以下、実時間でミキシングバランス調整を行う場合について、図3のミキシングバランス調整プログラムのフローチャートを参照しつつ説明する。演算装置74は、まず例えばサンプリング周波数48KHzでサンプリングされたNR信号およびBGM信号を読み込むステップS11。次に、演算装置74はNR信号およびBGM信号のレベルを検出するステップS12。すなわち、NR信号およびBGM信号の1024サンプリングを1フレームとし、1フレームごとにNR信号のレベルNおよびBGM信号のレベルBを算出する。次に、演算装置74は、NRレベルの統計値算出処理ステップS13およびBGMレベルの統計値算出処理ステップS14を実行するが、実時間処理の場合には、1フレームごとに現時点までに算出されているNRレベルNを使用してNR平均値Npを算出し、現時点までに算出されている平均値Npを使用してNR信号の統計的平均値Nsを算出する。次に、演算装置74はBGM信号の統計値を算出するステップS14が、実時間処理の場合には、1フレームごとに現時点までに算出されているBGMレベルBを使用してBGM平均値Npを算出する。さらに、演算装置74は、BGMレベルBとNRレベルNのレベル差ΔLを算出しステップS15、評価信号Hを選択しステップS16、評価値信号の平均値Hpを算出するステップS17。ついで、演算装置74はゲイン算出処理を行うステップS18。図17は実時間処理の場合のゲイン算出処理のフローチャートであって、演算装置74はNR信号を考慮する必要があるか否かを判定するステップS181。この判定は、図11のグラフに基づき、NR平均値Np≧TBかつBp≦BENsが成り立つときはNR信号を考慮するものとし、それ以外のときはNR信号を考慮しないものとする。演算装置74は、NR信号を考慮する必要ありと判定したときは、Iを1に設定しステップS182、ゲイン決定用レベルXを評価信号平均値Hpに設定するステップS183。演算装置74は、NR信号を考慮する必要がないと判定したときは、Iを2に設定しステップS184、ゲイン決定用レベルXをBGM平均値Bpに設定するステップS185。次に、演算装置74はゲイン決定処理を実行するステップS186。図18はゲイン決定処理の詳細フローチャートであって、演算装置74は、まず、Xが図13に示す閾値THI,3以上であるか否かを判定するステップS620。演算装置74はゲイン決定用レベルXが閾値THI,3以上でないと判定したときは、ゲイン決定用レベルXが閾値THI,3以上でない状態が予め定められた所定期間たとえば、0.5~2.0秒に相当する20~100フレーム継続したか否かを判定するステップS621。そして、所定時間継続していないと判定したときは、ゲイン上昇制御を実行していないことを示すためにゲイン制御フラグZUを1に設定してステップS622この処理を終了する。この結果、BGM信号のゲインは変更されない。演算装置74は、所定時間継続したと判定したときは、ゲイン上昇制御を実行するステップS623。図19はゲイン上昇制御の詳細フローチャートであって、演算装置74は、まず、ゲイン制御フラグZUが1であるか否かを判定するステップS300。演算装置74は、フラグZUが1であると判定したときは、Xが閾値THI,3以上でない状態の継続期間内のXの最小値Xminを探索するステップS301。次に演算装置74は、[数4]により上昇ゲインGuを算出するステップS302。なお、βUは予め定められた値である。次に演算装置74は、ステップ状のゲイン変化を回避するために、現在のゲインからGuまでゲインを漸増させるために、Guを漸増フレーム数NIたとえば0.5秒に相当するフレーム数20で除してΔGuとするステップS303。なお、漸増フレーム数NIは、固定数であってもよいが、上昇ゲインGuが大きいほど大きくなる上昇ゲインGuの増加関数として決定することが望ましい。演算装置74は、ゲイン漸増回数NUを1としステップS304、ゲインGをΔGuとゲイン漸増回数NUの積としステップS305、フラグZUを2としてステップS306、この処理を終了する。演算装置74は、フラグZUが1でないと判定したときは、ゲイン漸増回数NUが漸増フレーム数NIに到達したか否かを判定するステップS307。演算装置74は、ゲイン漸増回数NUが漸増フレーム数NIに到達していないと判定したときは、ゲイン漸増回数NUをインクリメントしステップS308、ゲインGをΔGu×NUとして算出してステップS309、このルーチンを終了する。なお、演算装置74は、ゲイン漸増回数NUが漸増フレーム数NIに到達したと判定したときは、ゲイン補正処理ステップS55を実行後この処理を終了する。なお、ゲイン補正処理については後述する。図18のゲイン決定処理に戻り、演算装置74はXが閾値THI,3以上であると判定したときは、Xが閾値THI,4未満であるか否かを判定するステップS624。演算装置74はXが閾値THI,4未満でないと判定したときは、Xが閾値THI,4未満でない状態が予め定められた所定期間たとえば、0.5~2.0秒に相当する20~100フレーム継続したか否かを判定しステップS625、所定時間継続していないと判定したときは、ゲイン降下制御を実行していないことを示すためにゲイン制御フラグZDを1に設定してステップS626この処理を終了する。この結果、BGM信号のゲインは変更されない。演算装置74は、所定時間継続したと判定したときは、ゲイン降下制御を実行するステップS627。図20はゲイン下降制御の詳細フローチャートであって、演算装置74は、まず、フラグZDが1であるか否かを判定するステップS400。演算装置74は、フラグZUが1であると判定したときは、Xが閾値THI,4未満でない状態の継続期間内のXの最大値Xmaxを探索するステップS401。次に演算装置74は、[数5]により降下ゲインGdを算出するステップS302。なお、βDは予め定められた値である。次に演算装置74は、ステップ状のゲイン変化を回避するために、現在のゲインからGuまでゲインを漸減させるために、Gdを漸減フレーム数NSたとえば0.5秒に相当するフレーム数20で除してΔGdとするステップS303。なお、漸減フレーム数NSは、固定数であってもよいが、降下ゲインGdが大きいほど大きくなる降下ゲインGdの増加関数として決定することが望ましい。演算装置74は、ゲイン漸減回数NDを1としゲインGをΔGuとしステップS404、ゲインGをΔGuとゲイン漸減回数NDの積としステップS405、フラグZDを2としてステップS406、この処理を終了する。演算装置74は、ゲイン制御フラグZDが1でないと判定したときは、ゲイン漸減回数NDが漸減フレーム数NSに到達したか否かを判定するステップS407。演算装置74は、ゲイン漸増回数NUが漸減フレーム数NSに到達していないと判定したときは、ゲイン漸減回数NDをインクリメントしステップS408、ゲインGをΔGu×NUとして算出してステップS409、このルーチンを終了する。なお、演算装置74は、ゲイン漸減回数NDが漸減フレーム数NSに到達したと判定したときは、ゲイン補正処理ステップS55を実行後この処理を終了する。なお、ゲイン補正処理は、ゲイン上昇制御におけるゲイン漸増中またはゲイン下降制御におけるゲイン漸減中のBGMレベルBの急増あるいは急減に対処するための処理である。図21はゲイン補正処理の詳細フローチャートであって、演算処理装置74はゲイン上昇制御におけるゲイン漸増終了直後あるいはゲイン下降制御におけるゲイン漸減終了直後のBGMレベルBが閾値THI,3以上であるか否かを判定するステップS550。演算処理装置74はBGMレベルBが閾値THI,3未満であると判定したときは、現在フレームよりゲイン漸増回数NIフレーム前のフレームから現在フレームまでのゲイン決定用レベルXの最小値Xminを探索しステップS551、[数4]を使用して修正上昇ゲインGuを算出するステップS552。続いて、演算装置74はすでに算出されているゲインGと修正上昇ゲインGuの差を補正ゲインΔGとしステップS553、すでに算出されているゲインGに補正ゲインΔGを加算してステップS554、この処理を終了する。演算処理装置74はBGMレベルBが閾値THI,3以上であると判定したときは、BGMレベルBが閾値THI,4未満であるか否かを判定するステップS555。演算処理装置74はBGMレベルBが閾値THI,4以上であると判定したときは、現在フレームよりゲイン漸減回数NUフレーム前のフレームから現在フレームまでのゲイン決定用レベルXの最大値Xmaxを探索しステップS556、[数5]を使用して修正降下ゲインGdを算出するステップS557。続いて、演算装置74はすでに算出されているゲインGと修正降下ゲインGdの差を補正ゲインΔGとしステップS558、すでに算出されているゲインGに補正ゲインΔGを加算してステップS559、この処理を終了する。演算処理装置74は、ステップS505でBGMレベルBが閾値THI,4未満であると判定したときは、ゲイン修正は不要であるとして直接この処理を終了する。なお、上記のゲイン補正ではゲインが補正された場合はゲインがステップ状に変化する。これによる聴感上の違和感を緩和するために、すでに説明した漸増漸減処理を適用してもよい。図18のゲイン決定処理に戻り、演算装置74はXが閾値THI,4未満であると判定したときは、ゲイン変更後所定期間が経過したか否かを判定するステップS628。演算装置74は、ゲイン変更後所定期間が経過していないと判定したときは、ゲインの頻繁な変更を回避するために、直接この処理を終了する。演算装置74は、ゲイン変更後所定期間が経過していると判定したときは、ゲイン戻し制御を実行するステップS629。図22はゲイン戻し制御処理の詳細フローチャートであって、演算装置74は、ゲイン制御フラグZUが2であるか否かを判定することにより、ゲイン上昇制御実行後であるか否かを判定するステップS500。演算装置74は、ゲイン制御フラグZUが2であると判定したときは、上昇ゲインGuを予め定めたゲイン戻しフレーム数NFたとえば、5秒に相当するフレーム数500で除し商である戻しゲインΔGrを算出するステップS501。演算装置74は、ゲイン制御フラグZUが2でないと判定したときは、ゲイン制御フラグZDが2であるか否かを判定することにより、ゲイン降下制御実行後であるか否かを判定するステップS502。演算装置74は、ゲイン制御フラグZDが2であると判定したときは、降下ゲインGdを予め定めたゲイン戻しフレーム数NFで除し商ΔGrを算出するステップS503。次に演算装置74は、ゲイン戻し回数nRを1に設定しステップS504、ゲインGを戻しゲインΔGrとゲイン戻し回数nRの積として算出しステップS505、フラグZUおよびZDを1にリセットしてこの処理を終了する。演算装置74は、ゲイン制御フラグZDが2でないと判定したときは、ゲイン戻し回数nRがゲイン戻しフレーム数NFに到達したか否かを判定するステップS507。演算装置74は、ゲイン戻し回数nRがゲイン戻しフレーム数NFに到達していないと判定したときは、ゲイン戻し回数nRをインクリメントしステップS508、ゲインGを戻しゲインΔGrとゲイン戻し回数nRの積として算出してこの処理を終了するステップS509。なお、演算装置74は、ゲイン戻し回数nRがゲイン戻しフレーム数NFに到達したと判定したときは、ゲイン戻しは終了したものとして直接この処理を終了する。ここで、図19のフローチャートに戻り、演算装置74はステップS191で読み込んだNR信号およびゲインGを乗算したBGM信号を出力するステップS197。以上処理を番組が終了するまで繰り返す。図23はミキシングバランス調整プログラムを使用した実時間処理によるBGM信号のゲイン調整効果を示す波形図であって、上から、入力BGM信号レベル、ゲイン、出力BGM信号レベルを示している。入力BGM信号のレベルが適正範囲を逸脱した範囲CおよびDのうち、逸脱期間が所定期間以上継続した場合CはBGM信号のゲインが変更されるが、逸脱期間が短い場合Dではゲインは変更されない。入力BGM信号のレベルが適正範囲を所定時間以上逸脱すると、ゲインを所定の降下速度で降下させて、出力BGM信号レベルを適正範囲に引き戻す。入力BGM信号のレベルが適正範囲に復帰すると、ゲインを降下速度よりも遅い速度で上昇させて、適正範囲に復帰させる。なお、図23に破線で示すように、ゲイン漸減期間中にBGMレベルBがさらに上昇した場合には、ゲイン補正処理が機能し、ゲイン漸減期間終了後さらにゲインが減少して、BGMレベルBを適正範囲に復帰させる。なお、上述の実施形態において、第1の音声信号及び第2の音声信号をそれぞれNR信号及びBGM信号とし、NR信号とBGM信号とをミキシングする際のミキシングバランスの状態を制御する例を挙げて説明したが、本発明はこれに限定されるものではない。例えば、複数の音楽信号のミキシングを対象とするものや、台詞の音声信号と効果音の信号とのミキシングを対象とするもの等に適用しても同様な効果が得られる。また、上述の実施形態において示した各閾値の値や、各閾値に対する大小の判断手法は一例であり、上述のものに限定されない。以上説明したように、本発明に係るミキシングバランス自動調整装置は、過去の所定数のフレームから、現フレームまでの間の比較的長い時間区間におけるNR信号の統計的平均値に基づいて、BGM信号を制御するための制御閾値を算出することにより、音声信号のミキシングバランスの状態を高齢者の聴感に対応させて自動調整することができる。例えば、本発明に係るミキシングバランス自動調整装置は、BGM信号のレベルがNR信号のレベルよりも大き過ぎる場合はBGM信号のレベルを下げるよう自動調整することができ、BGM信号のレベルが大き過ぎてNR信号が聴き取りにくいといった現象を未然に防ぐことができるので、番組の音響効果の向上を支援することができる。また、本発明に係るミキシングバランス自動調整装置が備える演算装置に余力がある場合には、特許文献2特開2009-159083号公報に開示されている聴覚特性模擬装置の出力音声を使用することで、マスキングやリクルートメント計算を行った結果に対して、本発明の手法を適用することも可能である。"