【手続補正書】
【提出日】平成26年7月25日(2014.7.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の音声信号のレベルである第１のレベルを検出する第１のレベル検出部と、
第２の音声信号のレベルである第２のレベルを検出する第２のレベル検出部と、
前記第１のレベルの統計値である第１の統計値を算出する第１の統計値算出部と、
前記第２のレベルの統計値である第２の統計値を算出する第２の統計値算出部と、
前記第２のレベルと前記第１のレベルの差であるレベル差を算出するレベル差算出部と、
前記第１のレベルに応じてミキシングバランスを評価するための評価信号を選択する評価信号選択部と、
前記評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部と、
前記第１の統計値および前記第２の統計値に応じて定まる閾値と前記評価信号平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出部と、
前記第１の音声信号および前記ゲインを乗算した前記第２の音声信号を出力する音声出力部と、を備えるミキシングバランス自動調整装置。
【請求項２】
前記第１の統計値算出部が、
前記第１のレベルのパーセント時間率平均値を算出する第１の平均値算出部と、
前記第１の平均値算出部により算出された前記第１のレベルのパーセント時間率平均値に基づき前記第１のレベルの第１の統計的平均値を算出する第１の統計的平均値算出部と、を備え、
前記第１の統計的平均値を前記第１の統計値として出力するものである請求項１に記載のミキシングバランス自動調整装置。
【請求項３】
前記第１の統計的平均値算出部が、
前記第１の平均値算出部の出力のヒストグラムを作成するヒストグラム作成部と、
前記ヒストグラムの複数の極大値の中から最も支配的な極大値である支配的極大値を決定する支配的極大値決定部と、
前記支配的極大値を極大値とする正規分布のパラメータに基づき前記第１の統計的平均値を決定する統計的平均値決定部と、を含む請求項２に記載のミキシングバランス自動調整装置。
【請求項４】
前記第２の統計値算出部が、前記第２のレベルのパーセント時間率平均値を前記第２の統計値として算出し出力するものである請求項１から請求項３のいずれか一項に記載のミキシングバランス自動調整装置。
【請求項５】
前記評価信号選択部が、
前記第１のレベル検出部の出力が予め定められた第１の値以上であるときは、前記レベル差を前記評価信号として出力し、
前記第１のレベル検出部の出力が前記第１の値以下の値である予め定められた第２の値未満であるときは、前記第２のレベル検出部の出力を前記評価信号として出力し、
前記第１のレベル検出部の出力が前記第１の値未満かつ前記第２の値以上であるときは、前記第１のレベル検出部の出力が前記第１の値であるときに前記レベル差となり、前記第１のレベル検出部の出力が前記第２の値であるときに前記第２のレベル検出部の出力となる単調関数値を前記評価信号として出力するものである請求項１から請求項４のいずれか一項に記載のミキシングバランス自動調整装置。
【請求項６】
前記ゲイン算出部が、
前記第１の音声信号および前記第２の音声信号のミキシングバランスが予め定められた適正範囲を逸脱した区間を検出するゲイン制御区間検出部と、
前記ゲイン制御区間検出部で検出されたゲイン制御区間に適応する目標ゲインを決定するゲイン決定部と、を含み、
前記音声出力部が、前記目標ゲインを前記第２の音声信号に乗算してミキシングバランスを調整するものである請求項１から請求項５のいずれか一項に記載のミキシングバランス自動調整装置。
【請求項７】
前記音声出力部が、
前記ゲイン制御区間の前に前記目標ゲインに向けてゲインを第１の変化率で変更する前処理部と、
前記ゲイン制御区間の後に前記目標ゲインからゲインを前記第１の変化率より小さい第２の変化率で変更する後処理部と、を含む請求項６に記載のミキシングバランス自動調整装置。
【請求項８】
予め定められたフレーム数の第１の音声信号および第２の音声信号を読み込む音声信号読み込み部をさらに備え、
前記第１の統計値算出部が、前記フレーム数に相当する時間より短い時間内に前記第１の統計値を算出し、
前記第２の統計値算出部が、前記フレーム数に相当する時間より短い時間内に前記第２の統計値を算出し、
前記音声出力部が、前記第１の音声信号と、前記ゲインを乗算した前記第２の音声信号とを前記フレーム数ごとに出力するものである請求項１から請求項５のいずれか一項に記載のミキシングバランス自動調整装置。
【請求項９】
前記ゲイン算出部が、
前記音声信号読み込み部により読み込まれた前記第１の音声信号および前記第２の音声信号のミキシングバランスが予め定められた適正範囲を逸脱したときにミキシングバランスを前記適正範囲に戻すための目標ゲインを前記ゲインとして決定するものであり、
前記音声出力部が、
ミキシングバランスが予め定められた適正範囲を逸脱したときには前記目標ゲインを前記第２の音声信号に乗算してミキシングバランスを調整し、
ミキシングバランスが予め定められた適正範囲に復帰したときには前記第２の音声信号をそのまま出力するものである請求項８に記載のミキシングバランス自動調整装置。
【請求項１０】
コンピュータを、
第１の音声信号および第２の音声信号を読み込む音声信号読み込み部と、
前記第１の音声信号のレベルおよび前記第２の音声信号のレベルを検出するレベル検出部と、
前記第１の音声信号のレベルの統計値を算出する第１の統計値算出部と、
前記第２の音声信号のレベルの統計値を算出する第２の統計値算出部と、
前記第２の統計値算出部の出力と前記第１の統計値算出部の出力の差であるレベル差を算出するレベル差算出部と、
前記第１の音声信号のレベルに応じてミキシングバランスを評価するための評価信号を出力する評価信号選択部と、
前記評価信号のパーセント時間率平均値を算出する評価信号平均値算出部と、
前記第１の統計値算出部で算出された第１の音声信号のレベルの統計値および前記第２の統計値算出部で算出された前記第２の音声信号のレベルの統計値に応じて定まる閾値と前記評価信号平均値算出部で算出された前記評価信号のパーセント時間率平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出部と、
前記第１の音声信号および前記ゲイン算出部で算出されたゲインを乗算した前記第２の音声信号を出力する音声出力部と、して機能させることを特徴とするミキシングバランス自動調整プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】ミキシングバランス自動調整装置およびプログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、ミキシングバランス自動調整装置およびプログラムに係り、特に、テレビやラジオ等の番組制作時にナレーション信号とバックグラウンドミュージック信号とのミキシングバランスの状態を高齢者の聴感に合わせて自動調整するミキシングバランス自動調整装置およびプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明は、このような従来の課題を解決するためになされたものであって、音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することができるミキシングバランス自動調整装置およびプログラムを提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明に係るミキシングバランス自動調整装置は、第１の音声信号のレベルである第１のレベルを検出する第１のレベル検出部と、第２の音声信号のレベルである第２のレベルを検出する第２のレベル検出部と、前記第１のレベルの統計値である第１の統計値を算出する第１の統計値算出部と、前記第２のレベルの統計値である第２の統計値を算出する第２の統計値算出部と、前記第２のレベルと前記第１のレベルの差であるレベル差を算出するレベル差算出部と、前記第１のレベルに応じてミキシングバランスを評価するための評価信号を選択する評価信号選択部と、前記評価信号のパーセント時間率平均値である評価信号平均値を算出する評価信号平均値算出部と、前記第１の統計値および前記第２の統計値に応じて定まる閾値と前記評価信号平均値に応じて適正なミキシングバランスを維持するための前記第２の音声信号に対するゲインを算出するゲイン算出部と、前記第１の音声信号および前記ゲインを乗算した前記第２の音声信号を出力する音声出力部と、を備える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明に係るミキシングバランス自動調整装置においては、前記第１の統計値算出部が、前記第１のレベルのパーセント時間率平均値を算出する第１の平均値算出部と、前記第１の平均値算出部により算出された前記第１のレベルのパーセント時間率平均値に基づき前記第１のレベルの第１の統計的平均値を算出する第１の統計的平均値算出部と、を備え、前記第１の統計的平均値を前記第１の統計値として出力するものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明に係るミキシングバランス自動調整装置においては、前記第１の統計的平均値算出部が、前記第１の平均値算出部の出力のヒストグラムを作成するヒストグラム作成部と、前記ヒストグラムの複数の極大値の中から最も支配的な極大値である支配的極大値を決定する支配的極大値決定部と、前記支配的極大値を極大値とする正規分布のパラメータに基づき前記第１の統計的平均値を決定する統計的平均値決定部と、を含む構成としてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明に係るミキシングバランス自動調整装置においては、前記第２の統計値算出部が、前記第２のレベルのパーセント時間率平均値を前記第２の統計値として算出し出力するものである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明に係るミキシングバランス自動調整装置においては、前記評価信号選択部が、前記第１のレベル検出部の出力が予め定められた第１の値以上であるときは、前記レベル差を前記評価信号として出力し、前記第１のレベル検出部の出力が前記第１の値以下の値である予め定められた第２の値未満であるときは、前記第２のレベル検出部の出力を前記評価信号として出力し、前記第１のレベル検出部の出力が前記第１の値未満かつ前記第２の値以上であるときは、前記第１のレベル検出部の出力が前記第１の値であるときに前記レベル差となり、前記第１のレベル検出部の出力が前記第２の値であるときに前記第２のレベル検出部の出力となる単調関数値を前記評価信号として出力するものである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
本発明に係るミキシングバランス自動調整装置においては、前記ゲイン算出部が、前記音声信号読み込み部により読み込まれた前記第１の音声信号および前記第２の音声信号のミキシングバランスが予め定められた適正範囲を逸脱した区間を検出するゲイン制御区間検出部と、前記ゲイン制御区間検出部で検出されたゲイン制御区間に適応する目標ゲインを決定するゲイン決定部と、を含み、前記音声出力部が、前記目標ゲインを前記第２の音声信号に乗算してミキシングバランスを調整するものである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
本発明に係るミキシングバランス自動調整装置においては、前記音声出力部が、前記ゲイン制御区間の前に前記目標ゲインに向けてゲインを第１の変化率で変更する前処理部と、前記ゲイン制御区間の後に前記目標ゲインからゲインを前記第１の変化率より小さい第２の変化率で変更する後処理部と、を含む。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本発明に係るミキシングバランス自動調整装置は、予め定められたフレーム数の第１の音声信号および第２の音声信号を読み込む音声信号読み込み部をさらに備え、前記第１の統計値算出部が、前記フレーム数に相当する時間より短い時間内に前記第１の統計値を算出し、前記第２の統計値算出部が、前記フレーム数に相当する時間より短い時間内に前記第２の統計値を算出し、前記音声出力部が、前記第１の音声信号と、前記ゲインを乗算した前記第２の音声信号とを前記フレーム数ごとに出力するものである。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本発明に係るミキシングバランス自動調整装置においては、前記ゲイン算出部が、前記音声信号読み込み部により読み込まれた前記第１の音声信号および前記第２の音声信号のミキシングバランスが予め定められた適正範囲を逸脱したときにミキシングバランスを前記適正範囲に戻すための目標ゲインを前記ゲインとして決定するものであり、前記音声出力部が、ミキシングバランスが予め定められた適正範囲を逸脱したときには前記目標ゲインを前記第２の音声信号に乗算してミキシングバランスを調整し、ミキシングバランスが予め定められた適正範囲に復帰したときには前記第２の音声信号をそのまま出力するものである。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
本発明は、所定数の過去のフレームから現フレームまでの間の比較的長い時間区間における第１の音声信号の統計値に基づいて、第２の音声信号を制御するためのゲインを算出することにより、音声信号のミキシングバランスの状態を高齢者の聴感に合わせて自動調整することができるミキシングバランス自動調整装置およびプログラムを提供するものである。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
【図１】本発明に係るミキシングバランス自動調整装置の構成を示すブロック図
【図２】本発明に係るミキシングバランス自動調整装置のハードウエア構成を示すブロック図
【図３】本発明に係るミキシングバランス自動調整装置のＣＰＵが実行するミキシングバランス自動調整プログラムのフローチャート
【図４】ＮＲ平均値算出処理の詳細フローチャート
【図５】混合数が２の場合の混合分布を模式的に示すグラフ
【図６】ＮＲ統計平均値算出処理の詳細フローチャート
【図７】ＮＲレベル平均値のヒストグラム
【図８】ＮＲレベルと評価信号Ｈの関係を示すグラフ
【図９】ＮＲレベルとＢＧＭレベル、レベル差、評価信号の模式図
【図１０】ゲイン算出処理の詳細フローチャート
【図１１】閾値の適用範囲を示すグラフ
【図１２】ゲイン制御区間検出処理の詳細フローチャート
【図１３】閾値を示すグラフ
【図１４】ゲイン決定処理の詳細フローチャート
【図１５】音声出力処理の詳細フローチャート
【図１６】バッチ処理による波形図
【図１７】実時間処理用ゲイン算出処理の詳細フローチャート
【図１８】実時間処理用ゲイン決定処理の詳細フローチャート
【図１９】ゲイン上昇制御の詳細フローチャート
【図２０】ゲイン下降制御の詳細フローチャート
【図２１】ゲイン補正処理の詳細フローチャート
【図２２】ゲイン戻し制御の詳細フローチャート
【図２３】実時間処理による波形図
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
ＢＧＭ統計値算出部３の構成
ＢＧＭ統計値算出部３は、ＢＧＭレベルのパーセント時間率平均値であるＢＧＭ平均値を算出し、ＢＧＭ統計値算出部３の出力とするＢＧＭ平均値算出部３１を含む。
なお、ＢＧＭ統計値算出部３は、ＢＧＭ平均値からＢＧＭ相対レベルの統計的平均値であるＢＧＭ統計的平均値を算出するＢＧＭ統計的平均値算出部３２を含んでいてもよく、この場合は、ＢＧＭ統計値算出部３の出力は、ＢＧＭ統計的平均値となる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
図２は、本実施形態で使用するパーソナルコンピュータ７のハードウエア構成を示すブロック図であって、たとえば表示パネル７１、キーボード７２、およびマウス７３で構成されるマン・マシンインターフェイスと、演算装置７４と、で構成される。
演算装置７４は、サンプリング周波数４８ｋＨｚ、量子化ビット数１６ビットでＮＲ信号及びＢＧＭ信号をデジタル音声信号に変換するＡＤ変換器７４１、アナログ音声信号を出力するＤＡ変換器７４２、ＣＰＵ７４３、メモリ７４４、ハードディスク（ＨＤＤ）７４５、および周辺機器Ｉ／Ｆ７４６がバス７４７を介して相互に結合された構成を有する。表示パネル７１、キーボード７２、およびマウス７３は周辺機器Ｉ／Ｆ７４６に接続される。
なお、ＮＲ信号及びＢＧＭ信号がデジタル信号である場合は、ＡＤ変換器７４１を省略することができる。また、出力信号がデジタル信号である場合には、ＤＡ変換器７４２を省略することができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
上記の混合正規分布モデルによらずヒストグラムから統計平均値Ｎｓを算出する方法も提案されており、本実施形態ではこの方法を採用する。
図６はＮＲ統計平均値算出処理（ステップＳ１３２）の詳細フローチャートであって、演算装置７４は、所定数のＮＲ平均値Ｎｐの平均値ｍｇおよび中間値ｍｄを算出する（ステップＳ３２１）。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
なお、ＴＡ＝ＴＢとしたときは評価信号Ｈが不連続となり、視聴者が不自然さを感じるおそれがある。
そこで、ＴＡ＞ＴＢとし、ＮＲレベルＮがＴＢ以上かつＴＡ以下のとき（ＴＢ≦Ｎ≦ＴＡ）のときには、評価信号Ｈとして、Ｂ（Ｎ＝ＴＢのとき）から（Ｂ−ＴＡ）（Ｎ＝ＴＡのときのレベル差ΔＬの値）まで単調に変化する関数の関数値を使用することが望ましい。
点（ＴＢ，Ｂ）と点（ＴＡ，Ｂ−ＴＡ）とを直線で結ぶ関数を適用した場合は、評価信号Ｈは［数１］の３行目の式で算出される値となる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
次に、演算装置７４はＮＲ信号およびＢＧＭ信号のレベルを検出する（ステップＳ１２）。
すなわち、ＮＲ信号およびＢＧＭ信号の１０２４サンプリングを１フレームとし、１フレームごとにＮＲ信号のレベルＮおよびＢＧＭ信号のレベルＢを算出する。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
１  ミキシングバランス自動調整装置
２  ＮＲ統計値算出部（第１の統計値算出部）
３  ＢＧＭ統計値算出部（第２の統計値算出部）
５  ゲイン算出部
６  音声出力部
２０  ＮＲレベル検出部（第１のレベル検出部）
２１  ＮＲ平均値算出部（第１の平均値算出部）
２２  ＮＲ統計的平均値算出部（第１の統計的平均値算出部）
３０  ＢＧＭレベル検出部（第２のレベル検出部）
３１  ＢＧＭ平均値算出部
３２  ＢＧＭ統計的平均値算出部
４１  レベル差算出部
４２  評価信号選択部
４３  評価信号平均値算出部
７３  マウス
７４  演算装置（音声信号読み込み部）
７４１  ＡＤ変換器
７４２  ＤＡ変換器
７４５  ハードディスク
７４６  周辺機器Ｉ／Ｆ
７４７  バス
Ｓ１６８ ゲイン制御区間検出処理（ゲイン制御区間検出部）
Ｓ１６９ ゲイン決定処理（ゲイン決定部）
Ｓ１７８ 前処理（前処理部）
Ｓ１７９ 後処理（後処理部）
Ｓ３２２ ヒストグラム作成処理（ヒストグラム作成部）
Ｓ３２３ 支配的極大値決定処理（支配的極大値決定部）
Ｓ３２４ 統計的平均値決定処理（統計的平均値決定部）