(57)【要約】【課題】ユーザにより快適な音声信号を提供する。【解決手段】実施形態の音声信号補正装置は、第１の周波数変換手段と第２の周波数変換手段と判定手段と生成手段と抽出手段とゲイン調整手段とを備える。第１の周波数変換手段は、所定の時間単位で再生音声信号の周波数特性を算出する。第２の周波数変換手段は、所定の時間単位で環境音信号の周波数特性を算出する。判定手段は、所定の時間単位の再生音声信号の周波数特性と、雑音成分を含むか否かを判定する判定基準と、に基づいて、雑音が多い雑音時間帯と、雑音が少ない音声時間帯と、を判定する。生成手段は、再生音声信号の周波数特性について、所定の時間単位で所定の周波数帯域毎に統計情報を生成する。抽出手段は、音声時間帯に含まれる統計情報より、雑音時間帯に含まれる統計情報が大きい周波数帯域を示した雑音周波数帯域を抽出する。ゲイン調整手段は、雑音周波数帯域のゲイン調整を、雑音周波数帯域以外の周波数帯域より抑制する。【選択図】図２
2013164518.tif 000002
【特許請求の範囲】
【請求項１】
所定の時間単位で、補正の対象となる再生音声信号の周波数特性を算出する第１の周波数変換手段と、
前記所定の時間単位で、外部から集音した環境音信号の周波数特性を算出する第２の周波数変換手段と、
前記所定の時間単位で算出された前記再生音声信号の周波数特性と、雑音成分を含むか否かを判定する判定基準と、に基づいて、雑音成分を含む雑音時間帯と、前記雑音時間帯より雑音成分が少ない音声時間帯と、を判定する判定手段と、
前記再生音声信号の周波数特性について、前記所定の時間単位で、所定の周波数帯域毎に周波数特性の出現度合いを示した統計情報を生成する生成手段と、
前記音声時間帯に含まれる前記統計情報より、前記雑音時間帯に含まれる前記統計情報が大きい周波数帯域を示した雑音周波数帯域を抽出する抽出手段と、
前記再生音声信号の周波数特性を、前記環境音信号の周波数特性に基づいてゲイン調整する際に、前記雑音周波数帯域のゲイン調整を、前記雑音周波数帯域以外の周波数帯域より抑制するゲイン調整手段と、
を備える音声信号補正装置。
【請求項２】
前記生成手段は、前記統計情報として、周波数帯域毎のパワーの平均値、周波数帯域毎のパワー値を規定のレンジで離散化した中央値、又は周波数帯域毎のパワー値が規定値以上になる出現頻度を生成する、
請求項１に記載の音声信号補正装置。
【請求項３】
前記抽出手段は、前記雑音時間帯の前記統計情報と、前記音声時間帯の前記統計情報と、の差が予め定められた基準以上の周波数帯域を、前記雑音周波数帯域として抽出する、
請求項１又は２に記載の音声信号補正装置。
【請求項４】
前記ゲイン調整手段は、
前記雑音周波数帯域以外の周波数帯域の周波数特性を、前記環境音信号の周波数特性に基づいて定められた補正量でゲイン補正を行う一方、前記雑音周波数帯域の周波数特性についてゲイン補正を行わない又は前記補正量に１以下の係数を乗算した値でゲイン補正を行う、
請求項１乃至３のいずれか一つに記載の音声信号補正装置。
【請求項５】
音声信号補正装置で実行される音声信号補正方法であって、
所定の時間単位で、補正の対象となる再生音声信号の周波数特性を算出する第１の周波数変換ステップと、
前記所定の時間単位で、外部から集音した環境音信号の周波数特性を算出する第２の周波数変換ステップと、
前記所定の時間単位で算出された前記再生音声信号の周波数特性と、雑音成分を含むか否かを判定する判定基準と、に基づいて、雑音成分を含む雑音時間帯と、前記雑音時間帯より雑音成分が少ない音声時間帯と、を判定する判定ステップと、
前記再生音声信号の周波数特性について、前記所定の時間単位で、所定の周波数帯域毎に周波数特性の出現度合いを示した統計情報を生成する生成ステップと、
前記音声時間帯に含まれる前記統計情報より、前記雑音時間帯に含まれる前記統計情報が大きい周波数帯域を示した雑音周波数帯域を抽出する抽出ステップと、
前記再生音声信号の周波数特性を、前記環境音信号の周波数特性に基づいてゲイン調整する際に、前記雑音周波数帯域のゲイン調整を、前記雑音周波数帯域以外の周波数帯域より抑制するゲイン調整ステップと、
を含むことを特徴とする音声信号補正方法。
【請求項６】
所定の時間単位で、補正の対象となる再生音声信号の周波数特性を算出する第１の周波数変換ステップと、
前記所定の時間単位で、外部から集音した環境音信号の周波数特性を算出する第２の周波数変換ステップと、
前記所定の時間単位で算出された前記再生音声信号の周波数特性と、雑音成分を含むか否かを判定する判定基準と、に基づいて、雑音成分を含む雑音時間帯と、前記雑音時間帯より雑音成分が少ない音声時間帯と、を判定する判定ステップと、
前記再生音声信号の周波数特性について、前記所定の時間単位で、所定の周波数帯域毎に周波数特性の出現度合いを示した統計情報を生成する生成ステップと、
前記音声時間帯に含まれる前記統計情報より、前記雑音時間帯に含まれる前記統計情報が大きい周波数帯域を示した雑音周波数帯域を抽出する抽出ステップと、
前記再生音声信号の周波数特性を、前記環境音信号の周波数特性に基づいてゲイン調整する際に、前記雑音周波数帯域のゲイン調整を、前記雑音周波数帯域以外の周波数帯域より抑制するゲイン調整ステップと、
をコンピュータに実行させるための音声信号補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声信号補正装置、音声信号補正方法、及び音声信号補正プログラムに関する。
【背景技術】
【０００２】
従来から、音声信号を聞く際に、音声信号を聞く環境で生じている雑音のため聞き取りにくいという状況が生じていた。
【０００３】
これに対して、近年、音声信号を再生する際に、音声信号に音質補正処理を施す技術が提案される傾向にある。
【０００４】
例えば、外部の環境で生じている雑音の周波数特性を算出した上で、再生している音声信号の補正を行うことで、雑音が生じている環境であっても音声信号の聞き取りが容易になる技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２７２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、再生する音声信号の内容を考慮していないため、拍手や雑踏などの雑音成分が含まれている場合には、当該雑音成分が強調されるため、ユーザに対して不快感を与える可能性があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、ユーザに対して、より快適な音声信号を提供する音声信号補正装置、音声信号補正方法、及び音声信号補正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態の音声信号補正装置は、第１の周波数変換手段と第２の周波数変換手段と判定手段と生成手段と抽出手段とゲイン調整手段とを備える。第１の周波数変換手段は、所定の時間単位で再生音声信号の周波数特性を算出する。第２の周波数変換手段は、所定の時間単位で環境音信号の周波数特性を算出する。判定手段は、所定の時間単位の再生音声信号の周波数特性と、雑音成分を含むか否かを判定する判定基準と、に基づいて、雑音が多い雑音時間帯と、雑音が少ない音声時間帯と、を判定する。生成手段は、再生音声信号の周波数特性について、所定の時間単位で所定の周波数帯域毎に統計情報を生成する。抽出手段は、音声時間帯に含まれる統計情報より、雑音時間帯に含まれる統計情報が大きい周波数帯域を示した雑音周波数帯域を抽出する。ゲイン調整手段は、雑音周波数帯域のゲイン調整を、雑音周波数帯域以外の周波数帯域より抑制する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態にかかるデジタルテレビジョン放送表示装置の主要な信号処理系を示した図である。
【図２】図２は、実施形態にかかるデジタルテレビジョン放送表示装置のオーディオ処理部に含まれる構成を示すブロック図である。
【図３】図３は、実施形態にかかる音種別判定部により判定された後の音声時間帯を示した図である。
【図４】図４は、実施形態にかかる統計情報生成部により生成された、雑音成分が少ない音声時間帯のヒストグラムを示したグラフである。
【図５】図５は、実施形態にかかる統計情報生成部により生成された、雑音成分が多い雑音音声時間帯のヒストグラムを示したグラフである。
【図６】図６は、実施形態にかかる非重要信号推定部により算出されたヒストグラムHist＿curとヒストグラムHist＿pastの差分を示した図である。
【図７】図７は、時刻Ｔ1以降で拍手が重畳されている再生音声信号の周波数特性と、環境音信号から算出されたマスキングレベルと、を示した図である。
【図８】図８は、実施形態にかかるマスキングイコライザにより補正された後の再生音声信号の周波数特性を示した図である。
【図９】図９は、実施の形態にかかるデジタルテレビジョン放送表示装置における音声信号の補正処理の手順を示すフローチャートである。
【図１０】図１０は、実施の形態にかかる統計情報生成部における統計情報の生成処理の手順を示すフローチャートである。
【図１１】図１１は、実施の形態にかかる非重要信号推定部における非重要信号周波数帯域の抽出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかる音声信号補正装置、音声信号補正方法、及び音声信号補正プログラムの実施形態について説明する。以下に示す実施形態では音声信号補正装置を、デジタルテレビジョン放送表示装置に適用した例について説明するが、デジタルテレビジョン放送表示装置に制限するものではなく音声信号を処理する装置であればよい。
【００１１】
（第１の実施形態）
図１は、第１の実施形態にかかるデジタルテレビジョン放送表示装置１の主要な信号処理系を示した図である。すなわち、ＢＳ／ＣＳ（broadcasting  satellite／communication  satellite）デジタル放送受信用のアンテナ４３で受信した衛星デジタルテレビジョン放送信号は、入力端子４４を介して衛星デジタル放送用のチューナ４５に供給されることにより、所望のチャンネルの放送信号が選局される。
【００１２】
そして、このチューナ４５で選局された放送信号は、ＰＳＫ（phase  shift  keying）復調モジュール４６及びＴＳ（transport  stream）復号モジュール４７に順次供給されることにより、デジタルの映像信号及び音声信号に復調された後、信号処理モジュール４８に出力される。
【００１３】
また、地上波放送受信用のアンテナ４９で受信した地上デジタルテレビジョン放送信号は、入力端子５０を介して地上デジタル放送用のチューナ５１に供給されることにより、所望のチャンネルの放送信号が選局される。
【００１４】
そして、このチューナ５１で選局された放送信号は、例えば日本ではＯＦＤＭ（orthogonal  frequency  division  multiplexing）復調器５２及びＴＳ復号器５３に順次供給されることにより、デジタルの映像信号及び音声信号に復調された後、上記信号処理部４８に出力される。
【００１５】
また、上記地上波放送受信用のアンテナ４９で受信した地上アナログテレビジョン放送信号は、入力端子５０を介して地上アナログ放送用のチューナ５４に供給されることにより、所望のチャンネルの放送信号が選局される。そして、このチューナ５４で選局された放送信号は、アナログ復調器５５に供給されてアナログの映像信号及び音声信号に復調された後、上記信号処理部４８に出力される。
【００１６】
ここで、上記信号処理部４８は、ＴＳ復号器４７，５３からそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部５６及び音声処理部５７に出力している。
【００１７】
また、上記信号処理部４８には、複数（図示の場合は４つ）の入力端子５８ａ，５８ｂ，５８ｃ，５８ｄが接続されている。これら入力端子５８ａ〜５８ｄは、それぞれ、アナログの映像信号及び音声信号を、デジタルテレビジョン放送表示装置１の外部から入力可能とするものである。
【００１８】
信号処理部４８は、上記アナログ復調器５５及び各入力端子５８ａ〜５８ｄからそれぞれ供給されたアナログの映像信号及び音声信号を選択的にデジタル化し、このデジタル化された映像信号及び音声信号に対して所定のデジタル信号処理を施した後、グラフィック処理部５６及びオーディオ処理部５７に出力する。
【００１９】
グラフィック処理部５６は、信号処理部４８から供給されるデジタルの映像信号に、ＯＳＤ（on  screen  display）信号生成部５９で生成されるＯＳＤ信号を重畳して出力する機能を有する。このグラフィック処理部５６は、信号処理部４８の出力映像信号と、ＯＳＤ信号生成部５９の出力ＯＳＤ信号とを選択的に出力すること、また、両出力をそれぞれ画面の半分を構成するように組み合わせて出力することができる。
【００２０】
グラフィック処理部５６から出力されたデジタルの映像信号は、映像処理部６０に供給される。この映像処理部６０は、入力されたデジタルの映像信号を、映像表示器１４で表示可能なフォーマットのアナログ映像信号に変換した後、映像表示器１４に出力して映像表示させるとともに、出力端子６１を介して外部に導出させる。
【００２１】
また、上記オーディオ処理部５７は、入力されたデジタルの音声信号に対して、後述する音質補正処理を施した後、スピーカ１５で再生可能なフォーマットのアナログ音声信号に変換している。そして、このアナログ音声信号は、スピーカ１５に出力されてオーディオ再生に供されるとともに、出力端子６２を介して外部に導出される。
【００２２】
ここで、このデジタルテレビジョン放送表示装置１は、上記した各種の受信動作を含むその全ての動作を制御部６３によって統括的に制御されている。この制御部６３は、ＣＰＵ（central  processing  unit）６４を内蔵しており、操作部１６からの操作情報、または、リモートコントローラ１７から送出され受光部１８に受信された操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
【００２３】
この場合、制御部６３は、主として、そのＣＰＵ６４が実行する制御プログラムを格納したＲＯＭ（read  only  memory）６５と、該ＣＰＵ６４に作業エリアを提供するＲＡＭ（random  access  memory）６６と、各種の設定情報及び制御情報等が格納される不揮発性メモリ６７とを利用している。
【００２４】
また、この制御部６３は、マイクロフォン６８に接続されている。これによって、制御部６３は、マイクロフォン６８から外部環境の音信号（以下、環境音信号と称す）を収音できる。
【００２５】
次に、オーディオ処理部５７に含まれる構成について説明する。図２は、第１の実施形態にかかるデジタルテレビジョン放送表示装置１のオーディオ処理部５７に含まれる構成を示すブロック図である。
【００２６】
図２に示されるようにオーディオ処理部５７は、音声周波数変換部２４１と、環境音周波数変換部２４２と、マスキングレベル算出部２４３と、ゲイン算出部２４４と、ゲイン制御部２４５と、マスキングイコライザ２４６と、逆周波数変換部２４７と、音種別判定部２４８と、統計情報生成部２４９と、非重要信号推定部２５０と、を備える。
【００２７】
音声周波数変換部２４１は、予め定められた時間帯単位で、補正の対象となる再生音声信号の周波数特性を算出する。
【００２８】
以下、予め定められた時間帯を、本実施形態ではオーディオフレームと（またはフレームと）称する。本実施形態では、フレーム間隔は、数十ミリ秒単位とするが、実施の態様に応じて適切な値が設定されればよい。つまり、音声周波数変換部２４１は、数十ミリ秒単位で、再生音声信号の周波数特性を算出する。
【００２９】
環境音周波数変換部２４２は、オーディオフレーム単位で、マイクロフォン６８を介して外部から集音した環境音信号の周波数特性を算出する。
【００３０】
マスキングレベル算出部２４３は、環境音周波数変換部２４２から算出された環境音信号の周波数特性を解析して、マスキングレベルを算出する。マスキングレベル算出部２４３は、算出したマスキングレベルをゲイン算出部２４４に供給する。マスキングレベルは、再生音信号が現在の環境音信号により聞こえなくならないように、定められた基準とする。当該マスキングレベルを上回ることで、ユーザは、再生音声信号を快適に聞くことができる。
【００３１】
音種別判定部２４８は、再生音声信号からオーディオフレーム単位で算出された周波数特性と、雑音成分（非重要信号成分）を含むか否かを判定する判定式と、に基づいて、雑音成分を含む高雑音時間帯と、高雑音成分が少ない音声時間帯と、を判定する。この再生音声信号に含まれている雑音成分とは、例えば、拍手や雑踏などが該当する。
【００３２】
ところで、拍手や、雑踏雑音など、「ノイズ」として分類したい音種別は、音種別毎に音響特性が異なっている。そこで、音種別判定部２４８は、音種別毎に複数の判別式を保持し、これら判別式でノイズと分類したい音種別を判定することで、各音種別を高精度で判定する。なお、これら判別式の重み付け係数は、オフライン学習により設定したものとするが、ユーザが自分で設定したものでもよい。  
【００３３】
本実施形態では、不揮発性メモリ６７が、各フレームが拍手を含むか否かの度合いを判定する判別式や、各フレームが雑踏音を含んでいるか否かの度合いを判定する判別式のほか、音声であるか否かの度合いを判別する判別式や、音楽であるか否かの度合いを判別する判別式などを記憶する。
【００３４】
そして、音種別判定部２４８は、フレーム単位の再生音声信号の周波数特性に対して、これら判別式を用いて、拍手や雑踏音などの非重要成分を含んでいるかを判定する。なお、音種別判定部２４８の判別対象は、拍手や雑踏音を含んでいるか否かに制限するものではなく、他の雑音等を判別しても良い。
【００３５】
図３は、音種別判定部２４８により判定された後の音声時間帯を示した図である。図３に示す例では、音種別判定部２４８による判定結果に基づいて、通常の音声のみが含まれている通常の音声時間帯から、音声の他に拍手が含まれている音声＋拍手時間帯に移行していることが認識できる。なお、音声時間帯を音楽時間帯と読み替えても良い。
【００３６】
そして、本実施形態では、音声＋拍手時間帯を、音声時間帯に基づいてゲインの調整を行うこととした。そのために、Hist＿pastは、拍手が生じる前の通常の音声時間帯の周波数特性から、統計情報生成部２４９により算出された統計情報とする。
【００３７】
統計情報生成部２４９は、再生音声信号の周波数特性について、過去一定時間においてフレーム単位毎に予め定められた周波数帯域毎にパワー値が規定値以上になる出現度合いを示した統計情報を生成する。なお、周波数帯域の間隔は、実施の態様によって定められるものとする。
【００３８】
統計情報は、周波数特性の出現度合いを示した情報であればよく、上記出現頻度に基づく情報（ヒストグラム）の他に、例えば、周波数帯域毎のパワー値の平均値、パワー値を規定のレンジで離散化した中央値、周波数特性の出現頻度を示したヒストグラムなどが考えられる。本実施形態では、ヒストグラムを用いた例について説明する。
【００３９】
非重要信号推定部２５０は、音声時間帯に含まれる出現頻度より、雑音時間帯（例えば音声＋拍手時間帯）に含まれる出現頻度のほうが大きい周波数帯域を示した雑音周波数帯域を抽出する。そして、非重要信号推定部２５０は、抽出された雑音周波数帯域が、雑音等の非重要信号成分を主に含む周波数帯域として推定する。特に本実施形態にかかる非重要信号推定部２５０では、雑音時間帯のヒストグラムと、音声時間帯のヒストグラムとの差が予め定められた基準以上の周波数帯域を、雑音周波数帯域（非重要信号周波数帯域）として抽出する。
【００４０】
図４は、統計情報生成部２４９により生成された、雑音成分が少ない音声時間帯のヒストグラムを示したグラフである。図４に示すヒストグラムは、図３の通常の音声時間帯に含まれるフレームの周波数特性から生成されたヒストグラムとする。
【００４１】
図５は、統計情報生成部２４９により生成された、雑音成分が多い雑音音声時間帯のヒストグラムを示したグラフである。図５に示すヒストグラムは、図３の音声＋拍手時間帯に含まれるフレームの周波数特性から生成されたヒストグラムとする。
【００４２】
本実施形態では、音種別判定部２４８による音種別の判定で、拍手が重畳した時点として、図３に示す時刻Ｔ1を検出できる。時刻Ｔ1では、通常の音声に拍手音が重畳した周波数特性に基づくヒストグラム（統計情報）Hist＿curを得られる。なお、時刻Ｔ1より前の通常の音声の周波数特性に基づくヒストグラム（統計情報）をHist＿pastとする。
【００４３】
ここで、ヒストグラムHist＿curは、拍手が生じる前のフレームの周波数特性を含めて統計化すると、拍手後の周波数特性の情報が埋もれてしまいやすい。したがって、拍手後の規定時間分のフレームの周波数特性から生成する。
【００４４】
いずれにせよ、本実施形態では、時刻Ｔ1以降に生成したヒストグラムHist＿curは、時刻Ｔ1より前のヒストグラムHist＿pastに拍手（非重要成分）が重畳されたヒストグラムを意味する。換言すれば、音種別判定にて拍手重畳を検出した時刻Ｔ1以降に生成したヒストグラムHist＿curと、時刻Ｔ1より前のヒストグラムHist＿pastとの差分は、拍手（非重要成分）を示した頻度となる。
【００４５】
つまり、図５に示すヒストグラムHist＿curのうち、点線より上の部分がヒストグラムHist＿pastより重畳された部分であり、拍手を示す雑音成分とみなすことができる。
【００４６】
そこで、非重要信号推定部２５０は、ヒストグラムHist＿curとヒストグラムHist＿pastの差分を算出し、重畳した拍手の周波数分布を示す情報を抽出する。
【００４７】
図６は、非重要信号推定部２５０により算出されたヒストグラムHist＿curとヒストグラムHist＿pastの差分を示した図である。図６に示す例では、ThHistDiffが、閾値とする。そして、閾値ThHistDiffより差分が大きい周波数帯域５０１が、重畳されている非重要成分（例えば拍手などの雑音成分）の周波数特性が特徴的に出ている帯域だと推定できる。
【００４８】
図６に示す例では、非重要信号推定部２５０は、周波数帯域ｆ、ｇ、ｈを、非重要成分を多く含む雑音周波数帯域（非重要信号周波数帯域）として抽出する。
【００４９】
そして、非重要信号推定部２５０が抽出した、非重要信号周波数帯域は、ゲイン算出部２４４に出力される。
【００５０】
ゲイン算出部２４４は、マスキングレベル算出部２４３から供給されたマスキングレベルと、音声信号の周波数特性と、非重要信号推定部２５０により抽出された非重要信号周波数帯域と、に基づいて、周波数帯域毎に音声信号がマスキングレベルを超えるためのマスキングゲインを算出する。ゲイン算出部２４４は、算出したマスキングゲインをゲイン制御部２４５に出力する。
【００５１】
その際、ゲイン算出部２４４は、再生音声信号の周波数特性を、環境音信号の周波数特性を示したマスキングレベルに基づいてマスキングゲインを算出する際に、非重要信号周波数帯域のマスキングゲインを、他の周波数帯域より抑制する。
【００５２】
つまり、本実施形態にかかるゲイン算出部２４４は、非重要信号推定部２５０により抽出された非重要信号周波数帯域に限り、音声信号がマスキングレベルを超えるためのゲインの算出を行わず、増音が抑制されたゲインを算出する。なお、増音の抑制手法は、どのような手法を用いても良い。例えば、ゲイン算出部２４４が、非重要周波数に限り、周波数特性のゲイン補正を行わない、又は他の周波数帯用に算出されたゲインに１以下の係数を乗算した値をマスキングゲインとして算出しても良い。
【００５３】
図７は、時刻Ｔ1以降で拍手が重畳されている再生音声信号の周波数特性と、環境音信号から算出されたマスキングレベルと、を示した図である。図７の環境音マスキングは、周波数単位で算出されたマスキングレベルを折れ線で示したものである。そして、周波数帯域６０１が、非重要信号推定部２５０により抽出された周波数帯域ｆ、ｇ、ｈを含んだ（近似した）周波数帯域である。そして、ゲイン算出部２４４は、周波数特性６０２に対して増音を抑制することで、拍手などの非重要成分（雑音成分）が強調されるのを抑止する。
【００５４】
なお、非重要信号推定部２５０で抽出される周波数帯域の単位と、ゲイン算出部２４４でマスキングゲインが算出される周波数帯域の単位と、は同一でなくとも良い。同一でない場合、ゲイン算出部２４４は、非重要信号推定部２５０により抽出された非重要信号周波数帯域を含む周波数帯域について、増音を抑制するようマスキングゲインを求めればよい。
【００５５】
本実施形態では、ゲイン算出部２４４が、増音が抑制されたマスキングゲインを算出することで、音声でも音楽でもない非重要信号成分が強調されることを防ぐことを抑止する。
【００５６】
ゲイン制御部２４５は、ゲイン算出部２４４により算出されたマスキングゲインに基づいて、周波数帯域毎にゲインを決定する。ゲイン制御部２４５は、決定したゲインをマスキングイコライザ２４６に供給する。
【００５７】
マスキングイコライザ２４６は、ゲイン制御部２４５から供給されたゲインに基づいて音声信号を補正する。
【００５８】
本実施形態にかかるマスキングイコライザ２４６は、ゲイン制御部２４５により決定されたゲインで補正を行うことで、再生音声信号の周波数特性６０２を、環境音信号の周波数特性に基づいて補正する際に、非重要信号周波数帯域の補正が、非重要信号周波数帯域以外の周波数帯域６０１より抑制されることになる。
【００５９】
図８は、マスキングイコライザ２４６により補正された後の再生音声信号の周波数特性を示した図である。図８に示すように、マスキングイコライザ２４６は、非重要成分を含まない周波数特性７０２のうち、環境音マスキングレベル以下の周波数特性に対して、環境音マスキングレベル以上になるよう、ゲイン補正により増音する。
【００６０】
一方、非重要成分を多く含むと判定された周波数帯域７０１は、環境音マスキングレベル以下であっても増音は抑制される。増音抑制方法としては、例えば、全く補正しない（図８に示す例)、又は環境音マスキングレベルに基づく通常の（非重要成分を含まない)ゲイン補正に係数γ（＜１．０）を乗算した補正量でゲイン補正を行うことで、非重要成分（拍手などの雑音成分）を抑制することができる。これにより、環境音マスキングレベル以下の周波数特性７０３、７０４が含まれる。
【００６１】
逆周波数変換部２４７は、マスキングイコライザ２４６後の再生音声のスペクトルパワーを時間領域信号に戻す逆周波数変換処理を行う。
【００６２】
次に、本実施の形態にかかるデジタルテレビジョン放送表示装置１における、音声信号の補正処理について説明する。図９は、本実施の形態にかかるデジタルテレビジョン放送表示装置１における上述した処理の手順を示すフローチャートである。
【００６３】
まず、音声周波数変換部２４１は、入力された再生音声信号に対して、フレーム単位でＦＦＴを行い、フレーム単位で周波数特性を算出する（ステップＳ８０１）。次に、音種別判定部２４８が、フレーム単位の周波数特性と、判別式と、に基づいて音種別適合度合いを算出し、フレーム毎にどのような音声種別の時間帯域であるかを特定する（ステップＳ８０２）。これにより、通常の音声時間帯や、音声＋拍手時間帯などが特定される。
【００６４】
一方、統計情報生成部２４９は、各オーディオフレームの周波数帯域毎の統計情報（ヒストグラム）を生成する（ステップＳ８０３）。
【００６５】
その後、非重要信号推定部２５０が、特定された時間帯毎の音声種別と、フレームの周波数帯域毎の統計情報（ヒストグラム）とに基づいて、雑音を含んだ時間帯における雑音周波数帯域（非重要信号周波数帯域）を抽出する（ステップＳ８０４）。
【００６６】
また、環境音周波数変換部２４２は、入力された環境音信号に対して、フレーム単位でＦＦＴを行い、フレーム単位で周波数特性を算出する（ステップＳ８０５）。
【００６７】
その後、マスキングレベル算出部２４３は、環境音周波数変換部２４２から算出された環境音信号の周波数特性を解析して、マスキングレベルを算出する（ステップＳ８０６）。
【００６８】
そして、ゲイン算出部２４４は、マスキングレベルと、音声信号の周波数特性と、非重要信号周波数帯域とから、マスキングゲインを算出する（ステップＳ８０７）。
【００６９】
次に、ゲイン制御部２４５は、マスキングゲインに基づいて、周波数帯域毎にゲインを決定する（ステップＳ８０８）。本実施形態にかかるゲイン制御部２４５は、ゲインの平滑化を行い、最終的なイコライザ制御情報を生成している。
【００７０】
そして、マスキングイコライザ２４６は、ゲイン制御部２４５から供給されたゲインに基づいて再生音声信号をマスキングイコライザ補正する（ステップＳ８０９）。
【００７１】
その後、逆周波数変換部２４７は、マスキングイコライザ補正後の周波数領域の信号に対して逆ＦＦＴを適用し、補正された再生音声信号を出力する（ステップＳ８１０）。なお、環境音に対するマスキングイコライザ補正については、従来から用いられている補正処理を行うものとして説明を省略する。
【００７２】
このように本実施形態にかかるデジタルテレビジョン放送表示装置１では、統計情報と音種別の判定結果とに基づいて、再生音声信号の非重要信号周波数帯域を特定し、特定された非重要信号周波数帯域について増音を抑制する。
【００７３】
次に、本実施の形態にかかるデジタルテレビジョン放送表示装置１の統計情報生成部２４９における、図９のステップＳ８０３で示した統計情報の生成処理について説明する。図１０は、本実施の形態にかかる統計情報生成部２４９における上述した処理の手順を示すフローチャートである。
【００７４】
まず、統計情報生成部２４９は、ＦＦＴ後の音声信号の周波数特性を、適切な数の周波数帯域毎に分割する（ステップＳ９０１）。次に、統計情報生成部２４９は、分割された周波数帯域毎に、当該周波数帯域におけるパワーを算出する（ステップＳ９０２）。
【００７５】
そして、統計情報生成部２４９は、雑音が生じ始めた時刻Ｔ1より前のフレーム（過去フレーム）のパワー配列を用いて、過去の統計情報（ヒストグラム）Hist＿pastを生成する（ステップＳ９０３）。ここで、過去フレームのパワーの統計情報を生成することで、各周波数帯域の出現頻度に関する情報が得られる。
【００７６】
さらに、統計情報生成部２４９は、雑音が生じ始めた時刻Ｔ1より後から現在のフレーム（現フレーム）までの規定時間分のフレームに関する各周波数帯域のパワー分布を、現フレームの統計情報（ヒストグラム）Hist＿curとして生成する（ステップＳ９０４）。
【００７７】
次に、本実施の形態にかかるデジタルテレビジョン放送表示装置１の非重要信号推定部２５０における、図９のステップＳ８０４で示した非重要信号周波数帯域の抽出処理について説明する。図１１は、本実施の形態にかかる非重要信号推定部２５０における上述した処理の手順を示すフローチャートである。
【００７８】
ところで、図１１に示すフローチャートの処理の前に、音種別判定部２４８より出力される音種別適合度合いとしてＭｓＳＬｖ、ＳｐＬｖ、ＥｌｓｅＬｖが算出されている。ＭｓＳＬｖは、当該フレームが「音楽」である確からしさを示している。ＳｐＬｖは、当該フレームが「音声」である確からしさを示している。ＥｌｓｅＬｖは、当該フレームが「音楽でも音声でもない非重要成分」である確からしさを示している。ＥｌｓｅＬｖは、具体的には拍手や街頭撮影に起因する雑踏音等、人の耳に対する重要度が比較的低く、増音などの補正が適用されることでかえって聞き苦しさにつながるような音成分を意味する。なお、これらの算出手法は、それぞれの確からしさを判別するために設定された判別式を用いることで、算出できるものとして、説明を省略する。そして、図１１に示す処理フローでは、これらのうち、音楽でも音声でもない非重要成分であるＥｌｓｅＬｖを用いる。
【００７９】
まず、非重要信号推定部２５０は、現フレームのElseLvについて、現フレームを含んだ所定の短時間Ｔsにおける平均値ElseLvTsAvgと、現フレームを含んだ長時間Ｔlにおける平均値ElseLvTlAvgを算出する（ステップＳ１００１）。短時間Ｔsとしては、例えば数十ミリ秒〜数百ミリ秒とする。長時間Ｔlとしては、例えば数秒とする。
【００８０】
その後、非重要信号推定部２５０は、ElseLvTsAvg＞ElseLvTlAvg*αとなるか否かを判定する（ステップＳ１００２）。係数αは、ある程度のマージンを取るための補正係数とする。
【００８１】
そして、非重要信号推定部２５０は、ElseLvTsAvg＞ElseLvTlAvg*αではないと判定した場合（ステップＳ１００２：Ｎｏ）、非重要信号成分の重畳がないか、無視できるほど小さいとみなせるので、通常通りの環境音マスキングイコライザ処理に進む。
【００８２】
一方、非重要信号推定部２５０は、ElseLvTsAvg＞ElseLvTlAvg*αであると判定した場合（ステップＳ１００２：Ｙｅｓ）、音声でも音楽でもない非重要信号の成分が急上昇したものとみなす。そして、この非重要信号の成分に対してマスキング補正を行うと、雑音など成分が増音されることになり、聞き苦しさを増加させる要因となる。
【００８３】
そこで、非重要信号推定部２５０は、現フレームのヒストグラムHist＿curから、過去フレームのヒストグラムHist＿pastを、予め定められた周波数帯域毎に差し引いて、周波数帯域毎の差分ヒストグラムHistDiffを算出する（ステップＳ１００３）。
【００８４】
その後、非重要信号推定部２５０は、周波数帯域毎に、差分ヒストグラムHistDiffから、閾値ThHistDiffを差し引いて、Bin[a:n]を算出する（ステップＳ１００４）。なお、変数ａ〜ｎは、処理が行われた各周波数帯域を示している。
【００８５】
そして、非重要信号推定部２５０は、Bin[a:n]のうち、成分が０以上である周波数帯域を抽出し、非重要信号成分を多く含む周波数帯域として出力する（ステップＳ１００５）。出力する際に、非重要信号成分を多く含む周波数帯域を示す情報に加えて、当該周波数帯域においてThHistDiffを差し引いた残差値情報を出力しても良い。
【００８６】
そして、出力された非重要信号成分を多く含む周波数帯域に基づいて、マスキングゲインが決定される。
【００８７】
なお、本実施形態にかかるデジタルテレビジョン放送表示装置１では、再生音声信号のうち、音声でも音楽でもない非重要信号の成分が強くなった瞬間に、強くなった成分を含む周波数帯域が高い確度で特定し、当該周波数帯域について増音しないようゲイン制御することとした。これにより、雑音等が増音されるのを抑止し、不快な副作用のないイコライザを実現することが可能となる。このように、不快な成分の強調が抑止されているため、ユーザに対してより快適な音声信号を提供できる。
【００８８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８９】
１…デジタルテレビジョン放送表示装置、６８…マイクロフォン、２４１…音声周波数変換部、２４２…環境音周波数変換部、２４３…マスキングレベル算出部、２４４…ゲイン算出部、２４５…ゲイン制御部、２４６…マスキングイコライザ、２４７…逆周波数変換部、２４８…音種別判定部、２４９…統計情報生成部、２５０…非重要信号推定部
【図１】
2013164518.tif 000003
【図２】
2013164518.tif 000004
【図３】
2013164518.tif 000005
【図４】
2013164518.tif 000006
【図５】
2013164518.tif 000007
【図６】
2013164518.tif 000008
【図７】
2013164518.tif 000009
【図８】
2013164518.tif 000010
【図９】
2013164518.tif 000011
【図１０】
2013164518.tif 000012
【図１１】
2013164518.tif 000013