(57)【要約】【課題】より実際の音に近い音を再生することができるようにする。【解決手段】音声データ処理装置１は、音声データに基づき復号された原音の時間領域信号を周波数領域信号へ変換し、原音においてカットされた高周波領域の周波数ｆａ成分の補間に際し、原音の周波数領域信号内の周波数ｆａ／３に対する振幅情報を抽出し、該振幅情報に１／３を乗じたものを周波数ｆａの振幅情報Ａａとした第１の補間用周波数領域信号を生成し、原音の周波数領域信号内の周波数ｆａ／２に対する振幅情報を抽出し、該振幅情報に１／２を乗じたものを周波数ｆａの振幅情報Ａｅとした第２の補間用周波数領域信号を生成し、第１の補間用周波数領域信号を時間領域信号に変換した信号と、第２の補間用周波数領域信号を時間領域信号に変換した信号と、を合成する高周波補間部３０を有し、合成された時間領域信号と原音の時間領域信号を合成する。【選択図】図１
2017009743.tif 000002
【特許請求の範囲】
【請求項１】
音声データに基づき復号された原音の時間領域信号に対し、前記原音においてカットされた高周波領域の周波数成分の補間を行う高周波補間部を備えた音声データ処理装置であって、
前記高周波補間部は、
前記復号された原音の時間領域信号を周波数領域信号へ変換する変換部と、
前記カットされた高周波領域の周波数ｆａ成分の補間に際し、前記原音の周波数領域信号内の周波数ｆａ／（２ｎ＋１）（ｎは正の整数）に対する振幅情報を抽出し、該抽出した振幅情報に１／（２ｎ＋１）を乗じたものを前記周波数ｆａの振幅情報Ａａとした第１の補間用周波数領域信号を生成する第１補間用信号生成部と、
前記原音の周波数領域信号内の周波数ｆａ／２ｎに対する振幅情報を抽出し、該抽出した振幅情報に１／２ｎを乗じたものを前記周波数ｆａの振幅情報Ａｅとした第２の補間用周波数領域信号を生成する第２補間用信号生成部と、
前記第１の補間用周波数領域信号を時間領域信号に変換した信号と、前記第２の補間用周波数領域信号を時間領域信号に変換した信号と、を合成する合成部を有することを特徴とした音声データ処理装置。
【請求項２】
前記高周波補間部は、前記原音の時間領域信号に対し、前記周波数ｆａ／２ｎを通すフィルタをかけ、該フィルタをかけた前記原音の時間領域信号の最大値から最小値までの時間間隔Ｔｉｎが４ｎ／ｆａであるか否か判定する判定部を有し、
前記第２補間用信号生成部は、前記周波数ｆａ／２ｎを通すフィルタをかけた前記原音の時間間隔Ｔｉｎが４ｎ／ｆａである場合、前記周波数ｆａの振幅情報Ａｅを０とすることを特徴とした請求項１に記載の音声データ処理装置。
【請求項３】
前記合成部は、前記第１の補間用周波数領域信号を時間領域信号に変換した信号と、前記第２の補間用周波数領域信号を時間領域信号に変換した信号と、を混合比を調整可能に合成することを特徴とする請求項１または２に記載の音声データ処理装置。
【請求項４】
請求項１〜３のいずれか１項に記載の音声データ処理装置を備えることを特徴とする電子機器。
【請求項５】
テレビジョン受信機であることを特徴とする請求項４に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データに基づき復号された原音の高周波成分を補間する音声データ処理装置及び該音声データ処理装置を備えた電子機器に関する。
【背景技術】
【０００２】
近年、テレビの高画質化、高解像度化と共に高音質化も望まれており、いわゆるハイレゾリューション音源（以下、ハイレゾ音源）に対応したテレビも出てきている。ハイレゾ音源には、今まで人間の可聴限界と考えられ圧縮時にカットされていた20kHzを超える周波数成分も含まれる。近年、上記可聴限界を超える周波数成分に対しても人間が感受性を有することが判明してきたからである。
【０００３】
上述のようにハイレゾ音源に対応し高周波成分も再現するテレビ等のＡＶ（Audio Visual）機器が出てきている中で、そのＡＶ機器に入力される放送の音声データやＣＤの音声データは、ハイレゾ音源用のデータではなく、多くはデータ圧縮により高周波領域がカットされたもののままである。ハイレゾ音源に対応したＡＶ機器であっても入力データがハイレゾ音源対応のデータでない場合、再生される音は高周波成分を含まないものとなる。その場合でも高周波成分が含まれるようにするためには高周波成分を補間する必要がある。
【０００４】
特許文献１に開示の高周波成分補間方法では、まず、ＭＰ３（MPEG-1 Audio Layer 3）規格で不可逆圧縮された音声データを実際の音に近い音域で再生するため、ＭＰ３音声データの周波数成分から基音を抽出し、この基音から倍音となる周波数成分を生成し、生成した倍音の周波数成分のうち、圧縮時にカットされた領域の周波数成分のみを残し、その他をカットし、その周波数成分を増幅する。そして、ＭＰ３音楽データから音色の時間的変化特性を抽出し、この時間的変化特性に基づいて、上記増幅された周波数成分と、元のＭＰ３音声データの周波数成分と、を合成して再生する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３２４９９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、実際の音には基音とその倍音以外の成分も含まれるため、特許文献１に開示の方法では実際の音を再現するのには十分とはいえない。
【０００７】
本発明は、上述のような実情に鑑みてなされたものであり、より実際の音に近い音を再生することができる音声データ処理装置及び該音声データ処理装置を備える電子機器を提供することをその目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の第１の技術手段は、音声データに基づき復号された原音の時間領域信号に対し、前記原音においてカットされた高周波領域の周波数成分の補間を行う高周波補間部を備えた音声データ処理装置であって、前記高周波補間部が、前記復号された原音の時間領域信号を周波数領域信号へ変換する変換部と、前記カットされた高周波領域の周波数ｆａ成分の補間に際し、前記原音の周波数領域信号内の周波数ｆａ／（２ｎ＋１）（ｎは正の整数）に対する振幅情報を抽出し、該抽出した振幅情報に１／（２ｎ＋１）を乗じたものを前記周波数ｆａの振幅情報Ａａとした第１の補間用周波数領域信号を生成する第１補間用信号生成部と、前記原音の周波数領域信号内の周波数ｆａ／２ｎに対する振幅情報を抽出し、該抽出した振幅情報に１／２ｎを乗じたものを前記周波数ｆａの振幅情報Ａｅとした第２の補間用周波数領域信号を生成する第２補間用信号生成部と、前記第１の補間用周波数領域信号を時間領域信号に変換した信号と、前記第２の補間用周波数領域信号を時間領域信号に変換した信号と、を合成する合成部を有することを特徴としたものである。
【０００９】
本発明の第２の技術手段は、第１の技術手段において、前記高周波補間部が、前記原音の時間領域信号に対し、前記周波数ｆａ／２ｎを通すフィルタをかけ、該フィルタをかけた前記原音の時間領域信号の最大値から最小値までの時間間隔Ｔｉｎが４ｎ／ｆａであるか否か判定する判定部を有し、前記第２補間用信号生成部は、前記周波数ｆａ／２ｎを通すフィルタをかけた前記原音の時間間隔Ｔｉｎが４ｎ／ｆａである場合、前記周波数ｆａの振幅情報Ａｅを０とすることを特徴としたものである。
【００１０】
本発明の第３の技術手段は、第１または第２の技術手段において、前記合成部が、前記第１の補間用周波数領域信号を時間領域信号に変換した信号と、前記第２の補間用周波数領域信号を時間領域信号に変換した信号と、を混合比を調整可能に合成することを特徴としたものである。
【００１１】
本発明の第４の技術手段は、第１〜第３のいずれか１の技術手段の音声データ処理装置を備えることを特徴とした電子機器である。
【００１２】
本発明の第５の技術手段は、第４の技術手段の音声データ処理装置がテレビジョン受信機であることを特徴としたものである。
【発明の効果】
【００１３】
本発明によれば、より実際の音に近い音を再生することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施例に係る音声データ処理装置を説明するためのブロック図である。
【図２】原音の時間領域信号を示す図である。
【図３】原音の高周波成分が補間された時間領域信号を示す図である。
【図４】原音のカットオフ周波数の検出方法を説明するための図である。
【図５】原音の単位時間毎の周波数領域信号の一例を示す図である。
【図６】高周波成分の補間に用いられる第１の補間用周波数領域信号の生成処理を説明するための図である。
【図７】高周波成分の補間に用いられる第２の補間用周波数領域信号の生成処理を説明するための図である。
【図８】図１の音声データ処理装置の判定部における判定処理を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら、本発明に係る音声データ処理装置及び電子機器の好適な実施形態について説明する。なお、以下の発明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することがある。
【００１６】
（第１の実施例）
図１は、本発明の第１の実施例に係る音声データ処理装置を説明するためのブロック図である。図２は、図１の音声データ処理装置の復号部が復号した原音の時間領域信号を示す図である。図３は、図１の音声データ処理装置により原音の高周波成分が補間された時間領域信号を示す図である。図４は、図１の音声データ処理装置の帯域検出部におけるカットオフ周波数の検出処理を説明するための図である。図５は、原音の単位時間毎の周波数領域信号の一例を示す図である。図６は、上記高周波成分の補間に用いられる第１の補間用周波数領域信号の生成処理を説明するための図である。図７は、上記高周波成分の補間に用いられる第２の補間用周波数領域信号の生成処理を説明するための図である。図８は、図１の音声データ処理装置の判定部における判定処理を説明するための図である。
【００１７】
図の音声データ処理装置１は、復号部１０、アップサンプリング部２０、高周波補間部３０、合成部５０と、を備える。
【００１８】
復号部１０は、音声データ処理装置１に入力された不可逆圧縮された音声データを復号して図２に示すような原音の時間領域信号を生成する。なお、不可逆圧縮の方式としては、ＭＰ３、ＡＡＣ（Advanced Audio Coding）等が考えられる。
アップサンプリング部２０は、復号部１０が復号した原音の時間領域信号を不可逆圧縮時の２倍のサンプリングレートでアップサンプリングする。
【００１９】
高周波補間部３０は、原音の時間領域信号に含まれていない高周波成分を補間するためのデータを生成するものであって、アップサンプリング部２０によりアップサンプリングされた原音の時間領域信号に基づいて上記高周波成分を補間するデータを生成する。高周波補間部３０が出力するデータは時間領域のデータである。高周波補間部３０における具体的な処理例については後述する。
合成部５０は、復号部１０が復号しアップサンプリング部によりアップサンプリングされた原音の時間領域信号と、高周波補間部３０から出力された高周波補間用の時間領域のデータとを合成して出力するものである。
【００２０】
このような構成により、音声データ処理装置１では、図３のような時間領域信号の音声、すなわち、図２の原音の時間領域信号には含まれていなかった高周波成分も含む時間領域信号の音声を出力することができるようになっている。
【００２１】
音声データ処理装置１の特徴部に係る高周波補間部３０は、帯域検出部３１、周波数領域変換部３２、奇数倍高調波生成部３３、第１ゲイン乗算部３４、第１再変換部３５、判定部３６、偶数倍高調波生成部３７、第２ゲイン乗算部３８、第２再変換部３９、合成部４０と、を有する。
【００２２】
帯域検出部３１は、原音の時間領域信号に含まれる周波数の帯域を検出するため、後述のカットオフ周波数を検出するものである。帯域検出部３１は、例えば、復号部１０から入力される原音の時間領域信号のうち、初めの数秒間のものについてフーリエ変換等を用いて図４に示すような周波数ヒストグラムを作成し、度数が閾値以下となったことが検知された周波数をカットオフ周波数ｆｃとして検出する。なお、度数が閾値以下となった周波数が複数ある場合は、最大のものをカットオフ周波数ｆｃとする。また、カットオフ周波数ｆｃの判定方法は上述の例に限られない。例えば、不可逆圧縮された音声データにカットオフ周波数に係る情報を付与しておき、該情報が帯域検出部３１に入力されるようにし、帯域検出部３１が該情報に基づいてカットオフ周波数を判定してもよい。帯域検出部３１により検出されたカットオフ周波数ｆｃは奇数倍高調波生成部３３と偶数倍高調波生成部３７に出力される。なお、以下では、カットオフ周波数ｆｃが２４ｋＨＺであったものとして説明する。
【００２３】
周波数領域変換部３２は、アップサンプリング部２０によりアップサンプリングされた原音の単位時間毎の時間領域信号を、ＦＦＴ（Fast Fourier Transform）アナライザやイコライザで使われているような一般的な手法で、図５に示すような原音の単位時間毎の周波数領域信号に変換する。変換された原音の単位時間毎の周波数領域信号は、奇数倍高調波生成部３３と偶数倍高調波生成部３７に出力される。
【００２４】
奇数倍高調波生成部３３は、原音の単位時間毎の周波数領域信号の補間領域、すなわちカットオフ周波数ｆｃより大きくカットオフ周波数ｆｃの２倍以下の領域を、カットオフ周波数ｆｃ以下の周波数の振幅（レベル）情報に基づいて補間する。
奇数倍高調波生成部３３は、例えば、図６（Ａ）に示すような単位時間毎の周波数領域信号に含まれる８ｋＨＺより大きく１６ｋＨＺ以下の周波数の振幅情報に基づいて、２４ｋＨＺより大きく４８ｋＨＺ以下の周波数の振幅情報を補間する。より具体的には、奇数倍高調波生成部３３は、２４ｋＨＺ＜ｆａ≦４８ｋＨＺである補間領域の周波数ｆａの振幅情報として、周波数ｆａ／３の振幅情報を加算し、図６（Ｂ）のような周波数領域信号のデータを作成する。例えば４８ｋＨＺの振幅情報としては周波数１６ｋＨＺの振幅情報が加算される。周波数ｆａの間隔は例えば０．３ｋＨＺである。
【００２５】
第１ゲイン乗算部３４は、奇数倍高調波生成部３３から出力された図６（Ｂ）の周波数領域信号のデータに対して、各周波数ｆａの振幅情報に第１のゲインとして１／３を乗じ、該乗じたものを各周波数ｆａの振幅情報Ａａとした図６（Ｃ）のような第１の補間用周波数領域信号を生成する。本発明の「第１の補間用信号生成部」は奇数倍高調波生成部３３と第１ゲイン乗算部３４により構成することができる。
【００２６】
第１再変換部３５は、第１ゲイン乗算部３４から出力された第１の補間用周波数領域信号を、例えば逆フーリエ変換などを行い、時間領域信号に変換し、合成部４０に出力する。変換の際、補間領域の周波数ｆａについて位相情報が必要な場合、周波数ｆａ／３についての位相情報を用いる。
【００２７】
判定部３６は、不可逆圧縮された音声データに基づき復号された時間領域信号内に対し、複数ある周波数ｆａ／２のうち１つの周波数ｆａ／２を通すフィルタをかけ、該フィルタをかけた原音の時間領域信号が後述の所定の条件を満たすか否か判定する。
【００２８】
偶数倍高調波生成部３７は、奇数倍高調波生成部３３と同様に、原音の周波数領域信号に含まれるカットオフ周波数ｆｃ以下の周波数の振幅情報に基づいて、補間領域の周波数の振幅情報を補間するものである。しかし、偶数倍高調波生成部３７は、奇数倍高調波生成部３３とは異なり、補間領域の周波数ｆａの振幅値として、周波数領域信号内の周波数ｆａ／２に対する振幅値または０を加算する。
【００２９】
偶数倍高調波生成部３７は、例えば、図７（Ａ）に示すような原音の単位時間毎の周波数領域信号に含まれる１２ｋＨＺより大きく２４ｋＨＺ以下の周波数の振幅情報に基づいて、２４ｋＨＺより大きく４８ｋＨＺ以下の周波数の振幅情報を補間する。その際、偶数倍高調波生成部３７は、２４ｋＨＺ＜ｆａ≦４８ｋＨＺの補間領域の周波数ｆａの振幅情報として、図７（Ｂ）のように周波数ｆａ／２の振幅情報または０を加算する。０を加算する場合とは、判定部３６での判定の結果、周波数ｆａ／２を通すフィルタをかけた原音の時間領域信号が所定の条件を満たす場合である。偶数倍高調波生成部３７における周波数ｆａの間隔は例えば０．３ｋＨＺとして奇数倍高調波生成部３３と同じとしてもよいし、異ならせても良い。
【００３０】
第２ゲイン乗算部３８は、偶数倍高調波生成部３７から出力された図７（Ｂ）の周波数領域信号のデータに対して、各周波数ｆａの振幅情報に第２のゲインとして１／２を乗じ、該乗じたものを各周波数ｆａの振幅情報Ａｅとした図７（Ｃ）のような第２の補間用周波数領域信号を作成する。本発明の「第２補間用信号生成部」は偶数倍高調波生成部３７と第２ゲイン乗算部３８により構成することができる。
【００３１】
第２再変換部３９は、第２ゲイン乗算部３８から出力された第２の補間用周波数領域信号を、例えば逆フーリエ変換などを行い、時間領域信号に変換し、合成部４０に出力する。変換の際、補間領域の周波数ｆａについて位相情報が必要な場合、周波数ｆａ／２についての位相情報を用いる。
【００３２】
合成部４０は、第１再変換部３５からの第１の補間用周波数領域信号を変換した時間領域信号と、第２再変換部３９からの第１の補間用周波数領域信号を変換した時間領域信号とを合成して、合成部５０に出力する。
【００３３】
以上のように、音声データ処理装置１では、基音以外の音の高調波も含ませることができるので、より実際の音に近い音を再生することができるようになる。
【００３４】
なお、基音の周波数領域信号内に周波数ｆａ／３や周波数ｆａ／２の振幅情報が存在しない場合、補間領域の周波数ｆａや周波数ｆａに対する振幅情報は０となる。
また、上述のように所定の条件を満たすか否かに応じて偶数倍高調波生成部３７で高周波領域の周波数ｆａの振幅情報として周波数ｆａ／２の振幅情報か０を加算するのに代えて、偶数波高調波生成部３７では所定の条件を満たすか否かに関わらず高周波領域の周波数ｆａの振幅情報として周波数ｆａ／２の振幅情報を加算し、上記所定の条件を満たす場合には、偶数波高調波生成部３７から出力された該当する周波数ｆａの振幅情報に対して第２ゲイン乗算部３８にて０を乗ずるようにしてもよい。
【００３５】
図８は、判定部３６での判定処理について説明する図である。
判定部３６は、バンドパスフィルタ３６ａを有する。バンドパスフィルタ３６ａは、原音の時間領域信号に含まれる複数の周波数ｆａ／２のうち１つの周波数のみを選択可能に通すことができるように構成されている。
【００３６】
この判定部３６は、バンドパスフィルタ３６ａを用いて、周波数ｆａ／２それぞれについて、１つの周波数ｆａ／２を通すフィルタをかけ、該フィルタをかけた原音の時間領域信号が所定の条件を満たすか、すなわち、フィルタをかけた原音の時間領域信号の最大値から最小値までの時間間隔Ｔｉｎが４／ｆａであるか否かを判定する。判定部３６は、フィルタをかけた結果図８（Ａ）に示すように正弦波が得られる場合は、上記時間間隔Ｔｉｎは４／ｆａになるので（ｆａが１ｋＨＺであれば４×１０-4秒となるので）「所定の条件を満たす」と判定する。フィルタをかけた結果図８（Ｂ）に示すように正弦波でない時間領域信号が得られた場合、上記時間間隔Ｔｉｎは４／ｆａにはならないので「所定の条件を満たさない」と判定する。
【００３７】
偶数倍高調波生成部３７では、前述のように、高周波領域の周波数ｆａの振幅情報の補間に際し、周波数ｆａ／２を通すフィルタをかけた原音の時間領域信号が判定部３６での判定の結果、所定の条件を満たす場合は、周波数ｆａ／２の振幅情報を周波数ｆａの振幅情報として加算するが、上記所定の条件を満たさない場合は、周波数ｆａの振幅情報として０を加算する。
このようにすることによって、より実際の音に違い音声を再生することができるようになる。
【００３８】
（第２の実施形態）
第１の実施形態では、判定部３６を設けたうえで、偶数倍高調波生成部３７では、補間領域の周波数ｆａの振幅値として、周波数領域信号内の周波数ｆａ／２に対する振幅値または０を加算していた。それに対し、本実施形態では、判定部３６を設けずに、偶数倍高調波生成部３７では、補間領域の周波数ｆａの振幅値として、常に、原音の周波数領域信号内の周波数ｆａ／２に対する振幅値を加算する。
この構成によっても、高周波成分を補間し、より実際の音に違い音声を再生することができるようになる。
【００３９】
（第３の実施形態）
第１の実施形態では、合成部４０が、第１再変換部３５からの出力と第２再変換部３９からの出力とを１対１の混合比で合成していた。それに対し、第３の実施形態では、合成部４０が、第１再変換部３５からの出力と第２再変換部３９からの出力とを混合比を変えて合成することができる。混合比はユーザ入力に応じて可変としておけば、ユーザの好みにあった音声を再生することができるようになる。
【００４０】
（第４の実施形態）
第１の実施形態では、補間領域の周波数ｆａの振幅情報の補間に際し、奇数倍高調波生成部３３が、原音の周波数領域信号内の周波数ｆａ／３に対する振幅情報を抽出し、偶数倍高調波生成部３７が、原音の周波数領域信号内の周波数ｆａ／２に対する振幅情報を抽出していた。
【００４１】
それに対し、第４の実施形態では、補間領域の周波数ｆａの振幅情報の補間に際し、奇数倍高調波生成部３３が、原音の周波数領域信号内の周波数ｆａ／３に対する振幅情報の他に、周波数ｆａ／５に対する振幅情報等、周波数ｆａ／（２ｍ＋１）（ｍは２以上の正の整数）に対する振幅情報を抽出し、また、偶数倍高調波生成部３７が、原音の周波数領域信号内の周波数ｆａ／２に対する振幅情報の他に、周波数ｆａ／４に対する振幅情報等、周波数ｆａ／２ｍに対する振幅情報を抽出する。
この場合、第１ゲイン乗算部３４が周波数ｆａ／（２ｍ＋１）に対する振幅情報に乗ずる第１のゲインは１／（２ｍ＋１）であり、第２ゲイン乗算部３８が周波数ｆａ／２ｍに対する振幅情報に乗ずる第２のゲインは１／２ｍである。
【００４２】
このようにすることによって、さらに実際の音に違い音声を再生することができるようになる。
【００４３】
また、本発明は、上述の第１〜第４のいずれか１の実施形態の音声データ処理装置を備えた電子機器とすることもできる。電子機器とは、例えば、テレビジョン受信機や各種オーディオ機器である。
【符号の説明】
【００４４】
１…音声データ処理装置、１０…復号部、２０…アップサンプリング部、３０…高周波補間部、３１…帯域検出部、３２…周波数領域変換部、３３…奇数倍高調波生成部、３４…第１ゲイン乗算部、３５…第１再変換部、３６…判定部、３６ａ…バンドパスフィルタ、３７…偶数倍高調波生成部、３８…第２ゲイン乗算部、３９…第２再変換部、４０…合成部、５０…合成部。
【図１】
2017009743.tif 000003
【図２】
2017009743.tif 000004
【図３】
2017009743.tif 000005
【図４】
2017009743.tif 000006
【図５】
2017009743.tif 000007
【図６】
2017009743.tif 000008
【図７】
2017009743.tif 000009
【図８】
2017009743.tif 000010