(57)【要約】【課題】ディジタル録音時に失われた音響信号の小振幅情報を復元して音質向上を図る音響信号処理方法及び音響信号処理装置を提供する。【解決手段】既存のディジタル音響信号を上位ビット信号とし、値ゼロとする下位ビットを追加することで下位ビット拡張信号を生成する下位ビット拡張信号生成ステップＳ１と、ディジタル音響信号のフレーム長をサンプルごとに分割し、各上位ビット信号から線形予測係数を算出する初期予測係数算出ステップＳ２と、初期値をランダムに定めた予測下位ビット信号を生成する予測下位ビット信号生成ステップＳ３と、上位ビット信号と予測下位ビット信号を加算して初期予測信号を取得する初期予測信号取得ステップＳ４と、初期予測信号から予測誤差信号を算出する予測誤差信号算出ステップＳ５と、予測誤差信号が最小となるように探索し、予測下位ビット信号のビット値の最適配置を判定する最適配置判定ステップＳ６と、を備える。【選択図】図１
2020134639.tif 000002
【特許請求の範囲】
【請求項１】
既存の量子化されたディジタル音響信号である上位ビット信号に対して、値ゼロである下位ビットを追加して下位ビット拡張信号を生成する下位ビット拡張信号生成ステップと、
前記ディジタル音響信号のフレーム長をサンプルごとに分割し、それぞれの前記上位ビット信号から線形予測係数を算出する線形予測係数算出ステップと、
初期値をランダムに定めた予測下位ビット信号を生成する予測下位ビット信号生成ステップと、
前記上位ビット信号と前記予測下位ビット信号を加算して初期予測信号を取得する初期予測信号取得ステップと、
前記初期予測信号から予測誤差信号を算出する予測誤差信号算出ステップと、
前記予測誤差信号の実効値が最小化されるように探索を行い、前記予測下位ビット信号のビット値の最適配置を判定する最適配置判定ステップと、を備えることを特徴とする音響信号処理方法。
【請求項２】
前記線形予測係数算出ステップにおいて、前記線形予測係数が式（１）によって算出されることを特徴とする請求項１に記載の音響信号処理方法。
【数１】
2020134639.tif 000008
ここで、上位ビット信号：ｕｋ（ｉ）（ｉ＝１，２，…，Ｎ）、ディジタル音響信号Ｘのフレーム長Ｎ、ｍ次の線形予測係数：ａ（ｎ）（ｎ＝１，２，…，ｍ）、誤差信号：ｅ（ｉ）である。
【請求項３】
前記予測誤差信号算出ステップにおいて、前記予測誤差信号が式（２）によって算出されることを特徴とする請求項１又は２に記載の音響信号処理方法。
【数２】
2020134639.tif 000009
ここで、予測誤差信号：ｄ（ｉ）（ｉ＝１，２，…，Ｎ）、初期予測信号：ｘｋ（ｉ）（ｉ＝１，２，…，Ｎ）、定数：ｂ１である。
【請求項４】
前記最適配置判定ステップにおいて、前記予測誤差信号の実効値が疑似焼きなまし法によって最小化されることを特徴とする請求項１から３のいずれか１項に記載の音響信号処理方法。
【請求項５】
前記最適配置判定ステップの代わりに、誤差信号ｅ（ｉ）を入力として下位ビット信号を予測する多層人工ニューラルネットワークを用いることを特徴とする請求項１から４のいずれか１項に記載の音響信号処理方法。
【請求項６】
既存の量子化されたディジタル音響信号である上位ビット信号に対して、値ゼロである下位ビットを追加して下位ビット拡張信号を生成する下位ビット拡張信号生成回路と、
前記ディジタル音響信号のフレーム長をサンプルごとに分割し、それぞれの前記上位ビット信号から線形予測係数を算出する線形予測係数算出回路と、
初期値をランダムに定めた予測下位ビット信号を生成する予測下位ビット信号生成回路と、
前記上位ビット信号と前記予測下位ビット信号を加算して初期予測信号を取得する初期予測信号取得回路と、
前記初期予測信号から予測誤差信号を算出する予測誤差信号算出回路と、
前記予測誤差信号の実効値が最小化されるように探索を行い、前記予測下位ビット信号のビット値の最適配置を判定する最適配置判定回路と、
を備えることを特徴とする音響信号処理装置。
【請求項７】
前記最適配置判定回路の代わりに、上位ビット信号の線形予測誤差信号を入力とする多層人工ニューラルネットワークにより予測下位ビット信号のビット値を判定する多層人工ニューラルネット回路を備えることを特徴とする、請求項６に記載の音響信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理方法及び音響信号処理装置に関する。
【背景技術】
【０００２】
従来、音響信号の線形量子化ビット数は音楽ＣＤで採用された１６ビットが一般的であるが、近年のいわゆる「ハイレゾリューション（以下略して、「ハイレゾ」という）」フォーマットでは、それを超える量子化ビット数が求められている。アナログマスターテープやレコード原盤が残っている録音については、再度ディジタル化することで一応のハイレゾ化は可能であるが、アナログマスターテープの保管状態が良好でない、あるいは既に１６ビット量子化されたディジタルマスタしか残っていない音楽ソフトも存在する。
【０００３】
既存のディジタル信号の量子化ビット数を拡張して高音質を実現する技術については、マスタリングエンジニアの主観による高音質化処理のほかに、上位ビット波形の有限インパルス応答（ＦＩＲ）フィルタ又は無限インパルス応答（ＩＩＲ）フィルタ出力から下位ビット波形を算出する手法（例えば、特許文献１参照）や、補間によって整える手法（例えば、特許文献２参照）が開示されている。
【０００４】
しかしながら、これらの技術では、拡張されたビット情報が、本来の音響信号は持っていたが記録されていなかった微細な振幅情報を復元しているかどうか、必ずしも明らかでないという問題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２６８４４６号公報
【特許文献２】特開２０１１−１８０４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、このような事情に鑑みてなされたものであり、ディジタル録音時に失われた音響信号の小振幅情報を復元して音質向上を図る音響信号処理方法及び音響信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記目的を達成するために、以下の構成によって把握される。
（１）本発明の第１の観点は、音響信号処理方法であって、既存の量子化されたディジタル音響信号である上位ビット信号に対して、値ゼロである下位ビットを追加して下位ビット拡張信号を生成する下位ビット拡張信号生成ステップと、前記ディジタル音響信号のフレーム長をサンプルごとに分割し、それぞれの前記上位ビット信号から線形予測係数を算出する線形予測係数算出ステップと、初期値をランダムに定めた予測下位ビット信号を生成する予測下位ビット信号生成ステップと、前記上位ビット信号と前記予測下位ビット信号を加算して初期予測信号を取得する初期予測信号取得ステップと、前記初期予測信号から予測誤差信号を算出する予測誤差信号算出ステップと、前記予測誤差信号の実効値が最小化されるように探索を行い、前記予測下位ビット信号のビット値の最適配置を判定する最適配置判定ステップと、を備えることを特徴とする。
【０００８】
（２）上記（１）の構成において、前記線形予測係数算出ステップにおいて、前記線形予測係数が式（１）によって算出されてもよい。
【数１】
2020134639.tif 000003
ここで、上位ビット信号：ｕｋ（ｉ）（ｉ＝１，２，…，Ｎ）、ディジタル音響信号Ｘのフレーム長Ｎ、ｍ次の線形予測係数：ａ（ｎ）（ｎ＝１，２，…，ｍ）、誤差信号：ｅ（ｉ）である。
【０００９】
（３）上記（１）又は（２）の構成において、前記予測誤差信号算出ステップにおいて、前記予測誤差信号が式（２）によって算出されてもよい。
【数２】
2020134639.tif 000004
ここで、予測誤差信号：ｄ（ｉ）（ｉ＝１，２，…，Ｎ）、初期予測信号：ｘｋ（ｉ）（ｉ＝１，２，…，Ｎ）、定数：ｂ１である。
【００１０】
（４）上記（１）から（３）のいずれか１つの構成において、前記最適配置判定ステップにおいて、前記予測誤差信号の実効値が疑似焼きなまし法によって最小化されてもよい。
【００１１】
（５）上記（１）から（４）のいずれか１つの構成において、前記最適配置判定ステップの代わりに、誤差信号ｅ（ｉ）を入力として下位ビット信号を予測する多層人工ニューラルネットワークを用いてもよい。
【００１２】
（６）本発明の第２の観点は、音響信号処理装置であって、既存の量子化されたディジタル音響信号である上位ビット信号に対して、値ゼロである下位ビットを追加して下位ビット拡張信号を生成する下位ビット拡張信号生成回路と、前記ディジタル音響信号のフレーム長をサンプルごとに分割し、それぞれの前記上位ビット信号から線形予測係数を算出する線形予測係数算出回路と、初期値をランダムに定めた予測下位ビット信号を生成する予測下位ビット信号生成回路と、前記上位ビット信号と前記予測下位ビット信号を加算して初期予測信号を取得する初期予測信号取得回路と、前記初期予測信号から予測誤差信号を算出する予測誤差信号算出回路と、前記予測誤差信号の実効値が最小化されるように探索を行い、前記予測下位ビット信号のビット値の最適配置を判定する最適配置判定回路と、を備えることを特徴とする。
【００１３】
（７）上記（６）の構成において、最適配置判定回路の代わりに、上位ビット信号の線形予測誤差信号を入力とする多層人工ニューラルネットワークにより予測下位ビット信号のビット値を判定する多層人工ニューラルネット回路としてもよい。
【発明の効果】
【００１４】
本発明によれば、ディジタル録音時に失われた音響信号の小振幅情報を復元して音質向上を図る音響信号処理方法及び音響信号処理装置を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係るフローチャートである。
【図２】本発明の実施形態に係る予測正答率を示す図である。
【図３】本発明の実施形態に係る客観音質劣化度合を示す図である。
【発明を実施するための形態】
【００１６】
（実施形態）
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する）について詳細に説明する。
【００１７】
本実施形態では、線形量子化された音響信号から、そのさらに下位となる下位ビット値を予測拡張する。すなわち、既存のディジタル音響コンテンツの量子化ビット数を拡張し、本来その信号がもっているはずの振幅情報を復元するものである。これにより、既存ディジタル音響コンテンツの高音質化をもたらすことに利用できるとともに、下位ビット値を置換して情報を秘匿した痕跡を発見するためにも応用可能である。以下、本実施形態がもたらす高音質化の検証方法について詳しく説明する。
【００１８】
なお、以下では、既存の量子化されたディジタル音響信号Ｘが１６ビットの場合について説明するが、具体的な数値は、これに限定されるものではない。
【００１９】
（音響信号処理方法）
まず、音響信号処理方法について、説明する。
【００２０】
（下位ビット値の予測方法）
図１は、下位ビット値の予測方法についてのフローチャートを示す。上位ビット信号生成ステップＳ１において、ディジタル音響信号Ｘに対して、上位ｋビット（例えば、ｋ＝８，１０，１２，１４とする）を残し、下位ビットをゼロに置換して上位ビット信号ｕｋを生成する。この上位ビット信号ｕｋは、現実の音響信号としては、下位ｋビットだけに信号が記録されている小振幅部分に相当する。
【００２１】
ディジタル記録／伝送において１６ビットの振幅値は２の補数表現されるため、上位ビット信号ｕｋは、
【００２２】
【数３】
2020134639.tif 000005
【００２３】
で表される。同時に、上位ビット信号ｕkから予測すべき本来の下位ビット信号Ｌｋとして、Ｌｋ＝ｍｏｄ（ｕｋ＋１／２（１６−ｋ−１），２）を生成する。
【００２４】
次に、線形予測係数算出ステップＳ２において、ディジタル音響信号Ｘのフレーム長Ｎをサンプルごとに分割し、それぞれの上位ビット信号ｕｋ（ｉ）（ｉ＝１，２，…，Ｎ）から、式（１）で表現されるｍ次の線形予測係数ａ（ｎ）（ｎ＝１，２，…，ｍ）をＢｕｒｇ法により算出する。次数ｍは、情報量基準に基づき１６以下でフレームごとに設定する。なお、式（１）において、ｅ（ｉ）は誤差信号である。
【００２５】
【数１】
2020134639.tif 000006
【００２６】
次に、予測下位ビット信号生成ステップＳ３において、初期値をランダムに定めた予測下位ビット信号ｌｋ（ｉ）を、ｌｋ（ｉ）∈｛０，１｝として生成する。そして、初期予測信号取得ステップＳ４において、この予測下位ビット信号ｌｋ（ｉ）を上位ビット信号ｕｋ（ｉ）に加算することにより、初期予測信号ｘｋ（ｉ）を、ｘｋ（ｉ）＝ｕｋ（ｉ）＋２（１６−ｋ−１）ｌｋ（ｉ）として取得する。
【００２７】
次に、予測誤差信号算出ステップＳ５において、初期予測信号ｘｋ（ｉ）を式（２）に代入し、予測誤差信号ｄ（ｉ）を算出する。なお、式（２）において、ｂ１はｄ（ｉ）に低域通過特性を与えて予測精度を高める定数であり、例えば、０．２などとすることができる。
【００２８】
【数２】
2020134639.tif 000007
【００２９】
そして、最適配置判定ステップＳ６において、予測誤差信号ｄ（ｉ）の実効値が最小化されるように探索を行い、下位ビット信号ｌｋ（ｉ）のビット値の最適配置を定める。この探索にあたっては、例えば、擬似焼きなまし法を好適に用いることができる。疑似焼きなまし法による近傍解は、予測下位ビット信号ｌｋ（ｉ）のＮ個のビット値の１つを反転し、予測誤差信号ｄ（ｉ）の実効値を評価値として得る。擬似焼きなまし法を用いる場合、例えば、焼きなましスケジュールはα＝０．３のべき乗とし、最大探索回数は１，０００回とすることができる。
【００３０】
最適配置判定ステップＳ６の代わりに、Ｕｋ−１（ｉ）の誤差信号ｅ（ｉ）（ｉ＝ｉ，ｉ−１，．．．，ｉ−ｍ＋１）を入力データとする多層人工ニューラルネットワークを構成し、その出力とｌｋ（ｉ）との二乗誤差を最小化するように、多層人工ニューラルネットワーク内の係数を逆誤差伝搬法によって学習する構成とすることもできる。その係数を利用する多層人工ニューラルネットワークへＵｋ（ｉ）の誤差信号ｅ（ｉ）を入力して得られる出力が予測下位ビット信号ｌｋ（ｉ）となる。この場合、事前に多層人工ニューラルネットワークの係数を逆誤差伝搬法によって学習しておくことで、予測下位ビット信号ｌｋ（ｉ）の算出は高速化される。
【００３１】
（予測精度の検証）
上記の方法によって得られた予測下位ビット信号ｌｋ（ｉ）と本来の下位ビット信号Ｌｋとのビット値を比較することで、予測精度を検証した。検証にあたっては、国立研究開発法人産業技術総合研究所が提供するＲＷＣ音楽ジャンルデータベースのＲＷＣ−ＭＤＢ−Ｇ２００１に含まれる１００曲のそれぞれの冒頭から１０秒目から２０秒目までの１０秒間の左チャンネル波形データを基に、下位ビットの予測を行った。
【００３２】
なお、本実施形態の検証は従来技術（特許文献１）との対比によって行っているが、これは本発明者が行った次のような設定を前提としているので、その点、あらかじめお断りしておく。すなわち、当該従来技術は、上記した式（１）において、誤差信号−ｅ（ｉ）を疑似対数圧縮後に量子化して下位ビット信号とみなしている。しかし、線形予測係数ａ（ｎ）の値とその次数ｍの設定方法は明示されていないことから、比較のため、本実施形態と同じくＢｕｒｇ法により求めた。下位１ビット値を求める量子化は、−ｅ（ｉ）が正のときに１、負のときに０とした。また、線形予測係数ａ（ｎ）はフレームごとに求めた方が高い予測精度を得られるため、本実施形態及び当該従来技術ともに、フレーム長Ｎを２８＝２５６とした。
【００３３】
結果は、図２に示すとおりである。図２は、縦軸に予測正答率（小数点表示）、横軸に下位ｋ＋１ビットの予測に用いられた上位ｋビットのビット幅ｋを取り、本実施形態（□マーク）及び当該従来技術（〇マーク）の検証結果を示している。□マーク及び〇マークは、上記した１００曲の平均予測正答率の位置に付与されており、それぞれのマークを上下に挟む破線と一点鎖線は、それらの最大値及び最小値を示す。
【００３４】
図２に示すように、上位ｋビットが大きくなるに従い、本実施形態及び当該従来技術ともに、平均予測正答率は下がる傾向にある。予測不能時の正答率期待値は０．５（５０％）であるが、曲によっては、ｋ＝１４でも本実施形態では最大７０％近い正答率が得られた。ｋ≦１２では、全ての曲で当該従来技術よりも本実施形態の予測正答率が高かった。
【００３５】
（予測信号の客観品質評価）
下位ビット拡張による音質向上について、国際電気通信連合無線通信部門の客観音質測定法であるＩＴＵ−ＲＢＳ．１３８７ＰＥＡＱを実装した音質測定ソフトウェアを用いて測定した。ＰＥＡＱは、原音と劣化音の聴覚内部表現の差異を入力特徴量とするニューラルネットワークであり、主観音質劣化評価に対応した客観音質劣化度合（ＯＤＧ）を出力するようあらかじめ学習している。ＯＤＧの値が大きい方ほど、音質の劣化は少ない。
【００３６】
上記した検証と同様に、この測定についても、従来技術（特許文献２）との対比によって行っている。当該従来技術は、同じ振幅値が続く区間において、その前後の振幅変化幅の比に基づいて中間時刻を定め、中間時刻に想定する振幅値とその区間両端の振幅値との３点間をスプライン補間する。得られた実数振幅値を四捨五入して量子化し下位ビット値とするため、ｋ＋１番目のビット値を予測できず、上記した検証のようにビット値の予測精度を対比することができない。そこで、上位ｋビット信号へ従来手法を適用して得られた実数振幅値を四捨五入によって１６ビット量子化してビット拡張した信号に対して、客観音質評価を行った。対象信号は、上記した検証と同じである。
【００３７】
結果は、図３に示すとおりである。図３は、縦軸に客観音質劣化度合、横軸に上位ｋビットのビット幅ｋを取り、上位ｋビット信号（△マーク）、本実施形態（〇マーク）及び当該従来技術（□マーク）の評価結果を示している。本実施形態は、上位ｋビット信号に予測下位ｋ＋１ビット信号を加算したものであり、当該従来技術は、従来手法によりビット拡張した信号である。△マーク、□マーク及び〇マークは、平均ＯＤＧの位置に付与されており、それぞれのマークを上下に挟む線は、それらの最大ＯＤＧ及び最小ＯＤＧを示す。
【００３８】
図３に示すように、当該従来技術はビット拡張により客観音質は向上していない一方、本実施形態は、ｋ＝８，１０では平均的に客観音質が向上し、ｋ＝１２，１４の場合でも最小ＯＤＧが当該従来技術及びビット拡張前の上位ｋビット信号より上回っており、音質向上に効果がある。
【００３９】
（音響信号処理装置）
以上、本実施形態に係る音響信号処理方法を説明したが、本実施形態は、この音響信号処理方法を適用して音響信号処理装置として構成することもできる。
【００４０】
すなわち、本実施形態に係る音響信号処理装置は、既存の量子化されたディジタル音響信号に対して、値ゼロとなる下位ビットを追加して下位ビット拡張信号を生成する下位ビット拡張信号生成回路と、ディジタル音響信号のフレーム長をサンプルごとに分割し、それぞれの上位ビット信号から線形予測係数を算出する線形予測係数算出回路と、初期値をランダムに定めた予測下位ビット信号を生成する予測下位ビット信号生成回路と、上位ビット信号と予測下位ビット信号を加算して初期予測信号を取得する初期予測信号取得回路と、初期予測信号から予測誤差信号を算出する予測誤差信号算出回路と、予測誤差信号の実効値が最小化されるように探索を行い、予測下位ビット信号のビット値の最適配置を判定する最適配置判定回路と、を備える。
【００４１】
本実施形態に係る音響信号処理装置は、最適配置判定回路の代わりに、Ｕｋ−１（ｉ）の誤差信号ｅ（ｉ）（ｉ＝ｉ，ｉ−１，．．．，ｉ−ｍ＋１）を入力データとする多層人工ニューラルネット回路を構成し、その出力とｌｋ（ｉ）との二乗誤差を最小化するように、多層人工ニューラルネットワーク内の係数を逆誤差伝搬法によって学習する構成とすることもできる。その係数を利用する多層人工ニューラルネットワークへＵｋ（ｉ）の誤差信号ｅ（ｉ）を入力して得られる出力が予測下位ビット信号ｌｋ（ｉ）となる。この場合、事前に多層人工ニューラルネットワークの係数を逆誤差伝搬法によって学習しておくことで、予測下位ビット信号ｌｋ（ｉ）の算出は高速化される。
【００４２】
（効果）
以上述べたように、本実施形態は、従来技術に比較して、ディジタル録音時に失われた音響信号の小振幅情報を復元して音質向上を図る音響信号処理方法及び音響信号処理装置を提供することができる。
【００４３】
なお、本実施形態では、上位ｋビット信号のビット幅ｋが狭い方が、予測するｋ＋１ビット目の値の予測精度及び音質向上度合が高い。これは、下位ビットになるに従い、ランダム雑音に近い成分が増し、その予測が相対的に難しくなる傾向にあるためと考えられる。本実施形態は、下位ｋビットだけに信号が記録されている小振幅部分から、更に下位のビット値の予測を想定して、５０％より有意に高い予測精度を実現している。ビット幅ｋが大きい大振幅部分では予測精度が相対的に低くなるものの、そのような区間の最下位ビット付近で表現される音響は、マスキングされて聴取できないことが多いことから、音質向上の観点からは影響が少ないと考えられる。
【００４４】
従来技術（特許文献１）は上位ビット信号をＦＩＲフィルタへ入力して下位ビット信号を得るが、本実施形態は、上位ビット信号へ予測した下位ビット値を加算した信号を、自動回帰移動平均（ＡＲＭＡ）フィルタへ入力した出力を最小化する点で異なる。また、本実施形態の演算量は従来技術に比べて格段に多いため、逆フィルタなどを使って下位ビット値を直接求めるようにしてもよい。
【産業上の利用可能性】
【００４５】
本実施形態は、線形量子化信号からその下位ビット値の予測拡張を行うものである。様々な音響信号に対して、予測下位ビット値を加算したビット拡張信号は、従来法のビット拡張信号と比べて客観音質が向上する。この技術は、既存ディジタル音楽の小振幅部分で記録できなかった微小振幅を復元するハイレゾ化や、下位ビット値の置換による情報秘匿を検出する技術に利用されることが可能である。
【図１】
2020134639.tif 000010
【図２】
2020134639.tif 000011
【図３】
2020134639.tif 000012