(57)【要約】【課題】信号変換処理により除去あるいは抑圧された部分を含んでいる場合であっても、より品質を向上させたデジタル信号を復元できるようにする。【解決手段】信号変換処理（圧縮符号化処理）されたデジタル信号（デジタル音声（オーディオ）信号）について、予測生成処理部１４１において、除去あるいは抑圧された可能性のある部分を検出し、その部分のデータを予測して生成し、その生成したデータが論理的に正しいと判断した場合に、その生成したデータを補間データとして採用するようにする一連の処理の後に、高域追加処理部１４２において、補間データによって補間されたデジタル信号を用いて、高域側のデジタル信号を復元する。【選択図】図１
2008033269.tif 000002
【特許請求の範囲】
【請求項１】
信号変換処理されたデジタル信号から信号変換処理時に除去された可能性のある除去部分を検出する検出手段と、
前記除去部分と相関があると推定される前記信号変換処理された復調周波数帯域のデジタル信号の相関部分のデータに基づいて、前記検出手段により検出された前記除去部分の除去前のデータを予測する予測手段と、
前記予測手段により予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用するようにする判別手段と
を備えることを特徴とするデジタル信号処理装置。
【請求項２】
請求項１に記載のデジタル信号処理装置であって、
前記予測手段は、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に基づいて、前記除去部分の除去前のデータを予測することを特徴とするデジタル信号処理装置。
【請求項３】
請求項２に記載のデジタル信号処理装置であって、
前記予測手段で予測された前記除去部分の除去前のデータのうち、前記判別手段によって採用されたデータによって補間されたのち信号変換処理されて形成された復調周波数帯域のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段をさらに備えることを特徴とするデジタル信号処理装置。
【請求項４】
請求項１に記載のデジタル信号処理装置であって、
信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段をさらに備え、
前記検出手段は、前記追加手段によって、前記復調周波数帯域よりも高域の周波数成分が追加された状態のデジタル信号を処理対象とすることを特徴とするデジタル信号処理装置。
【請求項５】
信号変換処理されたデジタル信号から信号変換処理時に除去された可能性のある除去部分を検出する検出工程と、
前記除去部分と相関があると推定される前記信号変換処理されたデジタル信号の相関部分のデータに基づいて、前記検出工程において検出された前記除去部分の除去前のデータを予測する予測工程と、
前記予測工程において予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用する判別工程と
を有することを特徴とするデジタル信号処理方法。
【請求項６】
請求項５に記載のデジタル信号処理方法であって、
前記予測工程は、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に基づいて、前記除去部分の除去前のデータを予測することを特徴とするデジタル信号処理方法。
【請求項７】
請求項６に記載のデジタル信号処理方法であって、
前記予測工程において予測された前記除去部分の除去前のデータは、前記判別工程において採用したデータによって補間され、そののち信号変換処理されて形成された状態の復調周波数帯域のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加工程で復元されることを特徴とするデジタル信号処理方法。
【請求項８】
請求項５に記載のデジタル信号処理方法であって、
信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加工程を有し、
前記検出工程は、前記追加工程において前記復調周波数帯域よりも高域の周波数成分が追加された状態のデジタル信号を処理対象とすることを特徴とするデジタル信号処理方法。
【請求項９】
信号変換処理されたデジタル信号から信号変換処理時に除去された可能性のある除去部分を検出する検出手段と、
前記除去部分と相関があると推定される前記信号変換処理された復調周波数帯域のデジタル信号の相関部分のデータに基づいて、前記検出手段により検出された前記除去部分の除去前のデータを予測する予測手段と、
前記予測手段により予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用する判別手段と、
前記予測手段で予測された前記除去部分の除去前のデータであって、前記判別手段によって採用されたデータによって補間された復調周波数帯域のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段と、
前記追加手段によって高域の周波数成分が追加された信号変換処理された状態のデジタル信号を復元処理して、信号変換処理前のデジタル信号を復元する復元手段と、
前記復元手段によって復元されたデジタル信号を再生するようにする再生手段と
を備えることを特徴とするデジタル信号の再生装置。
【請求項１０】
信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段と、
前記追加手段によって、前記高域の周波数成分が追加された信号変換処理された状態のデジタル信号から、信号変換処理時に除去された可能性のある除去部分を検出する検出手段と、
前記除去部分と相関があると推定される前記信号変換処理された状態の前記デジタル信号の相関部分のデータに基づいて、前記検出手段により検出された前記除去部分の除去前のデータを予測する予測手段と、
前記予測手段により予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用する判別手段と、
前記判別手段によって採用するようにされたデータによって補間された信号変換処理された状態の前記デジタル信号を復元処理して、信号変換処理前のデジタル信号を復元する復元手段と、
前記復元手段によって復元されたデジタル信号を再生するようにする再生手段と
を備えることを特徴とするデジタル信号の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、周波数相関符号化等の不可逆圧縮方式が用いられて圧縮符号化されたデジタル音声（オーディオ）信号などの、信号変換処理されたデジタル信号を処理する装置、方法、再生する装置に関する。
【背景技術】
【０００２】
音声信号（オーディオ信号）の圧縮処理は、「量子化（ＰＣＭ（Pulse Code Modulation）信号）」、音声信号の時間的連続性を用いた「時間相関符号化」、人間の聴覚特性を用いた「周波数相関符号化」、これらの符号化から得られた符号の発生確率の偏りを用いた「エントロピー符号化」を組み合わせることで実現する。
【０００３】
これらの圧縮手法は、ＭＰＥＧ（Moving Picture Expert Group）方式、ＡＴＲＡＣ（Adaptive Transform Acoustic Coding（登録商標））方式、ＡＣ−３（Audio Code Number 3（登録商標））方式、ＷＭＡ（Windows Media Audio（登録商標））方式などで規格化され、その符号化音声信号は、現在、デジタル放送、ネットワークオーディオプレーヤー、携帯電話、Ｗｅｂストリーミングなど広範囲で使用されている。
【０００４】
圧縮処理の中でも、「周波数相関符号化」は、圧縮率や音質に大きな影響を与える符号化処理である。「周波数相関符号化」とは、量子化されたＰＣＭ信号を、時間領域から周波数領域に直交変換し、周波数領域における信号エネルギーの偏差を求め、この偏差を用いて符号化することで符号化効率を高めるようにしている。
【０００５】
また、「周波数相関符号化」においては、直交変換後の信号に対して、心理聴覚特性を用いて、周波数帯域をいくつかの帯域に分け、より人間に知覚されやすい帯域の信号劣化を最小とするように、ある種の重み付けを行って量子化することにより、全体的な符号化品質を改善することができるようにしている。
【０００６】
ここで、心理聴覚特性を用いた符号化は、絶対可聴閾値と、マスキング効果で定まる相対可聴閾値を用いて、補正可聴閾値を求める。この補正可聴閾値に基づいて、分割された帯域ごとに符号化を行う。補正可聴閾値以下の音圧を持つ周波数成分に関しては、人間は知覚できない音として、符号化の際にカット、除去または抑圧される。また、絶対可聴閾値は高周波数帯域（以下、高域）でその振幅値が上昇するため、低周波数帯域（以下、低域）に比べて高域の周波数成分はより多くカットあるいは抑圧されてしまうことになる。
【０００７】
この心理聴覚特性を用いた音声信号の圧縮方法はＭＰＥＧ方式で積極的に取り入られている。音声信号の符号化は各エンコーダーメーカーの技術力により、その傾向が決められるものではあるが、ＭＰＥＧ方式が採用されているデジタル放送の音声信号においては、上述した符号化処理により、ある周波数を境にそれ以降の高域信号が全てカットや抑圧されたり、可聴帯域内においても、ある分割帯域の信号が全てカットや抑圧されてしまうといった現状も確認されている。特に、音声信号を低ビットレートで圧縮する場合、符号化に使用できるビット数が少ないため、上述した方法により多くの信号がカットされてしまう。
【０００８】
このような圧縮符号化における信号劣化により、音質が低下する問題を解決するための先行技術はいくつか存在する。例えば、特許文献１（「信号補間装置、信号補間方法及び記録媒体」（特開２００２−１７１５８８号公報））には、既存の音声信号（被補間信号）を使って高域成分を補間する方法についての技術が開示されている。
【０００９】
具体的には、被補間信号のうち第１の帯域内の成分を可変ＢＰＦ（Band Pass Filter）で抽出し、これに可変周波数発振器からの局部発振信号を混合することによって、被補間信号が占める帯域よりも高周波側の第２の帯域の補間信号を形成し、この補間信号と被補間信号との和信号を出力信号とするものである。
【００１０】
また、特許文献２「周波数補間装置、周波数補間方法及び記録媒体」（特開２００１−３５６７８８号公報））には、次のようにして、原信号の帯域を制限した信号を用いて得られる変調波から原信号に近い信号を復元する技術が開示されている。具体的には、ＰＣＭ信号をアナライザによりスペクトルへ変換し、周波数補間処理部により、このスペクトルを数等分して得られる帯域のうち周波数が最高の帯域を含む基準バンドとその他の帯域との組み合わせのうち、一方を規格化した場合に最もスペクトル分布の相関が高い組み合わせを特定する。
【００１１】
そして、補間バンド加算部により、ＰＣＭ信号の包絡線を推定し、周波数補間処理部が特定した組み合わせに含まれる基準バンド内のスペクトル分布と同じ分布のスペクトルを、包絡線の関数に沿うようにスケーリングして、基準バンドより高周波側に加算し、このスペクトルを与える信号をシンセサイザにより生成することにより、原信号に近い信号を復元するものである。
【００１２】
また、特許文献３「周波数補間システム、周波数補間装置、周波数補間方法及び記録媒体」（特開２００２−０７３０９６号公報））には、符号化時において、欠落した信号の情報を予め記録しておき、復号時にそれを用いて音質を保ちながら復号する方法についての技術が開示されている。
【００１３】
これら特許文献１、特許文献２、特許文献３に記載の技術は、圧縮符号化における信号劣化により、音質が低下する問題を解決するための技術として有効なものである。なお、上述した特許文献１、特許文献２、特許文献３のそれぞれは以下の通りである。
【特許文献１】特開２００２−１７１５８８号公報
【特許文献２】特開２００１−３５６７８８号公報
【特許文献３】特開２００２−０７３０９６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述した特許文献１（特開２００２−１７１５８８号公報）や特許文献２（特開２００１−３５６７８８号公報）に開示されている技術の場合、例えば、図１３Ａにおいて、点線で示すように、圧縮符号化されて形成されたデジタル音声信号であって、復号処理の対象となる（元になる）既存の低中域の音楽信号自体がある箇所でカットあるいは抑圧されている場合、そのカットあるいは抑圧された状態の音声信号を使って高域信号を作成しても、結局図１３Ｂに示すように、作成された高域信号は点線で示すようにカットあるいは抑圧された部分が含まれてしまうので充分なものとは言えない。
【００１５】
また、上述した特許文献３（特開２００２−０７３０９６号公報）に開示されている技術の場合には、符号器と復号器とに共通のアルゴリズムが必要である。したがって、符号化処理と復号化処理とを、同じ機器において行うようにするなどの制約が生じ、汎用的な使用には適さないと考えられる。
【００１６】
以上のことにかんがみ、この発明は、上記問題点を一掃し、圧縮符号化されたデジタル音声信号が、圧縮符号化処理によりカット（除去）された部分を含んでいる場合であっても、当該カットされた部分の影響を最小限に抑え、より音質を向上させたデジタル音声信号を復元できるようにすることを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、請求項１に記載の発明のデジタル信号処理装置は、
信号変換処理されたデジタル信号から信号変換処理時に除去された可能性のある除去部分を検出する検出手段と、
前記除去部分と相関があると推定される前記信号変換処理された復調周波数帯域のデジタル信号の相関部分のデータに基づいて、前記検出手段により検出された前記除去部分の除去前のデータを予測する予測手段と、
前記予測手段により予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用するようにする判別手段と
を備えることを特徴とする。
【００１８】
この請求項１に記載の発明のデジタル信号処理装置によれば、検出手段により、処理対象の信号変換処理されて形成されたデジタル信号に含まれる当該信号変換処理により除去（カット）された可能性のある部分が検出され、この除去された可能性のある部分のデジタル信号が、予測手段により、当該除去された可能性のある部分と相関があると推定される部分のデジタル信号部分が用いられて予測される。
【００１９】
この後、予測手段により予測されたデジタル信号の絶対値が、当該除去部分の分解能以下か否かによって、補間データとして採用するか否かが判別手段によって判別される。すなわち、予測されたデジタル信号が分解能以上であれば、本来除去されるべきデータではないので、予測は失敗したと判別して補間データとして用いないようにし、予測されたデジタル信号が分解能以下であれば、除去されたデジタル信号である可能性が高いので、当該予測されたデジタル信号を補間データとして採用するようにされる。
【００２０】
これにより、信号変換処理により、除去された可能性のあるデジタル信号を予測し、その中でも除去された可能性の高い予測したデジタル信号のみを補間データとして採用するようにして、信号変換処理されて形成されたデジタル信号の復元処理を行うことができるようにされる。したがって、信号変換処理されたデジタル信号が、当該信号変換処理により除去された部分を含んでいる場合であっても、当該除去された部分の影響を最小限に抑え、より品質を向上させたデジタル信号を復元できるようにされる。
【００２１】
また、請求項２に記載の発明のデジタル信号処理装置は、請求項１に記載のデジタル信号処理装置であって、
前記予測手段は、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に基づいて、前記除去部分の除去前のデータを予測することを特徴とする。
【００２２】
この請求項２に記載の発明のデジタル信号処理装置によれば、予測手段により、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、圧縮符号化処理によりデータが除去された可能性のある部分の除去前のデータが予測される。
【００２３】
これにより、信号変換処理されて得られた復調周波数帯域の既存のデジタル信号において、データが除去された可能性のある部分のデジタル信号を復元することができるようにされる。したがって、信号変換処理されることにより形成されたデジタル信号が、当該信号変換処理により除去された部分を含んでいる場合であっても、除去された可能性のあるデータを適切に予測して補間データとして用いることができるようにすることによって、当該除去された部分の影響を最小限に抑え、より品質を向上させたデジタル信号が復元できるようにされる。
【００２４】
また、請求項３に記載の発明のデジタル信号処理装置は、請求項２に記載のデジタル信号処理装置であって、
前記予測手段で予測された前記除去部分の除去前のデータのうち、前記判別手段によって採用されたデータによって補間されたのち信号変換処理されて形成された復調周波数帯域のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段をさらに備えることを特徴とする。
【００２５】
この請求項３に記載の発明のデジタル信号処理装置によれば、予測手段によって信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に基づいて予測され、判別手段によって補間データとして採用された除去前のデータが含められた復調周波数帯域の信号変換処理により形成されたデジタル信号から、追加手段によって信号変換処理により除去された高域の周波数成分が復元されると共に、これが処理対象のデジタル信号に追加される。
【００２６】
これにより、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に加えて、信号変換処理されて形成された当該復調周波数帯域の既存のデジタル信号において、信号変換処理時に除去された部分のデジタル信号をも考慮し、信号変換処理時に除去された例えば高域のデジタル信号を復元し、信号変換処理されたデジタル信号の品質を向上させるようにすることができるようにされる。
【００２７】
また、請求項４に記載の発明のデジタル信号処理装置は、請求項１に記載のデジタル信号処理装置であって、
信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段をさらに備え、
前記検出手段は、前記追加手段によって、前記復調周波数帯域よりも高域の周波数成分が追加された状態のデジタル信号を処理対象とすることを特徴とする。
【００２８】
この請求項４に記載の発明のデジタル信号処理装置によれば、まず、追加手段により、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、信号変換処理時において除去された高域の周波数成分が復元されて追加されることにより、高域、中域、低域の全帯域の圧縮符号化された状態のデジタル信号が形成される。
【００２９】
この形成された信号変換処理された状態の全帯域のデジタル信号から、信号変換処理時に除去された可能性のある部分が検出され、その部分の除去前のデータが予測手段によって予測され、この予測されたデータのうち、判別手段によって採用されたデータが補間データとして用いられた信号変換処理された状態のデジタル信号が供給される。
【００３０】
これにより、信号変換処理されて形成された中低域の復調周波数帯域の既存のデジタル信号に加えて、高域のデジタル信号を追加し、これにより、高域、中域、低域の全帯域を対象として、除去された可能性のあるデジタル信号を復元することができるので、信号変換処理されて形成されたデジタル信号を高品位に復元することができるようにされる。
【発明の効果】
【００３１】
この発明によれば、信号変換処理されることにより、除去（カット）された部分を含むデジタル信号であっても、信号変換処理により除去された信号部分を予測生成し、補間データとして用いることができるようにすることによって、信号変換処理されたデジタル信号を高品位に復元し、これを利用することができる。
【００３２】
また、信号変換処理されたデジタル信号について、信号変換処理時に除去（カット）された部分を別途記憶保持するなどの必要も無く、信号変換処理されたデジタル信号を処理する汎用性の高い装置、方法、プログラムを実現することができる。
【００３３】
より具体的には、例えば、圧縮符号化されることにより、除去（カット）された部分を含むデジタル音声信号であっても、圧縮符号化により除去された部分のデータを予測生成し、補間データとして用いることができるようにすることによって、圧縮符号されたデジタル音声信号による再生音声の音質を向上させるようにすることができる。
【００３４】
また、圧縮符号化されたデジタル音声信号について、圧縮符号化時に除去（カット）された部分を別途記憶保持するなどの必要も無く、圧縮符号化されたデジタル音声信号を処理する汎用性の高い装置、方法、プログラムを実現することができる。
【発明を実施するための最良の形態】
【００３５】
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。以下に説明する実施の形態においては、説明を簡単にするため、ＭＰＥＧ−２  ＡＡＣ（Moving Picture Expert Group-2 Advanced Audio Coding）と呼ばれるＩＳＯ／ＩＥＣ１３８１８−７規格の符号化方式が用いられて符号化された音声信号（符号化音声信号）を復号処理する場合を例にして説明することとする。
【００３６】
すなわち、以下に説明する実施の形態においては、ＭＰＥＧ−２  ＡＡＣ方式の圧縮符号化処理が、信号変換処理に相当し、ＭＰＥＧ−２  ＡＡＣ方式の圧縮符号化処理により形成された符号化音声信号が、信号変換処理された状態のデジタル信号に相当するものである。
【００３７】
なお、以下においては、ＭＰＥＧ−２  ＡＡＣを、単にＡＡＣと呼ぶこととする。また、上記のＩＳＯは、国際標準化機構（International Organization for Standardization）の略称であり、ＩＥＣは、国際電気標準会議（International Electrotechnical Commission）の略称である。
【００３８】
［ＡＡＣ方式の符号化処理の概要］
ＡＡＣ方式で符号化された符号化音声信号の復号処理の説明を簡単にするために、まず、ＡＡＣ方式の符号化処理の概要について説明する。ＡＡＣ方式の音声符号化は、いわゆる不可逆圧縮であり、心理聴覚（psycho acoustics）に基づいて、人が聴覚できない音の領域はデータ化しないことで、圧縮効果を高めているものである。ＡＡＣ方式の符号化によると、例えば２チャンネルステレオ音声の場合、９６キロビット／秒程度の伝送量でもＣＤ（Compact Disc）なみの音質が得られ、約１／１５（１５分の１）の圧縮率が得られるものである。
【００３９】
そして、ＡＡＣ方式の音声信号の符号化方式は、心理聴覚分析の結果に基づいて、（１）ゲイン調整処理→（２）適応ブロック長切換ＭＤＣＴ処理→（３）ＴＮＳ処理→（４）インテンシティ・ステレオ符号化処理→（５）予測処理→（６）Ｍ／Ｓステレオ処理→（７）スケーリング処理を行った後に、（８）量子化処理と（９）ハフマン符号化処理を割り当てられたビット数を下回るまで反復して、符号化された音声データを形成し、これに処理過程において付すべき種々の係数等が付加されることにより符号化音声信号（ＡＡＣビットストリーム）を形成する。
【００４０】
具体的な処理内容の概要を示せば以下のようになる。入力された符号化処理前の音声信号は、ゲイン調整され、所定のサンプル数毎にブロック化されて、それを１フレームとして処理される。まず、入力フレームを心理聴覚分析部においてＦＦＴ（Fast Fourier Transform）して周波数スペクトルを求め、それを元に聴覚のマスキングを計算し、予め設定された周波数帯域毎の許容量子化雑音電力と、そのフレームに対する心理聴覚エントロピー（ＰＥ：Perceptual Entropy）と呼ぶパラメータを求める。
【００４１】
心理聴覚エントロピーは、聴取者が雑音を知覚することがないように、そのフレームを量子化するのに必要な総ビット数に相当する。また、心理エントロピーは、音声信号のアタック部のように信号レベルが急激に増大するところで大きな値を取るという特性がある。そこで、心理エントロピーの値の急変部を元にしてＭＤＣＴ（Modified Discrete Cosine Transform）の変換ブロック長を決定している。
【００４２】
ＭＤＣＴ処理は、心理聴覚分析部で決定されたブロック長で入力された音声信号を周波数スペクトル（以下、ＭＤＣＴ係数という。）に変換する。変換ブロック長を、入力信号に応じて適応的に切り換える処理（適応ブロック切り換え）は、プリエコーと呼ばれる聴覚的に有害な雑音を抑制するために必要な処理である。
【００４３】
ＭＤＣＴ処理によって形成されたＭＤＣＴ係数は、ＴＮＳ（Temporal Noise Shaping）処理される。ＴＮＳ処理は、ＭＤＣＴ係数を時間軸上の信号であるかのように見たたて、線形予測を行い、ＭＤＣＴ係数に対して予測フィルタリングを行うものである。この処理により、復号側で逆ＭＤＣＴして得られる波形に含まれる量子化雑音は、信号レベルの大きなところに集まるようになる。
【００４４】
そして、ＴＮＳ処理されたＭＤＣＴ係数に対しては、インテンシティ・ステレオ符号化、すなわち、高い周波数領域の音は左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）を合わせた１つのカップリングチャンネルしか伝送しないようにするための処理が施される。
【００４５】
インテンシティ・ステレオ符号化されたＭＤＣＴ係数は、ＭＤＣＴ係数１本毎に、過去２フレームにおける量子化されたＭＤＣＴ係数から現在のＭＤＣＴ係数の値を予測し、その予測残差を求める。予測処理されたＭＤＣＴ係数は、Ｍ／Ｓステレオ処理、すなわち、左右チャンネルの和信号（Ｍ＝Ｌ＋Ｒ）と差信号（Ｓ＝Ｌ−Ｒ）を伝送するか、左右チャンネルのそれぞれ（ＬチャンネルとＲチャンネルとのそれぞれ）を伝送するようにするかを決定し、決定したように処理される。
【００４６】
Ｍ／Ｓステレオ処理されたＭＤＣＴ係数は、予め設定された周波数帯域毎の複数本でグループ化されて（スケーリングされ）、これを単位として量子化が行われる。これらＭＤＣＴ係数のグループをスケールファクタバンドと呼んでいる。スケールファクタバンドは、聴覚の特性に合わせて低域側では狭く、高域側では広くなるように設定されている。
【００４７】
量子化処理では、心理聴覚部で求めたスケールファクタバンド毎の許容量子化雑音電力を下回ることを目標に量子化を行う。量子化されたＭＤＣＴ係数は、さらにハフマン符号化が施されて冗長度が削減される。この量子化、ハフマン符号化の処理は反復ループで行われ、実際に生成される符号量がフレームに割り当てられたビット数を下回るまで繰り返される。
【００４８】
このように、ＡＡＣ方式の音声信号の符号化方式は、心理聴覚分析の結果に基づいて、（１）ゲイン調整処理→（２）適応ブロック長切換ＭＤＣＴ処理→（３）ＴＮＳ処理→（４）インテンシティ・ステレオ符号化処理→（５）予測処理→（６）Ｍ／Ｓステレオ処理→（７）スケーリング処理を行った後に、（８）量子化処理と（９）ハフマン符号化処理を割り当てられたビット数を下回るまで反復して、符号化された音声データを形成し、これに処理過程において付すべき種々の係数等が付加されることにより、符号化音声信号（ＡＡＣビットストリーム）を形成するようにしている。
【００４９】
なお、上述したＡＡＣ方式の音声符号化処理については、例えば、デジタルテレビ技術入門、高田豊、浅見聡著、米田出版、１１２頁〜１２４頁等の種々の文献、あるいは、Ｗｅｂページなどにおいても詳細に説明されている。
【００５０】
また、ゲイン調整処理、ＴＮＳ処理、インテンシティ・ステレオ符号化処理、予測処理、Ｍ／Ｓステレオ処理は、オプション処理であり、ＡＡＣ符号化全工程で行うものではない。すなわち、ゲイン調整処理、ＴＮＳ処理、インテンシティ・ステレオ符号化処理、予測処理、Ｍ／Ｓステレオ処理は、オプション処理が選択された場合にのみ行われる処理である。以下に説明する実施の形態においては、上述したオプション処理が行うようにされて圧縮符号化された符号化音声信号を処理する場合を例にして説明することとする。
【００５１】
［圧縮符号化されたデジタル音声信号の処理装置について］
次に、この発明による装置、方法、プログラムの一実施の形態が適用されたデジタル信号処理装置（以下、単に処理装置という。）について説明する。上述したように、この実施の形態の処理装置は、ＡＡＣ方式で符号化された音声信号を復号処理するものである。
【００５２】
そして、以下に詳述する実施の形態の処理装置は、圧縮符号化することにより形成したデジタル音声信号において、圧縮符号化により除去、カット、または抑圧された信号（欠落した信号）を予測して生成し、これを追加することにより、当該圧縮符号化されたデジタル音声信号による音声の音質を向上させるようにするものである。以下においては、処理の順序が異なる２つの実施の形態（第１、第２の実施の形態）のそれぞれについた説明する。
【００５３】
なお、以下に説明する第１、第２の実施の形態の処理装置は、いずれの場合も、例えば、据え置き型や携帯型の音声（オーディオ）記録再生装置、あるいは、据え置き型や携帯型の音声（オーディオ）再生装置等に適用されるものである。具体的には、ハードディスクを記録媒体として用いるハードディスクプレーヤや半導体メモリを記録媒体として用いるメモリプレーヤ、ＭＤ（Mini Disc（登録商標）などの光磁気ディスクやＤＶＤなどの光ディスクを記録媒体として用いる記録再生装置や再生装置、パーソナルコンピュータなど、圧縮符号化されたデジタル音声信号を処理する種々の電子機器に適用可能なものである。
【００５４】
また、以下に説明する第１、第２の実施の形態において、ＡＡＣ方式で符号化されて形成された符号化音声信号（デジタル音声信号）は、４８ｋＨｚサンプリングＰＣＭ信号を、ＭＰＥＧ−２  ＡＡＣ  ＬＣプロファイルのビットレート１２８ｋｂｐｓで符号化（圧縮）された２ｃｈ（２チャンネル）の音声信号であるものとして説明する。
【００５５】
［第１の実施の形態］
圧縮符号化されたデジタル音声信号は、高域側の音声信号がカットあるいは抑圧されているだけでなく、中低域（中域と低域）のデジタル音声信号中にも除去、カット、または抑圧された部分が存在する可能性がある。このため、以下に説明する第１の実施の形態の処理装置においては、圧縮符号化されて形成された中低域の既存のデジタル音声信号から、まず、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出し、その検出した部分と相関のある部分、具体的には、その検出した部分の前後のフレームのデジタル音声データから予測器、近似式、補間多項式などを用いて、カットされた可能性のある部分の音声データ（欠落信号）を予測して生成する（復元する）。
【００５６】
そして、その予測して生成した音声データが、カットあるいは抑圧された可能性のある部分として検出した部分を含むフレーム内の前後の音声信号がもつ分解能などの情報と比較して妥当なものである場合には、生成した音声データをカットあるいは抑圧された可能性のある箇所に追加する。こうして中低域の欠落箇所に、妥当な音声信号を追加する。そして、既存の音声信号及び予測して生成し追加した音声データ（欠落信号）を用いて、高域信号を復元する。
【００５７】
このように、この第１の実施の形態の処理装置は、中低域のデジタル音声信号のカットあるいは抑圧された可能性のある部分の音声データの予測と生成を行い、この生成した音声データを含めた中低域のデジタル音声データを用いた高域の音声データの生成と追加とを行うものである。以下、この第１の実施の形態の処理装置について詳細に説明する。
【００５８】
図１は、この第１の実施の形態の処理装置を説明するためのブロック図である。この第１の実施の形態の処理装置は、ＡＡＣ方式で符号化されて形成された符号化音声信号の復号処理を行う部分であり、図１に示したように、大きく分けると、フォーマット解析部１１と、逆量子化処理部１２と、ステレオ処理部１３と、欠落信号復元部１４と、適応ブロック長切換逆ＭＤＣＴ部１５と、ゲイン制御部１６とからなっている。
【００５９】
逆量子化処理部１２は、図１に示したように、ハフマン復号化部１２１と、逆量子化部１２２と、リスケーリング部１２３とを備えている。また、ステレオ処理部１３は、図示しないが、Ｍ／Ｓステレオ処理部、予測処理部、インテンシティ・ステレオ処理部、ＴＮＳ部などからなる部分である。また、欠落信号復元部１４は、図１に示したように、予測生成処理部１４１と、高域追加処理部１４２とを備えている。
【００６０】
そして、復号化対象の符号化音声信号（ビットストリーム）は、フォーマット解析部１１に供給される。フォーマット解析部１１は、これに供給された符号化音声信号を、ＭＤＣＴ係数と、それ以外のパラメータや制御情報とに分離し、ＭＤＣＴ係数は、逆量子化処理部１２のハフマン復号化部１２１に供給する。
【００６１】
また、フォーマット解析部１１は、符号化音声信号のビットストリームから抽出したパラメータや制御情報に基づいて、各部に対する制御信号を形成し、これを図１において点線矢印で示すように、この第１の実施の形態の処理装置を構成する各部に対して供給することによって、各部における処理を制御する。
【００６２】
そして、上述したＡＡＣ符号化時の処理とは言わば逆となる処理を行うことによって、符号化音声信号の復号処理を行う。具体的には、上述もしたように、フォーマット解析部１１において分離されたＭＤＣＴ係数は、逆量子化処理部１２のハフマン復号化部１２１に供給されるので、まず、ハフマン復号化部１２１でハフマン復号処理を行い、次に逆量子化部１２２において逆量子化処理を行った後、リスケーリング部１２３においてリスケーリング処理を行って、量子化前のＭＤＣＴ係数を復元する。
【００６３】
そして、量子化前の状態に復元されたＭＤＣＴ係数は、ステレオ処理部１３に供給される。ステレオ処理部１３は、図示しないが、上述もしたように、Ｍ／Ｓステレオ処理部、予測処理部、インテンシティ・ステレオ処理部、ＴＮＳ部などの部分を備えている。そして、Ｍ／Ｓステレオ処理部により、左チャンネル（Ｌｃｈ）と右チャンネル（Ｒｃｈ）のＭＤＣＴ係数が復元され、予測処理部の予測処理により、データ圧縮前のＭＤＣＴ係数に復元される。
【００６４】
データ圧縮前の状態に復元されたＭＤＣＴ係数は、さらに、インテンシティ・ステレオ処理部により、インテンシティ・ステレオ復号化処理が施されて、高い周波数領域の音についても、左右のそれぞれのチャンネルのＭＤＣＴ係数に分配され、さらに、ＴＮＳ部により、予測フィルタリングがはずすようにされ、符号化時においてＭＤＣＴ処理された直後のＭＤＣＴ係数が復元される。
【００６５】
そして、ステレオ処理部１３からのＭＤＣＴ係数は、欠落信号復元部１４の予測生成処理部１４１に供給される。図２は、この実施の形態の欠落信号復元部１４において行われる処理を説明するための図であり、横軸を周波数、縦軸を振幅として、ＭＤＣＴ係数の状態を示した図である。
【００６６】
欠落信号復元部１４の予測信号生成処理部１４１に供給されるＭＤＣＴ係数は、図２Ａに示すように、圧縮符号化処理により形成された中低域のものであり、高域成分がカットあるいは抑圧されると共に、図２Ａにおいて点線で示したように、ユーザーの聴感上、影響が小さい部分についてもカットあるいは抑圧されているものである。
【００６７】
このため、予測生成処理部１４１は、詳しくは後述もするが、これに供給されるＭＤＣＴ係数に基づいて、圧縮符号化時においてカットあるいは抑圧された可能性のあるＭＤＣＴ係数部分を検出する。具体的には、値がゼロであるＭＤＣＴ係数部分を検出する。そして、当該ＭＤＣＴ係数部分を含むフレームの前後のフレームにおける対応するＭＤＣＴ係数に基づいて、カットあるいは抑圧されたであろうＭＤＣＴ係数の値を予測して求める。この処理が、カットあるいは抑圧されたであろう音声データの予測と生成処理に該当する。
【００６８】
そして、予測生成処理部１４１は、予測して生成したＭＤＣＴ係数が、値がゼロであったＭＤＣＴ係数部分の分解能よりも小さければ、当該予測して生成したＭＤＣＴ係数を補間データとして採用し、当該分解能よりも大きい場合には、そのような値のＭＤＣＴ係数がカットあるいは抑圧されるのは本来的におかしいので、予測が失敗したと判断し、当該予測して生成したＭＤＣＴ係数は採用しないようにする。
【００６９】
このようにして、カットあるいは抑圧された可能性のあるＭＤＣＴ係数を予測して生成し、この予測して生成したＭＤＣＴ係数が分解能以下である場合には、これを補間データとして用いることによって、図２Ｂに示すように、分解能以下であるためにカットあるいは抑圧された部分のＭＤＣＴ係数が補間された中低域のＭＤＣＴ係数（変調周波数帯域のＭＤＣＴ係数（音声データ））を形成することができる。
【００７０】
このように、カットあるいは抑圧された可能性のあるＭＤＣＴ係数が補間された中低域のＭＤＣＴ係数は、欠落信号復元部１４の高域追加処理部１４２に供給される。高域追加処理部１４２では、例えば、図２Ｂに示した中低域のＭＤＣＴ係数のうち、図２Ａにおいて範囲ａで示した部分のＭＤＣＴ係数を用いて、圧縮符号化時にカットされた高域側のＭＤＣＴ係数を復元する。
【００７１】
図２Ａにおいては、範囲ａには点線で示した符号化時にカットあるいは抑圧された可能性のある部分が存在していたが、図２Ｂに示すように、範囲ａの符号化時にカットあるいは抑圧された可能性のある部分は、予測生成処理部１４１の機能により補間されている。このため、範囲ａのＭＤＣＴ係数を用いて、圧縮符号化処理によりカットあるいは抑圧された高域側のＭＤＣＴ係数を復元するようにすると、図１２を用いて上述した場合のように、カットされた可能性のあるＭＤＣＴ係数部分をそのまま残すことなく、図２Ｃにおいて、範囲ｂ、範囲ｃに示すように、カットあるいは抑圧された高域のＭＤＣＴ係数を信頼性高く復元することができるようにしている。
【００７２】
この後、図２Ｃに示したように、高域が復元されたＭＤＣＴ係数は、高域追加処理部１４２から適応ブロック長切換逆ＭＤＣＴ部１５に供給される。適応ブロック長切換逆ＭＤＣＴ部１５は、これに供給されたＭＤＣＴ係数（周波数領域の音声信号）を逆ＭＤＣＴ処理することにより、時間軸領域の音声信号に変換し、これをゲイン制御部１６に供給して、ゲイン調整することにより、符号化前の元の時間軸領域の音声信号（時間音声信号）を復元して出力する。すなわち、適応ブロック長切換逆ＭＤＣＴ部１５に供給される符号化音声信号は、周波数領域の音声信号であり、適応ブロック長切換逆ＭＤＣＴ部１５から出力される音声信号は、時間軸領域の音声信号、すなわち時間音声信号となる。
【００７３】
このように、この第１の実施の形態の処理装置においては、まず、中低域の符号化音声信号のカットあるいは抑圧された可能性のある部分の検出と、その部分の音声データの予測と生成を行い、この生成した音声データを含めた中低域の符号化音声信号（デジタル音声信号）を用いて高域の音声データの生成と追加とを行うことによって、符号化音声信号（圧縮符号化されたデジタル音声信号）から、圧縮符号化前の高品位のデジタル音声信号を復元することができるようにしている。
【００７４】
そして、圧縮符号化前の状態に復元されたデジタル音声信号を再生するようにした場合には、従来の方式を用いて復元したデジタル音声信号を再生した場合よりも、圧縮符号化によりカットされた（欠落した）部分を少なくすることができるので、音質のよい音声を再生することができる。
【００７５】
［予測生成処理部１４１での処理の詳細］
次に、この第１の実施の形態の処理装置の欠落信号復元部１４の予測生成処理部１４１で行われる処理の詳細について、図３〜図６を用いて説明する。この第１の実施の形態の処理装置においては、圧縮符号化することによりカットされた可能性のある信号（欠落信号）の予測方法として、最小二乗法を使って近似式を作成する予測方法を用いる。
【００７６】
上述もしたように、用いている圧縮符号化方式は、ＭＰＥＧ２−ＡＡＣ方式であり、１０２４サンプルを1フレームとして直交変換し、ＭＤＣＴ係数１０２４個を得る。そのＭＤＣＴ係数を１フレーム単位で圧縮した信号がＡＡＣの符号化信号となる。ＭＤＣＴ係数は周波数領域の信号として扱われ、１フレームに１０２４個あるＭＤＣＴ係数の０番目から１０２３番目は、周波数領域０Ｈｚから２４Ｈｚ（４８ｋＨｚサンプリングの音声信号を用いているため）における音声信号に対応しており、縦軸は振幅である。
【００７７】
例えば、ＭＤＣＴ係数の１００番目の係数値は、２４０００Ｈｚ／１０２４×１００＝２３４３．７５Ｈｚにおける音声信号を表す。ＭＤＣＴ係数の分布が周波数領域を表現していることから、前後のフレーム間、また、１フレーム内の前後のＭＤＣＴ係数間にはそれぞれ相関関係が生じる。
【００７８】
ここでは、説明を簡単にするため、ある音楽の音声データをＡＡＣ方式で圧縮符号化した場合に、ｎフレーム目（フレーム［ｎ］）のＭＤＣＴ係数のｋ番目（ＭＤＣＴ係数[ｋ]）が、圧縮処理により値「０」になってしまった、即ち、欠落してしまった場合を例にして、そのフレーム[ｎ]のＭＤＣＴ係数[ｋ]を、近似式を使って予測する方法について説明する。
【００７９】
図３は、ＡＡＣ方式で圧縮符号化されたデジタル音声信号において、フレーム[ｎ]のＭＤＣＴ係数［ｋ］が欠落している場合を説明するための概念図である。図３においては、図３Ｃのフレーム［ｎ］の前後各２フレーム（図３Ａ、図３Ｂ、及び、図３Ｄ、図３Ｅ）におけるＭＤＣＴ係数［ｋ］は存在するが、フレーム［ｎ］のＭＤＣＴ係数［ｋ］だけが値「０」となって欠落している場合を示している。
【００８０】
このように、ＭＤＣＴ係数の値が「０」になっている部分は、圧縮符号化処理により元々の音声信号がカットされ欠落した可能性のある部分である。この第１の実施の形態の処理装置において、欠落信号復元部１４の予測生成処理部１４１は、まず、圧縮符号化によりカットされた可能性の高い、値が「０」であるＭＤＣＴ係数部分を検出し、その部分のＭＤＣＴ係数を予測して復元するようにしている。
【００８１】
図４は、図３に示した５つのフレームのＭＤＣＴ係数［ｋ］を２次元の座標軸上に表現し、近似式を作成する場合について説明するための図である。フレーム［ｎ］のＭＤＣＴ係数［ｋ］に対応する、当該フレーム［ｎ］の前後各２フレームにおけるＭＤＣＴ係数［ｋ］を取得し、それぞれフレーム［ｎ−２］のＭＤＣＴ係数［ｋ］をＡ、フレーム［ｎ−１］のＭＤＣＴ係数［ｋ］をＢ、フレーム［ｎ］のＭＤＣＴ係数［ｋ］をＣ、フレーム［ｎ＋１］のＭＤＣＴ係数［ｋ］をＤ、フレーム［ｎ＋２］のＭＤＣＴ係数［ｋ］をＥとする。
【００８２】
図４に示したＡ〜Ｅまでの５点は、連続する５つのフレーム内の同じ周波数位置の信号を表している。この５点における最小二乗法による２次多項式を作成し、それを近似式とする。図３に示したように、振幅が、Ｃ＝０は既知であり、それぞれ例えば、Ａ＝５、Ｂ＝３、Ｄ＝４、Ｅ＝５であったとすると、これらを連続する５点の座標に見立て、それぞれＡ＝（−２，５）、Ｂ＝（−１，３）、Ｃ＝（０，０）、Ｄ＝（１，４）、Ｅ＝（２，５）とおき、最小二乗法を用いて近似式を求める。
【００８３】
求めた近似式から、フレーム［ｎ］のＭＤＣＴ係数［ｋ］、即ちＣの予測値を求める。ここでは、図４にも示したように、近似式は、ｙ＝０．９３ｘ＊＊２＋０．１ｘ＋１．５４となり、この近似式から点Ｃの予測値（予測したＭＤＣＴ係数）を求めると、Ｃ≒１．５４となる。なお、近似式における「ｘ＊＊２」は、ｘの二乗を意味する記述である。
【００８４】
続いて、ここで予測した点Ｃの予測値（予測したＭＤＣＴ係数）が妥当であるかを調べる。図５は、フレーム［ｎ］のＭＤＣＴ係数［ｋ］の分解能と予測値との関係を示す図である。この第１の実施の形態においては、上述したように求めた予測値の絶対値が、フレーム［ｎ］におけるＭＤＣＴ係数［ｋ］での分解能以下であった場合に、この予測値をフレーム［ｎ］におけるＭＤＣＴ係数［ｋ］として採用する。すなわち、フレーム［ｎ］の周波数位置［ｋ］における音声信号として予測値を採用する。
【００８５】
一方、上述したように求めた予測値の絶対値が、分解能より大きかった場合には、予測は失敗したとして、当該予測値を音声信号として採用しない。すなわち、圧縮符号化時において、ＭＤＣＴ係数がカットあるいは抑圧されるということは、分解能以下の大きさの値であったからであり、分解能以上の大きな値である場合には、そもそもカットあるいは抑圧されることは無いので、欠落したままの状態を保つこととする。
【００８６】
ここでは、図５に示すように、フレーム［ｎ］のＭＤＣＴ係数［ｋ］における分解能が２であったとすると、予測値Ｃ＝１．５４は２以下であるので、Ｃ＝１．５４は、フレーム［ｎ］の［ｋ］番目のＭＤＣＴ係数として採用される。上述もしたように、音声信号が欠落するということは、元の音声信号の振幅が分解能以下であったため、既定の分解能では表現できず、０となってしまうことである。よって、予測値は必ず分解能以下の値を採用するのが理論上正しい。
【００８７】
このようにして、この第１の実施の形態の処理装置において、欠落信号復元部１４の予測生成処理部１４１は、各フレームにおいて、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出し、カットあるいは抑圧された可能性のある信号（欠落信号）として、ＭＤＣＴ係数を予測して生成していく処理を行う。
【００８８】
次に、この第１の実施の形態の処理装置の欠落信号復元部１４の予測生成処理部１４１において行われる予測生成処理について、図６のフローチャートを参照しながら説明する。図６は、予測生成処理部１４１において行われる予測生成処理を説明するためのフローチャートである。
【００８９】
図３〜図５を用いて前述したように、まず、各フレームにおいて、圧縮符号化によりカットあるいは抑圧された可能性のある部分（ＭＤＣＴ係数部分）を検出し、検出したカットあるいは抑圧された可能性のある部分について、その前後の２フレームの対応する部分の値（ＭＤＣＴ係数）を予測する処理について説明する。換言すれば、この第１の実施の形態において用いる予測生成処理は、連続する５フレームにおいて、その真中の３フレーム目（フレーム［ｎ］）にカットあるいは抑圧された可能性のある部分を位置付けて、この３フレーム目（フレーム［ｎ］）を常に予測するものである。
【００９０】
そして、図６に示すように、この第１の実施の形態の場合には、前処理として、処理の対象となったフレームをフレーム［ｎ］として、その前後２フレーム分の０〜１０２３までの全てのＭＤＣＴ係数を予め取得しておく（ステップＳ１００）。換言すれば、カットあるいは抑圧された部分の検索対象のフレームをフレーム［ｎ］とした場合に、５フレーム分（フレーム［ｎ−２］、フレーム［ｎ−１］、フレーム［ｎ］、フレーム［ｎ＋１］、フレーム［ｎ＋２］）のＭＤＣＴ係数を予め取得しておく処理が、図６に示したステップＳＳ１００の処理である。そして、フレーム［ｎ］を構成する０〜１０２３までのＭＤＣＴ係数の内、値が０であるＭＤＣＴ係数を検出する処理を行うようにする。
【００９１】
すなわち、予測生成処理部１４１は、まず、変数ｋに値０を代入することにより初期化し（ステップＳ１０１）、ＭＤＣＴ係数［ｋ］の値が、値０か否かを判断する（ステップＳ１０２）。ステップＳ１０２の判断処理において、ＭＤＣＴ係数［ｋ］の値が値０であると判断した場合には、当該ＭＤＣＴ係数［ｋ］は、圧縮符号化時において、カットあるいは抑圧され欠落した可能性があるので、予測生成処理部１４１は、上述もしたように、ステップＳ１００において、予め取得しておいた前後各２フレームにおける対応する周波数位置のＭＤＣＴ係数［ｋ］を取得する（ステップＳ１０３）。
【００９２】
そして、予測生成処理部１４１は、図４を用いて説明したように、自フレーム（フレーム［ｎ］）のＭＤＣＴ係数［ｋ］と、前後２フレームの対応する部分のＭＤＣＴ係数［ｋ］の計５点のＭＤＣＴ係数を用いて、最小二乗法による近似式を作成する（ステップＳ１０４）。
【００９３】
次に、ステップＳ１０４において作成した近似式に基づいて、フレーム［ｎ］におけるＭＤＣＴ係数［ｋ］の値を予測して生成する（ステップＳ１０５）。そして、予測生成処理部１４１は、ステップＳ１０５において予測して生成したＭＤＣＴ係数［ｋ］が、その予測した部分の分解能以下か否かを判断する（ステップＳ１０６）。
【００９４】
ステップＳ１０６の判断処理において、予測して生成したＭＤＣＴ係数［ｋ］が、分解能以下であると判断したときには、予測生成処理部１４１は、ステップＳ１０５において予測して生成したＭＤＣＴ係数［ｋ］をフレーム［ｎ］におけるＭＤＣＴ係数［ｋ］の値として採用して記録する（ステップＳ１０７）。
【００９５】
そして、予測生成処理部１４１は、変数ｋに１を加算し（ステップＳ１０８）、変数ｋが１０２４よりも小さいか否かを判断する（ステップＳ１０９）。ステップＳ１０９の判断処理において、変数ｋが１０２４よりも小さいと判断したときには、処理対象のフレーム［ｎ］の全てのＭＤＣＴ係数を対象とする処理は終わっていないので、予測生成処理部１４１は、ステップＳ１０２からの処理を繰り返すようにする。
【００９６】
また、ステップＳ１０９の判断処理において、変数ｋが１０２４よりも小さくないと判断したときには、処理対象のフレーム［ｎ］の全てのＭＤＣＴ係数を対象とする処理が終了したので、当該フレーム［ｎ］について、高域追加処理を実行するようにする。そして、この図６を用いて説明した処理を、再生などの処理対象となっている圧縮符号化されたデジタル音声信号の全てのフレームについて実行することによって、当該デジタル音声信号の全体について、圧縮符号化によりカットあるいは抑圧された音声信号を復元し、これを利用することができるようにされる。
【００９７】
［高域追加処理部１４２での処理の詳細］
次に、高域追加処理部１４２において行われる高域追加処理について説明する。図７は、この第１の実施の形態の処理装置の高域追加処理部１４２の構成例を説明するためのブロック図である。図７に示すようにこの例の高域追加処理部１４２は、一時記憶メモリ４２１と、境界周波数検出部４２２と、追加帯域決定部４２３と、高域信号生成部４２４と、高域信号合成部４２５とを備えたものである。
【００９８】
上述したように、予測生成処理部１４１において、カットあるいは抑圧された可能性のあるＭＤＣＴ係数として予測されて生成されたものの内、分解能以下のものが追加するようにされた中低域のＭＤＣＴ係数は、フレーム単位に高域追加処理部１４２の一時記憶メモリに一時記憶される。
【００９９】
境界周波数検出部４２２は、一時記憶メモリ４２１にフレーム単位に一時記憶されているＭＤＣＴ係数を順次に読み出し、当該ＭＤＣＴ係数について、ある周波数を境に、高域全体がカットあるいは抑圧されている場合の境界周波数（下限側の境界周波数）を検出する。一般に、境界周波数はビットレートに依存する場合が多い。符号化の仕様はエンコーダーメーカーの技術力によるため、一様ではないが、例えば、ビットレート１９６ｋｂｐｓで符号化（エンコード）した場合には境界周波数は２０ｋＨｚ付近になり、ビットレート１２８ｋｂｐｓで符号化した場合には境界周波数は１６ｋＨｚ付近になり、ビットレート６４ｋｂｐｓで符号化した場合には境界周波数は１４ｋＨｚになるといった傾向がある。
【０１００】
この実施の形態の処理装置において、復号処理の対象となっている符号化音声信号は、上述もしたように、ビットレートが１２８ｋｂｐｓで圧縮符号化されたものであるため、境界周波数波は、約１６ｋＨｚであると検出（特定）することができる。すなわち、この第１の実施の形態の処理装置で復号処理する符号化音声信号は、約１６ｋＨｚ以上の高域部分の音声信号がカットあるいは抑圧され、劣化してしまっているものであると特定することができる。
【０１０１】
追加帯域決定部４２３は、境界周波数以降の高域における、高域信号を追加する帯域幅を決定する。この実施の形態においては、境界周波数が１５ｋＨｚ以上であった場合には、境界周波数以降の全帯域に高域信号を追加するようにしている。なお、この第１の実施の形態においては、１５ｋＨｚという値を用いたが、１４ｋＨｚ程度まで追加帯域の条件を下げることも可能である。しかし、１０ｋＨｚ付近まで下げると、追加信号が雑音となって聞こえてしまう可能性があるため、追加帯域の条件を１０ｋＨｚ付近まで下げることは好ましくない。
【０１０２】
この実施の形態において、境界周波数検出部４２２で検出された境界周波数は、上述もしたように、１６ｋＨｚであり、予め決められた条件である「境界周波数が１５ｋＨｚ以上であること」を満たしているため、追加帯域決定部４２３においては、１６ｋＨｚ以降に高域信号（高域部分の符号化音声信号）を追加するようにする。また、この第１の実施の形態においては、上述もしたように、４８ｋＨｚサンプリングの音声信号を用いているため、追加する上限の周波数はサンプリング周波数の１／２（２分の１）である２４ｋＨｚとする。よって、１６ｋＨｚから２４ｋＨｚまでが、この第１の実施の形態における高域信号の追加帯域となる。
【０１０３】
高域信号生成部４２４は、追加する高域信号を計算により生成する。この高域信号生成部４２４においては、例えば、特許第３６４６６５７号「デジタル信号処理装置及びデジタル信号処理方法、並びに1ビット信号生成装置」に開示された技術を用いて、追加する高域信号（ＭＤＣＴ係数）を生成する。
【０１０４】
具体的には、境界周波数検出部４２２において求められた境界周波数における信号の振幅値から、上限周波数（この実施の形態においては２４ｋＨｚ）における信号の振幅値を「０（零）」として、周波数特性傾きを算出する。次に、この第１の実施の形態においては、下限周波数として１０．５ｋＨｚを設定し、１０．５ｋＨｚから下限側の境界周波数（この第１の実施の形態においては１６ｋＨｚ）までの信号をバッファリングし、スペクトル複製、ゲイン算出、ゲイン調整の各処理を行って、追加用の高域信号（ＭＤＣＴ係数）を生成する。
【０１０５】
そして、高域信号生成部４２４で生成された高域信号は、高域信号合成部４２５に供給される。この高域信号合成部４２５は、一時記憶メモリ４２１から中低域のＭＤＣＴ係数を読み出し、これに高域信号生成部４２４からの高域信号を合成するようにして、図２Ｃに示したように、低域、中域、高域の全帯域のＭＤＣＴ係数が整った圧縮符号化された状態のデジタル音声信号が復元される。
【０１０６】
これが、図１を用いて説明したように、適応ブロック長切換逆ＭＤＣＴ部１５に供給され、逆ＭＤＣＴ変換されて、時間領域の音声信号に戻された後に、ゲイン調整するようにされる。これにより、圧縮符号化によりカットあるいは抑圧された可能性のある音声信号を精度よく復元することができるので、再生した場合に音質のよい音声データを復元することができるようにされる。
【０１０７】
［第１の実施の形態の変形例］
第１の実施の形態の処理装置は、図１に示したように、ステレオ処理部１３と適応ブロック長切換逆ＭＤＣＴ変換部１５との間に、予測生成処理部１４１と高域追加処理部１４２とを有する欠落信号復元部１４を設ける構成とした。すなわち、欠落信号復元部１４は、圧縮符号化されたデジタル音声信号を、時間軸領域の音声信号に復元する復号化器の内部に設けるようにしている。このようにすることにより、目的とする圧縮符号化方式、この実施の形態の場合には、ＡＡＣ方式に応じた復号処理に応じて、適切にカットあるいは抑圧された音声信号を復元することができる。
【０１０８】
しかし、圧縮符号化方式は、種々のものがある。そこで、図８に示すように、復号化器の外に欠落信号復元部１４を設けるようにすることによって、圧縮符号化方式に左右されること無く、圧縮符号化によりカットあるいは抑圧された可能性のある部分の音声信号を復元し、再生される音声の音質を向上させることもできる。すなわち、図８は、この第１の実施の形態の処理装置の変形例を説明するための図である。
【０１０９】
図８において、フォーマット解析部１１、逆量子化処理部１２、ステレオ処理部１３、適応ブロック長切換逆ＭＤＣＴ部１５、ゲイン制御部１６、及び、欠落信号復元部１４は、図１に示した処理装置において、同じ参照符号が付された部分と同様に構成されたものである。このため、フォーマット解析部１１、逆量子化処理部１２、ステレオ処理部１３、適応ブロック長切換逆ＭＤＣＴ部１５、ゲイン制御部１６、及び、欠落信号復元部１４のそれぞれについての詳細な説明は省略する。
【０１１０】
そして、図８に示す処理装置の場合、ゲイン制御部１６から出力された音声信号は、既に時間軸領域の音声信号（時間音声信号）とされたものである。このため、ＭＤＣＴ部１７を設け、ゲイン制御部１６からの時間音声信号をＭＤＣＴ変換して、再度、周波数領域の音声信号であるＭＤＣＴ係数に変換し、これを当該ＭＤＣＴ部１７の後段に設けられた欠落信号復元部１４に供給する。
【０１１１】
欠落信号復元部１４は、上述もしたように、図１に示した処理装置で用いられている欠落信号復元部１４と同様に構成されたものであり、各フレーム毎に、まず、中低域の既存のＭＤＣＴ係数を用いて、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出して、その部分のＭＤＣＴ係数（音声信号）を予測して生成し、その生成したＭＤＣＴ係数が分解能から見て適正である場合に、中低域のＭＤＣＴ係数として採用する。
【０１１２】
このようにして、中低域の領域でカットあるいは抑圧された可能性のある音声信号をも追加した中低域のＭＤＣＴ係数を用いて、高域追加処理部１４２において、図７を用いて説明したようにして高域のＭＤＣＴ係数を復元して追加する。これにより、圧縮符号化によりカットあるいは抑圧された高域のＭＤＣＴ係数をも復元し、低域、中域、高域の全帯域のＭＤＣＴ係数がそろったデジタル音声信号を復元することができる。
【０１１３】
そして、高域追加処理部１４２からの低域、中域、高域の全帯域のＭＤＣＴ係数は、逆ＭＤＣＴ部１８に供給され、ここで逆ＭＤＣＴ変換されて、時間軸領域の音声信号に戻され、利用することができるようにされる。このように、欠落信号復元部１４を、復号化器の外部に設けるようにした場合においても、この発明を適用でき、全帯域において、圧縮符号化処理によりカットあるいは抑圧された可能性のある音声信号を復元し、音質のよい音声を再生することができる。
【０１１４】
［第２の実施の形態］
次に、この発明に第２の実施の形態について説明する。以下に説明する第２の実施の形態の処理装置は、「高域追加処理」を先に行い、その後で「予測生成処理」を行うように構成したものである。すなわち、中低域の既存の圧縮符号化された音声信号を用い、先に高域信号を復元する。続いて、周波数領域の全帯域において前後のフレーム間における音声信号から、現フレームの欠落信号を、予測器、近似式、補間多項式などを用いて予測して生成する。
【０１１５】
このようにして、予測して生成した欠落信号（音声信号）が現フレーム内の前後の音声信号がもつ分解能などの情報と比較して妥当なものと判断されれば、欠落箇所に追加する。こうして全帯域の欠落箇所に、妥当な音声信号を追加するように処理するのが、以下に説明するこの第２の実施の形態の処理装置である。
【０１１６】
図９は、この第２の実施の形態の処理装置を説明するためのブロック図である。図９において、図１に示した第１の実施の形態の処理装置と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については省略する。
【０１１７】
図９に示した第２の実施の形態の処理装置と、図１に示した第１の実施の形態の処理装置とを比較すると分かるように、フォーマット解析部１１、逆量子化処理部１２、ステレオ処理部１３、適応ブロック長切換逆ＭＤＣＴ部１５、ゲイン制御部１６のそれぞれは、同様に構成された部分である。
【０１１８】
しかし、図９に示した第２の実施の形態の処理装置の場合、ステレオ処理部１３と、適応ブロック長切換逆ＭＤＣＴ部１５との間に設けられた欠落信号復元部１９は、図１に示した第１の実施の形態の欠落信号復元部１４とは異なり、高域追加処理部１９１が前段に、予測生成処理部１９２が後段に設けられている。すなわち、第１の実施の形態の欠落信号復元部１４の場合には、予測生成処理部１４１、高域追加処理部１４２の順で設けられていたのに対して、第２の実施の形態の欠落信号復元部１９の場合には、高域追加処理部１９１が先に設けられ、その後段に予測生成処理部１９２が設けられた構成とされている。
【０１１９】
そして、この第２の実施の形態の欠落信号復元部１９においては、上述もしたように、まず、高域追加処理部１９１に機能により、高域のＭＤＣＴ係数を復元し、次に、予測生成処理部１９２の機能により、先に復元された高域部分をも含め、低域、中域、高域の全帯域について、圧縮符号化によりカットあるいは抑圧された可能性のある部分（ＭＤＣＴ係数）を特定し、その部分を復元することによって、処理対象の圧縮符号化された全帯域の音声信号を高品位に復元することができるようにしている。
【０１２０】
図１０は、この第２の実施の形態の欠落信号復元部１９において行われる処理を説明するための図である。図１０Ａに示すように、この第２の実施の形態の処理装置において、欠落信号復元部１９の高域追加処理部１９１に供給されるＭＤＣＴ係数は、圧縮符号化処理により形成された中低域のものであり、高域成分がカットあるいは抑圧されると共に、図１０Ａにおいて点線で示したように、ユーザーの聴感上、影響が小さい部分についてもカットあるいは抑圧されているものである。
【０１２１】
このため、この第２の実施の形態の処理装置においては、まず、高域追加処理部１９１の機能を用い、図１０Ａに示した範囲ａのＭＤＣＴ係数に基づいて、図１０Ｂに示すように、範囲ｂ、範囲ｃに示した高域信号を復元する。高域追加処理部１９１は、図７に示した第１の実施の形態の処理装置の高域追加処理部１４２と同様の構成を有するものである。
【０１２２】
したがって、高域追加処理部１９１においては、図７を用いて説明した第１の実施の形態の高域追加処理部１４２の場合と同様に、フレーム単位にＭＤＣＴ係数を一時記憶メモリに保持するようにし、境界周波数を検出し、追加帯域を決定し、これに応じて高域信号を生成し、最後に、一時記憶した中低域のＭＤＣＴ係数と、復元した高域のＭＤＣＴ係数とを合成し、図１０Ｂに示すように、低域、中域、高域の全帯域のＭＤＣＴ係数を復元する。
【０１２３】
しかし、図９に示した処理装置の高域追加処理部１９１において形成されて出力されるＭＤＣＴ係数は、図１０Ｂにおいて、点線で示したように、圧縮符号化によりカットあるいは抑圧された可能性のある部分が残った状態のままである。このため、この第２の実施の形態の処理装置において、欠落信号復元部１９の予測生成処理部１９２が、圧縮符号化によりカットあるいは抑圧された可能性のある部分を復元する。
【０１２４】
すなわち、この第２の実施の形態の処理装置の予測生成処理部１９２は、図３〜図６を用いて説明した第１の実施の形態の予測生成処理部１４１の場合と同様の機能を有するものであり、高域追加処理部１９１からＭＤＣＴ係数の供給を受けて、フレーム単位に、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出し、処理対象のフレームとその前後２フレームずつのフレームの５フレーム分の対応する位置のＭＤＣＴ係数を用いて、近似式を作成し、その近似式に基づいてカットあるいは抑圧された可能性のあるＭＤＣＴ係数を予測して生成し、この予測して生成したＭＤＣＴ係数が分解能以下である場合に、生成した当該ＭＤＣＴ係数を補間データとして採用する。
【０１２５】
このようにすることによって、図１０Ｃに示すように、低域、中域、高域の全帯域について、圧縮符号化によりカットあるいは抑圧された可能性のあるＭＤＣＴ係数を復元し、欠落箇所のないデジタル音声データを復元することができるようにしている。このように、この第２の実施の形態の予測生成処理部１９２は、低域、中域、高域の全帯域を対象として、圧縮符号化によりカットあるいは抑圧された可能性のあるＭＤＣＴ係数を復元し、論理的に適正なものだけを補間データとして採用することができるようにしている。
【０１２６】
そして、図１０Ｃに示したように、圧縮符号化によりカットあるいは抑圧された可能性のあるＭＤＣＴ係数についても復元された周波数帯域のデジタル音声信号は、図９に示したように、適応ブロック長切換逆ＭＤＣＴ部１５で、逆ＭＤＣＴ変換されて時間軸領域の信号（時間音声信号）に変換され、これがゲイン制御部１６においてゲイン制御（ゲイン調整）するようにされる。これにより、圧縮符号化によりカットあるいは抑圧された可能性のある音声信号を精度よく復元することができるので、再生した場合に音質のよい音声データを復元することができるようにされる。
【０１２７】
［第２の実施の形態の変形例］
第２の実施の形態の処理装置は、図９に示したように、ステレオ処理部１３と適応ブロック長切換逆ＭＤＣＴ変換部１５との間に、高域追加処理部１９１と予測生成処理部１９２とを有する欠落信号復元部１９を設ける構成とした。すなわち、欠落信号復元部１９は、圧縮符号化されたデジタル音声信号を、時間軸領域の音声信号に復元する復号化器の内部に設けるようにしている。このようにすることにより、目的とする圧縮符号化方式、この実施の形態の場合には、ＡＡＣ方式に応じた復号処理に応じて、適切にカットあるいは抑圧された音声信号を復元することができる。
【０１２８】
しかし、圧縮符号化方式は、種々のものがある。そこで、図１１に示すように、復号化器の外に欠落信号復元部１９を設けるようにすることによって、圧縮符号化方式に左右されること無く、圧縮符号化によりカットあるいは抑圧された可能性のある部分の音声信号を復元し、再生される音声の音質を向上させることもできる。すなわち、図１１は、この第２の実施の形態の処理装置の変形例を説明するための図である。
【０１２９】
図１１において、フォーマット解析部１１、逆量子化処理部１２、ステレオ処理部１３、適応ブロック長切換逆ＭＤＣＴ部１５、ゲイン制御部１６、及び、欠落信号復元部１９は、図９に示した処理装置において、同じ参照符号が付された部分と同様に構成されたものである。このため、フォーマット解析部１１、逆量子化処理部１２、ステレオ処理部１３、適応ブロック長切換逆ＭＤＣＴ部１５、ゲイン制御部１６、及び、欠落信号復元部１９のそれぞれについての詳細な説明は省略する。
【０１３０】
そして、図１１に示す処理装置の場合、ゲイン制御部１６から出力された音声信号は、既に時間軸領域の音声信号（時間音声信号）とされたものである。このため、ＭＤＣＴ部１７を設け、ゲイン制御部１６からの時間音声信号をＭＤＣＴ変換して、再度、周波数領域の音声信号であるＭＤＣＴ係数に変換し、これを当該ＭＤＣＴ部１７の後段に設けられた欠落信号復元部１９に供給する。
【０１３１】
欠落信号復元部１９は、上述もしたように、図９に示した処理装置で用いられている欠落信号復元部１９と同様に構成されたものであり、各フレーム毎に、まず、中低域の既存のＭＤＣＴ係数を用いて、圧縮符号化によりカットあるいは抑圧された高域信号を復元する。次に、復元した高域信号をも含め、低域、中域、高域の全帯域のＭＤＣＴ係数を対象として、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出して、その部分のＭＤＣＴ係数（音声信号）を予測して生成し、その生成したＭＤＣＴ係数が分解能から見て適正である場合に、補間データとして採用する。これにより、圧縮符号化によりカットあるいは抑圧された高域のＭＤＣＴ係数をも復元し、低域、中域、高域の全帯域のＭＤＣＴ係数がそろったデジタル音声信号を復元することができる。
【０１３２】
そして、予測生成処理部１９２からの低域、中域、高域の全帯域のＭＤＣＴ係数は、逆ＭＤＣＴ部１８に供給され、ここで逆ＭＤＣＴ変換されて、時間軸領域の音声信号に戻され、利用することができるようにされる。このように、欠落信号復元部１９を、復号化器の外部に設けるようにした場合においても、この発明を適用でき、全帯域において、圧縮符号化処理によりカットあるいは抑圧された可能性のある音声信号を復元し、音質のよい音声を再生することができる。
【０１３３】
なお、上述した実施の形態の説明においては、図２Ａのように特定の周波数領域の音声信号（オーディオ信号）が欠落している場合を例にして説明した。しかし本発明は、音声信号が完全に欠落した場合以外に、特定の周波数領域の音声信号が抑圧された状態にある場合においても、この発明は成り立つ。
【０１３４】
例えば、図１２Ａにおいて左から４番目、６番目、８番目の周波数領域、および、高域側の周波数領域において、黒丸を付した部分まで実線で示したように、その周波数領域の一部の信号が残留しているような場合、すなわち特定の周波数領域の音声信号が抑圧された状態にある場合においても、この発明は成り立つ。なお、図１２Ａにおいて、黒丸よりも上の点線で示した部分は、欠落した信号部分である。
【０１３５】
このように、図１２Ａにおいて範囲ａに示したように、完全には欠落していない抑圧された信号が残留している領域が存在している場合がある。このような抑圧された音声信号の残留は、圧縮処理工程の計算精度などによって起こると考えられる。
【０１３６】
そして、図１２Ａに示したように抑圧された信号が残留している状態でも、図１２Ｂに示すように中低域の抑圧箇所に予測された信号を埋め込むことが可能である。さらに、図１２Ｂの予測復元された中低域の信号を参照して範囲ｂ、範囲ｃの音声信号を予測復元することも可能となっている。
【０１３７】
このように、この発明は、圧縮符号化により、音声信号の一部が欠落している場合だけでなく、圧縮符号化により、抑圧された音声信号が残留している場合であっても、その抑圧された音声信号が残留している部分についても、適切に音声信号を予測し復元することが可能である。
【０１３８】
［まとめ］
このように、上述した第１、第２の実施の形態の処理装置は、いずれも、圧縮符号化されたデジタル音声信号を伸長復号する系に関し、符号化の際に圧縮率を上げるために、カットあるいは抑圧または省略された音声信号に対し、本来の音声信号を予測して生成し、これを追加することにより、復号した音声信号の音質向上を図ることができる。
【０１３９】
より詳しくは、上述した第１の実施の形態の処理装置の場合には、音声信号の復号化系内において、先ず既存の符号化された信号を使って中低域の欠落信号を予測生成し、次にそれらを元に高域信号を複製することで、欠落箇所をより少なくし、音質を向上させるようにしている。
【０１４０】
また、第２の実施の形態の処理装置の場合には、第１の実施の形態の処理装置とは処理の順序を入れ替えて、既存の符号化された信号を使って、先に高域信号を複製し、次に全帯域における欠落した信号（欠落信号）を予測して生成することで、欠落箇所をより少なくし、音質を向上させることができるようにしている。
【０１４１】
また、上述したように、「欠落信号の予測生成」の処理と、「高域追加」の処理というように、処理を２段階に分けることで、欠落箇所をより少なくすることができ、自然な音声を再生することが可能な音声信号を得ることができる。すなわち、高域信号の復元のみならず、全帯域の欠落箇所をも適切に復元することができるので、自然な音声を再生することが可能な音声信号を得ることができるのである。
【０１４２】
また、第１の実施の形態においては、上述もしたように、（１）圧縮符号化されたデジタル音声信号について、まず、カットあるいは抑圧された可能性のある部分を検出し、その部分の音声データを予測して生成し、その生成した音声データが論理的に正しいと判断した場合に、その生成した音声データを補間データとして採用するようにする一連の処理の後に、（２）補間データによって補間されたデジタル音声データを用いて、高域側の音声データを復元するようにした。このように、必ず、上記（１）の段階と（２）の段階が必ず存在しなくてもよい。
【０１４３】
すなわち、上記（１）の段階を行うようにしただけでも、圧縮符号化されたデジタル音声信号の品位を向上させることができる。そして、カットあるいは抑圧された部分が補間された中低域のデジタル音声信号を用いて高域側の音声データを復元することにより、高域側の音声信号についても高品位化することができ、全帯域を通じて音質のよい音声を再生することが可能なデジタル音声データを復元することができる。
【０１４４】
また、圧縮符号化された既存のデジタル音声信号に対して、カットあるいは抑圧された部分の音声データを復元した後に、高域音声信号を復元する第１の実施の形態の手法を用いるか、圧縮符号化された既存のデジタル音声信号を用いて広域音声信号を復元した後に、全帯域の音声信号を対象にして、分解能が低いためにカットあるいは抑圧された部分の音声データを復元する第２の実施の形態の手法を用いるかは、適宜選択が可能である。
【０１４５】
また、図１〜図８を用いて説明した第１の実施の形態の処理装置は、この発明による方法が適用されたものである。具体的には、欠落信号復元部１４において、この発明による方法が用いられている。
【０１４６】
また、図６を用いて説明した欠落信号復元部１４の予測生成処理部１４１において行われる処理と、図７を用いて説明した欠落信号復元部１４の高域追加処理部１４２において行われる処理を、プログラム（ソフトウェア）によって実現し、これを圧縮符号化されたデジタル音声信号を復号処理する装置に搭載し、当該装置のコンピュータで実行するようにすることによって、圧縮符号化されたデジタル音声信号を復号処理する種々の装置にこの発明を適用することができる。
【０１４７】
また、図９〜図１１を用いて説明した第２の実施の形態の処理装置は、この発明による方法が適用されたものである。具体的には、欠落信号復元部１９において、この発明による方法が用いられている。
【０１４８】
また、欠落信号復元部１９の高域追加処理部１９１において行われる処理（基本的には、図７に示した第１の実施の形態の高域追加処理部１４２において行われる処理と同じ）と、欠落信号復元部１９の予測生成処理部１９２において行われる処理（基本的には、図６に示した第１の実施の形態の予測生成処理部１４１において行われる処理と同じ）とを、プログラム（ソフトウェア）によって実現し、これを圧縮符号化されたデジタル音声信号を復号処理する装置に搭載し、当該装置のコンピュータで実行するようにすることによって、圧縮符号化されたデジタル音声信号を復号処理する種々の装置に、第２の実施の形態で説明したこの発明を適用することができる。
【０１４９】
また、図１、図８、図９、図１１に示した各処理装置の最終段に、復号化されたデジタル音声信号をデジタル／アナログ変換してアナログ音声信号を形成するＤ／Ａ変換器と、当該Ｄ／Ａ変換器によってアナログ信号に変換された音声信号を増幅処理するなどの必要な処理部と、これを再生する再生手段とを設けることにより、この発明により再生方法が適用された再生装置を実現することができる。
【０１５０】
なお、図１、図８、図９、図１１において、プログラム（ソフトウェア）として形成できるのは、欠落信号復元部１４の予測生成処理部１４１と高域追加処理部１４２との機能や、欠落信号復元部１９の高域追加処理部１９１と予測生成処理部１９２との機能に限るものではない。フォーマット解析部１１、逆量子化処理部１２、ステレオ処理部１３、欠落信号復元部１４、適応ブロック長切換逆ＭＤＣＴ部１５、ゲイン制御部１６、ＭＤＣＴ部１７、逆ＭＤＣＴ部１８の各部の処理をも、処理装置に搭載されるコンピュータ（ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）などのいわゆる不揮発性メモリなどがＣＰＵバスを通じて接続されたマイクロコンピュータなど）において実行可能なプログラムによって実現することももちろん可能である。
【０１５１】
すなわち、図１、図６、図７、図８、図９、図１１に示した各ブロックの処理は、プログラムによって実現可能なものである。もちろん、上述もしたように、図１、図８、図９、図１１に示した各ブロックをハードウエアによって構成することも可能である。
【０１５２】
なお、上述した実施の形態では、左右２チャンネルのＭＰＥＧ２−ＡＡＣ方式のデジタル音声信号を処理する場合を例にして説明したが、これに限るものではない。マルチチャンネルのＭＰＥＧ２−ＡＡＣ方式のデジタル音声信号についても対応可能である。また、他の符号化信号でも応用が可能である。例えば、他のＭＰＥＧ方式、ＡＴＲＡＣ（登録商標）方式、ＡＣ−３（登録商標）方式、ＷＭＡ（登録商標）方式などで圧縮符号化された符号化信号に対しても適用可能である。
【０１５３】
また、上述した実施の形態では、欠落信号の予測方法として、最小二乗法による近似式を作成して予測する方法を用いたが、近似式でなく補間多項式でも応用が可能である。また、予測器を作成し、予測器からの出力である予測値を用いる方法もある。予測器としては、例えば、ＩＳＯ／ＩＥＣ１３８１８−７で定義されているものなどを用いることが可能であるし、その他の種々の予測器を用いることもできる。
【０１５４】
また、上述した実施の形態では、特開２００２−２５２５６２（デジタル信号処理装置及びデジタル信号処理方法、並びに1ビット信号生成装置）に開示された技術を用いて高域信号を復元するようにしたが、これに限るものではない。高域信号の復元は、他の種々の手法を用いることができる。
【０１５５】
また、上述した実施の形態においては、ＭＰＥＧ−２  ＡＡＣ方式の圧縮符号化処理が、所定の信号変換処理に相当し、ＭＰＥＧ−２  ＡＡＣ方式の圧縮符号化処理により形成された符号化音声信号が、信号変換処理された状態のデジタル信号に相当するものとして説明した。しかし、信号変換処理は、種々の圧縮符号化処理に限るものではない。
【０１５６】
例えば、この発明が適用されずに、所定の圧縮符号化方式に従って圧縮符号化された音声信号が、復号化処理されるとともに、アナログ音声信号に変換されて提供された場合、当該アナログ音声信号は、先の圧縮符号化により、信号成分の一部が除去された状態のまま、復号化されて提供されたものである。
【０１５７】
このため、当該アナログ音声信号をデジタル信号に変換し、上述した実施の形態の場合のように、除去された信号成分である付加信号を形成することが可能な状態にまで変換して、目的とする変換後信号を形成した後に、この発明を適用し、信号変換処理された状態のデジタル信号から、除去された可能性のある信号成分を付加信号として形成し、これをも考慮して、デジタル音声信号を処理することもできるようにされる。
【０１５８】
そして、当該信号変換処理された状態のデジタル音声信号の再生時において、対応する付加信号をも加味すると共に、元のアナログ音声信号の状態にまで復元し、再生するようにすることによって、元々、一部の信号成分が除去された音声信号についても、高品位な音声を再生することが可能な音声信号として復元することができるようにされる。
【０１５９】
この場合のデジタル信号への変換処理や、除去された信号成分である付加信号を形成することが可能な状態にまで変換する処理は、厳密には圧縮符号化処理とは異なるものである。しかし、このような場合であっても、この発明を適用することができる。すなわち、信号変換処理は、音声信号などの処理の対象となる主信号が、何らかの原因により一部の信号部分が除去されたようなものである場合に、その除去された信号部分を付加情報として生成することが可能な状態に変換する処理をも含むものである。
【０１６０】
また、上述した実施の形態においては、圧縮符号化された音声信号を処理対象とした場合を例に説明したが、種々の処理により信号成分の一部が除去された可能性のある種々の信号、例えば映像信号などを処理対象とする場合においても、この発明を応用して適用することが可能である。
【図面の簡単な説明】
【０１６１】
【図１】この発明による装置、方法、プログラムの一実施の形態が適用された第１の実施の形態の処理装置を説明するためのブロック図である。
【図２】欠落信号復元部１４において行われる処理を説明するための図であり、横軸を周波数、縦軸を振幅として、ＭＤＣＴ係数の状態を示した図である。
【図３】ＡＡＣ方式で圧縮符号化されたデジタル音声信号において、フレーム[ｎ]のＭＤＣＴ係数［ｋ］が欠落している場合を説明するための概念図である。
【図４】図３に示した５つのフレームのＭＤＣＴ係数［ｋ］を２次元の座標軸上に表現し、近似式を作成する場合について説明するための図である。
【図５】フレーム［ｎ］のＭＤＣＴ係数［ｋ］の分解能と予測値との関係を示す図である。
【図６】予測生成処理部１４１において行われる予測生成処理を説明するためのフローチャートである。
【図７】高域追加処理部１４２の構成例を説明するためのブロック図である。
【図８】第１の実施の形態の処理装置の変形例を説明するためのブロック図である。
【図９】この発明による装置、方法、プログラムの他の一実施の形態が適用された第２の実施の形態の処理装置を説明するためのブロック図である。
【図１０】欠落信号復元部１９において行われる処理を説明するための図である。
【図１１】第２の実施の形態の処理装置の変形例を説明するためのブロック図である。
【図１２】抑圧された音声信号成分が残留している場合において、信号を予測して復元する場合の処理を説明するための図である。
【図１３】既存の音声信号を用いて高域信号を復元する場合を説明するための概念図である。
【符号の説明】
【０１６２】
１１…フォーマット解析部、１２…逆量子化処理部、１２１…ハフマン復号化部、１２２…逆量子化部、１２３…リスケーリング部、１３…ステレオ処理部、１４…欠落信号復元部、１４１…予測生成処理部、１４２…高域追加処理部、１５…適応ブロック長切換逆ＭＤＣＴ部、１６…ゲイン制御部、１７…ＭＤＣＴ部、１９…欠落信号復元部、１８…逆ＭＤＣＴ部、１９１…高域追加処理部、１９２…予測生成処理部
【図１】
2008033269.tif 000003
【図２】
2008033269.tif 000004
【図３】
2008033269.tif 000005
【図４】
2008033269.tif 000006
【図５】
2008033269.tif 000007
【図６】
2008033269.tif 000008
【図７】
2008033269.tif 000009
【図８】
2008033269.tif 000010
【図９】
2008033269.tif 000011
【図１０】
2008033269.tif 000012
【図１１】
2008033269.tif 000013
【図１２】
2008033269.tif 000014
【図１３】
2008033269.tif 000015