(57)【特許請求の範囲】
【請求項１】
入力され符号化されたディジタルオーディオ信号から遮断周波数以降の高域成分を取得する高域成分取得手段と、
前記符号化されたディジタルオーディオ信号の遮断周波数以降の割り当てビット数(Bit Allocation値)を０に書き換え、該書き換え後のビット数を基に符号化して帯域制限オーディオ信号を生成する帯域制限手段と、
前記帯域制限オーディオ信号を復号し帯域制限前の全体の符号量で再符号化して再符号化オーディオ信号を生成する復号再符号化手段と、
前記再符号化オーディオ信号と帯域制限オーディオ信号の各々の割り当てビット数を用いて低域側冗長成分のビット量を求め、前記取得した高域成分を前記再符号化した信号の低域部の前記低域側冗長成分に挿入する高域成分挿入手段と
を備えていることを特徴とするディジタルオーディオ信号の音質劣化装置。
【請求項２】
前記高域成分取得手段が、
決められた遮断周波数以降の全サブバンドのサンプルを抽出する手段と、
前記抽出されたサンプルを一時的に保持する保持手段と、
前記符号化されたディジタルオーディオ信号から遮断周波数以降の全サブバンドのサンプルを０とする手段と
を備えていることを特徴とする請求項１に記載の音質劣化装置。
【請求項３】
前記高域成分挿入手段が、
遮断周波数以降の全サブバンドへの符号量割り当て値を０とした上で前記高域成分取得手段により得られるディジタルオーディオ信号を再符号化する手段と、
前記保持手段により保持されたサンプルを前記ディジタルオーディオ信号の低域部のＬＳＢに挿入する手段と
を備えていることを特徴とする請求項２に記載の音質劣化装置。
【請求項４】
再符号化した信号の割り当てビット数で定められる低域側冗長成分に高域成分が格納されているディジタルオーディオ信号から、挿入されている高域成分を抽出する高域成分抽出手段と、
前記ディジタルオーディオ信号を復号し帯域制限後の符号量で再々符号化する復号再々符号化手段と、
前記抽出された高域成分を高域部に付加する高域成分付加手段と
を備えていることを特徴とするディジタルオーディオ信号の音質回復装置。
【請求項５】
前記高域成分抽出手段が、低サブバンド番号を優先とする順序でサンプルを走査するように構成されていることを特徴とする請求項４に記載の音質回復装置。
【請求項６】
前記高域成分抽出手段が、ＭＳＢを優先とする順序でサンプルを走査するように構成されていることを特徴とする請求項４に記載の音質回復装置。
【請求項７】
ディジタルオーディオ信号の音質劣化装置と該音質劣化装置によって音質が劣化されたディジタルオーディオ信号の音質回復装置とを含んでおり、
前記音質劣化装置が、入力され符号化されたディジタルオーディオ信号から遮断周波数以降の高域成分を取得する高域成分取得手段と、
前記符号化されたディジタルオーディオ信号の遮断周波数以降の割り当てビット数(Bit Allocation値)を０に書き換え、該書き換え後のビット数を基に符号化して帯域制限オーディオ信号を生成する帯域制限手段と、記帯域制限オーディオ信号を復号し帯域制限前の全体の符号量で再符号化して再符号化オーディオ信号を生成する復号再符号化手段と、前記再符号化オーディオ信号と帯域制限オーディオ信号の各々の割り当てビット数を用いて低域側冗長成分のビット量を求め、前記取得した高域成分を前記再符号化した信号の低域部の前記低域側冗長成分に挿入する高域成分挿入手段とを備えており、
前記音質回復装置が、再符号化した信号の割り当てビット数で定められる低域側冗長成分に高域成分が格納されている前記ディジタルオーディオ信号から、挿入されている高域成分を抽出する高域成分抽出手段と、前記ディジタルオーディオ信号を復号し帯域制限後の符号量で再々符号化する復号再々符号化手段と、前記抽出された高域成分を高域部に付加する高域成分付加手段とを備えている
ことを特徴とするディジタルオーディオ信号の音質劣化・回復システム。
【請求項８】
前記音質劣化装置における前記高域成分取得手段が、決められた遮断周波数以降の全サブバンドのサンプルを抽出する手段と、前記抽出されたサンプルを一時的に保持する保持手段と、前記符号化されたディジタルオーディオ信号から遮断周波数以降の全サブバンドのサンプルを０とする手段とを備えていることを特徴とする請求項７に記載の音質劣化・回復システム。
【請求項９】
前記音質劣化装置における前記高域成分挿入手段が、遮断周波数以降の全サブバンドへの符号量割り当て値を０とした上で前記高域成分取得手段により得られるディジタルオーディオ信号を再符号化する手段と、前記保持手段により保持されたサンプルを前記ディジタルオーディオ信号の低域部のＬＳＢに挿入する手段とを備えていることを特徴とする請求項８に記載の音質劣化・回復システム。
【請求項１０】
前記音質回復装置における前記高域成分抽出手段が、低サブバンド番号を優先とする順序でサンプルを走査するように構成されていることを特徴とする請求項７から９のいずれか１項に記載の音質劣化・回復システム。
【請求項１１】
前記音質回復装置における前記高域成分抽出手段が、ＭＳＢを優先とする順序でサンプルを走査するように構成されていることを特徴とする請求項７から９のいずれか１項に記載の音質劣化・回復システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルオーディオ信号のデータハイディング技術に係り、ディジタルオーディオ信号の音質を配信元で意図的に劣化させ、その音質を配信先において回復させることを可能にしたディジタルオーディオ信号の音質劣化・回復システムに関する。
【背景技術】
【０００２】
例えば、パソコン、携帯型ディジタル音楽プレーヤ及び携帯電話等の電子機器やネットワークを介したストリーミング配信、通信カラオケ又はディジタル放送等のディジタルオーディオコンテンツに対する需要は非常に高くなってきている。この種のディジタルオーディオコンテンツについては、安全に配信するための技術が求められており、一方で、そのコンテンツを購入する際にどのようなコンテンツなのかを確認できるようにする試用のための技術も同時に求められている。
【０００３】
ディジタルオーディオコンテンツ（製品）に対するこのような安全配信の要求及び試用の要求の両者を満足させるべく、予め製品の一部の情報を抜き出すことによって、試用のためにその製品の概略を確認できるようにしておき、鍵を用いた場合のみ、試用品に上述の抜き出した一部の情報（拡張用のデータ）を付加することで、換言すれば、試用品を拡張させることにより製品そのものと同一品質のコンテンツを再生可能とする技術が存在する（例えば、特許文献１）。
【０００４】
この特許文献１には、ディジタルコンテンツデータからオーディオ信号の高域周波数成分及び低域周波数成分を抽出して、解読許可を得ないと解読手段が解釈できないデータ領域（プライベート領域）にこれを格納するエンコーダ手段を設けたディジタル情報作成装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２２０７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載されているような技術によると、システムレイヤのプライベート領域に拡張用のデータを別途格納する必要があるため、ディジタルオーディオ単体のデータを送付する際にもシステムレイヤを同梱する必要がある。また、外見上、どの領域がプライベート領域なのかを見分けるのが容易であるため、攻撃を受け易いという致命的な問題もある。
【０００７】
従って本発明の目的は、基本となるディジタルオーディオ信号自体に拡張用のオーディオデータを同梱することにより、特別に別のデータを用意することなく音質が劣化したオーディオ信号を提供することができるディジタルオーディオ信号の音質劣化装置、また、元のディジタルオーディオ信号を回復することができるディジタルオーディオ信号の音質回復装置、及びこれらを組み合わせたディジタルオーディオ信号の音質劣化・回復システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明によれば、入力され符号化されたディジタルオーディオ信号から遮断周波数以降の高域成分を取得する高域成分取得手段と、前記符号化されたディジタルオーディオ信号の遮断周波数以降の割り当てビット数(Bit Allocation値)を０に書き換え、該書き換え後のビット数を基に符号化して帯域制限オーディオ信号を生成する帯域制限手段と、前記帯域制限オーディオ信号を復号し帯域制限前の全体の符号量で再符号化して再符号化オーディオ信号を生成する復号再符号化手段と、前記再符号化オーディオ信号と帯域制限オーディオ信号の各々の割り当てビット数を用いて低域側冗長成分のビット量を求め、前記取得した高域成分を前記再符号化した信号の低域部の前記低域側冗長成分に挿入する高域成分挿入手段とを備えているディジタルオーディオ信号の音質劣化装置が提供される。
【０００９】
システムレイヤ等のプライベート領域を別途に使用することなく、音質を回復させるための信号を同梱した状態で、音質が劣化したオーディオ信号ストリームを提供することができる。その結果、攻撃を受けにくく、安全なディジタルオーディオ信号の音質劣化・回復システムを提供することができる。
【００１０】
高域成分取得手段が、決められた遮断周波数以降の全サブバンドのサンプルを抽出する手段と、抽出されたサンプルを一時的に保持する保持手段と、符号化されたディジタルオーディオ信号から遮断周波数以降の全サブバンドのサンプルを０とする手段とを備えていることが好ましい。
【００１１】
さらに、高域成分挿入手段が、遮断周波数以降の全サブバンドへの符号量割り当て値を０とした上で高域成分取得手段により得られるディジタルオーディオ信号を再符号化する手段と、保持手段により保持されたサンプルをディジタルオーディオ信号の低域部のＬＳＢに挿入する手段とを備えていることがより好ましい。
【００１２】
本発明によれば、さらに、再符号化した信号の割り当てビット数で定められる低域側冗長成分に高域成分が格納されているディジタルオーディオ信号から、挿入されている高域成分を抽出する高域成分抽出手段と、前記ディジタルオーディオ信号を復号し帯域制限後の符号量で再々符号化する復号再々符号化手段と、前記抽出された高域成分を高域部に付加する高域成分付加手段とを備えているディジタルオーディオ信号の音質回復装置が提供される。
【００１３】
高域成分抽出手段が、低サブバンド番号又はＭＳＢを優先とする順序でサンプルを走査するように構成されていることが好ましい。
【００１４】
本発明によれば、さらにまた、ディジタルオーディオ信号の音質劣化装置と該音質劣化装置によって音質が劣化されたディジタルオーディオ信号の音質回復装置とを含んでおり、前記音質劣化装置が、入力され符号化されたディジタルオーディオ信号から遮断周波数以降の高域成分を取得する高域成分取得手段と、前記符号化されたディジタルオーディオ信号の遮断周波数以降の割り当てビット数(Bit Allocation値)を０に書き換え、該書き換え後のビット数を基に符号化して帯域制限オーディオ信号を生成する帯域制限手段と、記帯域制限オーディオ信号を復号し帯域制限前の全体の符号量で再符号化して再符号化オーディオ信号を生成する復号再符号化手段と、前記再符号化オーディオ信号と帯域制限オーディオ信号の各々の割り当てビット数を用いて低域側冗長成分のビット量を求め、前記取得した高域成分を前記再符号化した信号の低域部の前記低域側冗長成分に挿入する高域成分挿入手段とを備えており、前記音質回復装置が、再符号化した信号の割り当てビット数で定められる低域側冗長成分に高域成分が格納されている前記ディジタルオーディオ信号から、挿入されている高域成分を抽出する高域成分抽出手段と、前記ディジタルオーディオ信号を復号し帯域制限後の符号量で再々符号化する復号再々符号化手段と、前記抽出された高域成分を高域部に付加する高域成分付加手段とを備えているディジタルオーディオ信号の音質劣化・回復システムが提供される。
【００１５】
音質劣化装置における高域成分取得手段が、決められた遮断周波数以降の全サブバンドのサンプルを抽出する手段と、抽出されたサンプルを一時的に保持する保持手段と、符号化されたディジタルオーディオ信号から遮断周波数以降の全サブバンドのサンプルを０とする手段とを備えていることが好ましい。
【００１６】
音質劣化装置における高域成分挿入手段が、遮断周波数以降の全サブバンドへの符号量割り当て値を０とした上で高域成分取得手段により得られるディジタルオーディオ信号を再符号化する手段と、保持手段により保持されたサンプルをディジタルオーディオ信号の低域部のＬＳＢに挿入する手段とを備えていることがより好ましい。
【００１７】
音質回復装置における高域成分抽出手段が、低サブバンド番号又はＭＳＢを優先とする順序でサンプルを走査するように構成されていることも好ましい。
【発明の効果】
【００１８】
本発明によれば、システムレイヤ等のプライベート領域を別途使用することなく、音質を回復するための信号を同梱した上で音質が劣化したストリームを構成することができ、また、同梱された信号によって元のディジタルオーディオ信号を回復することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の音質劣化・回復システムの一実施形態において、データハイディングを用いた準可逆なローパスフィルタ方法を実現している音質劣化装置の処理内容を概略的に示すプロセス図である。
【図２】図１の処理内容を説明する図である。
【図３】サンプル値の符号量の変化を説明する図である。
【図４】高域サンプル値の挿入方法の一例を説明する図である。
【図５】高域サンプル値の挿入方法の他の例を説明する図である。
【図６】低域冗長成分への挿入方法を説明する図である。
【図７】本実施形態において、ローパスフィルタ処理後のオーディオ信号の再構成方法を実現している音質回復装置の処理内容を概略的に示すプロセス図である。
【図８】本実施形態の変更態様において、ローパスフィルタ処理後のオーディオ信号の再構成方法を実現している音質回復装置の処理内容を概略的に示すプロセス図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の音質劣化・回復システムの一実施形態を説明する。本実施形態は、本発明をＭＰＥＧ−１レイヤIIへ適用した場合であるが、それ以外のサブバンド符号化を用いた圧縮方式にも本発明は適用可能である。
【００２１】
図１は本実施形態の音質劣化・回復システムにおいて、データハイディングを用いた準可逆なローパスフィルタを実現している音質劣化装置の処理内容を概略的に示すプロセス図であり、図２はこの図１における処理内容を説明する図である。
【００２２】
音質劣化装置においては、図１に示すように、まず、元のディジタルオーディオ信号ＧをＭＰＥＧ−１オーディオレイヤII規格で符号化する（ステップＳ１）。このＭＰＥＧ−１オーディオ符号化構造については、周知技術であるため、詳細な説明を省略するが、１６ビット線形量子化されたＰＣＭ入力信号は、最初に、時間領域から３２ビットのサブバンドからなる周波数領域に写像される（サブバンド分析フィルタバンク）。次いで、量子化誤差のマスキングレベルが計算され、各サブバンドのオーディオ信号からマスキングレベルを差し引いた差分信号に対して、ビット割当てによる量子化及び符号化を行うことにより、符号化サイド情報及び符号化サンプルを合成してフレーム（ＡＡＵ：オーディオアクセスユニット）に組み込む。
【００２３】
このように符号化したオーディオ信号の帯域制限処理を行う（ステップＳ２）。
【００２４】
この帯域制限処理は以下のようにして行われる。
帯域制限処理
（２−１）圧縮符号化したオーディオ信号
【数１】
0005455222.tif 000002
を受取る。図２（Ａ）はこの圧縮符号化した信号を表わしている。
（２−２）サイド情報とサンプル値とを復号し、Bit Allocation（ビット割当て）、SCFSI（スケールファクタ選択情報）、Scale Factor（スケールファクタ）、及びSample（サンプル）の各値を得る、
（２−３）遮断周波数Ｐ以降の全サブバンドのBit Allocation値を全て０に書き換える、
（２−４）書き換えたBit Allocation値を元に、サイド情報とサンプル値とを符号化する、
（２−５）以上の処理を全フレームに対して行う、
（２−６）最終的に帯域制限された圧縮オーディオ信号
【数２】
0005455222.tif 000003
を生成する。この時、帯域制限後のサンプル値のみの符号量を記録しておく。
【００２５】
なお、Bit Allocation値は、他の成分(SCFSI、Scale Factor及びSample)の存在有無を示す基準となる数値であるため、Bit Allocation値が元々１以上であった場合にその値が０に変化すると、元々存在したSCFSI、Scale Factor、及びSampleの各値は符号化されなくなる。
【００２６】
次いで、この帯域制限された圧縮オーディオ信号
【数３】
0005455222.tif 000004
を復号化してＰＣＭデータ（ＰＣＭオーディオ信号）
【数４】
0005455222.tif 000005
を生成する（ステップＳ３）。
【００２７】
その後、この復号化されたＰＣＭデータ
【数５】
0005455222.tif 000006
を帯域制限前の全体の符号量で再符号化して圧縮オーディオ信号
【数６】
0005455222.tif 000007
を生成する（ステップＳ４）。サブバンド番号ＳＢが０〜Ｐ−１の範囲内で、動的ビット割当て処理を行う。通常、符号化器の動的ビット割当て処理は、フレームサイズ（ＡＡＵ）内に収まるように各サブバンドに動的にビットを割当てるが、本実施形態では、その一部処理を変更して再符号化処理を行っている。
【００２８】
この処理によって得られる再符号化オーディオ信号
【数７】
0005455222.tif 000008
には、冗長成分が生じている。この狭めたＰ′の値はテーブルとして記録しておく。
【００２９】
この再符号化処理は詳しくは以下のようにして行われる。
再符号化処理
（４−１）帯域制限された圧縮オーディオ信号
【数８】
0005455222.tif 000009
のBit Allocation、SCFSI、及びScale Factorの各値をデータとして入手する、
（４−２）サブバンド分析フィルタバンクの出力値を入手したScale Factorで正規化する、
（４−３）上述の処理（４−２）の際に、正規化の範囲を超えた場合は、除算後の値を絶対値で１未満に収める、
（４−４）再符号化処理の際のビットの増加範囲（Ｐ′）を決める、
（４−５）元の圧縮オーディオ信号
【数９】
0005455222.tif 000010
の高域成分ＢＰ＋の総ビット量を計算する、
（４−６）SCFSI、Scale Factor、Sample（Bit Allocationのビット量は含まない）の高域成分の量をカウントする、
（４−７）高域成分が存在する場合、ビットを増加させる（狭める）範囲（Ｐ′≦Ｐ）を決定する（再符号化処理において、低域成分の指定したサブバンドのみビット量が増加するように調整する）、
（４−８）第０サブバンドから順番に、
【数１０】
0005455222.tif 000011
の符号長と最大符号長１６ビットとの差を計算し加算していく、
（４−９）このビット量が冗長成分のビット量となる、
（４−１０）高域成分のビット量がその冗長成分のビット量以内に収まった時点でのサブバンド番号をテーブルに記録しておく、
（４−１１）そのサブバンド番号がＰ′となる、
（４−１２）次に動的ビット割り当て処理を行う、
（４−１３）次式を用いて、１ＡＡＵに割り当て可能な総ビット数（size）を算出する
size＝１１５２×ビットレート／サンプリング周波数
（４−１４）算出した１ＡＡＵに割り当て可能な総ビット数（size）から、Header（ヘッダ情報）、CRC（巡回冗長検査情報）、Bit Allocation、及びAncillary（アンシラリ情報）のビット数を減算する、
（４−１５）最小ＭＮＲ（マスク対雑音比）を示すサブバンドを探索する、
（４−１６）そのサブバンドの量子化ステップを１段階上の値に変更するとき、以下の制約条件に当てはまる場合は上述の処理（４−９）へ進み、当てはまらない場合は上述の処理（４−１１）へ進む、
（４−１７）そのサブバンドの量子化ステップを１段階上の値に変更する、
（４−１８）新しい量子化ステップに対応するＳＮＲ（信号対雑音比）を選択し新たなＭＮＲを算出する、
（４−１９）現在の割り当て可能ビット数から、現在の量子化ステップに対応するビット数を減算し、新たな割り当て可能ビット数を算出する、
（４−２０）最小ＭＮＲに対応するサブバンドの量子化ステップが０の場合は、SCFSI及びScale Factorのビット数を減算する、
（４−２１）割り当て可能ビットが正の最小値ならば，現在のＡＡＵ（フレーム）での処理を終了し、そうでなければ上述の処理（４−９）へ進む、
（４−２２）求めたBit Allocation値を用いて、正規化後のサンプル値を線形量子化する、
（４−２３）サイド情報とサンプル値を符号化する、
（４−２４）サイド情報を符号化する際は、求めたBit AllocationのSCFSI、Scale Factorを用いる、
（４−２５）以上の全処理を、全フレームに対して行う。
【００３０】
通常の動的ビット割り当て処理では、ＳＭＲ（信号対マスク比）値に従ってＳＮＲとＳＭＲとの差であるＭＮＲが小さいサブバンドから順番にビットを割り当てていく。その際、初めてビットが割り当てられたサブバンドに関しては、サンプル値に対するビット割り当て量とSCFSI及びScale Factorに対するビット割り当て量がカウントされ、割り当て可能な総ビット数から減算される。そのため、一度ビットが割り当てられたサブバンドに関しては、次からはサンプル値に対するビット割り当て量のみカウントされる。この繰り返しにより、最終的に、割り当て可能なビット数が正の最小値になるまで繰り返される。なお、前述の「復号し再符号化する処理」において、復号時にサブバンドごとのサンプルに相当するデータを蓄積しておき、再符号化時にその情報に高域成分を挿入する形をとることも可能である。
【００３１】
この再符号化処理における制約条件として、
（ａ）符号長の上限値によって制約する（第１１サブバンド以降に適用)、
第１１〜２２サブバンドでは、５ビット以下、
第２３サブバンド以降では、３ビット以下、
（ｂ）再符号化によって、ビット増加範囲を狭める、
０≦ＳＢ≦Ｐ′においては、ビットを制限無く割り当てる、
Ｐ′＜ＳＢ≦ＰにおけるBit Allocation値を超えないようにビットを割り当てる、
（ｃ）再符号化によるスケールファクタ値のビット数増加を防止する（図３参照）、これは、
【数１１】
0005455222.tif 000012
においてBit Allocationが存在していないサブバンドはそのままビットが割り当てられないようにする。これは、ビットが割り当てられてしまうことによるSCFSI及びScale Factorのビット量の増加を防ぐためである。
【００３２】
一方、帯域制限前のオーディオ信号
【数１２】
0005455222.tif 000013
から高域成分ＢＰ＋を取得しておき（ステップＳ５）、再符号化されたオーディオ信号
【数１３】
0005455222.tif 000014
の冗長成分に、この高域成分ＢＰ＋を挿入する（ステップＳ６）。
【００３３】
この高域成分の挿入処理は以下のようにして行われる。
高域成分挿入処理
（Ａ）高域成分（Bit
Allocation、SCFSI及びScale Factor）の走査方法
Bit Allocation、SCFSI及びScale Factorをそれぞれ遮断周波数Ｐから順番に挿入していく。挿入する際には、規定の符号長でビット分解して挿入する。
（６ａ−１）遮断周波数Ｐ以降の挿入する高域成分（Bit Allocation、SCFSI及びScale Factor）をビット分解し、一次元配列に記録する、
（６ａ−２）Bit Allocation値を全て挿入する（２〜４ビット）、
（６ａ−３）SCFSI値を全て挿入する（２ビット）、
（６ａ−４）Scale Factor値を全て挿入する（６〜１８ビット）。
（Ｂ）高域成分（Sample）の走査方法
（Ｂ１）サブバンド番号重視
遮断周波数Ｐのサブバンドサンプルから挿入していくが、３６サンプルずつ挿入していく。その際、図４に示すように、３６サンプルのＭＳＢのビット列から走査していく。なお、図４において、横軸のサブバンドは、Ｐから、Ｐ＋１、Ｐ＋２、・・・となるにつれて周波数が高くなっている。
（６ｂ１−１）第ＰサブバンドのＭＳＢのビット列から挿入する、
（６ｂ１−２）ＭＳＢのビット列の挿入が終わったら、次のビット列の挿入に移る、
（６ｂ１−３）ＭＳＢからＬＳＢまで、現在走査しているサブバンドの３６サンプルが全て挿入し終わったら、次のサブバンドへ移る、
（６ｂ１−４）以上の順番で、全高域サンプルの挿入を行っていく。第Ｐサブバンドから順番に１ビットずつ埋め込んでいく。各サブバンドでは、３６個存在するサンプル値のＭＳＢから順番に３６ビットの列毎に埋め込んでいく。このサブバンドのＬＳＢに到達したら、次のサブバンドへ移行する。最終的に、存在する高域成分の最高サブバンドまでスキャンしていく。
（Ｂ２）ＭＳＢ重視
全高域成分のサンプル値のＭＳＢを基準として、ＭＳＢからＬＳＢへ走査していく。その際、図５に示すように、各ビット位置では、遮断周波数Ｐのサブバンドの３６個のビット列から順番に走査していく。なお、図５において、横軸のサブバンドは、Ｐから、Ｐ＋１、Ｐ＋２、・・・となるにつれて周波数が高くなっている。
（６ｂ２−１）第ＰサブバンドのＭＳＢのビット列（３６個）から挿入する、
（６ｂ２−２）第Ｐ＋１サブバンドのＭＳＢのビット列（３６個）を挿入する、
（６ｂ２−３）最高サブバンドのＭＳＢのビット列（３６個）の挿入が完了したら、次のビット位置へ移る、
（６ｂ２−４）第ＰサブバンドのＭＳＢの次のビット列（３６個）から挿入する、
（６ｂ２−５）以上の処理を全ビット位置の走査が終わるまで繰り返す。
全サンプルのＭＳＢから順番に走査していく。各ビット位置では、第Ｐサブバンドから順番に走査していき、３６個のビット列を埋め込み終わったら、次のサブバンドへ処理が移る。このようにして、各ビット位置で第Ｐサブバンドから最高サブバンドまで走査していき、ＬＳＢのビット位置まで走査する。
（Ｃ）低域側冗長成分への挿入方法
（６ｃ−１）再符号化オーディオ信号
【数１４】
0005455222.tif 000015
と帯域制限オーディオ信号
【数１５】
0005455222.tif 000016
のBit Allocation値をそれぞれ用いて、低域側冗長成分のビット量を明確にする。これにより、帯域制限オーディオ信号
【数１６】
0005455222.tif 000017
のBit Allocation値が境界線となる、
（６ｃ−２）各サブバンド毎に、
【数１７】
0005455222.tif 000018
の差分を計算しておく、
（６ｃ−３）冗長成分のＬＳＢ側を基準として、ＬＳＢ側の第０サブバンドの３６個のビット列から順番に走査し、高域成分を埋め込んでいく、
（６ｃ−４）第０サブバンドの３６個のビット列への埋め込みが終了後、次の第１サブバンドの３６個のビット列へと走査が移る、
（６ｃ−５）以上の方法により、狭めた増加幅Ｐ′まで埋め込みを繰り返す、
（６ｃ−６）この順番で、ＬＳＢ側の走査が全て終了したら、次のビット位置へ移動し、処理を繰り返す、
（６ｃ−７）ＭＳＢ側のビット位置まで走査し終わったら、処理終了である。
【００３４】
図６はこの低域冗長成分への挿入方法を説明する図であり、同図からも分かるように、
【数１８】
0005455222.tif 000019
冗長成分のＬＳＢ側を基準にして、ＬＳＢ側のビットプレーンからＭＳＢ側のビットプレーンまで順番に走査していく。各ビットプレーンでは、第０サブバンドから各サブバンドに存在する３６個のビット列ずつ順番に走査していき、第Ｐ′サブバンドまで走査する。以上の順番で、ＭＳＢ側のビットプレーンまで走査し終わったら、処理終了である。これにより、オーディオ信号
【数１９】
0005455222.tif 000020
が生成される。
【００３５】
図７は本実施形態の音質劣化・回復システムにおいて、ローパスフィルタ処理後オーディオ信号の再構成方法を実現している音質回復装置の処理内容を概略的に示すプロセス図である。
【００３６】
音質回復装置においては、図７に示すように、まず、再符号化後の圧縮オーディオ信号
【数２０】
0005455222.tif 000021
を復号し、ＰＣＭオーディオ信号
【数２１】
0005455222.tif 000022
を生成する（ステップＳ１１）。
【００３７】
次いで、生成されたＰＣＭオーディオ信号
【数２２】
0005455222.tif 000023
について再々符号化処理を行う（ステップＳ１２）。
【００３８】
この再々符号化処理は以下のようにして行われる。
再々符号化処理
この再々符号化処理を行うことにより、再符号化して、情報量が増えたオーディオ信号の情報量を小さくする。
（１２−１）テーブルに格納されている元の低域成分のサンプルビット量ＡＡＵＰ−を取得する、
（１２−２）
【数２３】
0005455222.tif 000024
のBit Allocation、SCFSI及びScale Factorの各値を取得する、
（１２−３）サブバンド分析フィルタバンクの出力値を
【数２４】
0005455222.tif 000025
のScale Factorで正規化する、
（１２−４）正規化の範囲を超えた場合は処理を追加する、
（１２−５）低域冗長成分の増加範囲（サブバンド増加幅Ｐ′）を外部データ（テーブル）から取得する、
（１２−６）動的ビット割当て処理を行う（多少の変更有り）、
（１２−７）低域成分ＢＰ−のサンプルビット量（割り当て可能な総ビット量）を取得する、
（１２−８）最小ＭＮＲ（マスク対雑音比）を示すサブバンドを探索する、
（１２−９）そのサブバンドの量子化ステップを１段階上の値に変更するとき，以下の制約条件に当てはまる場合は、上述の処理（１２−８）へ進み、当てはまらない場合は次の処理（１２−１０）へ進む、
（１２−１０）そのサブバンドの量子化ステップを１段階上の値に変更する、
（１２−１１）新しい量子化ステップに対応するＳＮＲ（信号対雑音比）を選択し、新たなＭＮＲを算出する、
（１２−１２）現在の割り当て可能ビット数から、現在の量子化ステップに対応するビット数を減算し、新たな割り当て可能ビット数を算出する、
（１２−１３）割り当て可能ビットが正の最小値ならば、現在のＡＡＵ（フレーム）での処理を終了し、そうでなければ上述の処理（１２−８）へ進む、
（１２−１４）求まったBit Allocation値を用いて、正規化後のサンプル値を線形量子化する、
（１２−１５）サイド情報とサンプル値を符号化する、
（１２−１６）サイド情報を符号化する際は、求まったBit Allocation、
【数２５】
0005455222.tif 000026
のSCFSI及びScale Factorを用いる、
（１２−１７）以上の全処理を全フレームに対して行う。
【００３９】
この再々符号化処理における制約条件として、
（ａ）符号長の上限値によって制約する（第１１サブバンド以降に適用)、
第１１〜２２サブバンドでは、５ビット以下、
第２３サブバンド以降では、３ビット以下、
（ｂ）再々符号化による、ビット増加範囲を考慮した処理を行う、
０≦ＳＢ≦Ｐ′においては、ビットを制限無く割り当てる、
Ｐ′＜ＳＢ≦ＰにおけるBit Allocation値を超えないようにビットを割り当てる、
（ｃ）再々符号化による、スケールファクタ値のビット数増加を防止する（図３参照）、
【数２６】
0005455222.tif 000027
においてBit Allocationが存在していないサブバンドはそのままビットが割当てられないようにする。これは、ビットが割り当てられてしまうことによるSCFSI及びScale Factorのビット量の増加を防ぐためである。
【００４０】
以上述べた再々符号化処理が再符号化と異なっている点は、
【数２７】
0005455222.tif 000028
に存在していた冗長成分を無くし、再々符号化後のビット量をＢＰ−と同じにしている点である。即ち、SCFSI、Scale Factor値は、
【数２８】
0005455222.tif 000029
と同じものを利用しているためビット量は変化しないが、低域成分のSampleの総ビット量のみ変化するのである。このため、低域成分のSampleビット量で、動的ビット割り当て処理を行っている。
【００４１】
一方、再々符号化から得られる割当てビット数を用いて、再符号化オーディオ信号から高域成分を抽出する（ステップＳ１３）。
【００４２】
この高域成分の抽出処理は以下のようにして行われる。
高域成分抽出処理
（１３−１）高域成分挿入の際は
【数２９】
0005455222.tif 000030
の境界線を用いたが、本実施形態における高域成分抽出の際は、再々符号化後の境界線
【数３０】
0005455222.tif 000031
を用いる、
（１３−２）再符号化オーディオ信号
【数３１】
0005455222.tif 000032
のBit Allocation値から、冗長成分のビット量を明確にする、
（１３−３）挿入時と同様に、冗長成分のサイズを算出する、
（１３−４）各サブバンド毎に、
【数３２】
0005455222.tif 000033
（境界線）との差分を計算しておく、
（１３−５）ＬＳＢ側のビット位置からＭＳＢ側のビット位置まで順番に走査し、ビットを一次元配列に抽出する、
（１３−６）一次元配列から、Bit Allocation、SCFSI、Scale Factor、及びSample の順番にビットを抽出する、
（１３−７）割り当てビット数を遮断周波数Ｐのサブバンドから順に抽出する、
（１３−８）ビットが割り当てられているサブバンドから順番にSCFSIを抽出していく、
（１３−９）ビットが割り当てられているサブバンドから順番にScale Factorを抽出していく、
（１３−１０）ビットが割り当てられているサブバンドから順番にSampleを抽出していく。このサンプル値の抽出に関しては、先ほどの高域成分の挿入の際の走査と同様の順番で、高域成分サンプルを再構成していく。ビットが割当てられているサブバンドから順番にサンプルビットを復元する。その際、前述した（Ｂ１）サブバンド番号重視、（Ｂ２）ＭＳＢ重視に示す順番でサンプルビットを復元する。
【００４３】
その後、抽出した高域成分を再々符号化オーディオ信号に付加して合成する（ステップＳ１４）。
【００４４】
この高域成分の付加処理は以下のようにして行われる。
高域成分付加処理
（１４−１）再構成後の低域側冗長成分から抽出した高域成分
【数３３】
0005455222.tif 000034
を用意する、
（１４−２）再々符号化後のオーディオ信号
【数３４】
0005455222.tif 000035
を準備する、
（１４−３）再々符号化後のオーディオ信号
【数３５】
0005455222.tif 000036
を復号し、サイド情報とサンプル値とを取得する、
（１４−４）遮断周波数Ｐ以降の情報を、取得した
【数３６】
0005455222.tif 000037
の情報で上書きする。
【００４５】
これにより、抽出した高域成分
【数３７】
0005455222.tif 000038
が得られる。
【００４６】
なお、本実施形態における音質劣化・回復システムでは、帯域制限後のオーディオ信号を再符号化し、再々符号化する際に、サンプル値の符号量を図３に示すように変化させている。このように、帯域制限後のオーディオ信号
【数３８】
0005455222.tif 000039
におけるSCFSI値及びScale Factor値を再符号化時に適用し、
【数３９】
0005455222.tif 000040
におけるSCFSI値及びScale Factor値を再々符号化時に適用している。即ち、SCFSI値及びScale Factor値は、再符号化時も再々符号化時も変えずにそのまま適用している。
【００４７】
このように、本実施形態によれば、システムレイヤ等のプライベート領域を別途に使用することなく、音質を回復させるための信号を同梱した状態で、音質が劣化したオーディオ信号ストリームを提供することができる。その結果、攻撃を受けにくく、安全なディジタルオーディオ信号の音質劣化・回復システムを提供することができる。
【００４８】
図８は、本実施形態の変更態様において、ローパスフィルタ処理後のオーディオ信号の再構成方法を実現している音質回復装置の処理内容を概略的に示すプロセス図である。
【００４９】
本変更態様においては、音質劣化装置側で、帯域制限後のオーディオ信号
【数４０】
0005455222.tif 000041
の割当てビット数を、再符号化オーディオ信号
【数４１】
0005455222.tif 000042
の冗長成分に挿入しておき、音質回復装置において、再符号化オーディオ信号
【００５０】
【数４２】
0005455222.tif 000043
の冗長成分から帯域制限後のオーディオ信号（境界線）
【００５１】
【数４３】
0005455222.tif 000044
の割当てビット数を抽出し（ステップＳ２３）、抽出した
【００５２】
【数４４】
0005455222.tif 000045
割当てビット数を用いて、再符号化オーディオ信号
【数４５】
0005455222.tif 000046
の冗長成分の位置を特定している（ステップＳ２４）。
【００５３】
本変更態様におけるその他の処理内容（ステップＳ２１、Ｓ２２及びＳ２５の処理内容）は、図７の実施形態における処理内容（ステップＳ１１、Ｓ１２及びＳ１４の処理内容）とそれぞれ同様である。また、本変更態様における作用効果は、前述した実施形態の場合とほぼ同様である。
【００５４】
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【図１】
0005455222.tif 000047
【図２】
0005455222.tif 000048
【図３】
0005455222.tif 000049
【図４】
0005455222.tif 000050
【図５】
0005455222.tif 000051
【図６】
0005455222.tif 000052
【図７】
0005455222.tif 000053
【図８】
0005455222.tif 000054