MPEG-4 Part 3

MPEG-4 Part 3（エムペグフォー パート 3）は Moving Picture Experts Group（MPEG）が規格化した国際標準である MPEG-4 の第3部で、オーディオ符号化方式が定義されている。一般的にはMPEG-4オーディオ（MPEG-4 Audio）の名称で呼ばれ、JISではMPEG-4音響の訳語が使われる 。
MPEG-4オーディオの規格は ISO/IEC 14496-3 で定義され  、 最初の規格は1999年に発行された 。 ISO/IEC 14496-3 の翻訳として JIS X 4332-3（"音響映像オブジェクトの符号化—第3部：音響"）がある。
MPEG-4オーディオは多くのオーディオ符号化方式を集めたもので、音声や音楽、自然な音や合成した音など様々な信号を扱うことができ、非常に低いビットレートから全く劣化の無い高ビットレートまで広い範囲のビットレートと音質での符号化方式をサポートしている。広く知られている MPEG-4 AAC の他に、ロスレス圧縮を行う MPEG-4 ALS や MPEG-4 SLS、MPEG-4 CELP、TwinVQ、HVXC（Harmonic Vector eXcitation Coding）、HILN（Harmonic and Individual Lines plus Noise）、TTSI（Text To Speech Interface）など様々な符号化技術が規格化されている。
MPEG-4 は、それ以前の様々な規格と異なり特定のアプリケーションをターゲットとしたものではなく、蓄積、インターネット通信、携帯電話、テレビ電話、デジタル放送など全てのアプリケーションで使えることを目的としている。MPEG-4オーディオは性質の異なるツールの組み合わせからなり、アプリケーションの内容に応じて組み合わせて使えるようになっている。

音声符号化

音楽などの一般的なオーディオ信号と比べると人間の音声は声帯や声道の特性によって決まる固有の波形を持つため、音声固有の符号化方式を用いることで音楽より高い圧縮率での符号化ができる。
MPEG-4 での音声符号化ツールとして、人間の自然な音声の圧縮と復号を行う自然音声符号化ツールと、さらに低ビットレートで音声を表現可能な音声合成インタフェースが用意されている。

自然音声符号化ツール

MPEG-4 の自然音声符号化ツールはデジタル放送、携帯電話、インターネット電話、音声データベースなどの用途に使用できる。 電話品質の音声を 音声を 2 ～ 24 kbps のビットレートで符号化でき、可変ビットレートの場合は 2 kbps 以下、例えば 1.2 kbps 程度の平均ビットレートでの符号化も可能である。
MPEG-4 HVXC は 2 ～ 4 kbps の超低ビットレートをカバーし、復号時に音声の速度とピッチ（音声の基本周波数）とを独立して変更することができる。
MPEG-4 CELP は2種類のサンプリング周波数（8 kHz, 16 kHz）と 4 ～ 24 kbps のビットレートをカバーする。ビットレート拡張性があり、同じ符号化結果から音質と帯域幅が異なる様々なビットレートの情報を取り出すことができる 。

音声合成インタフェース

MPEG-4 では音声合成の共通インタフェースが定義されている。音声合成の具体的なアルゴリズムは定義しない。
基本となるインタフェース標準では、国際音声記号（International Phonetic Alphabet、IPA）の形式や、任意の言語でのテキスト形式で音声の情報を指定する。
MPEG-4 Hybrid/Multi-Level Scalable TTS Interface は基本インタフェースを拡張したもので、抑揚などの韻律情報も指定でき、より自然な音声が合成できる。ビットストリームは階層構造になっており、階層が増えるに従って韻律情報も増える。

汎用オーディオ符号化

汎用オーディオ符号化で使われる MPEG-4 AAC は MPEG-2 AAC（ISO/IEC 13818-7）をベースに拡張を行ったもので、音楽などのオーディオ信号を効率よく符号化でき、モノラル、ステレオ、マルチチャネルの信号を扱うことができる。6 kbps 以上のビットレートでの符号化を行い、1チャネルあたり 64 kbps 以上では、欧州放送連合（EBU）が定義する厳しい条件下の試験で「（原音と）区別できない音質」の基準を満たしている。
MPEG-2 AAC で標準化された AAC Main、AAC LC、AAC SSR の各方式に加え、MPEG-4 AAC では低ビットレート符号化のための TwinVQ、リアルタイム通信などの用途向けに符号化遅延を小さくした AAC LD（Low Delay）、ビットストリームを階層化してビットレート拡張性を持たせる BSAC、高域成分をパラメータ化して情報圧縮を行う SBR（Spectral Band Replication）ツールなど多くの機能拡張が行われた。

TwinVQ

TwinVQ（Transform-domain Weighted Interleave Vector Quantization、変換領域重み付けインターリーブベクトル量子化）はベクトル量子化の一種で、MPEG-4 では汎用オーディオ符号化での量子化と符号化の方式として用いられる。 符号長が固定なため通信エラーに比較的強く、圧縮率を状況に応じて変えることができ  、AAC が不得意な低いビットレート（6 kbps ～）での音質が比較的優れている。

BSAC

BSAC（Bit-Sliced Arithmetic Coding）は、ビットストリームを階層化しビットレート拡張性を持たせるための技術で、AAC のハフマン符号の代わりに用いられる。チャネル当たり 1 kbps の細かいステップのビットレート拡張性が得られる。
BSAC では、AACと同様の方法で求めた量子化後の周波数領域の係数のまとまりを、上位ビットから順に階層的にまとめ各階層のビットプレーンごとにエントロピー符号化を行う。エントロピー符号化の方式には算術符号（Arithmetic Code）を用いる。 階層が増えるに従って下位のビット情報が追加されてデータの欠落が少なくなり、より高品質の復号結果を得ることができる。
ビットレートを、ネットワーク状況などの環境に応じて細かい単位でダイナミックに変えることができるため、リアルタイムでの QoS 制御などを実現できる。
BSAC は DMB（Digital Multimedia Broadcasting）で使用されている。

AAC LD

AAC LD（Low Delay）は符号化遅延を抑えた方式で、通信などリアルタイムで符号化と復号が必要な用途に用いられる。アルゴリズムから決まる符号化遅延はサンプリング周波数 48 KHz の場合で 20ms 以下である。
AAC での符号化の単位であるフレーム長を短くするなどの変更を加え、圧縮率の低下と引き換えに符号化遅延を小さくする。

HE-AAC

AAC LC をコアに SBR（Spectral Band Replication、スペクトル帯域複製）ツールを組み合わせて圧縮効率を向上させたプロファイルを HE-AAC（High-Efficiency Advanced Audio Coding）、さらに PS（Parametric Stereo）ツールも組み合わせたものを HE-AAC v2 と呼ぶ 。 HE-AAC は aacPlus や AAC+、HE-AAC v2 は aacPlus v2 や eAAC+ の商標名で呼ばれることもある。
SBR は、入力信号の低域成分と高域成分の相関を利用し、高域成分をスペクトル情報など情報を復元するためのわずかな制御情報のみでパラメータ化し、復号時に低域成分の情報から予測復元することで情報の圧縮を行う。
PS は、ステレオ信号について同様の考え方を用いるものである。ステレオ信号の左右チャネルの相関を利用し、左右の両チャネルを足し合わせたモノラル信号とステレオの空間情報をパラメータ化したサイド情報に分けて符号化を行い、復号時はモノラル信号とサイド情報とから両チャネルの信号を復元する。サイド情報は高音質の場合でも 9 kbps 程度で、左右チャネルをそのまま符号化するのに比べ圧縮効率が高くなる。
両方式とも元の信号と物理的に同じものを復元するのではないが、音響心理学的に自然な復元を行うことができ、大幅な情報の圧縮ができる。 また、HE-AAC をサポートしていないコーデックでも、AAC LC で符号化されたコア部分のみはデコード可能である。
欧州放送連合が実施した MUSHRA 法による試験では、HE-AAC で符号化された 48 kbps ステレオ信号の評価は 80点 で、 同じビットレートの AAC や mp3PRO より音質が高かった。
また、Moving Picture Experts Group による HE-AAC と HE-AAC v2 の MUSHRA 法による比較試験では、24 kbps の HE-AAC v2 は同じビットレートの HE-AAC よりはるかに優れており、32 kbps の HE-AAC と同等か優れた評価だった。

パラメトリックオーディオ符号化

パラメトリックオーディオ符号化ツールは、音楽などをパラメータ化し低ビットレートで符号化する方式で、4 kbps～程度の低いビットレートを受け持つ MPEG-4 HILN（Harmonic and Individual Lines plus Noise）  や、高音質の音楽を対象とする MPEG-4 SSC（SinuSoidal Coding） が含まれる。 HE-AAC v2 で使われる PS（Parametric Stereo、パラメトリックステレオ）も MPEG-4 SSC を構成するツールの1つである 。
MPEG-4 HILN は、音楽を複数の正弦波とノイズの組み合わせでパラメータ化する方式で、AAC よりさらに低いビットレートで音楽の符号化を行う。周波数や振幅のパラメータを変換・補間することで、復号時に音楽の速度とピッチとを独立して変更できる特徴がある。
MPEG-4 SSC（SinuSoidal Coding）は MPEG-4 HILN と比べると広帯域で高音質のオーディオ向けの符号化方式で、トランジェントツール（Transient tool）、正弦波ツール（Sinusoidal tool）、ノイズツール（Noise tool）、パラメトリックステレオ符号化ツール（Parametric Stereo coding tool）の 4 つのツールから構成される。トランジェントツールは音が大きく変わる部分をパラメータ化する。正弦波ツールは比較的定常的な部分を周波数、位相、振幅がゆっくりと変化する正弦波の組み合わせでパラメータ化する。ノイズツールは正弦波ツールで表現しきれない成分を特定の時間的エンベロープとスペクトルエンベロープを持つノイズとして表現する。パラメトリックステレオ符号化ツールはステレオ信号用で、ステレオ信号をモノラル成分と左右チャネルの違いを表す少数のパラメータで表現する。左右チャネルの違いを表すパラメータとして、フィルターで分割した各周波数領域でのチャネル間の強度差、位相差、相互相関を用いる 。

コンポジションツール

MPEG-4オーディオでは複数の異なるツールを用いた符号化データを「オーディオオブジェクト」として組み合わせることができる 。最終的なサウンドトラックはそれらをミキシングして1つにまとめられる。オーディオオブジェクトを組み合わせるためのフレームワークとして、MPEG-4 BIFS（Binary Format for Scenes）のサブセットである AudioBIFS を用いる。
コンポジションツールを使うことにより、ミキシングの制御や異なるサンプリング周波数の調整を行うことができ、また信号処理ルーチンのダウンロードにより独自のデジタルフィルターによる処理や各種エフェクト（残響効果など）を加えることが可能である。
例えば、高音質のバックグラウンドミュージックとナレーションの組み合わせの場合、MPEG-2 以前の方式では音楽と音声とを合わせた1つのオーディオ信号を AAC などを使い高ビットレート（32 kbps/channel 以上）で符号化するしかないが、MPEG-4 ではオーディオ合成ツールである Structured Audio と音声符号化ツールの MPEG-4 CELP を用い、バックグラウンドミュージックを 2 kbps 程度、ナレーションを 16 kbps 程度に符号化しコンポジションツールで組み合わせることができる。
さらに音声のみに残響効果を加えたり、ユーザ操作によりバックグラウンドミュージックのみを消したりするなど、1つのトラックにまとめられている場合は難しい操作を容易に実現できる。