音声の全てのデータを保持しつつ、大幅な圧縮率を達成することは困難である。そもそも、実世界で録音された音声の構造は非常に複雑で、圧縮技法のひとつであるパターンの繰り返しの検出が困難である。画像の場合もコンピュータグラフィックスよりも実世界の写真の方が圧縮しにくいのと同じである。ただし音声の場合、コンピュータが生成した音も非常に複雑な波形を含み、多くの圧縮アルゴリズムでは圧縮が難しい。これは、音声波形が時系列のまま単純化するのが難しく、人間の耳で行われているように周波数領域に(必要なら可逆に)変換してやる必要があるためである。可逆オーディオコーデックは音質には問題がないため、有用性は以下の観点で判断される。非可逆音声圧縮.非可逆音声圧縮の開発には知覚心理学の一部である音響心理学の成果が応用されているため知覚符号化の名称で呼ばれる。人間の聴覚は全ての音声データを認識しているわけではない。多くの非可逆圧縮ではまず、知覚されないと思われる音、すなわち人間の耳には聞こえにくい音を識別し、知覚的冗長性を減らす。典型例としては、高周波数成分や大きな音と同時に鳴っている小さな音などである。それらの音は正確度を減じて符号化されるか、全く符号化されない。知覚モデルに基づく冗長性削減でも十分な圧縮率が得られない場合、さらなる非可逆圧縮が必要となる。音源によっては、そうしても音質の低下を感じないこともある。例えば、人間の話し声は音楽よりも圧縮可能である。非可逆圧縮の多くはデータレートを調整・設定可能であり、例えばビット毎秒で表現する。さらなる圧縮においても人間の聴覚モデルに基づいて、音の重要性を判断して圧縮していく。実際の聴覚モデルは様々で、それぞれ特定の用途に特化している。符号化手法.変換領域.マスキングしきい値の計算には、最小可聴値と同時マスキングの原理を使い、場合によっては経時マスキングも利用する。等ラウドネス曲線を使って各周波数成分の重み付けも行うことがある。このような脳も含めた人間の聴覚モデルに基づいた現象群を心理音響モデルと呼ぶ。時間領域.別の非可逆圧縮方式として、線形予測符号(LPC)が人間の話し声(スピーチ)向けに使われている。この場合、音源(LPCに基づいた人間の話し声など)を量子化する前にホワイトノイズ化(平坦化)を行う。応用.