对亮度差异的敏感度高于色彩变化。在此前提下可以设计更加高效压缩图像的编码器（encoder）。
缩减取样（Downsampling）.经过RGB到YUV颜色空间的转换后，开始进行缩减采样来减少U和V的成份（称为"缩减取样"或"色度抽样"（chroma subsampling）。在JPEG上这种缩减取样的比例可以是（无缩减取样），（在水平方向2的倍数中取一个），以及最普遍的（在水平和垂直方向2的倍数中取一个）。对于压缩过程的剩余部份，Y、U、和V都是以非常类似的方式来个别地处理。