编码时基本的操作单位称为宏块。H.261使用YCbCr颜色空间，并采用色度抽样，每个宏块包括16x16的亮度抽样值和两个相应的8x8的色度抽样值。H.261使用帧间预测来消除空域冗余，并使用了运动矢量来进行运动补偿。变换编码部分使用了一个8x8的离散余弦变换来消除空域的冗余，然后对变换后的系数进行阶梯量化（这一步是有损压缩），之后对量化后的变换系数进行Zig-zag扫描，并进行熵编码（使用Run-Level变长编码）来消除统计冗余。实际上H.261标准仅仅规定了如何进行影片的解码（后继的各个影片编码