Call avcodec_get_frame_defaults() per audio decode.