遭尚书左丞荀赤松弹劾，免官归宅。不过后来又任秘书监，光禄勋及太常等官。可是，颜延之的性格始终无法让众人接受，当时的人并不喜欢他，还称他为「颜虎」；而他亦在元嘉三十年（453年）退休。退休同年，太子刘劭弒文帝即位，以延之为光禄大夫。刘劭不久为讨伐他的宋孝武帝消灭，孝武帝即位后又以延之为金紫光禄大夫，领湘东王师。孝建三年（456年），颜延之去世，享年七十三岁，获加赠散骑常侍、特进。谥为宪子。
为文.其文与谢灵运俱以词彩齐名，世称「颜谢」。他的作品有雕琢藻饰与喜用古事的弊病，许