，焉能事死。」竟没有去。元嘉十七年（440年）刘湛等被诛杀后，延之再度任官，先任始兴王后军议参军和御史中丞，不过任内从容，没作出举奏。后转国子祭酒、司徒左长史。不过就因买别人的田地而不肯赔偿田地价值而遭尚书左丞荀赤松弹劾，免官归宅。不过后来又任秘书监，光禄勋及太常等官。可是，颜延之的性格始终无法让众人接受，当时的人并不喜欢他，还称他为「颜虎」；而他亦在元嘉三十年（453年）退休。退休同年，太子刘劭弒文帝即位，以延之为光禄大夫。刘劭不久为讨伐他的宋孝武帝消灭，孝武帝即位后又以延之为金紫光禄大夫，领湘东王师