褚灵媛去世，褚湛之决定下葬时送行的官员都当在义熙元年拜官，故此就请颜延之以兼侍中身分出席。不过接到书札的延之因着酒醉，将书札丢在地上，说：「颜延之未能事生，焉能事死。」竟没有去。元嘉十七年（440年）刘湛等被诛杀后，延之再度任官，先任始兴王后军议参军和御史中丞，不过任内从容，没作出举奏。后转国子祭酒、司徒左长史。不过就因买别人的田地而不肯赔偿田地价值而遭尚书左丞荀赤松弹劾，免官归宅。不过后来又任秘书监，光禄勋及太常等官。可是，颜延之的性格始终无法让众人接受，当时的人并不喜欢他，还称他为「颜虎」；而他亦在元嘉