权力将他贬为永嘉太守。颜延之对此怨愤不已，以竹林七贤作《五君咏》自况，刘湛及刘义康知后大怒，想将他贬到更远的郡，只是由宋文帝阻止才改为于家中自省。不过颜延之接着七年都不问世事，不过中书令王球就与颜延之交好，多次出钱资助延之。元嘉十三年（436年），晋恭帝皇后褚灵媛去世，褚湛之决定下葬时送行的官员都当在义熙元年拜官，故此就请颜延之以兼侍中身分出席。不过接到书札的延之因着酒醉，将书札丢在地上，说：「颜延之未能事生，焉能事死。」竟没有去。元嘉十七年（440年）刘湛等被诛杀后，延之再度任官，先任始兴王后军议参军