常常说：「天下之务，当与天下共之，岂一人之智所能独了。」不满之情溢于言表，就得罪了居重权要位官员。刘湛就是刘柳的儿子，颜延之一次就和他说：「吾名器不升，当由作卿家吏耳。」这令刘湛十分愤恨，于是借彭城王刘义康的权力将他贬为永嘉太守。颜延之对此怨愤不已，以竹林七贤作《五君咏》自况，刘湛及刘义康知后大怒，想将他贬到更远的郡，只是由宋文帝阻止才改为于家中自省。不过颜延之接着七年都不问世事，不过中书令王球就与颜延之交好，多次出钱资助延之。元嘉十三年（436年），晋恭帝皇后褚灵媛去世，褚湛之决定下葬时送行的官员都当