其之下，令傅亮相当不满；同时，庐陵王刘义真就礼待延之，这令得一直和义真不和的徐羡之等人认为延之向庐陵王靠陇。宋少帝即位后，延之当正员郎，兼中书，不久转员外常侍，外任始安太守。当时谢晦就以西晋时荀勗忌阮咸音律之学胜过自己而将他外贬为始平太守一事和他相比，殷景仁也说：「所谓俗恶俊异，世疵文雅。」元嘉三年（426年），宋文帝诛除徐羡之、傅亮及谢晦三位权臣，征颜延之为中书侍郎，不久再转太子中庶子，后又领步兵校尉，相当亲遇。不过由于颜延之好饮酒、行为放纵的缺点，没能得当时人接受，而他看见刘湛及殷景仁专掌机要之位也