谢灵运喜爱奢侈豪华,他车子的装潢鲜艳而美丽,他的衣着玩的用的东西,无不改变以往的旧样式,世人都学他的样子跟着变,人们都叫他谢康乐。义熙三年(407年),抚军将军刘毅镇守姑孰,谢灵运担任刘毅的记室参军。刘毅镇守江陵,又让他当卫军从事中郎。义熙八年(413年),刘毅起兵反刘裕,兵败自杀,刘裕任命谢灵运为太尉参军。返京后又转任秘书丞,后因事而被罢免。义熙十一年(415年),谢灵运转任中书侍郎。义熙十二年(416年),刘裕征讨后秦姚氏,骠骑将军刘道怜留守都城。谢灵运被任命为谘议参军,再转任为中书侍郎,接着又被任命为世子中军谘议、黄门侍郎。后来,谢灵运又奉命出使彭城,慰劳刘骏,并写了《撰征赋》。元熙元年(419年),刘裕在彭城建宋国,奉命出使归来的谢灵运仍然被任命为宋国黄门侍郎,再升任相国从事中郎,世子左卫率,因为擅自处死门生,被免除官职。永初元年(420年),刘裕代东晋自立,谢灵运爵位由康乐公降为康乐县侯,食邑五百户,又出任散骑常侍,转任太子左卫率。