熙二年（407年），改从抚军将军、豫州刺史刘毅任记室参军。义熙八年（413年），刘毅反刘裕，兵败自杀，谢灵运返京任秘书丞。义熙十一年（416年），转中书侍郎。义熙十四年（419年），刘裕在彭城建宋国，谢灵运任宋国黄门侍郎。420年，刘裕代东晋自立，创刘宋，是为宋武帝，谢灵运爵位由公降为侯，任太子左卫率。永初三年（422年），刘裕死，少帝继位，谢灵运被权臣排挤出京，任永嘉太守，在职一年，即称病返乡隐居。元嘉三年（426年），文帝诛权臣徐羡之等，召谢灵运回朝任秘书监，因不受重用，心有不平，多称疾不上朝而