义熙十一年（416年），转中书侍郎。义熙十四年（419年），刘裕在彭城建宋国，谢灵运任宋国黄门侍郎。420年，刘裕代东晋自立，创刘宋，是为宋武帝，谢灵运爵位由公降为侯，任太子左卫率。永初三年（422年），刘裕死，少帝继位，谢灵运被权臣排挤出京，任永嘉太守，在职一年，即称病返乡隐居。元嘉三年（426年），文帝诛权臣徐羡之等，召谢灵运回朝任秘书监，因不受重用，心有不平，多称疾不上朝而肆意遨游。借文帝讽旨令其自解之机，请病假东归，二次隐居故乡。因日夜游宴，谢灵运于元嘉五年（428年）被免职。元嘉八年（