在职一年，即称病返乡隐居。元嘉三年（426年），文帝诛权臣徐羡之等，召谢灵运回朝任秘书监，因不受重用，心有不平，多称疾不上朝而肆意遨游。借文帝讽旨令其自解之机，请病假东归，二次隐居故乡。因日夜游宴，谢灵运于元嘉五年（428年）被免职。元嘉八年（431年），因决湖造田之事，被会稽太守孟顗告发，他上书申辩。宋文帝知其被诬，未予追究，任其为临川内史。但他依然荒废政事，遨游山水。司徒刘义康谴使收录，灵运兴兵拒捕，犯下死罪。文帝爱其才，降死一等，流放广州。元嘉十年（433年），有人告发谢灵运在广州参与谋反