428年）被免职。元嘉八年（431年），因决湖造田之事，被会稽太守孟顗告发，他上书申辩。宋文帝知其被诬，未予追究，任其为临川内史。但他依然荒废政事，遨游山水。司徒刘义康谴使收录，灵运兴兵拒捕，犯下死罪。文帝爱其才，降死一等，流放广州。元嘉十年（433年），有人告发谢灵运在广州参与谋反，文帝下诏，于广州行弃市的死刑。灵运颇信佛教，死前布施，捐出自己的胡须，装饰南海祗洹寺的维摩诘菩萨佛像。唐时，唐中宗之女安乐公主将维摩诘菩萨佛像之须，剪取一半，以备斗草之用。又恐他人所得，因剪弃其余。今遂绝。有人认为道教