时乖僻。元嘉十二年（435年）在吴兴太守任上去世，时年四十六岁。他的棺木被运回金陵安葬，殷景仁、刘湛两人离城数十里去迎接，望船而流泪。谢述夫人顺阳范氏，是范晔之姐，有三子：谢综、谢约、谢纬。谢综善于隶书，与舅范晔谋反被杀，弟谢约也连坐而死，谢约因尚宋文帝第五女长城公主，又素受谢综、谢约的厌恶，被免于死罪，流放广州。孙子谢脁为南齐的着名诗人。