轻台谏，羞科目”为由，封还词头，拒不办理，改出知婺州（今浙江金华）。淳熙七年（1180年）五月由刑部尚书除签书枢密院事，淳熙八年（1181年）八月自权参知政事除同知枢密院事，九月复兼权参知政事，淳熙九年（1182年）因病致仕，是年六月卒。谢廓然、陈骙、谢深甫、钱象祖、谢堂等五人是临海的五个南宋朝宰辅。