史中丞不言，只有邹浩敢言，为什么不可再行任用？”安惇害怕于是退下。陈瓘请求说：“陛下想要开正路，选取邹浩之前的好处，安惇蛊惑圣听，规劝皇帝放纵私心，如果明示好恶，当以安惇开始。”于是安惇以宝文阁待制知潭州，不久放归田里。蔡京为相，他又担任工部侍郎、兵部尚书。崇宁二年（1103年），同知枢密院。崇宁三年（1104年）十二月去世，赠特进。长子安郊，后因为指斥皇帝被诛杀。次子安邦流放涪州，追贬安惇单州团练副使，他的后嗣断绝。时人以为这是安惇平生多次陷害忠良的报应。