首，欧阳修亦竭力辩护，主张应考虑亲情。欧阳修自知在朝中已孤立，请求外任，但不获准。当时从舅薛宗孺与欧阳修有私怨，治平四年（1067年），扬言欧阳修与媳妇吴氏有暧昧。因指控严重，欧阳修立即杜门不出，上奏章辩明真相，一时朝中竟无大臣为他辩解，欧阳修当日提拔的言官也倒戈相向。指控不大可能属实，因夫人薛氏治家甚严。宋神宗不信指控，断定本无其事。但欧阳修毕竟已声名受损，政治上已无领导力量，朝廷终于让他外放，任亳州知州。
隐退.熙宁二年（1069年），王安石推行熙宁变法，欧阳修不予赞同，自恃德