1085年）三月，神宗病逝，哲宗即位，宣仁圣烈皇后摄政，转左仆射兼门下侍郎，司马光执政，几尽罢新法，改革派人士几乎全招贬职。元佑二年（1087年）出知陈州、安州（今湖北安陆县）、邓州，元祐年间，蔡确在安州游车盖亭时，写下《夏日游车盖亭》十首绝句。其政敌吴处厚向朝廷说“内五篇皆涉讥讪，而二篇讥讪尤甚，上及君亲”，又指出“矫矫名臣郝甑山，忠言直节上元间”之句，是将摄政的高太皇太后比做武则天。高太皇太后怒不可遏，将蔡确贬为光禄寺卿、分司南京，范祖禹认为：“蔡之罪，天下不容，尚为列卿，恐难平民愤。”最后贬至英州