宗熙宁二年（1069年）二月还朝，上书神宗，即日召对，为制置三司条例司检详文字。议事每与王安石不合，八月上制置条例司论事状，批评新法，请去职。熙宁三年（1070年）春，张方平知陈州（今河南淮阳）辟辙为陈州教授，熙宁六年（1073年）改齐州（今山东济南）掌书记，熙宁九年（1076年）罢齐州任还京，上书请废新法，不见採纳，又出任南京留守张方平的签书判官。元丰二年（1079年）因受到兄长乌台诗案牵连，贬为筠州监理盐酒税。元丰七年（1084年）移官绩溪（今属安徽）令。元祐元年（1086年）宋哲宗即位，高太皇太后