驾崩，宋徽宗亲政。崇宁元年（1102年），被蔡京所排挤，御史交相弹劾：“唿吸立成祸福，喜怒邃变炎凉”。多次贬为地方官，发往太平州（今安徽当涂）居住，贬为司农卿，分司南京，再贬为贺州别驾、廉州司户，大观元年（1107年），死于润州（今江苏镇江）。赠观文殿大学士，谥“文肃”。曾布一生积极参与王安石变法，在司马光执政时，仍坚定地维护新法，《宋史》将曾布列入奸臣传，但梁启超称他是“千古骨鲠之士”，“其才其学，皆足以辅之”。其妻魏玩为宋朝女词人之一。