由于他公开批评查理二世好色偷情、道德败坏，破坏了他们之间旧有的情谊，议会也决定以他作为倫敦大火（1666年）與第二次英荷战争（1665-1667年）的代罪羔羊。1667年10月他被议会弹劾，免去大法官的职位。后来由于受到将由特别法庭进行审讯的威胁，他被迫流亡至法国，度过余生。