Nel 1667, nello stesso anno in cui la sua casa venne terminata, Clarendon cadde in disgrazia. La sua immagine non era stata aiutata dalla grandiosità del suo palazzo, che si ritiene sia costato circa 40.000 sterline. Tra le molte accuse che gli vennero lanciate vi fu quella di essersi appropriato, per la costruzione della sua casa, di pietre destinate al restauro della St Paul's Cathedral dopo il Grande incendio di Londra. Quello stesso anno, il 14 giugno 1667, Samuel Pepys registrò nel suo diario: "... alcune persone sono state rudi ... verso Lord Clarendon, a cui hanno tagliato gli alberi davanti a casa sua e rotto le finestre. " A seguito delle accuse il Re abbandonò il suo ex favorito. Nel 1667, Clarendon fuggì in Francia, dove morì nel 1674.