1667, im gleichen Jahr als das Haus fertiggestellt wurde, fiel Clarendon in Ungnade. Sein Ruf wurde durch die Großspurigkeit des Herrenhauses, das um die £ 40.000 gekostet haben soll, nicht gerade befördert. Unter all den Anfeindungen gegen ihn war auch die, dass er sich Bausteine angeeignet hätte, die für die Reparaturarbeiten von St Paul’s Cathedral nach dem großen Brand von London gedacht waren. Im gleichen Jahr, am 14. Juni 1667, schrieb Samuel Pepys in sein Tagebuch: