I 1663 var jarlen av Clarenden en av åtte som fikk hver sin del av provinsen Carolina i Nord-Amerika å styre over som eiere, . Imidlertid kom han i økende grad i unåde hos kongen. De militære nederlagene under den andre anglo-nederlandske krig, som varte i tiden 1664–1667, førte til at han kom i konflikt med parlamentet som ga ham skylden for krigen og deretter skylden for den freden som til sist ble undertegnet i den nederlandske byen Breda. Clarendon ble stilt for riksrett, delvis for åpenbare brudd mot som å sende fanger ut av England til blant annet Jersey, og holde dem der uten mulighet til å få sin sak i en domstol. Resten av sitt liv tilbrakte Clarendon i landflyktighet hvor han fortsatte sitt arbeid med historien om den engelske borgerkrigen.