Fra 1794 var Clarkson helse sviktende, han led av utmattelse. Han pensjonerte seg fra kampanjen og i 1796 giftet han seg med Catherine Buck. De flyttet tilbake til Sør-England på grunn av Catherine helse, og slo seg ned på Bury St. Edmunds 1806-1816, hvoretter de bodde på Playford Hall, halvveis mellom Ipswich og Woodbridge, Suffolk.