Die Augustine Priory of the Holt Trinity in Michelham wurde im Jahr 1229 gegründet. Das Priorat wurde 1537 von Heinrich VII. aufgelöst. Die Kirche und einige der Gebäude wurden niedergerissen und zwischen 1599 und 1601 wurde das Haus an Thomas Sackville, 1. Earl of Dorset verkauft. Rund dreihundert Jahre später, im Jahr 1896 erwarb es James Gwynne, der hier seine Kinder Rupert, Roland und Violet großzog. Das Anwesen blieb bis in das 20. Jahrhundert Privatbesitz, als es der Architekt und Antiquar Walter Godfrey renovierte. Im Winter 1941–42 wurde es von kanadischen Truppen als Basis genutzt, als diese sich für die Operation Jubilee vorbereiteten. Später war darin das Hauptquartier des Auxiliary Territorial Service für East Sussex untergebracht.