Haus und Gartenanlage waren bis 1944 in Besitz der Familie Portman. Im Zweiten Weltkrieg nutzte die Britische Armee das Gebäude. Hier befand sich ein Teil des Hauptquartiers des 8th Korps, dessen Aufgabe die Verteidigung von Somerset, Devon, Cornwall und Bristol war. Im Rahmen der Vorbereitung der Invasion der Normandie wurde hier zusätzlich das 398th General Service Engineer Regiment stationiert und nach dem D-Day ein amerikanisches Hospital aufgebaut. 1951 gingen Haus und Ländereien in Besitz des Somerset County Council über. Diese nutzte das Gebäude für administrative Zwecke und – bis heute – als Hauptquartier des Somerset Fire and Rescue Service. Mittlerweile ist die gesamte Anlage in den Besitz des "Hestercombe Garden Trusts" übergegangen, deren Pächter das Somerset County Council nun ist.