A casa tornou-se propriedade da família Wellesley em 1817, quando foi adquirida por Arthur Wellesley, 1° Duque de Wellington. Ele originalmente planejava demoli-la e construir uma casa mais prestigiada, que ficaria conhecida como Palácio de Waterloo (em referência à Batalha de Waterloo). O Duque abandonou tais planos em 1821, porque se revelaram muito caros, e subseqüentemente fez numerosos melhoramentos e aumentou a construção existente.