La casa se construyó a principios del siglo XVIII para Henry Boyle, barón de Carlton, pasando a dominio real cuando la adquirió Federico, príncipe de Gales en 1732.