Slottet som sådant stammer fra 1500-tallet, men er blitt kraftig ombygget i flere omganger; den første gangen mellom 1687 og 1696 under husarkitekten William Talsmann og den andre gangen på 1810-tallet på ordre av den sjette hertugen av Devonshire, William George Spencer Cavendish (1790-1858).