En la época del tercer lord Holland la casa se convirtió en un famoso centro político, social y literario, con muchos visitantes ilustres como lord Byron, Thomas Macaulay, Benjamin Disraeli, Charles Dickens y Sir Walter Scott.