Hertugen og hans sønn George Granville, 2. hertug av Sutherland gjorde seg kjente i London for sine overdådige fester og for sine mange berømte gjester, for eksempel Harriet Beecher Stowe og Giuseppe Garibaldi. Dronning Viktoria skal ha sagt: «I have come from my House to your Palace».