Huset har blitt brukt av forskjellige medlemmer av det kongelige hushold, blant annet general Edward Bowater og general Lynedoch Gardiner som jobbet for henholdsvis prins Albert og dronning Victoria, og av Louis Greig som jobbet for Georg VI før han ble konge.. Under andre verdenskrig bodde Dwight D. Eisenhower i huset mens han besøkte Storbritannia.