Den nåværende bygningen var opprinnelig to hus, begge kalt Aldridge Lodge, som ble reist for parkvokterne i Richmond. I 1727 utvidet Hugh Walpole den, og i 1771 ble de satt sammen og fikk sitt nåværende navn av sir John Sloane. Det har tidligere også vært kjent som Burkitt's Lodge.