Huset ble påbegynt i 1825 for Fredrik, hertug av York og Albany, sønn til kong Georg III av England og ble til å begynne med kalt York House, men det var langt ifra ferdig da hertugen døde i 1827. Huset ble kjøpt og ferdigbygd av markien av Stafford, George Granville Leveson-Gower, 1. hertug av Sutherland (1758-1833) og var kjent som Stafford House i nærmere ett århundre.