Huset ble bygget mellom 1845 og 1851 for dronning Victoria og prins Albert, prinsen tegnet selv bygningen, et mindre hus på eiendommen ble revet. Bygningens arkitektur er basert på italiensk renessanse. Huset besto opprinnelig av en firkantet del, kalt «paviljongen» og inneholdt de kongelige leiligheter. Den såkalte «main wing», med rom for tjenerne og audiensrom ble bygget senere. Det siste påbygget var «Durbar Wing» som ble bygget i 1890-91.