Den 106 mål (0,4 km²) eiendommen var en gang en del av den omfattende muskatplantasjen på Mount Sophia. I 1867 (i kolonitiden) kjøpte den britiske regjeringen tomten og bygget en herregård som skulle bli det offisielle boligen til den britiske guvernøren. Dette varte fram til 1959 da Singapore ble gitt selvstyre, og guvernøren ble erstattet av , som igjen ble erstattet av presidenten.