Sir Harrys ønske om en statlig guvernørresidens kom med misnøyen ved å leie bolig på Grange Hill og Leonie Hill som guvernørene måtte ta til takke med. En tidligere guvernørens residens på Bukit Larangan (nå Fort Canning), en spinkel tømmerstruktur, var blitt revet for å gi plass til det nye fortet og ble aldri erstattet. Ords synspunkter ble møtt med mye motstand blant hans kolleger. Å bygge en residens som et palass og med tilsvarende kostnader ble ansett som for ekstravagant. Ord sto imidlertid på sitt, og til slutt kjøpte de 106 mål (0,4 km²) tomt fra CR Prinseps muskateiendom i 1867. Byggingen startet senere på året etter at tegningene var fullført i mars 1867.