Etter at Jackson døde i 1851 ble bygningen fra 1854 leid ut til victorianske kolonimyndigheter og ble tatt i bruk av Victorias første guvernør Charles Hotham og fire av hans etterfølgere frem til 1874. Fra 1876 og frem til andre verdenskrig var bygningen et privat hjem. Under andre verdenskrig ble den benyttet som forlegning for Women's Auxiliary Australian Air Force. I 1956 ble den kjøpt opp av den Svenska kyrkan i utlandet, som gjorde den om til kirke og menighetshus.