Viseguvernøren Charles La Trobe satte av land til Government House i 1841. Ferdinand von Mueller, som var direktør av Royal Botanical Gardens i 1857, gjorde området til et stort sammenhengene parkområde. Byggingen startet ikke før 1871 og ble fullført i 1876. Før det bodde guvernørene ved Toorak House, La Trobe selv bodde ved La Trobe's Cottage. Bygningen var tegnet av William Wardell og er i victoriansk italiensk renessansestil med likheter til dronning Victorias sommerbolig Osborne House på Isle of Wight. Størrelsen på bygningen reflekter Melbournes status som oppgangsby som følge av det victorianske gullrushet.