La Trobe satte i gang flere prosjekter for å forbedre vei- og sanitærforholdene. Siden Port Phillip District var underlagt New South Wales på denne tiden, måtte alt tomtesalg, byggeplaner og kommunale ansettelser godkjennes av New South Wales' guvernør, George Gipps, som La Trobe hadde et godt personlig og arbeidsmessig forhold til. Disse problemene og gullrushet i Victoria førte til at Victoria ble skilt ut som egen koloni i 1851 og La Trobe ble koloniens første guvernør. La Trobe var tvilende til sin egne evner som guvernør og møtte kritikk, noe som førte til at han leverte inn sin oppsigelse i desember 1852. Han fungerte som guvernør frem til Charles Hotham ankom i 1854 for å overta stillingen.