I mars 1873 ble Bowen overført til posisjonen guvernør for kolonien Victoria, der han blant annet forsøkte å redusere Storbritannias utgifter til denne spesifikke kolonien. En politisk krise i Victoria sørget for at Bowen søkte om avskjed som guvernør. Han reiste til England i januar 1875, da William Stawell ble innsatt som fungerende guvernør.