Lochs helse ble aldri helt restituert etter denne opplevelsen i den kinesiske fangehulen. Etter at han kom hjem var han en stund privatsekretæren til George Grey. I 1863 ble han utnevnt til viseguvernør av Isle of Man. Under hans tid som guvernør ble House of Keys forandret til en valgforsamling, den første jernbanelinjen ble åpnet og pågangen av turister begynte å skape ny velstand til øya. Loch ble ridder av Bath-ordenen i 1880 og aksepterte i 1882 en kommisjon for skoger. To år senere ble han guvernør i Victoria i Australia hvor han vant respekten til alle samfunnslag. I juni 1889 etterfulgte han Hercules Robinson som guvernør i Kappkolonien og høykommissær for det sørlige Afrika.