I 1907, etter et ødeleggende jordskjelv på Jamaica, kom Olivier til kolonien som guvernør. Han gjenopprettet raskt ro og orden etter jordskjelvet, og hans reformer viste seg å være ganske populære. Han vendte tilbake til England permanent i 1913. Han arbeidet som revisor fra 1917 til 1920, da han pensjonerte seg fra sivil tjeneste for å vie seg til filosofiske og politiske studier. Men dette var ikke slutten på hans liv i offentligheten.