Han vokste opp i Færøyenes dansktalende embedsmannsstand som sønn av sysselmann og kanselliråd Gudmund Effersøe og hustru Cathrine Müller på Tvøroyri. Farbroren O.P. Effersøe var redaktør og folketingsmann, og morbroren Hans Christopher Müller var sysselmann og folketingsmann. Blant Olivers søsken var agronom og dikter Rasmus Effersøe, sakfører Poul Effersøe samt amtslege John Effersøe. Søsteren Josephine var gift med kjøpmann Niels Juel Mortensen; de fikk sønnen Edward Mitens (Mortensen), som ble sakfører og lagtingsmann. Effersøe-slekten kom fra Island; slektsnavnet er en forvanskning av Örfirisey ved Reykjavík.