Oliver Effersøe giftet seg i 1899 med sin kusine, Astrid Svendsen, datter av sogneprest Frederik Svendsen og hustru Sigrid Effersøe i Miðvágur. Hun døde to år senere, etter at de hadde fått en datter. I 1913 giftet han seg med den københavnske kjøpmannsdatteren Selma Nielsen. De fikk en sønn og en datter, men sønnen døde som 11-åring. Effersøe har fra ulikt hold blitt beskrevet som karakterfast, innesluttet, familiekjær og preget av sønnens tidlige død.