I juni 1914 Oliver giftet seg med Beryl Carnegy White (senere Dame Beryl Oliver); de hadde ingen barn.