Han var sønn av finansrådmann Einar Olsen og Borghild f. Langlo. Han ble gift med Elsa Johanne Thornquist og de hadde tre barn.