Han var sønn av lærer, kirkesanger og stortingsmann Jørgen Olafsen og yngre bror av sogneprest Olaf Olafsen.