Han vokste opp i en begavet, men ikke spesielt velstående embedsmannsfamilie. Han hadde flere søsken og halvsøsken som ble jurister, prester, leger og offiserer. Storebroren Hans Birch Dahlerup ble admiral og friherre.