Han vokste opp i en begavet, men ikke spesielt velstående embedsmannsfamilie. Han hadde flere søsken og halvsøsken som ble jurister, prester, leger og offiserer og involvert i styre og stell. Den eldre halvbroren Hans Birch Dahlerup ble admiral og friherre, mens både Lars og Carl Emil Dahlerup ble landstingsmenn.