Han vokste opp i en embetsmannsfamilie i Hillerød på Sjælland. Faren Hans Jensen Dahlerup var tjenestemann i veivesenet, senere hospitalsforstander og postmester. Flere brødre ble prester og jurister. Søsteren Sophie var gift med overlege og professor i medisin Ole Bang. Moren Vilhelmine Marie Birch var søster av farens første hustru, Sophie Marie Birch, som døde i 1799. Fra farens første ekteskap hadde Carl flere halvsøsken, deriblant friherre, admiral og øverstkommanderende for den keiserlige østerrikske marine Hans Birch Dahlerup.