Han var sønn av sogneprest Rasmus Balslev og Anne Salome Lautrup. Han giftet seg i 1833 med Ulrikke Christine Boesen, datter av renteskriver og senere justisråd Johannes Boesen. To år etter hustruens død giftet Balslev seg i 1839 med hennes søster, Louise Eleonore Boesen. Tre år etter hennes død giftet han seg i 1853 med Maria Elise Hansen, datter av sogneprest Jep Hansen. Carl Frederik og Maria Elises datter Ingeborg Dorthea giftet seg med hudlege og nobelprisvinner Niels Ryberg Finsen.