Han var far til løytnant Per E. Danielsen og arkitekt Ina Danielsen, gift med krigsfotograf Ole Friele Backer, og bestefar til sosialantropologen Berit Backer.