Carsten O. Five var gift med Høyre-politiker Kaci Kullmann Five (1951–2017) siden 1972. De har to barn sammen.