Han var gift tre ganger. Med sin første kone Vera, en medstudent ved LSE som han giftet seg med i 1954, hadde han tre døtre: Alexandra, Nicola og Daphne Dahrendorf. Hans andre kone var historikeren Ellen Dahrendorf. Hans tredje kone, Christiane Dahrendorf, som han giftet seg med i 2004, er en lege fra Köln.