Han ble født i Hamburg som sønn av den sosialdemokratiske riksdagsmannen Gustav Dahrendorf og Lina Dahrendorf. Faren ble arrestert av nazimyndighetene og sendt i konsentrasjonsleir, og som 15-åring ble også Ralf sendt i konsentrasjonsleir på grunn av sine antinazistiske aktiviteter.