I 1949 giftet Fischer-Dieskau seg med sin første kone, cellisten Irmgard Poppen. Hun døde i barselseng i 1963 da deres tredje sønn ble født. Han var så kortvarig gift med skuespillerinnen Ruth Leuwerik. Fra 1977 av var Dietrich Fischer-Dieskau gift med sangerinnen Júlia Várady.