En 1975, Brendel contrajo matrimonio con Irene Semler, con la que tiene tres hijos, un hijo, Adrian, que es violonchelista, con el que ha actuado y grabado discos y dos hijas, Katharina y Sophie.