Fra 1941 til 1948 var Brandt gift med den norske kvinnen Anna Carlotta Thorkildsen, som han hadde datteren Ninja Frahm (født 1940) med. Ninja Frahm har arbeidet som lærer i Norge. Da han bodde i Stockholm møtte han den norske kvinnen Rut, som han giftet seg med i 1948 og som stod ved hans side gjennom hele hans politiske karrière. De fikk tre sønner, Peter, Lars og Matthias Brandt. Peter er professor i tysk historie, Lars er skjønnlitterær forfatter og Matthias er skuespiller.