Etter at Rut Hansens første mann døde, og Brandt skilte seg fra sin første norske kone, Carlotta Thorkildsen, giftet de seg i 1948. Under sitt mer enn tredve år lange ekteskap fikk de sønnene Peter (f. 1948), Lars (f. 1951) og Matthias Brandt (f. 1961).