Después de que Brandt y Thorkildsen se divorciaran en 1946, Brandt se casó con la noruega Rut Hansen en 1948, con la que tuvo tres hijos: Peter Brandt (nacido en 1948), Lars Brandt (nacido en 1951) y Matthias Brandt (nacido en 1961).