Desde 1941 hasta 1946 Brandt estuvo casado con Anna Carlotta Thorkildsen (hija de un padre noruego y una madre germano-estadounidense).