Karl Brandt var gift med svømmeren Anni Rehborn (født 1904), som han fikk sønnen Karl Adolf (født 1935) med.