Med sin kone Ursula Richter fikk Flesch tvillingsønner i 1943. Med Anneliese Zechmeister fikk han en datter, også under krigen. Mor og datter flyttet til Vest-Berlin etter krigen.