Ryktene sa at Ley lot seg skille fra sin første kone fordi det ikke kom barn. I stedet måtte han gifte seg med konens søster, fordi hun var blitt gravid med ham. Men han skal atter ha vært utro, og i 1942 skjøt hans andre kone seg. Ley giftet seg da for tredje gang, og overlot begge sine barn til sin første kone (barnas tante). Etter hvert fikk DAF rykte på seg for å være Nazi-Tysklands mest korrupte etat.