I november 1936 ble en tsjekkisk jøde dømt til åtte måneders fengsel for å ha sagt i privat samtale at Leys etternavn egentlig var det jødiske Levy. Ley misbrukte sin stilling grovt ved å underslå DAFs midler til å skaffe seg en flere villaer i ulike byer, flere biler, en privat jernbanevogn og en stor kunstsamling. Hans privatliv var preget av fyll og kvinner – i 1939 gjorde han skandale ved å opptre som om han var beruset ved mottakelsen av hertugen av Windsor. Han overrakte Wallis Simpson en eske konfekt med påskriften «Hennes kongelige høyhet», en tittel hun slett ikke hadde, og opptrådte så høyrøstet under omvisningen på en fabrikk at en av arbeiderne måtte gjøre ham oppmerksom på plakaten med påskriften: «HYSJ! Det er din plikt å være stille.» Windsor-paret besøkte også en brakke og tomme betongbygg som de senere skjønte hadde vært en konsentrasjonsleir. Da hertugen spurte hva dette var, svarte Ley: «Det er her det lagres kaldt kjøtt,» og på en forferdelig måte var det sant.