Dorothy Veronica Langan ble født i Rahway i New Jersey som eldste datter i en streng, katolsk familie av irsk avstamning. Hun hadde et vanskelig forhold til sin far som hadde kjempet i første verdenskrig og blitt gasset, noe som førte til perioder med depresjon og voldelig oppførsel. Farens psyke kunne svinge mellom kjærlig oppførsel og avvisning, noe som satte sitt preg på unge Dory. Han støttet henne da hun begynte å vise talent som danser og sanger, men hans mentale helse ble dårligere etter at den andre datteren ble født, og kulminerte i en paranoid episode da han låste familien inne på loftet i flere måneder og mer eller mindre holdt skytevåpen mot dem hele tiden. Dorys barndomsopplevelser, beskrevet i selvbiografien , satte dype spor i henne og påvirket hennes senere liv og arbeid.