Ved fem års alder fikk hun navnet , etter at Sadie giftet seg med en Philip Gough. Sadie og Philip skilte seg etter noen år, Billie Holiday ble voldtatt av sin nabo da hun var 10 år gammel. Konsekvensen av dette var at hun ble sendt til , en katolsk reformskole. Hun ble døpt der den 19. mars 1925. I oktober. Hun ble værende på reformskole i to år. Moren flyttet mot slutten av 1920-tallet med sin datter til New York City, der hun ifølge egen beretning ble lurte til arbeide som prostituert på et bordell i Harlem. Hennes første ekteskap var med Jimmy Monroe, en tuskhandler som brukte narkotika.