Billie Holiday ble født som Eleanora Fagan 7. april 1915 i Philadelphia, Pennsylvania. Far giftet seg ikke med moren, som selv var en tenåring. Billie Holiday hadde en vanskelig barndom, med trange kår og omskiftende hjemsted. De flyttet tilbake til morens hjemby Baltimore. En periode var hun plassert på barnehjem på grunn av forholdene hjemme. Moren var Sarah Julia «Sadie» Fagan. Det antas Eleanors far var Clarence Holiday, som senere ble en fremgangsrik jazzmusiker og blant annet spilte med Fletcher Henderson. Han og Eleanor møttes lite under hennes oppvekst, som kom til å tilbringas i bydelen Falls Point i Baltimore i Maryland.