Julien Baker ble født 29. september 1995 i Germantown og vokste opp i Bartlett, en forstad til Memphis. Begge foreldrene hennes jobbet innen fysioterapi. Baker har uttalt seg om å ha vært inspirert av faren sin som, etter en ulykke i tjueårene som resulterte i amputasjon av beinet, viet livet sitt til å lage eksperimentelle proteser. Bakers foreldre skilte seg mens hun gikk på barneskolen.