Parton har beskrevet sin familie som "lutfattige". Partons far betalte misjonæren Dr. Robert F. Thomas med en sekk med maismel for at han hjalp til ved Dollys fødsel. Parton skrev en sang om Dr. Thomas da hun ble voksen. Hun forsatte med å understreke sin families fattigdom i en av sine tidlige sanger, «Coat of Many Colors» og «In the Good Old Days (When Times Were Bad)». I seks, syv år bodde Parton og hennes familie lived i i deres gamle hus med kun ett soveværelse på sin lille farm i Locust Ridge. Dette var for det meste et protestantisk område nord for Greenbrier Valley i Great Smoky Mountains. Musikk spilte en vesentlig rolle i hennes ungdom. She ble oppdratt i "Church of God" (Cleveland, Tennessee), i en menighet hennes bestefar, Jake Robert Owens, var pastor i. Hennes første opptreden for et publikum var i denne kirken, da hun var seks år. Da hun var syv år, begynte hun å spille på en hjemmelagd gitar. Da hun var åtte år, kjøpte hennes onkel den første ordentlige gitar til henne.