Partons mor, Avie Lee, tok godt vare på sin store familie. Hennes 11 graviditeter (den tiende ble tvillinger) i løpet av 20 år, gjorde henne til en mor til 12 da hun var 35 år gammel. Parton krediterer sin mor når det gjelder sine musikalske evner. Selv om morens helse var svak, klarte hun å stelle huset og underholde barna sine med "Smoky Mountain folklore" og gamle ballader. Avie Lee hadde walisiske forfedre som kunne gamle ballader som immigranter fra de Britiske øyer brakte med seg til det sørlige Appalachia i det 18. og 19. århundre.