Elizabeth Cotten ble født i januar 1895 i Chapel Hill i Nord-Carolina. Foreldrene hadde jordbruksbakgrunn, men hadde flytta til byen før Elizabeth ble født. Faren hadde ulike former for arbeid, for det meste i gruvene, mens mora ofte tok oppdrag i nærheten som kokke og jordmor. Både foreldrene, søsteren og de to brødrene var musikalske.