Carter y sus hermanos aprendieron música inicialmente de su padre, el ex esclavo Henderson Chatmon, en su casa enclavada en una plantación entre Bolton y Edwards (Missouri); su madre, Eliza, también cantaba y tocaba la guitarra.