Carmen ble født 4. august 1930 i Paragould i Arkansas. Hun var av irsk, fransk og indianer opphav. Carmen vokste opp på en bomullsfarm, der hun hjalp til med innhøstingen. Hun rømte hjemmefra da hun var 13 år gammel, etter at hennes mor nektet henne å delta i finalen i en skjønnhetskonkurannse.