Odetta ble født i Birmingham i staten Alabama men vokste opp i Los Angeles. Familien bestod av mor Flora (Sanders), far Reuben Sanders (døde mens Odetta var ung), flere søsken og stefar.