Faren døde da Ali Farka Touré var i spedbarnsalderen og familien flyttet til Niafunké. Tilnavnet («esel») fikk han fordi han var sta nok til å vokse opp; han var morens tiende barn, men det eneste som nådde voksenalder.