Elias Marsalis vokste opp i New Orleans som sønn av Florence (født Robertson) og Ellis Marsalis sr., en forretningsmann og sosialaktivist. De fikk seks sønner, hvorav Branford, Wynton, Delfeayo og Jason også ble jazzmusikere.