Nacido en Norfolk, Virginia, Clemons fue hijo de Clarence Clemons Sr, dueño de un mercado de pescado, y de su mujer Thelma.Fue el mayor de tres hermanos.