Archie Shepp nació en Fort Lauderdale, Florida, hijo de un banjoista, pero creció en Filadelfia (Pensilvania), donde estudió piano, clarinete y saxo alto, antes de centrarse en el saxo tenor (aunque en ocasiones toca el saxo soprano).