Shepp studerte drama ved Goddard College fra 1955 til 1959, men valgte deretter å satse helt på en profesjonell musikkarriere. Han har gjort innspillinger med blant andre New York Contemporary Five, Horace Parlan, John Coltrane, Bill Dixon, Cecil Taylor og Phish.