Shepherd ble medlem av Soundgarden i 1990 da Jason Everman sluttet i bandet. Ben ble etter hvert veldig viktig for bandet på deres nye album Badmotorfinger der han hjalp til på sangene og . I 1994, på deres mest populære album Superunknown, sang han solo i sangen som var en veldig eksperimentell sang. I 1996 ble Soundgardens siste studioalbum Down on the Upside gitt ut, hvor han bl.a hjalp til med å skrive sangene «Zero Chance», «Dusty», «Ty Cobb», «Never Named», «Switch Opens», og «An Unkind». «Ty Cobb» er den eneste sangen sammen med Jesus Christ Pose som ble utgitt som singel fra det albumet. I 1997 ble Soundgarden oppløst.