Bert hevdet at han var lei av å spille live i sin helhet i over et år, og forlot bandet. Han ble erstattet av Steve Shelley, tidligere medlem av punkbandet The Crucifucks. Sonic Youth var så imponert over Shelleys trommespill etter å ha sett ham spille live at de ansatte ham uten audition. Bert og Shelley opptrådte begge i musikkvideoen for «Death Valley '69», ettersom Bert hadde spilt trommer på sangen, mens Shelley var bandets trommeslager da videoen ble filmet.