Gould begynte å spille bassgitar mens han gikk på Loyola High School i Los Angeles sammen med det fremtidige Faith No More-medlemmet Roddy Bottum. Hans første band, The Animated, hadde det også fremtidige Faith No More-medlemmet Chuck Mosley på keyboard. På begynnelsen av 1980-tallet flyttet han til San Francisco der han møtte Mike Bordin og Jim Martin. Der startet han bandet Faith No Man sammen med Bordin, Wade Worthington og Mike «The Man» Morris. Etter at Morris var ute av bandet og Worthington var erstattet av Bottum ble Faith No More etablert.