Bolder startet sin musikalske karriere ved å spille bass i tenårene og hadde opptredener på lokale R&B-scener på midten av 1960-tallet. Han ble først kjent da han ble medlem av The Rats, med blant andre Mick Ronson på gitar. Bolders store gjennombrudd var i 1971 da han erstattet Tony Visconti i David Bowies band The Hype, som senere ble kjent som The Spiders from Mars. Med Bolder, Ronson, Woody Woodmansey og David Bowie utviklet The Spiders from Mars seg til å blir et av de mest markante britiske bandene på 1970-tallet. Bolders bass- og trompetspill kan høres på Bowiealbumene (1971), (1972), (1973) og (1973).