Da trommeslageren Tony Chapman fortalte Wyman at et rhythm and blues-band med navnet The Rolling Stones trengte en bassgitarist, møtte han opp på en audition på en pub i Chelsea den 7. desember 1962 og ble valgt som etterfølgeren til Dick Taylor. Bandet ble imponert av instrumentet til Wyman og forsterkeren hans, som han hadde modifisert selv. Wyman ble den eldste i bandet og spilte bass i The Rolling Stones fra oppstarten i 1962 frem til han trakk seg i 1993. I tillegg til å spille bass, skrev og sang han låten «In Another Land» på Rolling Stones-albumet (1967).