På denne tiden begynte samholdet innad i gruppen å slå sprekker. Mens Brian Jones i starten fremsto gruppens leder, overtok Mick Jagger og Keith Richards i større grad utover 1960-tallet, siden de ble gruppens sangskrivere. Keith Richards skrev at dette var «Brians åpne sår»: «Han mistet status, og deretter mistet han interessen.» Jones følte seg tilsidesatt og henfalt etter hvert til narkotikamisbruk. At Richards også overtok Jones' kjæreste, Anita Pallenberg, hjalp heller ikke på samarbeidsklimaet.