Sin embargo, sus problemas constantes con las drogas y su rechazo hacia las canciones que consideraba comerciales originaron una relación tirante entre él, el dúo Jagger - Richards y Andrew Loog Oldham.