I mai 1963 ga manager Andrew Loog Oldham beskjed om at Stewart ikke kunne være med på sceneopptredener lenger. Seks stykker i ei slik gruppe var for mye, mente han, og Stewart passa dårlig til bandets røffe image. Han fikk i stedet tilbud om å være turnéleder, samt at han kunne spille piano på plateinnspillinger. Dette aksepterte han. Richards har uttalt om dette: «Jeg hadde nok sagt "Reis og ryk!", men Stu sa "Jeg kan godt kjøre dere rundt". Det er slikt som krever et stort hjerte.» Stewart lasta og lossa bilen, var sjåfør, fiksa ødelagte gitarstrenger og satte opp trommesettet til Charlie Watts.