Robert brukte mye av tiden på å høre på radio, først blues og country, og etter hvert på tidlig rock and roll. Han dannet flere band i løpet av High School. Det første, kalt The Shadow Blasters, gjorde ingen særlig suksess, men det neste bandet – The Golden Chords – holdt sammen lenger. Da de fremførte låta «Rock and Roll is Here to Stay» (opprinnelig av Danny & the Juniors), i en talentkonkurranse på skolen, var de så støyende at rektor slo av mikrofonen. I skolens årbok fra 1959 skrev den unge Zimmerman at han planla å bli med i Little Richards band. Samme år opptrådte han to ganger sammen med Bobby Vee, der Zimmerman, under navnet Elston Gunn, spilte piano og klappet takten. Han flyttet samme år til Minneapolis for å gå på universitetet i Minnesota. Der ble hans opprinnelige interesse for rock and roll erstattet av interessen for amerikansk folkemusikk. I et intervju med magasinet fra 1978 fortalte han at det som fikk ham til å bytte inn sin elektriske gitar mot en kassegitar, var da han hørte en plate av Odetta i en butikk.