Dens konfronterende sangtekst hadde sin opprinnelse i et utvidet stykke poesi som Dylan skrev i juni 1965 da han kom utmattet tilbake fra en krevende turne i England. Etter at poesien var blitt omfattende omarbeidet ble «Like a Rolling Stone» innspilt som en sang noen få uker senere som en del av sesjonene for det kommende albumet . I løpet av en vanskelig to dagers forproduksjon kjempet Dylan med å finne essensen i sangen etter at det første forsøket ikke fikk større suksess som en vals. Et gjennombrudd kom da sangen ble forsøkt som en rockesang hvor den begynnende studiomusiker Al Kooper improviserte riff på et orgel, noe som siden har blitt kjennetegnet for sangen. Imidlertid var plateselskapet Columbia Records lite tilfreds med både sangens lengde på over seks minutter og dens tunge elektriske sound, og var avventende med å utgi den. Det var kun etter en måneds tid da en kopi av sangen lekket ut til en ny populær musikk-klubb og ble hørt av innflytelsesrike DJ-er at sangen likevel ble sluppet som singel. Selv om radiostasjonene var avventende med å spille en sang av denne lengden, nådde «Like a Rolling Stone» andreplass på de amerikanske hitlistene og ble deretter en hit verden over.