Sangen ble skrevet om tidene Bob brukte i en leilighet i Macdougal Street, eid av komiker Hugh Romney (A.K.A. Wavy Gravy), sommeren 1961. Dylan møtte Romney etter å ha spilt et show på The Gaslight Cafe, hvor Romney jobbet som underholdningsleder.