Dylan strevde med innspillingen av «Billy». Han begynte å kutte ned på arrangementet, og til slutt var han bare backet av bassisten Terry Paul. Dette opptaket dukket opp på albumet som «Billy 4». Innspillingen holdt på til klokken fire om natta, men det kom ikke noe særlig brukbart materiale ut av det.