"Hollis Brown" basa acordes, melodía y la estructura de los versos, en la balada Pretty Polly, una canción que Dylan interpretó en el Gaslight Club sólo dos años antes.