Tras su ruptura con la Factory, Sedgwick se instaló en el hotel Chelsea e intensificó su amistad con Bob Dylan y su mano derecha, Bob Neuwirtth, a quienes había conocido en diciembre de 1964.