Aunque el biógrafo Paul Cable especuló que «Number One» podía ser otro título de «Church With No Upstairs», Tim Dunn, autor de "The Bob Dylan Copyright Files", señaló que ambas canciones fueron registradas en años distintos.