Dylan tuvo al poco tiempo dudas sobre Asylum, al parecer molesto porque mientras había millones de solicitudes de entradas para la gira de 1974, Geffen solo había logrado vender 700 000 copias de "Planet Waves".