Por otra parte, el crítico Bill Wyman definió las canciones como «maduras y complejas», incluso aunque «melódicamente son similares en el sonido y el asunto en su conjunto tiene resonancias de sus locos días cristianos», mientras que Christopher Connelly escribió en la revista "Rolling Stone": «"Infidels" es el mejor álbum de Dylan desde el punzante "Blood on the Tracks" publicado hace nueve años, una recuperación impresionante del poder de la lírica y de la melodía que Dylan parecía tener pero que le habían abandonado».