Finalmente, cabe destacar que la crítica más negativa que ha recibido «Lay All Your Love On Me» es probablemente la de la revista "Rolling Stone", donde en la crítica del álbum realizada por Stephen Holden, la canción ni siquiera es mencionada entre las mejores composiciones del disco.