Aunque el trasfondo religioso y su interés por la Biblia se mantuvo a lo largo de los años, después de "Infidels" comenzó a grabar discos con un mayor peso de temas seculares como "Knocked Out Loaded" y "Down in the Groove", que obtuvieron peores resultados comerciales y de crítica.