Por esta razón fueron víctimas de saqueo durante los primeros años de la invasión española a América (siglo XVI), tanto por su fama de contener tesoros, como por ser el centro de la religiosidad local en las provincias que conformaron el Tahuantinsuyo.