Desde su llegada al Cuzco siempre estuvieron bajo constantes luchas de prevalescencia por parte de las etnias vecinas, muchas de las cuales eran más poderosas que ellos como los ayarmacas o pinaguas que lograron tener 18 villas o curacazgos bajo su soberanía.