Luego de servir seis años en Charcas, el rey decidió que todos los protectores sean letrados, y como Larrea no lo era, se quedó sin empleo en 1584.