Dejó el cargo de virrey en 1784 y pocos días después falleció en Lima.