Álvarez de Toledo permaneció en el cargo hasta la llegada del nuevo virrey, pero no esperó a que éste entrara en Lima, y el 1º de mayo de 1581 salió del Callao rumbo a España, vía Panamá.