I 1864 fordømte Castilla Pezets utenrikspolitikk, bare for å bli fengslet og sendt til Gibraltar. Under hans fravær ble det historiske slaget ved Callao utkjempet, som ble Spanias endelige og mislykkede forsøk på å gjenerobre det nå selvstendige Peru.