Par la suite, il est nommé préfet de Palerme, charge qu'il occupe du au . Le Garibaldi tient un discours enflammé dans lequel il évoque la libération de Rome. Après la journée de l'Aspromonte (), il est destitué par le Président du conseil Urbano Rattazzi qui lui reproche de ne pas s'être opposé aux desseins de Garibaldi. Pallavicino se retire de la vie publique.