Exilé en France, il revient dans le duché après la mort de son fils, en 1854, pour soutenir sa belle-fille, la régente Louise de France, et son petit-fils, Robert. En 1859, le royaume de Sardaigne de Victor-Emmanuel II, allié à la France, remporte sur l'Autriche la bataille de Magenta dans le cadre de la guerre pour l'unification de l'Italie. La régente de Parme abandonne définitivement le duché, qui va être annexé par le royaume de Sardaigne, avant d'être intégré au royaume d'Italie en 1861. L'ancien duc Charles repart alors en France où il meurt.