Posteriormente el infante acompañó a sus padres, Carlos IV y María Luisa, en su exilio en Fontainebleau, Marsella y Roma, mientras su hermano Carlos y su tío Antonio marchaban al castillo de Valençay junto al primogénito Fernando.