Napoleons innmarsj i Milano i 1796 tvang familien på flukt fra de franske invasjonsstyrkene. Etter opphold i Trieste og Brünn, slo hertuginnen seg ned i Wiener Neustadt sammen med noen av barna. Ferdinand bodde i Schloss Belvedere sammen med de eldre sønnene.