Восени 1805 року імператорська родина була змушена виїхати з Відня через війну із Францією, коли наполеонівські війська захопили столицю. Вдруге таке повторилося в середині 1809, коли австрійська армія програла Наполеону битву під Ваграмом. Цього разу окупацію монарше сімейство перечекало у замку Буди. Матір Марії Кароліни до цього часу вже померла, і дітей доглядала мачуха — Марія Людовіка Моденська. Її, в свою чергу, не стало у квітні 1816 року. Батько згодом оженився вчетверте із Кароліною Августою Баварською