Després de la derrota en la batalla dels Arapiles, el 22 de juliol de 1812, va abandonar Madrid per a anar cap a València, entrant de nou a Madrid en desembre, per abandonar definitivament la ciutat el març de 1813 cap a Valladolid en direcció a França; al seu pas per Vitòria, va ser atrapat per les tropes del duc de Wellington que van derrotar el seu exèrcit. Va sortir d'Espanya definitivament el 13 de juny de 1813 sense el seu valuós "equipatge", que consistia en les joies de la corona espanyola i obres d'art, per a refugiar-se a França, on va romandre fins a la caiguda del seu germà petit, Napoleó Bonaparte.