Tras la derrota en la batalla de los Arapiles, el 22 de julio de 1812, abandonó Madrid para ir hacia Francia; a su paso por Vitoria, fue alcanzado por las tropas del duque de Wellington que derrotaron a su ejército. Salió de España definitivamente el 13 de junio de 1813 sin su valioso "equipaje", que consistía en las joyas de la corona española y obras de arte, para refugiarse en Francia, donde permaneció hasta el Tratado de Fontainebleau (1814) y la primera abdicación de Napoleón Bonaparte.