Tras la derrota en la Batalla de los Arapiles, el 22 de julio de 1812, abandonó Madrid para ir hacia Francia; y a su paso por Vitoria, fue alcanzado por las tropas del Duque de Wellington que derrotaron a su ejército. Salió de España definitivamente el 13 de junio de 1813 sin su valioso «equipaje», que consistía en las joyas de la corona española y obras de arte, para refugiarse en Francia, donde permaneció hasta la caída de Napoleón Bonaparte.