Kong Joseph abdiserte og returnerte til Frankrike etter at hovedparten av de franske styrker var slått av de britiske i slaget ved Vitoria i 1813. Han ble sett på av bonapartene som Frankrikes rette keiser etter Napoleons egen sønn, Napoleon II i 1832, selv om han gjorde lite for å fremme sitt krav.