Hans yngre kone, som knapt hadde vært særlig tiltrukket av hans utseende tidligere, ble enda mindre interessert i ham. Under reisen hjem ble han i Frankrike tatt til fange etter at det hadde brutt ut krig. Sammen med sitt følge ble han holdt fanget i flere måneder. Lady Elgin ble sendt hjem, og begynte en affære med en i sin eskorte. Da jarlen kom hjem til England fant han raskt ut av British Museum ikke ville betale det han ønsket for skulpturene, og for å redde sine finanser saksøkte han sin kones elsker for en betydelig sum. Han giftet seg så igjen, med en enda yngre kvinne, og bosatte seg på kontinentet. Først i 1816 ble skulpturene kjøpt og utstilt.