После сражения при Ватерлоо Монтолон, несмотря на то, что его тесть был близок к графу д’Артуа, снова примкнул к сторонникам императора. Был избран Наполеоном наряду с офицерами Бертраном, Гурго, Лас Казом для сопровождения на остров Св. Елены. Наполеон назначил его своим душеприказчиком и завещал часть своих бумаг. Монтолон вернулся с острова Св. Елены в 1821 году. Вместе с бароном Гурго издал «Memoires pour servir a l’histoire de Franse sous Napoleon escrits a St.Helene sous sa dictee» (Париж, 1822—1825). В 1840 году поступил на службу к Луи-Наполеону Бонапарту. В августе 1840 года возглавил Булонскую экспедицию будущего императора. Арестован, предан суду, приговорён к 20-летнему заключению. Освобождён в 1846 году. После революции 1848 года избран в Законодательное собрание.