ב-1819 הושבו לו כל תפקידיו. בין 1822 ו-1825 היה חבר המועצה העליונה של תנועת הבונים החופשיים הצרפתית וגילה דעות מתקדמות. הוא תמך במהפכת יולי 1830 ובלואי פיליפ, מלך צרפת, אך באותה שנה מת בפריז. הוא השאיר אחריו שני בנים ובת מאשתו אנטואנט ד'אגסו. אחד מבניו היה הגנרל וההיסטוריון פיליפ פול, רוזן סגור.