V následujících letech se chtěl vypravit do Ameriky, nicméně usadil se v Aix-en-Provence. V roce 1812 se bláhově pokoušel odradit Napoleona od tažení do Ruska (viz Napoleonovo ruské tažení). Také se mu podařilo zaplést se do komplotu proti císaři, nicméně byl nevinný a podařilo se mu očistit své jméno věrnou službou císaři. Dával mu užitečné rady týkající se diplomacie a vnitřních záležitostí. Nicméně ani tak nemohl Napoleona obměkčit. Měl převzít vládu Illyrských provincií. Po zradě Murata měl nakázáno neapolského krále sledovat na každém kroku. Do Paříže se vrací 10. dubna 1814 ve chvíli, kdy je Napoleon svými maršály přesvědčován k abdikaci.