Høsten 1801 ble det imidlertid klart at det ikke ble noen fransk invasjon av Storbritannia. I stedet fikk han tilbud om å bli ambassadør i Konstantinopel eller generalguvernør på Guadeloupe (De vestindiske øyer), noe han avviste. Misnøyen blant mange offiserer og politikere over Napoléon Bonapartes stadig mer dominerende stilling ble ikke mindre med hans forsoning med den katolske kirken ved konkordatet av 1801.