À la suite de la révolution haïtienne, il intervient auprès des États-Unis afin de leur demander de cesser toute activité commerciale avec Haïti. Le 28 février 1806, les États-Unis décrètent un blocus contre le jeune État. En 1806, il reçoit le titre de « prince de Bénévent », État confisqué au Pape où il ne se rend pas une seule fois, se contentant d'envoyer un gouverneur. Le de la même année, il signe le traité créant la Confédération du Rhin, prolongeant la volonté de Napoléon par ses nombreuses négociations. Amorçant la critique de la politique guerrière de ce dernier sans oser le défier, il est toujours déçu dans ses conseils de modération, en particulier par la proclamation du blocus continental, le . Étant en contact permanent avec l'Autriche dans l'espoir d'un rapprochement, il commence à communiquer des informations au tsar "via" son ami le duc de Dalberg. En 1807, après une série de victoires de Napoléon (Eylau, Dantzig, Heilsberg, Guttstadt, Friedland), il rédige (se « content[ant] de tenir la plume ») et signe le traité de Tilsit, qui va à l'encontre de ses vues et de ses conseils à Napoléon : alliance offensive avec la Russie, affaiblissement de l'Autriche. Il se déclare par le traitement réservé aux vaincus, en particulier la reine de Prusse, et mécontent d'être un . Il prend certainement à cette occasion la décision de démissionner de son poste de ministre à son retour de Varsovie, voire l'annonce dès cet instant à Napoléon. Cela ne l'empêche pas de favoriser le rapprochement entre ce dernier et Marie Walewska. Sa démission est effective le . Le 14, il est nommé vice-grand-électeur de l'Empire.