Han kom tilbake og var utenriksminister fra 1797 til 1807 og støttet Napoleon ved statskuppet i 1799. Utenrikspolitisk avviste han imidlertid Napoleons erobringspolitikk. Napoleon betegnet ham som (= skitt i en silkestrømpe).