Bismarck udnævnt ham i stedet til ambassadør i Paris i 1873, hvor han blev i syv år. I 1878 deltog han i Berlinerkongressen som den 3. tyske repræsentant. Efter udenrigsminister Bernhard Ernst von Bülows død i 1880 blev han kaldt tilbage til Berlin som midlertidig leder af udenrigsministeriet og personlig repræsentant under Bismarcks sygdom. I 1885 blev han valgt af Manteuffel som rigsstatholder i Elsass-Lothringen. Han opholdt sig i Strasbourg til oktober 1894, hvor han på foranledning af kejser Wilhelm indvilgede i at blive Leo von Caprivis efterfølger som tysk kansler og premierminister i Preussen. Under sin regeringstid holdt han sig stort set uden for offentlighedens søgelys, og han besøgte meget sjældent Rigsdagen. Han trådte tilbage som kansler og premierminister den 17. oktober 1900 og døde i Bad Ragaz i Schweiz den 6. juli 1901.