Hij zette zich hierop in voor Beierse deelname aan het Duitse Keizerrijk en was van 1871 tot 1881 als afgevaardigde van de Freikonservative Partei lid van de Rijksdag, waar hij ondanks zijn katholieke geloof voor enkele van de Kulturkampfwetten stemde. Hij was van 1874 tot 1885 Duits ambassadeur te Parijs, nam in 1878 deel aan het Congres van Berlijn en was in 1880 secretaris-generaal (staatssecretaris) van Buitenlandse Zaken. In 1885 werd hij als opvolger van Edwin von Manteuffel stadhouder van Elzas-Lotharingen. In deze hoedanigheid streefde hij, evenals in zijn tijd te Parijs, naar toenadering tussen Duitsland en Frankrijk.