Han hadde overtatt som ambassadør i Wien i 1902, etter Philipp zu Eulenburg, men ble tvunbget til å trekke seg tilbake fra utenrikstjenesten i 1904, anklaget for å ha agert for uavhengig fra utenriksministeriet etter en rekke konflikter med Friedrich von Holstein, en sentral tjenestemann der. I 1904 giftet han seg med grevinne Mechthilde von und zu Arco-Zinneberg.