I 1890 ble han tysk utenriksstatssekretær (utenriksminister) i Leo von Caprivis regjering. Han forble i stillingen også i en tid etter den nye rikskansler Chlodwig zu Hohenlohe-Schillingsfürsts tiltreden (1894). Han støttet opp om Caprivis ikke-konfronterende politikk ved handelsavtaler, og søkte et godt forhold til Storbritannia, men dette satte han ikke desto mindre i fare med å skrive Krügerdepesjen.