Holstein påbörjade sin karriär 1859 och användes av Bismarck i ett flertal uppdrag. Han knöts från 1871 fastare till Bismarck men torde aldrig ha åtnjutit dennes fulla förtroende. Holstein var under 1870-talets första år legationssekreterare i Paris under Harry von Arnim och uppträdde i processen mot denne 1874 som vittne, ett förfaringssätt som dömde honom inom hans eget yrke. Bismarck fann sig dock ha användning för Holstein, och anställde honom från 1876 i utrikesdepartementet, där han mellan 1880 och 1906 var föredragande råd och efter Bismarcks fall den egentlige ledaren av Tysklands utrikespolitik. Härvid begagnade sig Holstein av ett privatinformationsväsende inom tyska legationerna i utlandet. Han var 1890 motståndare till återförsäkringsfördraget med Ryssland och bar 1898–1901 ansvaret för att ett förbund med Storbritannien avböjdes, likaså att förhållandet till Frankrike försämrades. Marockopolitiken 1905–1906 influerades av Holstein. Under den tid, då Heinrich von Tschirschky var utrikesstatssekreterare, inträffade Algecirakonferensen 1906, och i samband med denna blev Holstein avskedad, även om han även i fortsättningen påverkade von Bülows politik. Holstein ingick senare en förbindelse med Maximilian Harden, och genom dennes avslöjande störtades bland andra Philipp av Eulenburg. Holstein gick under namnet "den gråa eminensen". Som politisk typ är han av stort intresse, en asketiskt betonad personlighet, som hade sin lust i att öva inflytande utan att själv synas.