Han kom tidligt ind i Hæren, blev 1694 fændrik ved Prins Frederiks Regiment, 1695 sekondløjtnant, 1699 premierløjtnant, samme år kaptajn, 1701 forsat til Grenaderkorpset og i 1707 oberstløjtnant, dog uden gage og kompagni, i det østsjællandske nationale Infanteriregiment. Senere blev han kammerjunker hos prins Carl og amtmand over prinsens godser, hvilken stilling han fratrådte i 1718, etatsråd og kammerherre, og ved Anna Sophie Reventlows ophøjelse til dronning 1721 overhofmester hos hende og kort efter hvid ridder og overhofmarskal hos kongen. Som sådan blev han af Frederik IV sat i spidsen for det norske matrikuleringsarbejde, og da kongen havde fået øje for, at Holstein sad inde med betydelige administrative evner, afskedigede han ham 1724 fra hofmarskalstillingen og gjorde ham til præses i Politi- og Kommercekollegiet (indtil 1730). Da den store ildsvåde, som ødelagde det meste af København, udbrød oktober 1728, var Holstein på sin gård Cathrinebjerg. I spidsen for 60 af sine folk og medførende 40 vogne ilede han øjeblikkelig ad den brændende by til for at bringe hjælp, men kunne ikke blive indladt, da Frederik IV havde ladet byens porte lukke for at forhindre soldaterne i at desertere.