Holstein syntyi varakkaaseen pommerilaiseen maanomistajasukuun, matkusti nuorena paljon perheensä varoilla ja oppi useita vieraita kieliä. Hän sai sairastelunsa vuoksi runsaasti yksityisopetusta, ja opiskeltuaan Berliinin yliopistossa hän sai viran Preussin hallituksen lainvalmisteluosastolta. Vanha perhetuttu Otto von Bismarck otti nuoren Holsteinin suojelukseensa, ja hän siirtyi vuonna 1860 diplomaatiksi. Holstein aloitti diplomaattiuransa attaseana Bismarckin johtamassa Preussin Pietarin-lähetystössä ja toimi vuodesta 1863 lähetystöneuvoksena eri toimipaikoissa. Oltuaan jonkin aikaa Rio de Janeiron -lähetystössä hän toimi 1864 Tanskan–Preussin sodan aikana yhtenä Bismarckin edustajista armeijan päämajassa ja osallistui sodan päättäneeseen Lontoon konferenssiin. Vuosina 1865–1867 hän toimi Yhdysvalloissa; hänen kotiinkutsumisensa Amerikasta on väitetty johtuneen suhteesta senaattori Charles Sumnerin vaimoon.