Holstein var sønn av kammerherre og hoffjegermester Christian Edzard Moritz lensgreve Holstein til Ledreborg (1809-1895) og Caroline Louise f. komtesse Lefeubre de Marpalu (1810-1903). Han ble student fra Roskilde Katedralskole i 1859 og ble cand.polit. i 1866. Hans mor var katolsk oppdratt og under påvirkning fra blant andre moren konverterte han til den katolske kirke, og hans første offentlige opptreden var som kirkelig polemiker. Han utgav i 1872 et stridsskrift mod pastor Schepelern og ikke lenge etter det større skrift (1872), som var et skarpt og vittig angrep på protestantismen og dens personer, N.F.S. Grundtvig og Hans Lassen Martensen. Holsteins katolske trosiver holdt seg usvekket årene igjennom, men hans offentlige virksomher banre seg snart andre veier. I 1867 giftet han seg med Ingeborg de Løvenørn (1842-1915), datter av gehejmelegationsråd Frederik de Løvenørn (1798-1849).