1845 udnævntes Holstein til amtsforvalter i Tønder, men måtte ved oprørets udbrud i 1848 forlade sit embede og boede i København, indtil han i september 1849 blev adjungeret F.F. Tillisch som kasserevisor. Året efter blev han amtsforvalter i Flensborg, stempelpapirforvalter og kammerherre og 1856 amtmand i Gottorp og Hytten Amter samt overstaller i landskabet Stabelholm. Allerede forinden var han i 6. kreds valgt til medlem af Rigsrådet og sad i dette i samlingerne 1856, 1858, 1859, 1862 og 1863; i de 3 sidste samlinger var han kongevalgt vicepræsident. I Slesvig stænder var han i samlingen 1857 kongelig kommissarius.