I 1810 ble han adjutant hos kronprins Karl Johan og Holst forsatte som nær medarbeider for den franskfødte kronprinsen og senere kongen. Holst ble svensk oberst i 1813, og han var kommandant i Lübeck i årene 1813 – 1814. Som svensk offiser var han med på å utarbeide planene for et felttog mot Norge. Han fulgte med kronprins Karl Johan under felttoget i Norge i 1814, og ble som «innfødt normann» kommandant på Fredriksten festning og generaladjutant for den norske arme etter svenskenes okkupasjon i 1815. I 1816 uttalte Stortinget at Holst måtte anses som «expatreret», og han ble igjen meddelt avskjed fra norsk krigstjeneste.