I 2015 ble han valgt til Folketinget fra Sydjyllands storkrets. Han hadde varslet sin avgang som regionrådsformann uansett valgutfall. Etter valget ble han forsvarsminister og minister for nordisk samarbeid i Lars Løkke Rasmussens andre regjering. Det kom snart beskyldninger om at Holst som regionrådsformann hadde brukt regionens midler til å drive valgkamp for seg. Etter 93 dager som forsvarsminister gikk han av. Riksadvokaten kom til at det var hold i anklagene, men fant ikke grunn til å reise tiltale mot Holst. Holst satt resten av valgperioden i Folketinget som Venstres talsmann for kirke-, innenriks- og sosialpolitikk. Han søkte ikke gjenvalg til Folketinget i 2019.