Holst var formann i Venstres Ungdom på landsplan fra 1993 til 1995, men la i de følgende årene vekt på lokalpolitikken. Han var amtsborgermester i Sønderjyllands amt fra 2000 til forvaltningsreformen i 2007, da amtene gikk inn i større regioner. Holst ble da regionrådsformann i Region Syddanmark.