På Agder Høyres nominasjonsmøte i november 2018 mistet Damman plassen på Høyres valgliste til fylkestingsvalget i 2019. To uker senere valgte han å melde seg ut av Høyre og fortsette som fylkesordfører uten partitilhørighet.