Han ble første gang valgt inn i Aure kommunestyre i 1975, som representant for Aure Høyre – et lokallag som distriktslege Bodolf Hareide nylig hadde startet. Da Baardset på nytt ble valgt inn i kommunestyret i 1983 ble han etter kort tid den nye frontfiguren i lokalpartiet, ettersom distrikslege Hareide hadde flyttet fra Aure da han i 1981 ble ansatt i Statens institutt for folkehelse i Oslo. De borgerlige i Aure inngikk i 1983 en avtale om å dele ordførerposten i to den kommende kommunestyreperioden, slik at veteranen Lars F. Berg fra Venstre – som også hadde vært ordfører i perioden 1975–1979 – skulle sitte som ordfører fra 1983 til 1985, hvoretter Høyres Baardset skulle overta som ordfører fra høsten 1985 fram til valget høsten 1987. Denne delingen av ordførervervet var en vanlig taktikk blant de borgerlige i Aure kommune for å få en borgerlig enighet og var gjordt tidligere, både i 1971 og 1955.