Albrigtsen ble først valgt inn i kommunestyret i 2001, da for Kristelig Folkeparti. Han meldte overgang fra KrF til Kystpartiet i 2004, sammen med daværende ordfører Roy Waage og resten av KrF-gruppen. I hans tredje og fjerde periode i kommunestyret var han gruppeleder for Kystpartiet og satt i formannskapet, før han ble ordførerkandidaten til felleslisten til Kystpartiet og KrF før valget i 2015. Som ordfører meldte Albrigtsen overgang tilbake til KrF i mars 2017.