Karlsen begynte som så mange andre på den tid sitt virke i fiskebåten. Men han kom meget tidlig med i det politiske liv, og hadde ved sin død bak seg 40 års medlemskap i Det norske Arbeiderparti. Etter frigjøringen av Finnmark ble han innvalgt som medlem av Nord-Varanger kommunestyre. Her ble han valgt til ordfører i 1946 og satt med vervet fram til kommunen i 1964 ble slått sammen med Vadsø. Deretter var han ordfører i nye Vadsø kommune til 1972, da han selv ba om å bli fritatt.