Karlsen var medlem av bystyret fra 1923 til 1931 og av formannskapet fra 1923 til 1928. I periodene 1921-1924 og 1930-1932 var han formann for styret i Folkets hus, fra 1933 forretningsfører.