Johnsen ble først innvalgt ved bystyrevalget i 1919 og representerte Arbeiderpartiet i perioden 1920-1946 (unntatt krigsårene 1940-1945). Han var en sentral politiker i Arbeiderpartiet i mellomkrigstiden. I 1929 ble han valgt inn i formannskapet. Etter at ordfører L. W. Hansen i september 1945 hadde frasagt seg alle kommunale verv, rykket varaordfører Ole Bergesen automatisk opp til ordfører. Det måtte avholdes valg på ny varaordfører, og Johnsen ble valgt enstemmig. Ved ordførervalget i desember 1945 ble han valgt til Stavangers ordfører fra 1946. I juni 1946 ble han enstemmig innstilt til stillingen som finansrådmann og fratrådte ordførerembetet. Johnsen var i stillingen som finansrådmann til juni 1957. I denne stillingen ble han en viktig aktør i gjenreisningen etter krigen, og var selv en av initiativtakerne til opprettelsen av Stavanger Boligbyggelag.