Fra 1920 til 1922 var han medlem av bystyret, men trakk seg tilbake for å arbeide med partiorganisasjonen. Han var varamedlem av sentralstyret fra 1925 til 1927 og medlem av sentralstyret fra 1927 til 1949. Johannessen ledet Arbeiderpartiet i Oslo fra 1934 til 1940, men da andre verdenskrig nådde Norge og partiet ble forbudt under okkupasjonen av Norge av Nazi-Tyskland, overtok Johannessen som leder av den illegale partikomitéen etter at Einar Gerhardsen ble arrestert i 1941. Han var også medlem av Hjemmefrontens Ledelse.