Hun ble valgt inn i Alltinget i 1978 for Alþýðuflokkurinn (som senere ble til Samfylkingin), og nøt tidlig suksess som alltingsrepresentant. Hun var visepresident i Alltinget i 1979 og 1983–1984. Hun ble valgt til nestleder i Alþýðuflokkurinn i 1984, og satt i denne stillingen inntil 1993. Jóhanna var også sosialminister i fire forskjellige regjeringer mellom 1987 og 1994. I 1994 til 1998 var hun medlem av Þjóðvaki, som var en utbrytergruppe av Alþýðuflokkurinn. Disse to partiene ble forent som Samfylkingin i 1998. Jóhanna ble på nytt sosialminister etter alltingsvalget 2007, da Sjálfstæðisflokkurinn og Samfylkingin inngikk i en ny koalisjon under Geir H. Haarde.