Jagland meldte seg inn i Arbeidernes ungdomsfylking (AUF) i Buskerud som 13-åring, og var dens leder i perioden 1973–1976. I perioden 1975–1983 var han dessuten medlem av fylkestinget i Buskerud. Han ble observatør ved FNs hovedforsamling høsten 1976, hvoretter han i 1977 ble leder for AUF sentralt, en stilling han hadde til 1981. Det var i denne perioden at AUF forlot sin NATO-motstand for godt. I 1981 ble han utredningssekretær i Det norske Arbeiderparti. Han ble konstituert partisekretær i 1986–1987 og valgt partisekretær fra 28. mars 1987 til 8. november 1992. Han var sekretær i komitéarbeidet som la grunnen for partiets politikk i stortingsperioden 1986–1989. Deretter tok han over som leder i Arbeiderpartiet i 1992 etter Gro Harlem Brundtland, et verv han beholdt frem til 10. november 2002 da det ble overtatt av Jens Stoltenberg.