Jagland vokste opp i en arbeiderklassefamilie i Lier i Buskerud. Han har en tvillingbror, Helge, som også har vært aktiv i politikken, blant annet som kommunerepresentant i Lier. Faren, Helge Thorbjørn Jagland (1919–2009), var sveiser og fagforeningsmann. Moren, Ingrid født Bjerknes (1922-2006), var kokk. Farfar Hansten Oskar Johansen (1897–1966) kom fra Øvre Rendal i Hedmark og endret etternavn til Jagland da han flyttet familien til Lier i 1950-årene.