Gro Harlem, som hun het til hun giftet seg, vokste opp i Oslo og ble nærmest født inn i Arbeiderpartiet som datter av Gudmund Harlem. Han var statsråd fra 1955 til 1965, mens moren Inga Margareta Brynolf Sandberg Harlem jobbet i stortingsgruppens sekretariat. Søsteren Hanne Harlem har også vært politiker for Arbeiderpartiet.