Som treåring, i 1943, ble Gro Harlem og hennes bror Erik hentet over til Sverige av sin svenske mormor. Senere samme år kom også foreldrene til Sverige, og faren unngikk så vidt å bli arrestert av tyskerne. I Sverige var Gudmund Harlem leirlege på Kjesäter, mens Inga Harlem arbeidet på flyktningekontoret. Tilbake i Norge etter krigen begynte Gro Harlem på Ruseløkka skole i 1945. Hun begynte også i Framfylkingen. Fra 1949 til 1950 bodde familien i Brooklyn, da Gudmund Harlem hadde fått et Rockefeller-stipend.