Som vara for Gro Harlem Brundtland ble Nybakk fast møtende stortingsrepresentant da Brundtland ble statsminister i 1986, og etter dette ble hun valgt til Stortinget som representant for Oslo i syv etterfølgende valg. Nybakk har særlig arbeidet med utenriks- og forsvarspolitikk, og har vært Arbeiderpartiets forsvarspolitiske talsperson. Nybakk var på Stortinget blant annet leder for Forsvarskomiteen 2001–2005, nestleder i Utenrikskomiteen 2005–2009, Stortingets 3. visepresident 2009–2013 og Stortingets 1. visepresident 2013–2017. Da hun gikk av som stortingsrepresentant i 2017 hadde hun sittet 31 år på Stortinget og var den lengstsittende daværende stortingsrepresentanten; hun var da også den kvinnen som hadde sittet lengst på Stortinget noensinne.