Bérégovoy ble stabssjef under president François Mitterrand da han tiltrådte i 1981. Han var sosialminister 1982-1984 og deretter finansminister 1984-1986 i statsminister Laurent Fabius regjering. Han ledet Mitterrands kampanje i presidentvalget i 1988 og ble igjen finansminister 1988-1992. Da Édith Cresson ble tvunget til å fratre som statsminister etter sosialistpartiets dårlige resultater i de lokal- og regionalvalget i 1992 ble Pierre Bérégovoy utnevnt til hennes etterfølger. Bérégovoy klarte imidlertid ikke å snu opinionen, og måtte ikke lenge etter avgå etter 1993 års parlamentsvalg da sosialistpartiet gjorde sitt dårligste valg siden 1960-tallet.