28 листопада 1990 року після проголошення курсу на багатопартійну систему в країні Пунгі вийшов з лав КПП та став лідером новоствореного Союзу за соціальний прогрес і демократію (ССПД). Наприкінці громадянської війни, коли лідер КПП Дені Сассу-Нгессо повернув собі владу, Пунгі як послідовник Паскаля Ліссуби був змушений залишити країну. У вигнанні він залишався до 2006 року.