I 1967 ble Gysi medlem i SED, , kommunistpartiet i DDR. I 1989 stod han fram for offentligheten som en av lederne for reformbevegelsen i DDR. 9. desember 1989 ble han valgt til leder av SED, der de reformvennlige nå hadde flertall. Året etter ble SED omdøpt til PDS, , under ledelse av Gysi.