Er profilierte sich während der Perestroika als Radikalreformer und geriet dadurch sowohl mit Michail Gorbatschow als auch mit strukturkonservativen Kräften in der KPdSU in Konflikt. Schließlich verlor Jelzin seine Ämter. Im November 1987 wurde er als Moskauer Parteichef abgelöst und im Februar 1988 von seinen Pflichten als Kandidat des Politbüros entbunden. Stattdessen war er bis 1989 1. Stellvertretender Vorsitzender der Staatlichen Baubehörde mit dem Rang eines Ministers. Auf dem XXVIII. Parteitag der KPdSU gab Jelzin am 12. Juli 1990 seinen Austritt aus der Partei bekannt.