Etter at Gorbatsjov tok over toppledelsen fikk Jeltsin i april 1985 stillingen som leder av Sentralkomiteens byggeavdeling, og i juni 1985 ble han forfremmet til sekretær i Sentralkomiteen – et av de fremste vervene i Sovjetunionen. I 1985 ble Jeltsin kandidat politbyrået, og året etter ble han utnevnt av Mikhail Gorbatsjov til partisjef i Moskva, en av de mektigste stillingene i partiet. Som partisjef i Moskva sparket han funksjonærer han anså som udugelig eller korrupte. Jeltsins brutale «ryddesjau» skapte uro og skaffet ham fiender i partiet samtidig som Gorbatsjov og andre mente at noe måtte gjøres i Moskva. Gorbatsjov ble stadig mer misfornøyd med Jeltsin. På plenumsmøtet i Sentralkomiteen ba Jeltsin fra talerstolen om å bli fritatt fra vervene som partisjef og medlem av politbyrået. Jeltsin kritiserte i talen Gorbatsjovs reformarbeid som han mente hadde gitt lite resultat, og han advarte mot personkult rundt landets leder. Sentralkomiteen vedtok enstemmig å anse Jeltsins innlegg som «politisk feilaktig», og Jeltsin var med det utstøtt. I 1987 forlot han disse stillingene etter å ha blitt kritisert for «politisk umodenhet» og «sviktende lederskap». Han ble da degradert til viseformann i sentralkomiteen for byggesaker.