På slutten av 1980-årene begynte Khasbulatov å arbeide nært sammen med den fremadstormende og uortodokse kommunisten Boris Jeltsin. Han ble valgt til den sovjetiske i 1990. Han fulgte Jeltsin i den suksessfulle motstanden mot kuppforsøket i 1991. Han meldte seg ut av kommunistpartiet i august 1991, og ble 29. oktober 1991 valgt til formann RSFSRs øverste sovjet.