Noen få år etter ble Hua tvunget ut også av embedet som leder av kommunistpartiet i 1981. Det ble blant annet begrunnet blant med at han hadde fortsatt å gå inn for ultraradikale ideer fra kulturrevolusjonens tid.