Med Deng Xiaopings tilbakekomst til makten og «firerbandens» fall vendte lykken seg for Wu. I 1978 mistet han alle sine verv i Beijing og i Folkekongressen. I 1980 ble han utrensket fra det politiske system sammen med Chen Xilian og andre maoister, omtalt som «den lille firerbanden», og fremstod aldri igjen på den politiske arena.