Xiang var klar over at han hadde tapt all innflytelse og bare ble holdt frem som et arbeiderklassealibi innen partikretser. Han mistet tillit til både revolusjonen og kommunistpartiet, og vendte sin interesse mot kvinner og luksusliv. Ved hjelp av sin tilgang til Partiets kontoer levde han i en villa med sin elskerinne, noe som utløste kritikk fra partifeller og gjorde Zhou Enlai urolig ettersom det allerede var vanskelig nok for ham å trygge ledelsens sikkerhet.