Under kulturrevolusjonen ble han utsatt for forfølgelser og to av hans sønner begikk selvmord. Etter kulturrevolusjonens slutt lyktes han med å gjenvinne en stor del av sin innflytelse.