I 1962 falt han i unåde hos Kinas leder Mao Zedong, og den åttende sentralkomiténs tiende plenarsesjon avskjediget ham for å blant annet å ha inntatt en forsonlig holding til Panchen Lamas kritikk av partiets politikk i Tibet.