Su gran influencia causó los recelos de la emperatriz viuda Cixi, quien consiguió degradarlo en 1865 acusándolo de corrupción y falta de respeto al emperador.