Slekten hans var kommet fra Chenzhou i Hunan sent under Ming-dynastiet. Chen var den mandarin som tjenestegjorte lengst i hele Qing-tiden og han var en av dem som hadde tjenestegjort på flest poster.