顺治十三年（1656年）二月二十七日，顺治帝猎于南苑，召集大臣，当众指责之遴有党；议革职永不叙用，以原官发送辽阳居住。不久召还。陈之遴常被言官所劾，顺治帝念其效力多年，为其开脱：“既已擢用，位列大臣，不忍即行斥革……”。顺治十五年（1658年）身陷南北党争，因贿宦官吴良辅，“本当依拟正法，姑免死，着革职流徙，家产籍没”，全家流放盛京，之遴病死盛京尚阳堡，次子、三子及幼子相继离世。
家世.陈之遴出身海宁陈氏望族，祖父陈与相明朝时官至贵州左布政使，其父陈祖苞官至顺天巡抚，伯父陈