贬为豫章太守。后再历任尚书令、大鸿胪、光禄勋等官，任光禄勋时曾经谏请桓帝不要乱封官爵、裁汰宫女和不要沉迷狩猎。任内与五官中郎将黄琬共典官员选举事，但因为不偏不倚，不为权贵富人偏私而被权贵中伤，因而被免官。但陈蕃后来又再任官，先后任尚书仆射和太中大夫，终于延熹八年（165年）升任太尉。
党锢之祸.但在陈蕃上任后，宦官和朝中士大夫的矛盾渐渐激化，陈蕃亦多次上书谏请赦免被宦官中伤的官员，但汉桓帝都不接受，而宦官更痛恨陈蕃，但因是当朝名臣而不敢加害，却对其他士大夫加以报复。次年，第一次党锢