贵升职河北省张家口市副市长，之后担任市委常委、秘书长，2003年2月，陈贵担任市委副书记。2006年6月，陈贵调任河北省秦皇岛市委副书记。2008年3月，陈贵调回省会，担任人事厅党组书记、厅长，省机构编制委员会办公室主任。2008年11月，陈贵被任命为衡水市委书记，一直到2010年4月。2015年3月28日，中国共产党中央纪律检查委员会宣布陈贵因“严重违纪违法”接受组织调查。2016年1月被开除党籍、公职。