陈贵担任河北怀安县委副书记，1992年8月兼任代县长，1993年2月正式就任县长，1996年2月升职为县委书记。1997年12月，陈贵升职河北省张家口市副市长，之后担任市委常委、秘书长，2003年2月，陈贵担任市委副书记。2006年6月，陈贵调任河北省秦皇岛市委副书记。2008年3月，陈贵调回省会，担任人事厅党组书记、厅长，省机构编制委员会办公室主任。2008年11月，陈贵被任命为衡水市委书记，一直到2010年4月。2015年3月28日，中国共产党中央纪律检查委员会宣布陈贵因“严重违纪违法”接受组织调查