1993年4月，出任山东省副省长；1994年11月，晋升中共山东省委副书记、山东省副省长。2002年3月，调任中共宁夏回族自治区党委书记；2002年4月起任中共宁夏回族自治区党委书记、宁夏回族自治区人大常委会主任。2010年7月24日，因年龄到限，中共中央宣布免去陈建国中共宁夏自治区党委书记的职务。8月28日，十一届全国人大常委会任命其为内务司法委员会副主任委员。2013年3月16日，第十二届全国人民代表大会第一次会议通过，任命其为全国人民代表大会农业与农村委员会主任委员。2018年届满卸任。