毕业以后，先后曾任柳州铁路局湛江站技术员、湛江办事处业务指导员、南宁分局技术员、工程师、总工程师、副局长（1984－1985）、局长（1985－1986）。1984年加入中国共产党，两年后已升职出任广西壮族自治区人民政府副主席，1989年任中国共产党广西壮族自治区委员会副书记，翌年再升任为广西壮族自治区人民政府主席，成为正省部级高干。在1992年成克杰跻身成为中国共产党第十四届中央委员。在1998年3月的第九届全国人民代表大会第一次会议上当选全国人大常委会副委员长，成为国家级副职的「党和国家领导人」。2