文化大革命期间，刘杰遭到批斗、管制，下放到五七干校劳动。1978年10月16日，中共中央改组河南省革命委员会，任命段君毅为主任、刘杰出任副主任，免去刘建勋的主任职位（同年12月免除王维群的副主任职位），开始着手处理河南问题。1978年10月，中共中央改组中共河南省委，任命刘杰出任河南省委常务书记。1979年9月，任河南省人民政府省长。1981年1月，任省委第一书记。1983年3月至1985年4月，出任中共河南省委书记，兼任中共河南省委党校校长。期间他组织负责拨乱反正、澄清和平反了大批冤假错案。1982年，他被选为中央顾问委员会委员。1984年，他到北京亲自邀莫干山会议骨干人员组成了河南咨询团（团员有王岐山、朱嘉明、黄江南等）到河南宣传经济体制改革。1985年11月，离开河南返回北京。1987年10月，在中国共产党第十三次全国代表大会上继续当选为中央顾问委员会委员。