但此时由于文革扩大化，中共中央对二机部实施军管，刘杰被迫“靠边站”。文化大革命期间，刘杰遭到批斗、管制，下放到五七干校劳动。1978年10月16日，中共中央改组河南省革命委员会，任命段君毅为主任、刘杰出任副主任，免去刘建勋的主任职位（同年12月免除王维群的副主任职位），开始着手处理河南问题。1978年10月，中共中央改组中共河南省委，任命刘杰出任河南省委常务书记。1979年9月，任河南省人民政府省长。1981年1月，任省委第一书记。1983年3月至1985年4月，出任中共河南省委书记，兼任中共河南省委党