先后担任黑龙江省委常委、秘书长，省委书记(当时有省委第一书记)，省委副书记。其间，兼任齐齐哈尔市委书记。1984年8月，陈俊生调任中华全国总工会副主席、书记处书记、党组副书记。1985年9月起，陈俊生历任中共中央书记处农村政策研究室副主任，国务院机关党组书记、国务院秘书长。1988年4月任国务委员。他还先后兼任中央国家机关党委书记、中央国家机关工委书记、全国“双拥”工作领导小组组长、国家防汛抗旱总指挥部总指挥、国务院贫困地区经济开发领导小组(后改为国务院扶贫开发领导小组)组长、中华全国供销合作总