任中共黑龙江省委宣传部副部长，省委常委、副秘书长，省委政策研究室副主任，省委办公厅副主任、主任。1978年8月起，先后担任黑龙江省委常委、秘书长，省委书记(当时有省委第一书记)，省委副书记。其间，兼任齐齐哈尔市委书记。1984年8月，陈俊生调任中华全国总工会副主席、书记处书记、党组副书记。1985年9月起，陈俊生历任中共中央书记处农村政策研究室副主任，国务院机关党组书记、国务院秘书长。1988年4月任国务委员。他还先后兼任中央国家机关党委书记、中央国家机关工委书记、全国“双拥”工作领导小组组长、