971年，担任葛洲坝工程指挥部任参谋长，同年林彪九一三事件后受牵连被关押。文革期间还卷入了4821苏修特务案。1975年获释，次年调任国家科委。1984年，起用为国务院农村能源领导小组成员兼办公室主任；同年出任中国国家建材局局长。1988年4月，任命为建设部部长，1991年3月离任。据人民日报1991年3月2日的报道：在七届全国人大常委会第18次会议上，根据国务院总理李鹏的提议，鉴于林汉雄犯有违反纪律的错误，免去林汉雄的建设部部长职务。