应支援西北的号召，黄伯荣历任西北师范大学中文系、兰州大学中文系讲师、副教授、教授，成为中国西北地区现代汉语学科的奠基者。在文化大革命期间，黄伯荣遭到迫害，多次裸露膝盖跪在板凳上，导致双膝化脓。但在平反时，他宽容了迫害他的造反派。1987年后，黄伯荣出任青岛大学中文系教授、汉语教研室和语言研究室主任，并兼任山东省语言学会副会长，青岛市语言学会会长、名誉会长，中国语文现代化学会顾问，全国高师现代汉语教学研究会顾问，山东省第六届政协委员。晚年，黄伯荣是中山大学中文系兼职教授。黄伯荣还曾任中国语言学学会理事、中国修