臧伯平开始担任北京航空学院党委第二书记，1964年来到南开大学，担任副校长、党委书记。1966年“文革”开始，十年动乱中，他受到无理的批判斗争，身心受到很大摧残，致使左眼失明，肋骨被打断三根。后在文化大革命时期从南开大学离职。1977年复职，任天津大学校长；次年开始担任南开大学党委书记、校长。1979年6月进入教育部担任副部长。曾任中国政治协商会议委员。