3年11月起，历任中央人民政府高等教育部、中华人民共和国教育部的工业教育司、高教一司的副司长、司长。还曾兼任高等教育出版社社长。1965年7月任中华人民共和国高等教育部副部长。1966年文化大革命爆发后，黄辛白被打倒，关进牛棚。1969年，下放安徽凤阳五七干校劳动。1971年12月，重新走上领导岗位，任北京大学革命委员会副主任兼党委副书记。任内为贯彻国务院总理周恩来关于加强自然科学基础理论的教学和研究的指示而进行了努力；邓小平复出任国务院副总理后，黄辛白受教育部委托，率一个“大学校长代表团”赴欧美国家考察，