1919年，毕业于奉天高等师范学校（在今辽宁省沈阳市）。任安东县志编辑、奉天省教育厅科员兼临时视学等职。1928年，任奉天萃升书院院监。1931年“九一八事变”前移居北平，历任辅仁大学讲师、教授，北京大学教授，燕京大学名誉教授等职。1952年，任故宫博物院专门委员，后任中国训诂学会顾问，国务院古籍整理出版规划小组顾问等职。1955年起任东北人民大学（今吉林大学）历史系教授，古文字研究室主任兼校学术委员会委员。1984年在吉林长春逝世。文字训诂学家胡朴安推举许于省吾为“新证派”代表 。