进山西大学堂学习化学，求学期间，与学者宣熙来往，而开始对清宫收藏有所接触认识。辛亥革命后，代替李大钊担任北京大学图书馆馆长，后又进入教育部，在1924年则被派任善后委员，任故宫古物馆馆长，负责清宫文物清点工作。在1939年参与成立文献保存同志会，与郑振铎、张元济、何炳松、张寿镛等名学者和文物专家，合力收购流落上海、香港的善本珍籍。1949年则参与了文物造册，主张将文物精品运送至台湾。并参与了文物南迁，在运送过程中还然不慎跌伤，卧床昆明达五个月之久。50年代之后，徐森玉在上海活动，担任了上海文物保管委