在苏州逝世后，汤国梨于1937年前往上海，1938年与章太炎的众多弟子一同在上海创办了太炎文学院并自任院长。校址位于福州路、河南路口，在五洲大药房楼上。沈延国任教务主任（后由孙世扬继任），诸祖耿任训导主任，王仲荦任院长室秘书主任，汪东任中国文学系主任（龙榆生代理），朱希祖任历史系主任。学生则有百余人。然而该校仅存在了两年时间，后由于汤国梨拒绝向汪精卫政权办理注册手续而被迫停办。