。杜畏之的妻子梁识威是工人出身，1925年入党，因不肯同杜畏之断绝关系而被暂停党的工作，并在1931年初被迫脱党。1930年代初，中共党内反对李立三左倾思潮的人既有从莫斯科中山大学回国的王明、博古、王稼祥、何子述等人，也有在中央工会党团内长期任职的何孟雄、李求实、罗章龙、徐锡根等人。同时，托派活动也很活跃，“无产者”、“我们的话”、“战斗”、“十月”等四个托派组织正在筹备联合。在1931年5月中国托派第一次代表大会后不久，杜畏之即参加了托派。同时杜畏之经朋友介绍，担任安徽大学哲学系教授，并将主要精力用于