同学郭伯和、李硕勋、阳翰笙等带头组织学生会，开展进步活动。1920年，考入浙江省立高等工业学校（今属浙江大学）电机科学习。1923年，他进入上海大学学习，加入中国社会主义青年团。1924年，赴德国勤工俭学，在德国哥廷根大学和柏林大学学习。期间，经朱德、孙炳文介绍，加入中国共产党。1926年，转赴苏联莫斯科东方大学和空军机械学校学习，并兼任教官、东大总支部委员。1927年冬，与吴先清结婚。1928年春，莫斯科东方大学与莫斯科中山大学合并为中国劳动者共产主义大学(简称“中大”)，夫妻俩同转入中大。1929年