本雇员发生矛盾，愤而辞职。1924年4月在李震瀛介绍下加入中国社会主义青年团，5月随李前往上海，进入上海大学读书，并在中国国民党第一区党部从事秘密活动。同年12月，被派往苏联莫斯科东方劳动大学学习。次年，经陈乔年介绍，在莫斯科加入中国共产党。1925年五卅运动爆发后，关向应主动要求回国，在上海工作。8月，前往济南、青岛负责当地共青团活动。次年初回到上海。1927年四一二事变发生后，逃亡武汉，七一五事变后，被派往河南，任中共河南省委书记。1928年，被调回上海，后前往莫斯科出席中国共产党第六次全国代表大会