广州起义失败后，他赴香港善后。1928年2月，他任中共江苏省委常委、中共江苏省委工委委员兼上海总工会党团书记。同年6月，他作为共产国际特约代表，到莫斯科出席了中国共产党第六次全国代表大会，并任大会副秘书长（秘书长为周恩来）。后因被追究广州起义失败之责，他在此次大会上未能当选中央委员。同年8月，他入读莫斯科列宁学院，和张国焘、董必武、李维汉、王若飞等人成为同学。1929年9月，他任远东工人游击队（红河赤卫队）党代表，准备在需要的时候率部开赴中国东北介入中东路事件。1930年4月，他任中华全国总工会驻赤色职工国际代表。同年9月，他在中共六届三中全会上被补选为中央候补委员。同年11月，他接替将要回国的张国焘任中共中央驻共产国际代表。