1927年7月下旬，刘伯承秘密转赴南昌。8月1日，与周恩来、朱德、贺龙等人发动南昌起义，任起义总参谋长，率部南下。起义军队在潮汕失败后，刘伯承与吴玉章、林伯渠等赴上海。1927年11月，与吴玉章等30人赴苏联学习，先后在高级步兵学校学习。1928年6月，他出席了中共六大。年底，转入伏龙芝军事学院学习。1929年中东路事件期间，刘伯承与叶剑英等人响应“武装保卫苏联”的号召，参与“国际义勇军”，即前往伯力加入“远东工人游击队”，训练部队，与国民政府军张学良部作战，协助苏联进攻中国黑龙江海拉尔之役。1930年8月，从苏联伏龙芝军事学院毕业，任中央军委参谋部部长、长江局军委书记，协助周恩来处理军委日常工作，举办短期军事训练班，并负责讲授暴动方略、游击战、运动战等课程。