1927年4月12日，江西陷入白色恐怖，吉安全城戒严，查封工会、农会、学生会、报馆等机构，清洗国民党左派和共产党人。经过再三考虑，叶剑英决定反蒋。他召集全师军官开会，公开宣布：愿意革命的，拥护武汉政府的留下；拥护蒋介石，想去南京的，也请自便。会后，叶剑英亲自起草并领衔签发了反蒋通电。第四军副军长陈可钰将这件事报告给蒋介石时，蒋介石说：“叶师长不会反对我们的。”陈第二次又去报告：“叶师长真的反对我们。”蒋介石说：“好啦，知道了，你下去吧。”通电反蒋后，叶剑英率领一批左派军官离开了吉安赴武汉被任命为国民革命军第四军参谋长；留下的左派军官发起吉安暴动。蒋介石得知二师暴动，才终于相信了叶剑英已背离他的事实，宣布开除叶剑英国民党党籍。1927年7月，经李世安介绍、周恩来同意，秘密加入中国共产党。南昌起义前，叶剑英得知汪精卫阴谋加害叶挺、贺龙，立即冒着风险在九江甘棠湖一小划子上与他们商量对策，决定叶挺和贺龙指挥的部队迅速向南昌开进。起义军撤出南昌后，叶剑英极力劝阻了张发奎对起义军的追击。8月上旬，兼任第四军军官教导团团长。12月11日，叶剑英率领所部教导团参加广州起义，任军事指挥部副总指挥。广州起义失败后，叶剑英潜赴香港。1928年冬，赴苏联莫斯科东方大学特别班学习。1929年中东路事件期间，叶剑英与刘伯承等人响应“武装保卫苏联”的号召，参与“国际义勇军”，即前往伯力加入“远东工人游击队”，训练部队，与国民政府军张学良部作战，协助苏联进攻中国黑龙江海拉尔之役。