1922年6月，陈炯明叛变时，任海军陆战队营长的叶剑英率部护卫孙中山脱险，同陈炯明军作战。嗣后，前往福建任东路讨贼军第八旅参谋长，随军入粤讨伐陈炯明。言岭关大捷，名震一时。1924年初，因讨伐陈炯明军功卓着，任建国粤军第二师参谋长。1924年1月受廖仲恺邀请，参与筹建黄埔军校，1924年5月5日任教授部副主任，兼授《兵器学》。在黄埔执教期间，接触了许多共产党人，受到影响，逐步接受了马列主义。1924年7月，应张民达师长请求，返回二师，率部迎击进犯广州的林虎叛军，获胜。后奉廖仲恺命，到香洲创办粤军第二师独