鲁涤平部第6团2营。1922年，加入中国共产党。1923年12月，考入广州陆军讲武学校。次年5月与同乡宋希濂一起考入黄埔军校，成为该校第一期学生（被誉为“黄埔三杰”之一），当过孙中山的侍卫，并于10月参加平定广州商团暴动。1925年，留任黄埔军校，参加了东征陈炯明的战斗，并任蒋介石侍卫参谋。10月27日，由于作战失利师长逃跑，部队在华阳附近被包围，蒋介石任命陈赓代理师长阻止溃退没有成功，准备自杀。在陈赓的劝说下，蒋介石没有自杀，陈赓背着蒋介石得以逃脱。。1926年7月，参加国民革命军北伐誓师，此后被中共中央