924年先后考入广州陆军讲武堂和黄埔军校，经蒋先云介绍加入中国共产党。1925年2月参加讨伐陈炯明的东征，为最年轻之奋勇队员。7月编入蒋介石任军长的国民革命军第一军第二师担任连长。1926年调入程潜任军长的国民革命军第六军第十九师二团任营长，参加北伐。率部攻克南昌和南京，并救军长程潜于险境，升任团长。1927年被程潜送入日本陆军士官学校深造，专攻军事战术。 1929年8月和张云逸一起从上海奉中共中央指示到广西，化名李谦。在广西军委负责人陈豪人的安排下开办教导总队，次任广西第4警备大队副大队长