月加入中国社会主义青年团，参与发起安庆六二学潮，创建安庆团组织，被推选为安徽省学联执委。1923年12月转入中国共产党。1924年5月，考入黄埔军校第一期。毕业后在军校教导团任连党代表，为中共黄埔军校特别支部委员。1925年1月，参加讨伐陈炯明的国民革命军第一次东征作战，升任营党代表。6月被中共党组织调到上海开展工人运动。10月，赴苏联入莫斯科东方大学军事班学习。1926年秋，彭干臣奉命回国，加入叶挺独立团，参加北伐战争。叶挺担任国民革命军第十一军二十四师师长兼武昌卫戍司令后，彭干臣任武昌卫戍司令部参谋长。