回国，加入叶挺独立团，参加北伐战争。叶挺担任国民革命军第十一军二十四师师长兼武昌卫戍司令后，彭干臣任武昌卫戍司令部参谋长。
第一次国共内战期间.1927年3月到上海，参加上海工人第三次武装暴动，参与南市区军事指挥。同年5月护送周恩来到武汉，代理武昌卫戍司令。8月，参加南昌起义，任南昌公安局局长兼卫戍司令。起义部队在潮汕地区失败后，彭干臣潜赴上海从事秘密工作。1929年，参与在上海举办的中央军政干部训练班。8月，为中共中央军事部军事委员会委员。1930年5月，彭干臣被任命为中共满