建立红五军，任13师4团党代表，中共红五军军委委员。后任红五军2大队大队长、第2纵队纵队长。不久，起义部队遭到湘鄂赣军的联合进攻，撤出平江 东入江西修水、铜鼓、万载，转战于湘鄂赣边区，开辟了湘鄂赣根据地。11月，彭德怀、滕代远等人率领红五军主力前往井冈山，黄公略率三个纵队坚持游击战。1929年，红五军返回后，任红五军副军长，参与建立了湘鄂赣苏区。曾先后组织发动了毛田、鲁家湾、老乌塅、金坑等地暴动，指挥了白沙、大胜、永和等战斗，消灭大量国军驻军和挨户团，在平江、浏阳、修水、铜鼓等县境内开辟了数块根据地。