地区失败后，他协助朱德重新编组部队，转战闽粤赣湘边界地区，同时对部队进行思想和组织纪律整顿，开展群众工作，支持农民运动，建立统战关系，并把一部分党团员分配到连队，加强基层政治工作。1928年1月，参与领导湘南起义，任工农革命军第1师党代表。3月兼任中共郴县县委书记、湘南苏维埃政府执行委员，发动群众建立苏维埃政权和地方武装。4月，在宁冈砻市和毛泽东率领的工农革命军会师，成立工农革命军第四军，任第12师师长，并当选为中共湘赣边界特委委员，参与领导创建井冈山根据地。5月，出任四军军委书记。7月受中共湖南省委指示