后在桂系军队中累迁至营长，后随部加入国民革命军。1925年，率部参加对邓本殷的进攻，攻克高州，立下战功。1926年任国民革命军第七军团长，参加北伐。1927年10月，俞加入中国共产党，12月11日，参加广州暴动，失败后回乡进行秘密活动。1929年，蒋桂战争爆发，俞作柏和李明瑞因反桂有功，取得了广西的统治权，俞作豫受命参加其政权，促使俞、李与中共展开合作，任南宁警备区司令。1929年10月1日，俞作柏、李明瑞配合张发奎反对蒋介石，旋失败。俞配合邓小平、陈豪人等人迅速掌握了南宁驻军，发动南宁兵变。193