擅长用双刀，人称“双刀王”。初与乡里入三台山自保，后追随朱元璋。当时朱元璋知道其才能，命其为备宿卫。后在湖州攻破张士诚，攻下池州、婺源州（今江西婺源），斩杀守将铁木儿不花，招降三千人。至正二十年（1360年）提升为元帅，并接连攻下兰溪、金华、诸暨、龙兴、吉安。以后大战鄱阳湖，并在泾江口击败陈友谅。此后跟随大军平定武昌、庐州、安丰、襄阳、安陆、旧馆等地。降张士诚将朱暹，取湖州，夺取淮东的战斗中有功，至正二十六年（1366年）升任骁骑右卫亲军指挥使。至正二十七年（1367年）与常遇春一同大破张士诚，克平江府。