跟随朱元璋攻破安庆、江州、南昌等地，大败张士诚部队。后在泾江口击败陈友谅部队，升任湖广行省参政。后跟随大军平定武昌、庐州，升任大都督府佥事。后跟徐达下淮东、浙西等地，升任同知大都督府事。后大军北征，攻破徐州等地，招降元参政陈璧五万余人。后孔子五十六世孙孔希学、孔希举亲临军营，汪兴祖重礼招待。后兖东各县知道此事后，纷纷投靠明军，于是顺利拿下济宁、济南。洪武元年，以都督兼右率府使身份，进攻乐安，攻克汴梁、洛阳等地。后跟随徐达进攻德州、元大都。之后攻下永平、大同等地，任晋王武傅，兼山西行都督府佥事。后与傅友德