曾与其兄吴良跟随朱元璋攻破滁州、和州，渡江攻破採石、集庆，在镇江、广德、常州、宣城、江阴皆立下战功。又跟从常遇春攻下池州，升任天兴翼副元帅。后帮助吴良驻守江阴，攻破张士诚水寨、活捉朱定，授英武卫亲军指挥使。后跟从徐达进攻湖州，围困平江。此后跟从汤和征讨方国珍，攻占福州。洪武元年（1368年），吴祯进兵攻破延平，擒陈友定，自此扫平福建一带沿海的敌人。正好海盗劫兰秀山，剿平之。不久，任吴王左相兼佥大都督府事。洪武二年，与冯胜驻庆阳。洪武三年讨平沂州答山贼，被任命为靖海将军，练军海上。当年冬天封靖海侯，食禄1