朱元璋见这些人以后难以成大事，所以在至正十四年（1354年）正月初一，朱元璋离开濠州，南略定远，从自己招募的新兵中挑选了心腹徐达、汤和等二十四人离开濠州了，这些人就是最早追随朱元璋打天下的将领。
争议.后世对二十四将提出质疑，常遇春屡立军功，也比郑遇春知名，为何关于这些将领当中为是郑遇春而不是常遇春。有人指出常遇春归附朱元璋时间是至正十五年（1355年）。可淮西二十四名将是至正十四年（1354年）朱元璋单独打天下时候开始带走的将领，所以不是常遇春，而是郑遇春。