十七年（1367年）十月，常遇春被授为征虏副将军，随徐达北伐。朱元璋亲自嘱咐他：“面对百万之众，击溃敌人精锐部队，攻陷敌人的坚固阵地，无人能比得上副将军。我不担心你不能打胜，而担心你轻战。你身为大将，好与兵卒角斗，这尤其不是我所期望的。”常遇春跪下拜谢。洪武元年（1368年），朱元璋称帝，任命常遇春兼太子少保。随攻山东诸郡后，又攻取汴梁，进取河南。元兵五万军队陈兵洛水之北，常遇春单骑冲向元阵，元军二十多名骑兵手持长矛一齐刺向常遇春，而常遇春一箭将其前锋射死，大叫一声冲入元阵，麾下士兵也跟随他向前冲去。元兵大