（1368年），朱元璋称帝，冯胜兼任太子右詹事。因犯小罪而被贬官，任都督同知。随后，冯胜率军逆河而上，取汴梁、洛阳，攻下陕州，直趋潼关。守将夜逃，于是夺潼关，取华州。返回汴梁之后，被授为征虏右副将军，留守汴梁。随即跟随徐达进攻山西，由武陟攻取怀庆，越过太行山，克碗子城，攻取泽州、潞州，于猗氏擒获元右丞贾成。又克平阳、绛州，擒获元左丞田保保等，俘获将士五百余人。洪武二年，冯胜率军渡过黄河，直趋陕西，攻克凤翔。然后渡过陇水，攻取巩昌，进逼临洮，降服李思齐。又回军跟随徐达围攻庆阳。扩廓帖木儿遣将进攻原州，声援庆阳