军功拜仪同三司。北周武帝欲东征北齐，素闻其勇烈，拜其为九曲镇将，进位上开府，封建威县公。跟随周武帝攻拔北齐晋州，力抗齐军，进位柱国。齐亡后，封郕国公，进位上柱国、雍州主簿。宣帝即位，除东南道行台、使持节、徐州总管、三十二州诸军事、徐州刺史。与王轨擒陈将吴明彻、裴忌于吕梁，别破黄陵，略定淮南地。杨坚作相辅政，转亳州总管、二十四州诸军事。相州总管尉迟迥起兵反抗杨坚，杨坚以梁士彦为行军总管，随韦孝宽讨伐。至河阳，与尉迟迥军相对，令家僮梁默等数人为前锋，梁士彦以其徒继之，所当皆破。乘胜至草桥，尉迟迥军众复合，进