被擒，宋江亲解其缚，关胜决定归顺梁山泊。蔡京保举水火双将单廷珪和魏定国讨伐梁山泊，宋江听闻，想对策，关胜自告奋勇，与郝思文、宣赞领兵杀奔此州，不料到郝思文、宣赞冲入敌阵被擒，关胜败退。后来关胜再战单廷珪，引他追赶，把它拍落马，他投降，又引魏定国归顺梁山泊。关胜成为了马军五虎将之一。关胜随宋江征辽国、田虎、王庆及方腊时立下大功，斩下辽将兀颜光及方将钱鹏举，并招降了河北大将唐斌。征方腊后，受封为正将，任大名府平马总管。一日关胜操练马军回来，大醉，失足落马，得病身亡。