进入洛阳，之后于滏口打败葛荣，以军功授官都将；后来他隶属贺拔岳跟随征讨平万俟丑奴与萧宝夤等人，迁任中坚将军、屯骑校尉、子都督。普泰元年（531年），朝廷拜梁椿为征西将军、金紫光禄大夫，次年（532年）担任高平郡守，封爵卢奴县男，食邑一百户。太昌元年，进授都督，跟随宇文泰平定，拜任卫将军、右光禄大夫。西魏大统初年，他进爵栾城县伯，增加食邑五百户，并出为陇东郡守，很快就进为公爵，再加食邑五百户，迁任梁州刺史。他跟随宇文泰恢复弘农，作战沙苑，和独孤信入洛阳，又陪同宇文贵击败东魏将领尧雄等人，累积了不少战功。朝廷因