梁椿的祖父梁屈朱曾任北魏昌平鎮將，父親梁提則是內正郎，最初他是爾朱榮的統軍跟從進入洛陽，之後於滏口打敗葛榮，以軍功授官都將；後來他隸屬賀拔岳跟隨征討平万俟醜奴與蕭寶夤等人，遷任中堅將軍、屯騎校尉、子都督。普泰元年（531年），朝廷拜梁椿為征西將軍、金紫光祿大夫，次年（532年）擔任高平郡守，封爵盧奴縣男，食邑一百戶。太昌元年，進授都督，跟隨宇文泰平定，拜任衛將軍、右光祿大夫。西魏大統初年，他進爵欒城縣伯，增加食邑五百戶，並出為隴東郡守，很快就進為公爵，再加食邑五百戶，遷任梁州刺史。他跟隨宇文泰恢復弘農，作戰沙苑，和獨孤信入洛陽，又陪同宇文貴擊敗東魏將領堯雄等人，累積了不少戰功。朝廷因此授與梁椿車騎大將軍、儀同三司、大都督。河橋之戰後，他進爵東平郡公，增食邑一千戶，不久遷官侍中、驃騎大將軍、開府儀同三司。