受命管理神武门。山伟之妻的从叔为羽林队主，鞭打殿门直长，山伟弹劾上奏。山伟任国子助教，转任员外郎、廷尉评。六镇之乱、陇西之乱爆发，领军元乂积极起用代人，调和当时的不满。山伟上奏书，赞美元乂的政策。安豊王元延明、黄门郎元顺推荐山伟，元乂命山伟为尚书仆射元钦属下，兼尚书二千石郎。后山伟正式为尚书郎，修撰起居注。尚书仆射元顺兼任选官，推荐山伟为谏议大夫。528年（建义元年），尔朱荣河阴之变，山伟免祸。魏孝庄帝入洛阳太极殿，山伟任给事黄门侍郎，兼着作郎。531年（普泰元年），前废帝元恭即位，山伟为着作郎，加