外郎、廷尉评。六镇之乱、陇西之乱爆发，领军元乂积极起用代人，调和当时的不满。山伟上奏书，赞美元乂的政策。安豊王元延明、黄门郎元顺推荐山伟，元乂命山伟为尚书仆射元钦属下，兼尚书二千石郎。后山伟正式为尚书郎，修撰起居注。尚书仆射元顺兼任选官，推荐山伟为谏议大夫。528年（建义元年），尔朱荣河阴之变，山伟免祸。魏孝庄帝入洛阳太极殿，山伟任给事黄门侍郎，兼着作郎。531年（普泰元年），前废帝元恭即位，山伟为着作郎，加安东将军、秘书监。尔朱兆入洛阳，官员逃亡，国史典书高法显密埋史书，故免于散逸。山伟自以为功，