义元年），尔朱荣河阴之变，山伟免祸。魏孝庄帝入洛阳太极殿，山伟任给事黄门侍郎，兼着作郎。531年（普泰元年），前废帝元恭即位，山伟为着作郎，加安东将军、秘书监。尔朱兆入洛阳，官员逃亡，国史典书高法显密埋史书，故免于散逸。山伟自以为功，请求赏赐。山伟依附尔朱世隆，封东阿县伯。532年（太昌元年），高欢破尔朱氏占领洛阳，山伟降为男爵，进侍中。534年（天平元年），东魏建立，山伟任卫大将军、中书令、监起居。后以本官再兼着作郎。在官任上去世。追赠骠骑大将军、开府仪同三司、都督、幽州刺史，谥文贞公。长子山昂嗣爵。