破尔朱氏占领洛阳，山伟降为男爵，进侍中。534年（天平元年），东魏建立，山伟任卫大将军、中书令、监起居。后以本官再兼着作郎。在官任上去世。追赠骠骑大将军、开府仪同三司、都督、幽州刺史，谥文贞公。长子山昂嗣爵。在此之前，修北魏国史的有邓渊、崔琛、崔浩、高允、李彪、崔光。山伟与太仆卿綦儁等人向执掌朝政的上党王元天穆和尔朱世隆进谄言，说国史应该由北魏鲜卑本族人撰写，不应交给他人。山伟外示沈厚，内实矫竞。山伟修史大不称职，以致史事多阙、粗疏不堪。后人无法整理撰写。居史职二十余年，竟无所记。