黄门郎元顺推荐山伟，元乂命山伟为尚书仆射元钦属下，兼尚书二千石郎。后山伟正式为尚书郎，修撰起居注。尚书仆射元顺兼任选官，推荐山伟为谏议大夫。528年（建义元年），尔朱荣河阴之变，山伟免祸。魏孝庄帝入洛阳太极殿，山伟任给事黄门侍郎，兼着作郎。531年（普泰元年），前废帝元恭即位，山伟为着作郎，加安东将军、秘书监。尔朱兆入洛阳，官员逃亡，国史典书高法显密埋史书，故免于散逸。山伟自以为功，请求赏赐。山伟依附尔朱世隆，封东阿县伯。532年（太昌元年），高欢破尔朱氏占领洛阳，山伟降为男爵，进侍中。534年（天平元