太守山稚之之子。山稚之担任营陵县令，他随父亲赴营陵县，师事营陵王惠，涉猎文史。魏孝明帝初年，元匡为御史中尉，山伟兼侍御史。入台五日，时值正会，受命管理神武门。山伟之妻的从叔为羽林队主，鞭打殿门直长，山伟弹劾上奏。山伟任国子助教，转任员外郎、廷尉评。六镇之乱、陇西之乱爆发，领军元乂积极起用代人，调和当时的不满。山伟上奏书，赞美元乂的政策。安豊王元延明、黄门郎元顺推荐山伟，元乂命山伟为尚书仆射元钦属下，兼尚书二千石郎。后山伟正式为尚书郎，修撰起居注。尚书仆射元顺兼任选官，推荐山伟为谏议大夫。528年（建