六国时，居祁连山，因山为姓。北魏燕郡太守元成的儿子。开始修习弓马，有志气。魏孝庄帝永安三年（530年），被尔朱荣引为亲信。尔朱荣死后，他随尔朱世隆投奔建州，后来随尔朱兆入洛阳。普泰元年（531年），任征虏将军、中散大夫。尔朱兆失败之后，归顺高欢。东魏元象元年（538年），随高欢在邙山和西魏作战。次年，因功封为广兴县君。任抚军将军，封石城县子。北齐天保元年（550年），任都督、东秦州刺史。随征契丹、柔然、库莫奚、突厥。官至领军将军，封义宁县公。天统五年（569年），任领军大将军，封山阳王。武平年间，被后主