父亲元雄是西魏武陵王。元胄少年时英武果敢，多习武艺，浓眉虎须，相貌刚毅，有不可冒犯的威严仪表。北周齐王宇文宪见他后赞美他壮伟，召到身边，多次跟随征伐。官至大将军。杨坚刚刚被召入宫中，将受顾托，先唤来元胄，再唤来陶澄，一起委为心腹，一直住在杨坚内室。杨坚为丞相，元胄时时统军在宫中，又引荐弟弟元威一起入侍卫。北周赵王宇文招知杨坚将要取代北周，于是邀请杨坚到他家。赵王让杨坚入寝室，左右不得跟随，只有杨弘与元胄兄弟坐在门边。赵王对他两个儿子宇文员、宇文贯说：“你们去送瓜，我趁机刺杀他。”酒酣时，赵王准备行动，以佩刀