爱好射猎，颇晓兵法。娶南安王拓跋桢女北乡公主。在北魏后期政权中，尔朱荣凭借镇压六镇之乱，迅速壮大了其军事力量，擢为游击将军、冠军将军、平北将军、北道都督。鲜于脩礼谋反后，尔朱荣带兵向东讨伐，再度进号征东将军、右卫将军、署理车骑将军，都督并肆汾云广恒六州诸军事，升任大都督，加金紫光禄大夫。魏孝明帝死后，建义元年（528年），他扶植魏孝庄帝元子攸即位，女儿大尔朱氏又成为孝庄帝的皇后。并随后发动了河阴之变，「沉胡太后及幼主于河」，诱骗王公百官二千多人至河阴（今河南孟津县），以铁骑包围，尽杀之。从而完全