肱加入鲜于修礼的起义队伍。起义被尔朱荣镇压后，宇文泰成为其部将贺拔岳麾下。永安三年（530年），魏孝庄帝杀尔朱荣，但军权仍然操在尔朱氏手中。不久，尔朱氏败灭，高欢位居丞相，并由此掌权。魏孝武帝密诏贺拔岳，欲以之牵制高欢。永熙三年（534年）贺拔岳为侯莫陈悦所杀，由寇洛接手部队以稳定军心，在平凉，寇洛自认“智能本阙，不宜统帅”，赵贵建议迎宇文泰，“诸将犹豫未决”，赫连达亦称宇文泰“明略过人，一时之杰。今日之事，非此公不济”，旧部才往夏州迎宇文泰。宇文泰率领帐下轻骑兵迅速向平凉进发，当时高欢也派长史侯景招揽