早听说过崔谦的名声，对他十分礼遇，授任崔谦征西将军、金紫光禄大夫，赐予千乘县男的爵位。贺拔胜返回后被任命为太师，因为崔谦有辅助的功劳，又委任崔谦为太师长史。大统三年（537年），崔谦跟随宇文泰擒拿窦泰，参与沙苑之战，都有战功，爵位晋升为子爵，升任车骑大将军、右光禄大夫，担任尚书右丞。崔谦熟悉当时的政事，身居枢纽要职，舆论认为是选对了人。大统四年（538年），崔谦跟随宇文泰解救洛阳之围，又参与河桥之战，加定州大中正、瀛州刺史。大统十五年（549年），崔谦被授予车骑大将军、仪同三司，又在随郡击败柳仲礼，在魏