经常请求派兵援助，梁武帝萧衍虽然没有出兵，但对贺拔胜等人的志向和节操十分赞许，同意他们回西魏。于是让崔谦先返回，表达两国友好往来的意愿。魏文帝元宝炬见到崔谦十分高兴，对他说：“爱卿出生入死，投身长江以外，现在能活着回到本朝，难道不是忠贞所得到的回报？”宇文泰早听说过崔谦的名声，对他十分礼遇，授任崔谦征西将军、金紫光禄大夫，赐予千乘县男的爵位。贺拔胜返回后被任命为太师，因为崔谦有辅助的功劳，又委任崔谦为太师长史。大统三年（537年），崔谦跟随宇文泰擒拿窦泰，参与沙苑之战，都有战功，爵位晋升为子爵，升任车骑