侯景军队突然来到，贺拔胜与侯景交战后失败，于是率领部下数百骑兵南逃到南梁，崔谦也与他一起南逃。到了南梁后，崔谦经常请求派兵援助，梁武帝萧衍虽然没有出兵，但对贺拔胜等人的志向和节操十分赞许，同意他们回西魏。于是让崔谦先返回，表达两国友好往来的意愿。魏文帝元宝炬见到崔谦十分高兴，对他说：“爱卿出生入死，投身长江以外，现在能活着回到本朝，难道不是忠贞所得到的回报？”宇文泰早听说过崔谦的名声，对他十分礼遇，授任崔谦征西将军、金紫光禄大夫，赐予千乘县男的爵位。贺拔胜返回后被任命为太师，因为崔谦有辅助的功劳，又委任崔谦