大统三年（537年），崔谦跟随宇文泰擒拿窦泰，参与沙苑之战，都有战功，爵位晋升为子爵，升任车骑大将军、右光禄大夫，担任尚书右丞。崔谦熟悉当时的政事，身居枢纽要职，舆论认为是选对了人。大统四年（538年），崔谦跟随宇文泰解救洛阳之围，又参与河桥之战，加定州大中正、瀛州刺史。大统十五年（549年），崔谦被授予车骑大将军、仪同三司，又在随郡击败柳仲礼，在魏兴郡讨平李迁哲，都有战功，晋升骠骑大将军、开府仪同三司、直州刺史，赐姓宇文氏。魏恭帝拓跋廓初年，崔谦转任利州刺史。崔谦个性聪慧，非常通晓治政方略，又勤于