崔谦从小聪慧，神采庄重，成人之后深沉而有胆识度量，博览经史书籍，不拘泥于章句之学，志向在增加见闻，每当看到书中记载治理国家人民的事，心中总是很喜爱，未曾不抚摸书籍而叹息。孝昌年间，崔谦以着作佐郎为起家官，跟随太宰元天穆讨伐邢杲，将其击败，因功被授予辅国将军、太中大夫，升任平东将军、尚书殿中郎。贺拔胜出任荆州刺史时，任命崔谦为行台左丞。贺拔胜虽位居州郡重任，但是安抚华夷百姓，管理各种事务，全部委托给崔谦。崔谦也竭尽自己的智慧和才能，加以匡正辅佐。贺拔胜在南方获得名声，崔谦出力最大。等到魏孝武帝元修将要