幼时父亲崔文业去世，家中贫困，他用心抚养母亲。高欢征召崔伯谦前往晋阳，补任相府兼功曹，称赞他说:“崔伯谦廉洁奉公，真是好官员。”崔伯谦之后转任七兵郎中、殿中郎中、左户郎中，他的弟弟崔仲让担任北豫州司马，与高慎一起反叛，崔伯谦受到牵连被免官。之后崔伯谦历任瀛州别驾，高澄又任命崔伯谦出任京畿司马。高澄将要前往晋阳时，慰劳崔伯谦说:“您帮助治理的瀛州，已经是一片太平景象。我府中事务繁多，因此将此职务授予你。”临别时，高澄又在马上握着崔伯谦的手说:“执子之手，与子偕老，您应该深深体会这番意思。”崔伯谦族弟崔暹当时受