时，回长安任神策军兵马使，镇陕州，由鱼朝恩监其军。至德元年（756年）正月，史朝义夜袭陕州，伯玉迎击于礓子岭（今陕县菜园乡），败之。是年冬天再攻史朝义，夺下渑池等县。干元二年（759年），击败李归仁部，封羽林大将军。上元二年（761年），史思明围长安，史朝义寇陕州，伯玉击之于礓子岭，十月，陆续攻克永宁、渑池、福昌、长水等县。以功封河东郡公。广德元年（763年），任荆南节度使，再封城阳郡王。大历十一年二月入觐，病死京师。