从葛荣，被尔朱荣擒，至洛阳。后尔朱荣击败葛荣，李徽伯随从至晋阳（今山西太原南）。531年，除持节、安北将军。转迁金紫光禄大夫。东魏初年，以预定策之功，任高欢大丞相咨议参军，封固安县开国伯。及迁都邺城（今河北临漳西南），留守洛阳监修宫殿，后为卫大将军、陕州刺史。537年八月十四日，西魏丞相宇文泰率领李弼、独孤信、梁御、赵贵、于谨、若干惠、怡峰、刘亮、王直心、侯莫陈崇、李远、达奚武等十二名将领东征。八月廿七日，攻克陕州州城弘农，李徽伯被杀。