父李秀林（李榼）是北魏太中大夫，李徽伯开始是汝南王元悦常侍。魏孝明帝孝昌年间，为定州镇军长史，博陵郡太守。归附杜洛周为定州王。转从葛荣，被尔朱荣擒，至洛阳。后尔朱荣击败葛荣，李徽伯随从至晋阳（今山西太原南）。531年，除持节、安北将军。转迁金紫光禄大夫。东魏初年，以预定策之功，任高欢大丞相咨议参军，封固安县开国伯。及迁都邺城（今河北临漳西南），留守洛阳监修宫殿，后为卫大将军、陕州刺史。537年八月十四日，西魏丞相宇文泰率领李弼、独孤信、梁御、赵贵、于谨、若干惠、怡峰、刘亮、王直心、侯莫陈崇、李远、达奚武等十