西狄道（今甘肃临洮县）人，出自陇西李氏仆射房，是北魏司空、清渊文穆公李冲的曾孙，北魏使持节、侍中、太傅、录尚书事、东道大行台都督、青州刺史、濮阳孝懿公李延寔的孙子，北魏侍中、左光禄大夫、中书监、骠骑大将军、开府仪同三司、广州刺史、东平郡公李彧与丰亭公主元季瑶的第四子，李道端、李礼成、李智源、李信则的兄弟。李义雄有对事物的见识和领悟，勤奋学习，手拿书本没有放下的时候。李义雄在北齐出仕，官至琅邪郡太守。
家族.陇西李氏世系图