明初濠州定远（今安徽省定远县）人物。定远县丞李勖，明朝开国功臣韩国公李善长之弟。李存义曾于吴王朱元璋麾下屡建奇功，后官拜太仆寺丞，与时任中书右丞的同乡好友胡惟庸交结甚欢，其长子李祐为胡惟庸姪女婿，后来胡惟庸因谋反通倭一事遭皇帝下令夷族。洪武十八年，朱元璋怀疑李善长一族与胡惟庸交攀甚密，视其为胡惟庸同党，故以连坐法，免死，囚禁于崇明。后来朱元璋四儿子燕王朱棣发兵夺位，即称太宗，随即替李善长一族平反。