他出自陇西李氏，李让夷的曾祖李练，祖父李悦，父亲李应规，他们可能有官衔，但史书无载。根据2004年出土的尼姑李胜才的墓志铭，李让夷为李胜才之兄，他们源自赵郡李氏。墓志铭记载了李让夷的祖父李悦官职为密州录事参军，累赠尚书右仆射，父亲李应规官居卫尉少卿，累赠司徒。且李胜才生于贞元十八年（802年），李让夷应早于此时出生。但根据墓志铭的其余记载，程义、肖健一、王维坤等学者认为李让夷既不是赵郡李氏也不是陇西李氏，而很有可能是寒门之士，就像陈寅恪所说的“循南北朝庶姓冒称士族之惯例”，也有可能是属于“破落户”或“假冒牌