祖父李弼，北周太师。父亲李纶。李弼的儿子有邢国公李曜、魏国公李辉、真乡郡公李衍、河阳郡公李纶、赵郡公李晏、河东郡公李椿。李曜是李密的祖父，李长雅是李密的堂叔。李长雅娶隋文帝之女襄国公主，李长雅承袭父亲李纶的爵位，为河阳郡公。开皇初年，李长雅拜将军、散骑常侍，历任内史侍郎、河州刺史、检校秦州总管。