西三原县东北）人，出自陇西李氏丹杨房，为唐代名将李靖之弟。父李诠，隋朝赵郡太守、临汾襄公。隋朝时任隋文帝挽郎、涿郡司户，唐初为幽州总管府属、秦王府统军。玄武门之变后，626年七月初三，朝廷任命秦王府护军秦叔宝为左卫大将军、程知节为右武卫大将军、尉迟敬德为右武候大将军。七月初六，高士廉为侍中、房玄龄为中书令、萧瑀为左仆射、长孙无忌为吏部尚书，杜如晦为兵部尚书。七月初七，朝廷任命宇文士及为中书令、封德彝为右仆射、前天策府兵曹参军杜淹为御史大夫、中书舍人颜师古和刘林甫为中书侍郎，左卫副率侯君集为左卫将军、