躲箭为乐，百姓怨恨。李元吉因而被免，又说服元老在宫门前请命，不久即复职。刘武周率五千骑至黄蛇岭，李元吉派车骑将军张达率五百步兵迎战，张达称军队少，李元吉坚持派他出战，全军覆没。张达怀恨，引刘武周攻陷榆次，进逼并州。李元吉起初击退刘武周进攻，但后来太常卿李仲文、尚书右仆射晋州道行军总管裴寂等援军都被刘武周所败后，晋州以北城镇都被刘武周所得，李元吉害怕，以率强兵出战为由骗司马刘德威率老弱守城，趁夜率妻妾弃军奔回京城，并州失陷。刘德威也弃太原，转移到马邑。李渊因李元吉年少没有苛责，不久加授侍中、襄州道行台尚书令、