称其出生时，母亲窦夫人“恶其貌，不举，侍媪陈善意私乳之。”大业十二年（616年），李渊被任为太原留守，只将次子李世民带往太原，长子李建成、李元吉、五子李智云等都留在河东。次年，李世民说服李渊反隋，李渊派密使去河东召诸子，李建成和李元吉潜回太原，十四岁的李智云却被留下，后被隋朝杀害。
参与建唐.太原起兵时，李渊以李建成、李世民为大将，封李元吉为姑臧郡公。李渊出兵伐西时，让李元吉留守太原，后来封他为齐国公，管理十五郡的军事。李渊建唐后，封李元吉为镇北将军、太原道行军元帅，封齐王，为并州