袭封唐国公。李渊七岁，父亲去世，李渊世袭为唐国公。581年，隋文帝逼迫北周静帝禅让，李渊任千牛备身（皇帝的禁卫武官），因李渊母亲为隋文帝独孤皇后姐姐，589年随隋文帝灭陈，后累任谯、陇、岐三州刺史，荥阳郡太守。604年，隋文帝驾崩，迁楼烦太守，隋炀帝大业元年（605年）迁殿内少监；大业二年，除郑州刺史；大业九年（613年），迁卫尉少卿。是年隋炀帝征高句丽，李渊在怀远镇（今辽宁朝阳附近）负责督运。杨玄感之乱，炀帝诏李渊为弘化留守，知关右诸军事。可见李渊与隋朝宗室关系密切，参与了朝廷的衆多大事，他也趁此机会