子参加隋末民变的瓦岗军。武德元年（618年）李密败于王世充，徐世勣归顺唐朝，唐高祖任命徐世勣为黎阳总管、上柱国，封莱国公。不久加右武候大将军，改封曹国公，赐姓李氏，附宗正属籍，赐良田五十顷，甲第一区。封徐盖为济阴王，徐盖坚决推辞王爵，于是改封舒国公，授散骑常侍、陵州刺史。武德二年（619年）窦建德攻陷了黎阳，俘虏了唐朝淮安王李神通、李盖（徐盖）、魏征以及唐高祖的妹妹同安公主。唯有李世勣带几百骑兵逃过黄河。几天后，李世勣又因为父亲被俘的缘故，返回黎阳投降了窦建德。窦建德任命李世勣为左骁卫将军，命他守卫黎阳