徐盖高祖父徐弘师，字德令，南齐直合舍人；曾祖父侍御史徐琛；祖父南梁荆州刺史徐懋；父亲徐元起，字山立，隋朝濮阳郡太守。隋朝末年，徐盖迁居滑州卫南县。家中多有僮仆，积累了粟米数千钟，和儿子徐世勣乐善好施，赈济贫困，不问亲疏。徐盖跟随儿子参加隋末民变的瓦岗军。武德元年（618年）李密败于王世充，徐世勣归顺唐朝，唐高祖任命徐世勣为黎阳总管、上柱国，封莱国公。不久加右武候大将军，改封曹国公，赐姓李氏，附宗正属籍，赐良田五十顷，甲第一区。封徐盖为济阴王，徐盖坚决推辞王爵，于是改封舒国公，授散骑常侍、陵州刺史。