，令狐德棻为记室。618年，李渊入长安建丞相府，史万宝任相府功曹参军，封大平县开国公。之后世子李建成、赵公李世民为左右二元帅，率军攻略东都洛阳，史万宝为行军总管、右翊卫将军，数月东都未能攻下，时值夏月农忙，遂自东都班师，留史万宝、盛彦师镇宜阳（今河南省宜阳县西），吕绍宗、任瓌镇新安（今河南省洛阳市西新安县），以防御王世充。不久宜阳郡改称熊州，史万宝任刺史。同年十月，李密为王世充所败，率众降唐。十二月三十，李密东走，想脱离唐朝，史万宝认为凭李密的才能加之有王伯当的帮助，其部下士兵又皆思东归，是不可抵挡的。