从杜伏威率众据长白山（今章丘、邹平交界处）起兵，杜伏威自称将军。后转战淮河以南，隋将宋颢前来镇压，杜伏威将隋军引入芦苇荡中，放火烧死其步兵、骑兵。先后占领高邮和历阳（今安徽和县）。杜伏威自称总管，以辅公祏为长史。唐高祖武德二年（619年）随杜伏威投降唐朝，获任命为淮南道行台仆射，受封舒国公。武德三年（620年），奉命率军攻打李子通，夺取丹阳（今江苏南京），乃以此为基地发展实力。武德五年（622年），杜伏威入长安，以辅公祏留守丹阳，将兵权交给右将军王雄诞，此举让辅公祏心生不满。武德六年（623年）八月