从姑家里偷羊送给杜伏威吃。因盗案案发，官府追捕，两人落草为寇，时年十六。大业九年（613年）逃窜到长白山（今山东章丘东北）地区，组织山贼，与辅公祏率众起义。后转战到淮南，渐渐扩张势力，自称将军，陆续合并苗海潮部、赵破阵部等起义军，势力大增，屯併六合，威胁江都（在今江苏省扬州市境），江都留守派校尉宋颢前来镇压，杜伏威用计将其引入芦苇荡中，放火将其烧死。大业十二年（616年）七月，隋炀帝派虎牙郎将公孙上哲率军前往镇压，双方战于盐城（今江苏盐城），公孙上哲军队被全歼。次年（617年）伏威又击败名将陈稜率领的隋