年（621年）七月，窦建德于长安被杀后，其藏匿民间的旧将害怕唐朝官吏追杀，高雅贤、王小胡、范愿、董康买、曹湛等人共推刘黑闼为首领，聚众百余人，准备为窦建德报仇，起兵反唐。七月十九日，刘黑闼率众占据漳南县（今河北省故城县东北）。七月二十二日，唐朝命淮安王李神通为山东道行台右仆射，负责征讨刘黑闼。八月十二日，刘黑闼等攻陷鄃县（今山东省夏津县），魏州刺史权威、贝州刺史戴元祥出战阵亡。刘黑闼尽收其器械及部下千余人。窦建德旧部多来归顺，刘黑闼拥众两千，在漳南筑坛祭奠窦建德，自称大将军。唐高祖发关中步骑兵三千，命将