贼蜂起，程咬金组织了一支数百人的武装，护卫乡里。后投奔瓦岗李密，得到重用，为内军骠骑之一。李密在军中挑选出勇烈之士八千人，隶属四骠骑，分为左右，号称内军。李密曾自豪道：“此八千人可当百万。”程知节领导其中一军，受到李密厚待。618年（唐高祖武德元年），王世充与李密决战。王世充军攻击单雄信部，李密派遣程知节及裴行俨增援。战斗中，裴行俨中流矢坠马，程知节连斩数人，抱起裴行俨向后撤退。追兵用槊刺穿他的身体，程知节将槊折断，杀了追兵才逃脱。李密战败，王世充俘获程知节，任命他为将军，待之甚厚