知俊为军校。刘知俊披甲上马，轮剑入敌，勇冠诸将。朱全忠命他统领左右义胜两军，不久又用为左开道指挥使，于是得号“刘开道”。刘知俊讨伐伪帝秦宗权和攻打感化军有功。感化军军部徐州于景福二年（893年）四月被朱全忠军攻陷，时溥自焚。刘知俊得补徐州马步军都指挥使。干宁二年（895年），刘知俊储谷于石砀，准备南袭宁国军节度使杨行密，杨行密所授温州刺史张训屯涟水，遣兵浮海掩袭刘知俊得其草料。刘知俊战不胜，攻涟水，大败，仅以身免。后攻克海州，被奏授海州刺史。光化三年（900年）七月，因朱全忠所奏，刘知俊以宣武军押衙为检校右