南宫县立中学就读。1930年，转到河北沧县第二中学读书。1932年，加入中国共产党，任沧县第二中学党支部书记。同年，因领导学生罢课，反对日本侵略山海关，被学校开除学籍。1933年，赴北平镜湖中学读书（由李镜湖创建）。同年5月，因冯玉祥在张家口组织察哈尔民众抗日同盟军，刘杰离开学校，参加同盟军，并先后任司令部宣传员、同盟军军政干校党支部书记。同年9月，同盟军失败后，刘杰返回北平，出任共青团北平东区区委书记。1934年3月，中共北平党、团及外围组织遭严重破坏，刘杰与团市委书记孙会闽一同被捕，两人随后乘看守不备逃