父亲刘吟皋为清末举人，曾任教于保定第二女子师范、育德中学，民国时期出任直隶省议会议员，后辞职归乡。刘杰早年在南宫县立中学就读。1930年，转到河北沧县第二中学读书。1932年，加入中国共产党，任沧县第二中学党支部书记。同年，因领导学生罢课，反对日本侵略山海关，被学校开除学籍。1933年，赴北平镜湖中学读书（由李镜湖创建）。同年5月，因冯玉祥在张家口组织察哈尔民众抗日同盟军，刘杰离开学校，参加同盟军，并先后任司令部宣传员、同盟军军政干校党支部书记。同年9月，同盟军失败后，刘杰返回北平，出任共青团北平东区区委书