936年年初，他调任中共北平市西郊区委书记；9月，到东北军五十三军119师黄显声部做统战工作。不久，黄显声等人为营救张学良而被国民党逮捕；同年12月，刘杰返回北平。1937年3月，任中共北平市委委员兼农委书记，负责北平西郊工作。抗日战争爆发后，中共中央北方局决定北平党组织撤离，刘杰负责撤离工作。11月，他出任宛平中心县委书记，负责组织抗日游击队。他率一批学生与八路军总部派遣的一个班及地下党组织汇合，组建一支200多人的游击队，在北平西郊斋堂、宛平县、青白口一带活动。1938年3月，任中共晋察冀三分区地委