抗日战争爆发后，中共中央北方局决定北平党组织撤离，刘杰负责撤离工作。11月，他出任宛平中心县委书记，负责组织抗日游击队。他率一批学生与八路军总部派遣的一个班及地下党组织汇合，组建一支200多人的游击队，在北平西郊斋堂、宛平县、青白口一带活动。1938年3月，任中共晋察冀三分区地委书记，负责组织抗日游击队，并开展减租减息运动。1943年至1945年9月，他在延安中央党校学习。其间，出席了中国共产党第七次全国代表大会，担任选举中央委员的检票员。