组建一支200多人的游击队，在北平西郊斋堂、宛平县、青白口一带活动。1938年3月，任中共晋察冀三分区地委书记，负责组织抗日游击队，并开展减租减息运动。1943年至1945年9月，他在延安中央党校学习。其间，出席了中国共产党第七次全国代表大会，担任选举中央委员的检票员。日本投降后，他出任中共察哈尔省委副书记并主持工作。1947年，任中共察哈尔省委书记。1948年5月，他带领千余名干部南下豫西。6月1日，中共豫西区委、行政公署在鲁山县城成立。张玺为区党委书记，刘杰为第二书记。6月7日，中原军区司令员刘伯承