团市委书记孙会闽一同被捕，两人随后乘看守不备逃出。因组织被破坏，于1935年重新加入中国共产党。同年5月，中共北平市地下党组建市工作委员会，刘杰负责市委刊物《火线》的翻印工作。1936年年初，他调任中共北平市西郊区委书记；9月，到东北军五十三军119师黄显声部做统战工作。不久，黄显声等人为营救张学良而被国民党逮捕；同年12月，刘杰返回北平。1937年3月，任中共北平市委委员兼农委书记，负责北平西郊工作。抗日战争爆发后，中共中央北方局决定北平党组织撤离，刘杰负责撤离工作。11月，他出任宛平中心县委书记，负