1937年9月，中共中央委派他到上海参加恢复和重建上海地下党的工作，协助刘晓领导上海工人运动。先后任中共江苏省委委员、组织部长、省委副书记和上海工人运动委员会书记。从此，他开始了在白色恐怖下12年的地下斗争岁月。在极其严峻危险的环境中，刘长胜动员多批工人、贫民参加新四军和共产党领导的抗日队伍。同时，还发动党员在工厂里组织兄弟会、合作会、联谊会，团结教育广大工人、职员，积极进行抗日救国活动。其间，他撰写的《谈谈苏联职工会》，主办的《朋友》《劳动》《生活知识》等刊物，汇编的《上海产业与上海职工》一书，对工人运动的发展产生了积极的推动作用，为恢复和发展上海党的组织和工人运动、为输送大批优秀工人和干部参加新四军做出了重大的贡献。1942年10月抵达淮南抗日根据地，出任中共中央华中局城市工作部副部长、部长。1945年当选中国共产党第七次全国代表大会候补中央委员。