后，向往马克思主义的史明透过大学时期的同学引荐，基于抗日意识及社会主义理念，决定前往中国大陆投入抗日战争，并选择加入中国共产党阵营的行动。1943年，在前往中国大陆参与抗日运动前夕，他返回台湾探望外祖母，当面承诺在战争结束后，将尽早陪伴家人。其后，他前往上海，再转往延安、太行山受训，后来因其懂日语，奉命派往上海市、北平市等地，从事中国共产党的地下情报员工作，化名「林铎」。尽管他极力反对鸦片买卖，但为了筹措游击队经费，受命运输鸦片。1945年11月，日本在第二次世界大战战败，他返回北平市，并被派到张家口特别市