1946年夏天，第二次国共内战爆发，中国共产党部队向拥有美式装备的中国国民党部队展开游击战。史明也投入中国共产党的无产阶级革命行动。其后他退往根据地河北省，并被派到狼牙山带领游击队。他还曾护送蒙疆银行撤退，并进行3个月的游击战。同年，中国共产党实施土地改革运动，他亲眼见到斗争屠杀，这是其第一次对中国感到失望，并认为中国共产党本质上相当虚伪。在1947年初春，他在河北省透过媒体，得知台湾发生二二八事件，彭孟缉并在高雄市发动流血镇压。同年，他在晋冀鲁豫边区的军事政治大学，开始参加「台湾队」的设立。当时中国人民