参加了反对段祺瑞政府的“三·一八运动”。并在放假期间，回乡宣传革命。1926年冬，在李大钊的激励下，尚钺未及毕业，便脱下了学生装，回到家乡罗山组织农民自卫军，准备迎接北伐军的到来。但北伐军暂时停留武汉，便遵循李大钊的指导，南下上海、武汉参加革命，经郭沫若介绍在北伐军政治部编审科任上尉科员。1927年9月在国民党清党后，于开封经河南省委宣传部长汪后之介绍，加入中国共产党，在中共开封市委工作，任省委机关刊物《勐进》编委。秋收起义时，任豫南特委宣传鼓动部部长、工农革命军第四大队第六支队党代表和地区苏维埃主