命北伐军第四军第25师担任政治部主任，成为中共早期参与领导军事斗争的先驱之一。1927年他参加了南昌起义，是主力部队第25师的党代表兼政治部主任（师长是叶挺的得力助手周士第，陈毅当时是该师主力团第73团党代表，林彪当时是第73团的连长）。起义失败后，朱德领导的前敌委员会委托周士第和李硕勋到上海中央汇报工作，朱德和陈毅则带领起义军余部开始游击战争。李硕勋到上海后，领导华东各省共产地下党组织对抗中华民国政府和组织军运，先后担任江苏省委秘书长、主持省委工作；浙江省委军委书记、代理省委书记；上海沪西区委书记