1927年7月，聂荣臻任中共前敌军委书记，赴九江准备组织武装起义。南昌起义时，聂荣臻组织张发奎部第25师两个多团起义，后任任国民革命军第十一军党代表，与军长叶挺率部南下。起义军队在潮汕失败后，聂荣臻和叶挺护送病中的周恩来转移到了香港。1927年12月，他潜回广州参与领导广州起义。在起义军受挫的情况下，他与叶挺决定撤退。1928年，聂荣臻任中共广东省委军委书记，提出培养一批军事技术人才。1930年初，聂荣臻调任中共顺直省委组织部部长，1930年5月到达上海，在中央特科从事地下工作。1931年，聂荣臻调任中共中央军委参谋长。