聂洪钧于1922年考入湖北省立甲种工业学堂。1925年7月加入中国共产主义青年团，不久被选送到第四届广州农民运动讲习所学习。同年10月经彭湃、罗严介绍转为中国共产党。毕业后返回湖北，曾任中共湖北省委农委秘书长兼组织部长、鄂南特派员。1927年前往莫斯科中山大学留学。回国后，先后担任过中共江苏省农委秘书、中央宣传部审查科长、鄂北特委书记、京汉特委书记、闽浙赣省委组织部长、闽浙赣军区政委、红七军团政委等职。1934年红十军团成立后出任十九师政委。同年皖南特委成立，聂洪钧调任皖南特委书记。次年前往上海中央局工作