贫辍学务农。1920年达务小学毕业，考入县立中学，连任县立中学学生会会长。1924年6月中学毕业，在本县新陂小学任教。1925年春，借了水口镇人黄文杰的兴民中学毕业证书报考黄埔军校被录取，逐以黄文杰为名。不久入党。1925年10月，被苏联顾问推荐入莫斯科中山大学学习。1929年毕业后，在苏联伯力、海参崴从事党务工作。1931年奉命回国在上海从事秘密工作，公开身份在上海社会科学研究会工作。1933年1月，中共临时中央局由上海迁至中央苏区，在上海设立以李竹声为书记的中共上海中央执行局，黄文杰任中央执行局职工