，吴芳出生于湖南省华容县潘家乡黄蓬垸的一个书香之家，父亲以教书为业。吴芳在7岁时开始到私塾读书，于1915年考入岳阳湖滨中学，1917年转入长沙船山学校。在1919年的五四运动中，吴芳也十分活跃。1920年，吴芳自长沙船山学校毕业。1920年8月，毛泽东、何叔衡等人发起了湖南俄罗斯研究会，吴芳加入该会，学习俄国十月革命经验和共产主义理论。后经俄罗斯研究会介绍，吴芳与任弼时、萧劲光等人赴上海到由上海共产主义小组创办的外国语学社学习俄语，准备赴苏俄学习。吴芳等在上海的湖南学生还组织了“沪滨工读互助团”，半工