阳湖南省立第三师范学校附小。1923年，考入湖南衡阳蒸湘中学。1924年，在该校参加中国社会主义青年团。1925年五卅运动爆发后，参加运动声援上海工人反帝斗争。中学毕业后，报考国民革命军在湖南办的政治讲习所，被录取到四队十二班学习。在讲习所，结识更多中国共产党党员，系统学习了马列主义。1926年夏，加入中国共产党。1926年7月，谢维俊奉命回家乡进行工农运动。其间，他发展中国共产党党员，成立党组织，领导民众斗争。1928年初，参与领导耒阳“肥田暴动”。不久，随湘南暴动部队上井冈山，参加了毛泽东、朱德领导