粟裕一家遂举家迁入会同县城，粟裕由家乡私塾转入县城模范小学上学，后转入高等小学。粟裕成绩一直不错，但到高小读了两三年后，因父亲坚持让粟裕为家里管账，遂不能专心学业，而一次次留级。
大革命时期与加入中国共产党.随后，因不满驻守的北洋军阀军队，高小学生发起学潮，此事极大地影响了粟裕。1924年1月8日，粟裕离家出走，同年3月，进入常德二师附小学习。1925年春，考入位于常德的湖南省立第二师范学校，被编入二十七班。 进入常德二师后，他加入了中国共产党领导的“学生会”，与当时学校中另一组织