1915年，考入康庄国民小学读书。1921年，考入保定育德中学，在学校期间，深受进步思想影响。1924年秋，中共保定市委成立后，他积极参加党组织所领导和发动的学生爱国运动。1925年夏中学毕业后，派往西北陆军干部学校学习。毕业后被分配在西北军工作，后在方振武旅任中校参谋。1926年9月被编为冯玉祥国民联军第五军。1926年冬，经张兆丰介绍加入中国共产党。国共合作失败后，谷雄一来到北京。1928年夏，被派往河北军事政治学校秘密从事兵运，在军队中发展和建立中共党组织。1929年秋，谷雄一奉命离开军校，在北平、天