受进步思想影响。1924年秋，中共保定市委成立后，他积极参加党组织所领导和发动的学生爱国运动。1925年夏中学毕业后，派往西北陆军干部学校学习。毕业后被分配在西北军工作，后在方振武旅任中校参谋。1926年9月被编为冯玉祥国民联军第五军。1926年冬，经张兆丰介绍加入中国共产党。国共合作失败后，谷雄一来到北京。1928年夏，被派往河北军事政治学校秘密从事兵运，在军队中发展和建立中共党组织。1929年秋，谷雄一奉命离开军校，在北平、天津、唐山一带活动，专门从事党兵运。1930年3月，谷雄一参与领导发动唐山兵