中共党组织营救获释。这年底，他根据党的指示，到太原任中共山西省委委员兼军委书记。1931年4月，中共山西省委改为山西特委，谷雄一仍然负责军委的工作。7月，赴山西平安，领导了着名的平安兵变，建立了中国工农红军第二十四军，并任军政治委员。尔后，率部转战至河北阜平，组织建立了阜平县苏维埃政府，成为当时华北地区的第一个红色政权。同年8月10日不幸被捕，不久，被押至北平。不久谷雄一在北平西直门外被杀，时年26岁。