0年参加中国工农红军，次年加入中国共产党。曾在任陂孝北县独立团第3营第8连班长。1932年夏起，历任红四方面军第12师36团通讯排长、连长、营长、团长等职务。1935年6月，在红三十二军担任师长，参与长征。抗战爆发后，先在抗日军政大学学习，1939年到新四军，历任新四军军部教导总队科长、江北指挥部教导大队副大队长，军政干部学校教育长、抗大第5分校教育长、华中抗大总分校教育长、新四军军部特务团团长、抗大第5分校校长。抗战胜利后，谢祥军担任华中军区第五军分区司令员、苏北军区司令员、华中野战军第十纵队司令员。