战胜利后，谢祥军担任华中军区第五军分区司令员、苏北军区司令员、华中野战军第十纵队司令员。第二次国共内战爆发后，率部参与苏中战役中的邵伯防御战。1946年10月，国军整编第七十四师进攻涟水，谢祥军率部抵御，在战斗中阵亡。遗体埋在涟水附近的板桥，后移至阜宁县芦蒲乡。