次国共内战初期，刘志丹领导渭华起义失败以后，潜回家乡保安县，从事建立中共党组织及武装的活动。经合法斗争，刘志丹控制了保安县民团，并建立了中共党支部。马锡五得知后，决定找到刘志丹搞革命。1930年春，刘志丹再次返回保安县组织武装，马锡五遂赶赴金汤镇见到了刘志丹、谢子长，并参加了他们领导的武装。他起初在部队负责军需，在陕甘边地区转战，后奉中共党组织指示，到旧军队中进行兵运工作。南梁革命根据地创建以后，马锡五任军事委员会管理科科长，负责管理医院、修械厂、白区商贩。1935年春，南梁县遭到围攻，中国工农红军撤离南梁