豫皖省委重组红二十五军，他伤愈归队任第七十四师二二二团一营三连政治指导员，后来历任第五路游击师第二一九团一连指导员，红二十五军第七十五师二二三团一营二连指导员。红军长征到达陕北后，张天云任红十五军团第七十八师二三二团政治委员，先后参加了劳山战役、直罗镇战役、东征战役等战役。1937年抗日战争全面爆发后，历任八路军第一一五师三四四旅六八八团二营、六八七团一营政治教导员，六八七团三营营长、副团长、团长，参加了平型关战斗以及晋东南反九路围攻。1941年皖南事变后，任新四军第三师八旅二十二团团长、副旅长兼盐阜军