内战时期，他先后担任特务连党代表、红四军第十一师三十一团营党代表、第二纵队党代表。曾参加古田会议。历任红军第四军军委书记兼政治委员、红一军团政治部主任、江西军区政治部主任、红八军团政治部主任，红军总政治部动员部长、中华苏维埃共和国候补中央执行委员。参加过长征。1936年入红军大学学习。中国抗日战争时期，任红军后方政治部主任、八路军115师政治部主任、政治委员、代理师长，山东军政委员会书记，山东军区司令员兼政治委员，中共中央山东分局书记。开辟山东根据地。第二次国共内战时期，任中共中央东北局副书记兼东北民主联军