该省各地游击队改编并北上集中的问题，在福州设立了新四军办事处，并亲率福建的各游击队北上到达皖南。 1939年5月，任新四军江北指挥部指挥、前委书记，并组建了新四军第5支队。11月，任中共中央中原局委员。1940年11月，任中共中央华中局委员。12月，和徐海东等指挥部队对侵华日军进行反扫荡。1941年，皖南事变后，张云逸任新四军副军长兼第2师师长、第2师军政委员会书记。1942年2月，兼任淮南军区司令员，之后改任新四军副军长，领导淮海、淮北和淮南军民取得了冬季反“扫荡”作战的胜利。在淮南抗日根据地工作期间，