国民党对中共在南方的革命力量心怀仇恨,仍念念不忘拔去这些革命支点,企图采取北和南剿的方针,剿灭南方红军游击队。在“清剿”未达到目的后,又想以抗日之名收缴瓦解红军游击队。中共中央考虑到,南方各游击区是今后南方革命运动的战略支点,不应该轻易地放弃。因此,起初的想法是将各边区红军游击队改编为独立团、民团或保安团等地方武装形式;各地队伍不集中,不要求大地方,不脱离根据地,坚持在原地开展抗日斗争。但随着局势的迅速变化,这一构想很快作了新的调整和改变。
1937年7月中旬,中共代表周恩来、博古、林伯渠在庐山同蒋介石、邵力子、张冲谈判,因蒋介石对共产党提出的宣言态度冷淡,而另外提出一套方案,谈判又陷于僵局。中共代表采取不让步则不再与谈的方针,周恩来等遂离开庐山到南京、上海等地。
在上海,周恩来遇到从海外返沪请缨抗战的北伐名将叶挺。周恩来对叶挺说:“希夷,我正在和蒋介石谈判,主要是谈我们陕北红军部队改编的问题。”叶挺听着,十分高兴,看来国共两党真的有机会联合起来一致对付日本帝国主义了。周恩来说:“除了陕北的红军问题,还有南方8省的游击队问题,他们也要改编。这也要看蒋的态度。”叶挺说:“为了抗日,这恐怕没什么问题吧。”周恩来以商量的口气问道:“如果能谈通,希望你能参加这些部队的改编工作。怎样?”叶挺回国本意就是为抗日报国,于是,他对周恩来的这一建议欣然答应,申明完全接受中国共产党的领导,并开始向南京国民政府积极活动。
9月下旬,中共中央和八路军驻宁代表博古、叶剑英等,在南京同国民党代表何应钦、张冲等谈判,初议将南方8省的红军游击队改编为一个新的军,在南方举起抗日旗帜。蒋介石在事先没有征求中共中央意见的情况下,于9月28日单方面抢先任命叶挺为新四军军长。博古、叶剑英考虑到党中央还不太清楚叶挺主动“请缨”这一内情,便于10月8日与董必武联名致电中央:“叶挺事,据他说,恩来第一次在沪曾和他提过这个办法,故他才敢活动。现已委任为新四军军长,拨发了五万元活动费。他表示,如我们不赞成,他仍可辞职。”电报正式向中央提出“南方游击队集中编为一个属我党直接领导的军”的建议。