4月10日,担任主攻的日本华北方面军拟订出作战指导方案,准备“在徐州附近及津浦线以东吸引住敌之大部兵力,从徐州西面及西南面包围,切断退路,攻占徐州,歼灭敌人”。具体部署分三期:第一期,迅速给第二军增加必要的兵力,“在韩庄、峄县、沂州一线将敌扣住,尔后准备攻击”;增加的兵力有第十六、第一一四两个师团及战车、野战重炮兵等;华中派遣军“按商定以一部迅速从淮阴方面向西北方前进,占据有利地形,将敌牵制在徐州东南地区”。第二期,第二军准备完毕后,于4月下旬以有力兵团从微山湖西侧急袭南下,切断徐州以西及西南面中国军队之退路,配合华中派遣军将徐州包围,攻占徐州,歼灭中国军队;第一军以一个师团的兵力,从兰封附近渡过黄河,急速切断陇海铁路之交通。第三期,维护徐州及兰封以东地区的安定,确保津浦铁路之交通[17]。从4月12日开始,华北方面军连续下达命令,准备发起攻击。
为协调南、北两军的行动,日本大本营派遣班于4月17日在济南召开关于徐州作战的碰头会。会议就作战目的、行动时间等主要问题进行磋商。对于这次作战是歼灭中国军队为主,还是占领要地为主问题,南、北两军有不同意见,最后以华北方面军关于“作战最终目的是攻击徐州,消灭敌人是为达到此目的的手段”的提法为行动准则。关于作战时间,因各军情况不同,难于统一,大致从4月16日发动,总攻击约在5月15日左右开始。第一军还在会上提出了希望发动对开封、郑州方面作战。
日本华中派遣军为准备徐州作战,根据碰头会上商定之事项,于4月24日制定会战计划:决定以第九、第十三师团为主力,同时向蒙城一线推进,然后视战场情况的变化,向左右两面包抄;第一一师团向苏北之东台、阜宁,第六师团向安徽之庐州方面进击。各部于4月下旬集结,迅速开赴作战地区[18]。
经过一番周密部署,华北日军于4月中旬首先发起攻击。在台儿庄战败后撤的第十师团,经休整补充,增强兵力后,于4月18日再次向台儿庄攻击,遭到汤恩伯指挥的第二十军团和孙连仲指挥的第二集团军各部的顽强阻击。22日,日军全线大举南犯,中方部队被迫向台儿庄东北一带转进。中方第六十军在台儿庄以东之线,左右联系第五十一军、第二十军团共同阻敌,徐州东北情势方得以稳定。此时,津浦路南段日军又大肆增兵,企图北进,给第五战区造成巨大压力。李宗仁遂令第二十一集团军抽调两个师开赴怀远一带集结,以巩固南侧防线。日军第五师团以步兵第九旅团为骨干组成的国崎支队于4月19日占领临沂后,继续向南攻击,但遭到张自忠第五十九军等中国军队的顽强抵抗,从4月28日起,双方激战三昼夜,日军受到重大创伤。
5月1日,军委会根据新的形势,拟订出徐州会战指导方案。方案首先判断日军这次行动的目标是:“集中兵力打通津浦线,并求击破我军主力,以达速战速决之目的。”日军调动的兵力有四种可能:仅以现有鲁南兵力继续攻击;再抽调其他战场兵力,仍由鲁南攻击;抽调更多兵力,孤注一掷;同时在淮南方面发动助攻。我军作战方针是:“以阻止敌打通津浦路之目的……行攻势防御。”如敌大举增兵,“则应避免决战,逐次抵抗,以消耗敌之战力。同时在武汉及郑州以西集结兵力,准备诱敌深入与之作战”。具体要领是,对第一种可能,以现有兵力“迅速击破之”;第二种可能,再增兵力,“行攻势防御”;第三种可能,以现有兵力为限度,“避免决战”[19]。这一指导方案,实际上已改变大量增调军队的初衷,不准备在徐州与日军决战。因为徐州的战略地位虽然重要,但四周是平原地区,有利于日军机械化部队及空军作战。如以劣势装备与日军打大规模的阵地战,极有可能重蹈淞沪战场的覆辙。