进入5月之后,南北各路日军都开始行动,对徐州实施战略包围。日本华中派遣军第六师团之一部,于4月中旬从芜湖渡江北上,沿巢湖右侧攻击前进,于5月14日占领庐州(今合肥),为华中派遣军主力北上解除了后顾之忧。与此同时,第一一师团之一部从苏北东台出发,连陷盐城、阜宁,使徐州守军的后背受到威胁。华中派遣军主力第九、第十三师团由凤阳、怀远向北进击,于5月9日攻占蒙城,中方守备蒙城之第一七三师周元副师长以下约七百人全部殉国[20]。同日,日本华北方面军第十六师团由济宁南进,向中方第三集团军巨野之线阵地进犯。第十四师团亦开始向濮县移动,试图越渡黄河,南犯鲁西。徐州地区情势日益紧急。10日,国民政府军事委员会为配合战况发展,特变更第一、第五战区的作战地境,两战区以亳县、黄口、沛县、夏镇各东侧附近之线为界,同时令第三军团、第三集团军改归第一战区指挥,第一战区所辖之第八、第七十四军则向砀山、商丘间集中[21]。此后,鲁西方面之对日作战统归第一战区指挥。13日,第九师团、第十三师团占领徐州西南的重要门户永城和百善。14日下午,日军占领砀山以东的汪阁,炸毁铁路桥,切断了陇海线。5月15日,日军第三师团开始向徐州南方门户宿县攻击。日本第十六师团经过激战,于5月17日占领丰县,第十四师团连陷郓城、菏泽、曹县,并由内黄进攻兰封,切断了第一、第五战区之间的联络。在徐州正面的第十师团,夜渡微山湖,于18日占领沛县。至此,各路日军对徐州的包围态势已经形成。
鉴于华北、华中日军已在陇海铁路沿线会师,第五战区近60万大军已陷于重围。5月15日,军委会在汉口最高军事会议上做出决定:避免决战,放弃徐州[22]。李宗仁根据战场实况,于次日决定撤离徐州战场,各军分头向包围圈外转移。具体安排是:以张自忠指挥的第五十九军等部分军队在郝寨、萧县等地阻击日军,掩护主力行动。其余各军的行动方案为:以第二、第二十二集团军等组成鲁南兵团,由孙连仲为总指挥,守备徐州,掩护大军撤退;以第二十军团等部组成的陇海兵团,由汤恩伯为总指挥,向西南的亳县、淮阳一带转移;以第二十一集团军等部组成的淮北兵团,由廖磊为总指挥,由宿县向颍上、凤台方向转移;由第二十六、第二十七集团军组成的淮南兵团,由李品仙为总指挥,确保官亭、舒城、怀宁之线;以第二十四集团军为苏北兵团,由韩德勤为总指挥,确保淮阴、东海一带;由第六十九军等组成的挺进军,在费城附近的鲁南山地,建立根据地,进行游击战[23]。
在第五战区各军分路撤退之时,日军迅速向徐州合围。