日军新的进攻，催促中国军队作出新的作战部署。徐州战场有64个师，这不是一支小部队。这些部队如何部署，蒋介石并没有作出详细计划。作战厅长刘斐曾向蒋介石建议，山东南部的中国军队应该以机动防御为主。在作战指导上，除以一部分军队同日军保持接触外，主力应集结在便于机动的地区，相机打击日军；运河沿线要有中国军队防守；徐州以西地区，要控制强大的战略预备队，以便应付突然发生的各种情况。但是，这些建议没有被采纳。
第5战区司令长官李宗仁对徐州周围集结重兵有不同看法。李宗仁认为：“我方在徐州一带平原，聚集大军数十余万人，正是敌方机械化部队和空军的最好对象”。李宗仁还指出：“以我军的装备，只可相机利用地形条件，与敌人作运动战。”
从以上分析看，蒋介石集团虽然决定在徐州同日军决战，但没有形成一个完整的决战方案，数十万部队匆忙调往徐州地区，仓促防御，许多带兵打仗的将领对总的作战意图不明了，这是导致后来徐州会战失利的一个阴影。
李宗仁经过反复考虑，决定把其中21个军编为5个兵团。这些兵团是：
淮南兵团：李品仙任司令员，编有3个军的部队。
淮北兵团：廖磊任司令员，编有4个军的部队。
鲁南兵团：孙连仲任司令员，编有9个军的部队。
陇海兵团：汤恩伯任司令员，编有3个军的部队。
苏北兵团：韩德勤任司令员，编有2个军的部队。
一场数十万军队参加的大会战开始了。
徐州大会战，实际上是徐州外围战。
5月5日，日军从南面和北面同时向徐州夹击，其战略意图是，先迂回徐州西侧，再四面包围徐州。
徐州南面战场：日军第9、第13师团从蚌埠沿北淝河、涡河西岸北进。第3师团从蚌埠出发，向大营集、宿县进攻。
徐州北面战场：日军第16师团从山东的济宁渡过运河，向江苏省的丰县、砀山挺进。第14师团从河南省的淄阳县南渡黄河后，向兰考挺进。第10师团把韩庄、台儿庄地区的作战任务交给第114师团接替，在夏镇附近渡过微山湖，向江苏省的沛县进攻。
以上作战目的一旦达成，日军就完成了对徐州的四面合围，形成同中国军队主力进行决战的态势。
为了从四面合围徐州，日军对这次进攻行动进行了精心的准备。进攻发起后，各部队进展顺利，会战进程似乎是按照日军单方面制定的时间表推进的。
5月9日，日军第16师团南下，向砀山、唐寨地区挺进，从西面攻击徐州。第14师团步兵第28旅团奉命从河南新乡转赴山东济宁，向郓城、菏泽等地发起进攻，掩护师团主力强渡黄河。
5月10日，日军第9师团经蒙城、永城等地，向徐州西南地区进攻。当时，廖磊指挥的第21集团军所属第7、第48军防守淮河中流地域。廖磊命令第171师师长杨俊昌带一个团，扼守宿县；命令第173师副师长周元率领一个团，扼守蒙城。日军进攻蒙城时，周元遵照廖磊司令长官的命令，指挥2000多官兵拼死抵抗。激战中，防守蒙城的中国军队除20多名士兵突围外，周元副师长及其余官兵全部壮烈牺牲。这路日军16日逼近徐州。
5月11日下午，日军步兵第28旅团在旅团长酒井隆少将的指挥下，攻占郓城。郓城失守，菏泽就暴露在这路日军的进攻正面了。防守菏泽的中国军队第23师师长李必蕃感到敌情严重，严令第68旅组织反攻，夺回郓城。
第68旅出发后，李必蕃师长亲自带领师直属队前往增援。第68旅刚从前线撤退，没有得到休整，加之日军的炮火异常猛烈，部队多次组织反攻，官兵遭受重大伤亡，仍然没有夺回郓城。李必蕃师长立即调整部署，把第67旅配置在菏泽左侧，把第68旅部署在菏泽的右侧，严令全师各部队抓紧时间做好战斗准备，死守菏泽。李必蕃是湖南省嘉禾县人，先后在长沙陆军小学堂、武昌陆军中学堂、保定陆军军官学校学习军事，毕业后曾担任团副、参谋主任等职。参加北伐战争中，战功显著，升任团长。1936年1月，任第23师少将师长。全面抗战开始以后，李必蕃率领部队从临潼出师抗日，在沧州作战中，荣立战功，受到嘉奖。第23师参加徐州会战，李必蕃师长严阵以待，部队官兵的抗日热情高昂。
5月12日，日军第14师团南渡黄河以后，迅速以一部兵力前进到内黄集附近，截断了陇海铁路。这等于截断了中国军队向西撤退的后路。
5月13日，日军第13师团前进至徐州西南的永城，占据了徐州西南方向的有利地域，从西南面包围徐州。第9师团沿津浦铁路前进，攻占宿县。南线日军，攻占永城、宿县以后，从南面形成了对徐州的合围态势。
5月14日，日军第28旅团凭借化学武器和重炮的猛烈攻击，突破菏泽的外围阵地，把菏泽城四面围困起来。
防守菏泽，又是一场血战。
李必蕃指挥的第23师，有一支以工兵为主的骨干队伍，擅长防守，敢打硬仗。看到日军猛烈的进攻，李必善知道菏泽已经是一座孤城了，守城的决心更加坚定。他对官兵们说：“我们无论如何都要坚守阵地，绝不能后退，不能再让日本鬼子在中国的土地上狼奔豕突了。”
日军攻城的炮火越来越猛烈，排炮几乎没有间隙，接二连三地落在中国军队的阵地上。日本鬼子冲上来了。李必蕃师长一声令下，官兵们一齐向鬼子射击，机枪喷出了一条火龙，打得鬼子东倒西歪。
在日军一次接一次的炮击中，菏泽的防御阵地被炸成一片废墟，村庄在燃烧，树林在燃烧。部队伤亡越来越大，有些排的官兵全部牺牲在抗日的阵地上，有的连只有几名伤兵还坚守在阵地上。
鬼子越来越近了。师参谋长黄启东英勇殉国了，刘冠雄团长也在战斗中牺牲了。李必蕃师长看了看身边的几名随从，手一挥，毫不犹豫地冲出战壕。在激战中，李必蕃师长身负重伤。随从副官急忙把李师长搀扶下来，组织直属连杀开一条血路，突出重围。
傍晚，满身是鲜血的李必蕃被救护到菏泽以南5余公里的曲只集。李必蕃从昏迷中醒来，得知菏泽已经被日军占领，悔恨交加，决定以一死来激励将士们继续抗日。他吃力地取出一份地图，写下了“愿我同胞，努力杀贼”的遗言，趁护理人员不注意，猛地举起手枪，在自己头上开了一枪。
李必蕃以身殉国，在全国反响强烈。国民政府追晋李必蕃为陆军中将。国民党的《中央日报》、《大公报》等报刊，纷纷登载文章，赞扬李必蕃的爱国精神。中共中央和八路军总部代表郭沫若、吴玉章、罗炳辉等人率领代表团，参加李必蕃的追悼大会，并送了一块刻有“民族之光”的大匾。1986年，湖南省人民政府追认李必蕃为革命烈士。
菏泽失守那天，日军第14师团主力攻占曹县，第16师团主力攻占金乡。部署在这一地区的国民党军队没有能够阻止日军的进攻，致使中国军队徐州地区的防线被日军突破。这一突破，对徐州地区的防御产生了重大影响。
5月15日，沿津浦铁路北上的日军第3师团攻占大营集以后，在第9师团左翼支队的配合下，向徐州挺进。
日军连续进攻的炮声，大片领土的失陷，迫使国民政府的一些高级将领重新认识徐州地区的军事态势。在数量上占有绝对优势的中国军队，未能有效地抗击日军的进攻，短短10天时间，南北两路日军即完成了对徐州地区的合围，这使蒋介石等人感到十分意外。国民政府一些高级将领开始意识到，在黄河与淮河之间的狭小平原地区同装备精良的日军进行决战，是不现实的，要消灭日军，必须另谋他路。为了保存有生力量，5月15日，国民政府军事委员会召开会议，决定放弃徐州。
蒋介石下达的命令是：“避免决战，撤离徐州。”
5月16日，李宗仁根据蒋介石的旨意，下达了第5战区各部队脱离徐州战场的命令。司令长官作出的撤退部署是：刘汝明指挥第68军占据徐州有利地形，掩护各部队撤出徐州战场。第24集团军留在苏北。第69军同海军陆战队一起，在鲁南、鲁中地区开展游击战。第5战区主力部队分成5路，分别向徐州西南方向突围，向河南、安徽边界的山区撤退。李宗仁部署完撤退任务以后，静静地坐在指挥室里，心情格外沉重。
李宗仁的脑海里掠过这样一个念头：数十万部队撤到桐柏山区，退到江南的水网稻田地，“化整为零”，进行游击战，是否可行呢？
5月18日，李宗仁同白崇禧、刘斐等第5战区长官部的人员一起，在第31军和第7军1个师的掩护下，从萧县以南地域突围，向阜阳前进。一路上，日军的飞机不时地临空侦察。为了免遭意外，李宗仁一行白天隐蔽，夜间行军，整整在途中行军7天7夜，终于到达阜阳。
第5战区的主力部队突围进入西南山区以后，在桐柏山、大洪山开辟据点，抗击日寇。
5月19日，第68军完成了掩护第5战区各部队撤离徐州的任务，即放弃徐州。当日，日军占领徐州。
在徐州会战接近尾声时，发生了在抗日战争中有重大影响的两个事件。一个事件是中国空军到日本进行“纸片轰炸”，一个事件是黄河决堤。
“纸片轰炸”发生在徐州陷落的当天。
