3月17日、18日，日军第2军第10师团的濑谷支队先后攻占了临城及滕县，令步兵第63联队的第1大队(欠1个中队)继续沿津浦路南进，向韩庄追击；为了控制枣庄煤矿，又令第63联队的第2大队向峄县追击。3月19日，日军第63联队的第1、第2大队分别击退了刚刚赶至沙河及峄县布防的第20军团第85军第89师的第6旅及第4师的第23团，占领了韩庄、峄县。
由于临沂方面日军第5师团坂本支队进攻受挫、处境困难，第2军参谋清福大佐到兖州面告第10师团师团长，希望对坂本支队予以支援。师团长矶谷廉介于20日命令濑谷支队：“须确保韩庄至台儿庄运河一线，并警备临城、峄县，同时应以尽可能多的兵力向临沂方面前进，协助第5师团战斗。”濑谷启即率第63联队进至峄县；22日，根据师团长意图下达了作战命令，主要内容为：“(1)第63联队第1大队(欠1个中队)担任韩庄地区的守备。(2)第63联队第2大队，配属野炮1个大队，明日(23日)从峄县出发，进占并确保台儿庄附近运河一线地区。(3)步兵第10联队，明日从临城出发，向临沂方向前进，策应第5师团之坂本支队作战。(4)濑谷支队主力集结于峄县附近”，观察情况的发展，再作出下一步的处置。3月22日，濑谷启得到航空兵空中侦察的报告：微山湖上中国军队约千余艘小船正向湖东的夏镇前进。由于这一新的情况，濑谷启改变了决心，支队主力亦暂不向峄县集中，仍留临城地区，准备应付微山湖方面可能发生的进攻，但第63联队第2大队的任务不变，仍向台儿庄进攻(称该大队为“台儿庄派遣队”)。
当津浦路北段日军开始由邹县南进时，军事委员会除将汤恩伯第20军团转移于第五战区外，3月14日又将军事委员会直接掌握的孙连仲第2集团军转隶第五战区。李宗仁在临城失守时决心集中兵力将向津浦路南进的日军围歼于临城以南地区。3月19日拟定了作战命令，21日报请蒋介石审核。其关于津浦路正面作战的主要内容为：“(1)临城、峄县、韩庄间之敌约步兵三联队、骑兵1联队、炮兵1联队、坦克车五六十辆，自14日以来，在界河、滕县、南沙河及临、枣各地与我邓集团(指第22集团)及王军(指王仲廉第85军)激战，现分部南进，已达韩庄及峄县附近，其主力似尚在临城。(2)战区以收复鲁中广大地区为目的，以一部在运河之线取攻势防御态势，以主力由峄县东南及东北山地，侧击南下之敌，聚歼于临枣支线与韩庄运河间地区。(3)各部队之部署及任务如左：甲、汤军团新配属31师(欠110师)，应集中主力于峄县东侧及枣庄西北方焦山头附近一带山地，于3月20日(后改为24日)拂晓全线开始攻击，务先击破峄、枣之敌，向临城、沙沟两地附近侧击，压迫敌于微山湖东岸而歼灭之。其一部集结于台儿庄北方地区，准备对峄县及其西北地区协力于主力作战。乙、孙集团军新配属110师(欠31团)，应以一部在侯新闸以西运河南岸防御，待机渡河北进，主力控置于贾汪附近及荆山、茅村镇间”。蒋介石于当日21时复电，原则批准，但对其部署作了修正，指示：“(1)汤军团进出运河后，以约两师对峄县方面佯攻，以三师由峄县以东梯次迂回求滕县以南亘峄县间敌之侧背攻击之。(2)张轸师(指第110师)及独44旅归孙仿鲁(孙连仲)指挥，守备运河。(3)孙仿鲁部两师集结徐州待机。(4)张自忠军(略)。(5)孙、曹(指孙桐萱、曹福林之第3集团军)出击部队，除以主力向邹县、两下店间地区挺进外，另以两团由汶上方面向肥城、大汶口挺进游击，限宥日(26日)到达，准予悬赏。万一敌有增援队由济宁出击时，除守势部队竭力阻止外，其出击部队仍须在铁路线上游击，不得撤回运河西岸。”
至3月22日夜，第20军团的第52军已将运河南岸防务交第110师，该军北向兰陵镇地区转进；第85军已与韩庄、峄县之敌脱离接触，正向青山地区转移；配属第20军团的第31师进至台儿庄地区(第31师于24日仍归属第2集团军)；第110师及独立第44旅在运河南岸台儿庄至韩庄间防守，第2集团军的第27师在贾汪地区，总司令部及第30师在徐州附近的茅村地区。
第五战区这次攻势作战的主力是第20军团。第31师的任务是以佯攻或固守手段牵制住峄县日军，以便于第20军团从侧背攻击、歼灭敌人。早在第31师副师长屈伸于3月19日先行到达徐州受领任务时，李宗仁就已将这次战役的作战方针及指导要领告诉他。李宗仁说：“鲁南突出冒进之敌约一个师，有进窥徐州之模样，你师到车辐山后，先接替台儿庄沿运河的防线，尔后向峄县之敌攻击前进。敌如出而迎战，你师应全力堵击，迨汤恩伯军团进击敌侧背，全力压迫敌人于微山湖畔聚而歼之；敌如固守待援，你师应尽力牵制，监视敌人，掩护关麟徵军北上与王仲廉军协力包围攻击，歼灭枣庄之敌，再回师合击峄县之敌，将战线推进到兖州以北。为了协同方便，你师即暂归汤军团长指挥。”
22日，汤恩伯在台儿庄也曾向池峰城告知上述作战企图，并表示：“设峄县之敌凭借峄县山城固守，则军团之攻略不易得手。31师应诱敌脱离山城，则歼敌易举。”还说：你们与敌接触后一日之内军团即可回援，你师如能在台儿庄坚守三日即算完成任务。池峰城根据上级的意图，决心提前于23日“拂晓向峄县之敌施行佯攻，期诱敌于南、北洛附近而抑留之，待军团主力之南旋而歼灭之”。基于上述决心，22日15时下达作战命令，主要内容为：“(1)第93旅之185团位置于北洛，以一营进至前城、赵庄地区，该旅之便衣队即向獐山、北山、西黄山湖搜索而占领之。旅部率禹营(指第186团第3营禹功魁营)位置于南洛附近，应于明(23)日拂晓后向峄县之敌行佯攻，后逐次抵抗于北洛附近。第188团(欠1营)担任台儿庄之守备。(2)第91旅以181团控置于台儿庄，以182团担任台儿庄运河南岸警戒。(3)师部推进至台儿庄。”
至3月22日夜，第20军团的第52军将运河南岸防务移交第110师后进至向庄地区。第85军已与韩庄、峄县之敌脱离接触，后转移至抱犊崮山区。
3月23日拂晓，第31师师长令旅长乜子彬率1个团向峄县攻击前进。与此同时，日军“台儿庄派遣队”也由峄县出发向台儿庄攻击前进，双方在獐山遭遇。日军击退第31师的骑兵搜索队及击歼第183团的尖兵连后，在泥沟又击退了第183团的前卫营，于当晚占领了北洛。濑谷启于战俘口中得知：峄县周围的部队是中国军队第20军团的4个师；第五战区司令长官李宗仁已命令汤恩伯在峄县东北及北方的山区集结，24日开始攻击，企图将韩庄、临城一带日军压迫、歼灭于微山湖东岸地区；汤恩伯现在向城。于是决定将支队主力集结于临城、峄县，准备与汤军作战，原定支援临沂的部队减为1个大队，对进攻台儿庄的兵力与任务则不变动。连夜下达命令：“(1)支队以一部遣往沂州方向策应坂本支队，主力确保韩庄及台儿庄附近的大运河一线。(2)沂州支队(以步兵第10联队第2大队为基干)24日从临城出发，向沂州方向前进，策应坂本支队作战。(3)步兵第10联队(欠第2大队，配属炮兵等)以一部确保韩庄附近大运河线，主力于临城集结。(4)步兵第63联队(欠1个大队，配属炮兵等)以一部确保台儿庄附近大运河线，主力集结于峄县。(5)支队司令部及直属部队集结于枣庄附近。”
24日，中国空军为支援第20军团进攻作战，拂晓后以轰炸机14架轰炸了韩庄、临城及枣庄的日军，但第20军团并未按预定的时间开始进攻。当晚，军团部及第85军仍在抱犊崮山区中，仅第52军到达了预定的进攻出发地位——郭里集、鹁鸽窝之线。当日，蒋介石至徐州视察，将随行的副参谋总长白崇禧、军令部次长林蔚及厅长刘斐等留第五战区协助李宗仁策划作战。同时令第31师改为防守台儿庄，并增调炮第7团的野炮1个营(有沈阳造仿克鲁75毫米野炮10门)、机械化野战重炮兵1个连(有德国造卜福斯的150毫米榴弹炮2门)及铁甲车第3中队配属第31师，以加强台儿庄的防守火力；还令第31师解除第20军团的配属任务，归还第2集团军建制，由孙连仲统一指挥台儿庄方面的作战。孙连仲于当日进至台儿庄运河南岸的韩家寺，将其第27师由贾汪推进至台儿庄附近，接替第31师河防部队，以加强台儿庄的防守力量。
同日，日军沂州支队开始东进，当晚宿营于枣庄，以约1个中队的兵力为先遣队，进至郭里集，占据了村东北角的大碉楼。“台儿庄派遣队”继续由北洛向台儿庄进攻，中午前后攻占南洛，黄昏时推进至台儿庄附近。台儿庄南靠运河北岸，四周有长约4公里的砖砌城墙，并建有大小碉堡多座，共有6个城门，城西南角的文昌阁为全城制高点。日军以猛烈的炮兵火力摧毁了东北城墙，一度突入城内；在第31师不断反击下，败退城外，遂在北郊一带构筑工事，防御第31师反击及等待援军，作再次进攻的准备。
5日拂晓时，进入郭里集的第52军第25师第75旅之一部与日军沂州支队的先遣中队互相发现。第52军部队立即将碉楼包围，并调来炮兵进行攻击。经战斗后，该日军中队大部被歼，仅十余人突围逃至枣庄。枣庄日军沂州支队在第25师围攻其先遣中队时曾派出数百人进攻郭里集，企图救援，被第25师击退。第52军的第2师从鹁鸽窝向枣庄进攻，但被击退。汤恩伯率第85军主力仍在抱犊崮山区按兵不动，仅令派出1个旅与第52军协同作战，而该旅仅派出1个团、该团又仅派出几个排的兵力在枣庄外围进行了袭扰性攻击，然后又退回抱犊崮山区中。
位于枣庄附近的濑谷启于24日夜收到了“台儿庄派遣队”的请援电报。由于枣庄、郭里集方面受到第52军的攻击，濑谷支队只能抽调约2个步兵中队的兵力，配属2门重炮南下增援，支队主力准备“与郭里集附近之敌进行决战”，令第10联队(约1个半大队的兵力)从临城向枣庄以南运动。增援台儿庄派遣队的2个中队于黄昏前后到达台儿庄，立即遭到第31师的反击。“台儿庄派遣队”队长因两日来伤亡过多，而增援的仅2个中队，仍难完成攻占台儿庄的任务，26日凌晨又向濑谷启发出第二次请援电报：“(1)敌兵力为3个师(城内1、城东1、城西及包围我的1)，城内及火车站附近有列车炮。(2)派遣队等待增援，27日开始攻击。(3)战死20，战伤112，突入城内生死不明者15。”濑谷启在收到此电不久，又收到第10师团师团长矶谷廉介令其“采取果敢之攻势”的电令，当即决定由第63联队福荣真平大佐率仅有的第3大队赶赴台儿庄指挥攻坚。
3月27日，“台儿庄派遣队”得知第63联队已南下增援后，不俟援兵到达，即向台儿庄发起第二次猛烈的攻击，占领了城墙的东北角，一部突入城内。第31师的第186团立即组织反击，双方展开激烈的巷战，终将突入的日军压迫于城内的大庙附近。但第31师损失也大，4天的激战，伤亡约2800人。为利于以后的战斗，池峰城将全师缩编为3个团7个战斗营。这时，第2集团军的第27师已部署于台儿庄以东的黄林庄一带，第30师及独立44旅已部署于台儿庄以西的顿庄闸、万里闸一带，不断与第31师协同，向刘家湖、三里庄等地实施反击。当晚17时30分，福荣真平率第63联队直属队及第3大队到达刘家湖地区。台儿庄形势更趋严峻。
由于台儿庄战情紧急，而第20军团主力仍在枣庄东北山区，并未向枣、峄日军实施与其实力相适应的进攻。
因此第二战区一面向第2集团军总司令孙连仲下达限期歼敌的命令，一面向第20军团汤恩伯下达转用兵力于台儿庄的命令。给孙连仲的电令是：“查台儿庄为徐州前方要地，又为汤军团后方联络要道，关系重要。据报该处附近敌人约一混成联队，我军兵力数倍于敌，早当解决，乃经几日战斗，台儿庄围子反被敌冲入一部，殊深诧异。着贵司令负责严督所部，限于29日前将该敌肃清，勿得延缓致误戎机为要。”给汤恩伯的电令是：“该军团放弃攻击峄县、枣庄之计划，速以一部监视当面之敌，以主力向南转进，先歼灭台儿庄之敌。”此时，孙连仲因汤恩伯、关麟徵等曾有过台儿庄一旦受到攻击，“一日内定可回援”及“坚持三日即算完成任务”等的许诺，因而直接向汤恩伯发出了求援电。大意为：连日受敌猛攻，第31师伤亡惨重，盼以全力攻击敌之侧背，支援台儿庄战斗。汤恩伯当即令：
“第52军应于本晚星夜由傅山、青山一带向南下之敌夹击，并与孙集团军切取联系；第85军应以一部占领云谷山、黄山、马山、神山一带，牵制齐村、枣庄、郭里集一带之敌，主力本晚集结神山、向水泉、猪山一带待命。”
3月28日，福荣真平的第63联队集中兵力，在1个野炮大队、2个野战重炮大队、1个150毫米榴弹炮小队以及30余辆战车掩护下，与昨日突入台儿庄中的第2大队协同，对台儿庄发动了第三次猛攻。第2集团军除以第31师据守台儿庄阵地顽强抗击外，还令第27师、第30师及独立第44旅从东、西向敌人侧翼及后方进行反击。特别是中国空军，在台儿庄战场上首次以9架战斗机直接支援地面部队战斗，对广大官兵的抗战士气鼓舞很大。因而日军仅在炮火准备后刚开始进攻时占领了台儿庄的西北一角，尔后再无进展。但突入城中的日军乘机扩张战果。第31师将所有能够战斗的勤杂人员全部组织起来投入战斗。双方展开激烈的肉搏拉锯战，隔墙相击，逐屋争夺，阵地形成犬牙交错状态。
3月29日，日军第2军司令官西尾寿造见第63联队攻击受阻，而中国军队第20军团又正向南进，第63联队有被围歼的危险，遂令第5师团的坂本支队暂时中止进攻临沂，急向台儿庄方面增援；同时令第10师团濑谷支队主力增加到台儿庄前线。
第五战区见台儿庄形势危急，而第20军团尚迟迟未到，因此在28日夜电令汤军团“迅速南下夹击”。29日夜下达正式命令，赋予汤军团的任务为：
“甲、王军明30日应对峄县之敌佯攻，牵制该敌之南下，但应保持由东向西之原方向。乙、关军明30日应速向泥沟、北洛前进，到达该地后以一部向南洛，协助孙集团军解决台儿庄附近之敌，以主力极力破坏铁路、公路遮断峄县与台儿庄之连络，并与王军协同阻止峄县南下之敌。但王军应保持由东向西之原方向。丙、汤军团长应速向孙总司令密取连络。”
3月30日晨，日军濑谷启率其第10联队及战车部队从峄县南下，当晚21时左右，先头部队到达台儿庄以西6公里之范口村，主力集结于獐山东侧各村中。第五战区发现濑谷支队已经南下，而孙连仲报称与第20军团“尚未取得联络”，当晚20时再次电令汤恩伯：“敌主力似南下……着贵军团长以一部监视峄县，亲率主力前进，协同孙军肃清台儿庄方面之敌，限31日拂晓前到达，勿得延误为要。”
台儿庄内日军得知濑谷支队主力南援的情况后，在航空兵及庄外日军的大力支援下，全力向外扩张，当晚推进至庄南头运河北岸。孙连仲派第30师的第176团入庄增援，与第31师部队据守西半部阵地，拼死抗击，遏止了日军的扩张势头。
3月31日，日军濑谷支队仍与第2集团军部队激战于台儿庄内外，没有进展。第10师团师团长矶谷廉介又调该师驻济宁的第39联队第1大队，配属给第10联队，以加强濑谷支队的进攻能力。由于坂本支队主力转向台儿庄，临沂形势缓和，第五战区得到庞炳勋、张自忠“当面之敌已被击退”的报告后，下令将原准备调到临沂方面的第59军第139师“转移至台儿庄方面为预备队”，以稳定台儿庄方面的战局。
第20军团的先头部队于30日夜到达甘露附近，31日开始向獐山以东的日军进攻，占领了兰城店、三佛楼等地。中午前后，在向城以东担任军团侧背警戒的骑兵团与由临沂西进的日军坂本支队先头部队发生战斗。第85军的第89师前往应援，在邰家庄附近被该支队主力击退。汤恩伯急调第4师至向城、爱曲地区组织阻击。根据当时情况，汤恩伯认为有被日军东西夹击的危险，为摆脱腹背受敌的不利境地，以“避免与敌胶着，且戒冒险决战”的理由，决心“转用兵力”，把所有兵力“一律由内线转移为外线”，竟放弃对獐山东侧日军的进攻，“乘夜与敌脱离”，在第4师掩护下，撤至洪山镇以东的鲁坊、南桥地区。
4月1日，日军坂本支队与由鲁坊进至兰陵阻击的第20军团第52军在兰陵镇以北地区展开激战。当晚，坂本顺约留1个中队的步兵及1个骑兵队于向城、兰陵镇间地区，掩护其后方联络，主力向台儿庄以东的岔河镇方向前进。第五战区急令第139师至岔河镇占领阵地，归第20军团指挥，准备抗击该敌。汤恩伯率指挥所于当日进至四户。
孙连仲为歼灭台儿庄内之敌，决定由城外向日军占领的街区实施夜袭，以收出敌不意、攻其不备之效。当日16时下达了作战命令。主要内容为：令第27师挑选奋勇队250人，继以得力步兵1营跟随冲进台儿庄城内(该奋勇队如能爬进城垣、冲杀该敌，准赏洋5000元)；第30师(欠袁、吴两团)集结最优秀的兵力，在第27师开始攻城时向三里庄发动袭击；集团军炮兵队集中火力向刘家湖射击，以牵制敌人；台儿庄的第31师配合第27师部队向占领了城西北角之敌发动进攻。当日夜半前后，第27师奋勇队及第157团第2营从台儿庄东北角突入城中，攻占了东北隅及东南门，但终为敌所阻，遂占领部分街区，与敌巷战。31日，在第27师第157团第2营进攻的同时，第30师第175团亦以第3营向占领西北角的日军发起进攻，经激烈肉搏后，终将敌人击退，并歼灭其一部。
4月2日，由于第20军团昨日放弃对獐山以东日军的进攻，日军第10联队乘机南下，进至台儿庄以东地区，于10时30分开始向第27师彭村、上村、陶沟桥等处阵地进攻。激战至19时，第27师后撤至连庄、丁家窑、火石埠之线继续抗击。日军坂本支队当日亦进至陈瓦房、耿庄地区，与第10联队取得联系。其留置后方担任掩护的部队被第52军包围，刘庄第25师的第145团将其位于刘庄的一部歼灭。
由于日军第10联队及坂本支队均向台儿庄以东地区前进，第五战区急将刚刚调至碾庄、八义集一带的第75军及其第6师、第13师转至岔河镇地区，令由临沂方面调来的第57军第111师的第333旅进至鲁坊地区，均归第20军团军团长汤恩伯指挥，决心集中兵力将已进至台儿庄附近的日军围歼于邹、台地区。2日20时，第五战区向各单位下达了作战命令。
(1)敌第10师团及第5师团之一旅，自经临沂、台儿庄诸战斗后，伤亡极大，现参加决战之兵力，至多不过5个联队，附山野炮50至60门，重炮10门，战车数十辆，其一部约1000人，在洪山镇北方秋湖附近被我军第20军团包围，其主力向台儿庄东侧陈瓦房、凤凰桥一带运动，续向第2集团军右翼迂回攻击中。济南、大汶口、济宁、滕县间为第10师团之另一旅团分段守备中。
(2)本战区以迅速合围歼灭敌人之目的，决于明(3)日开始全线总攻击，保持重点于第20军团之右翼，将敌包围于台儿庄北侧地区而歼灭之。