日军攻占国民政府的首都南京之后，将下一个目标指向徐州。对日军的企图，第5战区司令长官李宗仁于1937年12月底制定了以"第3集团军坚守济南，争取时间使战区主力部队集结于兖州地区，准备对日军展开全线反攻。如兖州反攻失利，亦可利用在徐州地区构筑的防御工事以抗击日军"的作战方针。未料负责黄河沿线防务的第3集团军总司令韩复榘将接连放弃济南、泰安、济宁等重要城市，致使日军长驱直入，山东大部沦陷，李宗仁先前制定的作战计划无形间流产。日军第5、第10两个师团由精锐分别编组坂本支队（以第5师团21旅团为基干）和濑谷支队（以第10师团33旅团为基干），分向临沂、滕县方向进击。

根据李宗仁的最新部署，台儿庄地区的守备任务交由第30军承担。军长田镇南受领任务，以第31师为主力进驻台儿庄，第30师则暂时驻防徐州附近的茅村机动使用。

3月21日，第31师抵达台儿庄后奉命临时配属给汤恩伯的第20军团。根据汤恩伯的计划，第20军团准备对日军濑谷支队发起正面进攻，汤命第31师先行出击吸引日军主力，自率第52军和第85军在侧翼发起进攻，试图将日军一举击溃。遗憾的是，由于连降大雨，第52军军和第85军都没有按时抵达攻击发起地，致使池峰城的第31师在发起进攻后陷入孤军作战的危险境地。在日军的不断反击下，池峰城被迫命令部队退守到台儿庄内。

台儿庄位于徐州东北约50公里，这个鲁南小镇因铁路、公路、水陆的便利而成为进军徐州的门户，这个名不见经传的小地方成为中日两国军队所关注的战事焦点。

在抗战初期，中国军队往往需要调动一个师来对付日军一个步兵大队。换言之，如果要对抗日军一个步兵联队，起码需要一个三师制的甲种军，或两个两师制的乙种军。而要对付日军一个支队级别的部队，就需要更多的军级单位加入了。而在台儿庄，中国军队只有一个不满员的师来承担防守任务，这就是第31师。而日军则是以一个支队级别的部队来承担进攻任务。两相一比较，日军全然没有将池峰城和他指挥的第31师放在眼里，他们甚至认为只需经过两、三天的战斗，就能继续南下与友军会攻徐州了。

3月24日，第31师位于台儿庄外围的河防阵地改由友军第27师接替，师主力全部集中到城内。25日，日军濑谷支队派出"台儿庄派遣队"向台儿庄发起猛烈进攻，这支部队很快就占领了城墙的东北角，并有一小股部队突入城内。

池峰城见状，立即命令第186团团长王震组织反击，王震集中全团轻重机枪向日军猛烈扫射，随后以步兵冲锋，在经过激烈的巷战后成功将突入的日军压迫于城内大庙附近。王震在后续进攻中负伤后，池峰城又马上命令师部上校附员王冠五前往接替指挥。在这一系列的作战中，第31师竟然破天荒的俘虏了五名日军士兵。

此后第31师各部纷纷向城外出击。第181、第185、第186三个团先后取得突破，日军进攻部队逐步败退。但随着日军援兵的陆续抵达，池峰城为确保台儿庄，命令第181、第185团占领既占阵地采取守势，命第186团迅速回撤城内，加强城防守备，第182团则集中在北站，做预备队使用。

上午10时许，日军发起新的进攻。首当其冲的第185团损失惨重，团长王郁彬亲赴一线督战，虽两处负伤仍坚持指挥。由于日军有战车掩护，而31师缺乏反战车经验和装备，最终第185团不支后撤，外围阵地随即失守，第31师所属各部皆被迫退回城内据守。

在前四天的作战中，第31师伤亡2800余人。池峰城为便于今后作战，将全师整编为七个战斗营。此外，田镇南已率第30师抵达台儿庄以西的顿庄闸，开始向占领刘家湖、三里庄的日军发起进攻。而日军方面也在逐次增兵，是以31师虽然得到增援，但形势仍不容乐观。

3月28日，日军第63联队主力再次向台儿庄发起猛攻，并一举突入城内。而第31师此时已经连勤杂人员也全部组织起来参战。双方逐屋争夺，阵地形成犬牙交错状。军长田镇南亲自前往第30师，督促师长张金照率部向日军侧后方发起攻击。一天后，在临沂作战受阻的日军坂本支队主力奉命停止进攻，绕道驰援台儿庄。

30日凌晨，日军集中第10、第63两个联队的主力向台儿庄发起最后一次进攻，第31师的伤亡更加惨重。池峰城手中已经无兵补充前线，他只得通过时断时续的电话向第2集团军总司令孙连仲请求批准突围。对于池峰城的请求，孙连仲拒绝了，他要求第31师发扬在娘子关作战的表现，要像敢于和日军第77联队硬拼一样，与第63联队作最后一战。最后，孙连仲对池峰城大声喊道："传我的命令，当兵的打光了，军官们填进去，大家都填完了，老子就来填！"。池峰城见话说到这个地步，也就不再请求突围，他挂掉电话，重新整理已经灰尘遍身的军服，带着师部参谋人员投入到这"最后一战"中。

第31师打到这个地步，军长田镇南也是心急如焚，他一面命令第31师副师长康法如率领未入城作战的第31师余部入城增援，一面命令第30师立即组织敢死队分批入城。得到增援的第31师残部随即又在城西地区与日军发生激战。在敢死队的浴血奋战下，终于又一次将日军击退了。

31日上午，在城内已经消耗殆尽的第31师残余官兵终于盼来了友军第20军团对日军发起全线反攻的消息。那些残余官兵终于松了一口气，但他们并没有时间休息，因为军长田镇南决定乘势发起反攻。田镇南命令临时归他指挥的第27师向攻城日军发起反攻，第30师乘机向三里庄发起进攻，第31师则在第27师发起进攻时配合出击。战至4月5日，困在台儿庄外围地区的日军残部在得到从临沂赶来的坂本支队增援下逃出台儿庄，而仍在城内与第31师作战的日军则纷纷就歼。

4月7日，城内日军全部肃清，第30军成功守住台儿庄，并在友军全力支援下创造了自抗战全面爆发以来的第一次大捷。此战第30军伤亡10000余人，而日军亦伤亡达7000余人。战后，军事委员会为了嘉奖在这次战役中作出贡献的部队，授予第30军军长田镇南、第30师师长张金照和第31师师长;池峰城等高级将领青天白日勋章。台儿庄一战，第30军第二次大伤元气，其中第31师的战斗兵在战后甚至不满千人。尽管如此，第30军又在没有得到完整补充的情况下，奉命投入到武汉会战中。