1948年3月，冬季攻势结束后，东野部队正式成立了第五纵队、第十一纵队和第十二纵队。其中，第五纵队的成立尤为引人注目，不仅因为它的编号，更因为这号编号在众多野战军中显得异常罕见。许多不熟悉历史的人或许无法理解为什么“第五纵队”一名会如此特别，因为在西野和中野中都未见这一番号，而华野同样缺少编号5的纵队。只有东野在这个方面独树一帜，且它也是在十二个纵队中最后组建的一个。

那么，究竟是什么原因使得其他野战军对“五纵”如此“避而远之”呢？实际上，许多人都归因于其不太光彩的国际声誉，导致各个战队在编排时都不愿意使用这个编号。但是，东野却勇敢地填补了这一空白，使得其显得格外特别。纵队成立以后，万毅担任了司令，刘兴元则是政委，直属下辖三个独立师，其中包括13师、14师和15师，这几个师的成立都是对独立师的改编。13师由徐国夫领导，14师由彭龙飞担任师长，15师的指挥官为王振祥。

这三支师中的13师是当之无愧的主力，徐国夫在此前曾担任第三纵队第九师的师长。在经历了秋季和冬季攻势之后，因肺炎和其他病症的困扰而不得已入院休养。尽管在住院期间，外界都在热议第五纵队的成立，而他却对此并不在意，内心认为这与自己没有太大关系，他只希望在恢复健康后能返回第九师。然而，在他住院一个月后，3纵的副政委唐凯上前探望并带来了一个意外的消息，徐国夫被调往第五纵队担任13师的师长。这令他颇感意外，心中疑惑不已，心想自己怎么忽然之间就成了五纵的一名师长。

徐国夫对于调动原因感到诧异，询问具体情况。唐凯告诉他，东部总指挥部针对第五纵队刚成立不久的情况，明确指示各纵队齐心协力支持，因此他和唐凯的调动都是为了这一目的。实际上，韩先楚司令对于徐国夫调离并不乐意，他曾向东总提出申请但未获批准。尽管注重感情的徐国夫对老部队情有独钟，敢与生死之交无法割舍，身为军人的他明白命令不可违抗，再多的留恋也要服从安排。

抵达第五纵队司令部后，政委刘兴元开玩笑说道：“听说你并不太情愿调来我们这里，是真的吗？”他继续笑着补充，“其实你要知道，这个五纵可不是那个国际上臭名昭著的纵队，有人想加入我们还不一定愿意呢。若不是因为你的战斗能力出众，想必我们还不一定能请到你。”此话引来一阵愉快的哈哈大笑，气氛轻松了许多。

实际上，虽然第五纵队的成立没有亏待徐国夫，但让他指挥的13师确实是这支纵队的主力，虽无法与一些老牌主力相比，但也是纵队中最强的部队。尽管如此，第五纵队在战斗力上并不算特别强大，因其实力大多来自于地方独立师的升级，缺乏对大规模、硬仗的实战经验。因此，在随后的战斗中，第五纵队所承担的任务相对较轻。例如，在辽沈战役中，他们并未参与锦州的坚守任务，也没有负责塔山或黑山、大虎山的防卫，而是主要作为配合部队进行阻击。

在辽西会战的过程中，虽然部队表现得不错，但也遭到了一些批评。纵队的指挥总部批评了徐国夫，指责他在没有请示纵队的情况下便自行行动，认为他在目中无人，未能尊重上级。事实上，总部此次越级下达命令，令指挥官们感到不满，认为应请示纵队才是正理。然而，徐国夫认为若不急于行动，哪里会发生越级指挥的情况？他担心，一旦请示纵队，时间就来不及，因此才做出了这样的决定。

直至1949年，平津战役结束后，部队向中南方向发展，抵达湖南之际，40军的军长和政委要求他回去担任119师的师长。在韩先楚和罗舜初的多次报告与陈述理由后，他终于回到了曾服务过的老部队，尽管心中无法完全高兴，但五纵在一年中的战斗经历仍然令他对老部队念念不忘。

之后，他参与了衡宝战役，成功围歼了白崇禧的第七军，并与丁盛的部队共同获得了总部的表彰。他还向南方调动，参与海南岛的战斗，可以说，他的战斗经历是从天涯打到了海角，仿佛从未停歇。