抗日战争结束后，太岳军区的主力力量被重新编组为第四纵队，指挥官由陈赓担任，旗下分辖有10旅、11旅和13旅。原计划将第四纵队调往东北参与战斗，因此军区决定再组建第八纵队，统一指挥22旅、23旅和24旅。然而，最终第四纵队未前往东北，而是留驻太岳继续开展军事行动。

1947年7月，上级又发出命令，让第四纵队与第八纵队合并成新的第四纵队，随之24旅被划归进第四纵队，并重新改编为12旅。新的第四纵队的组织结构包括10旅、11旅、12旅和13旅，这使得它成为刘邓领导下唯一一个由四个旅组成的主力单位，兵力也相对其他纵队更为雄厚。

尽管12旅成为第四纵队的一部分，但由于其执行作战任务时多为独立作战，因此被人称为“主力中的偏师”。在陈赓司令员的指挥下，第四纵队跨越黄河，积极进军豫西开展战斗。

在豫西与敌军激战期间，12旅在旅长刘金轩的指挥下进行了多次战斗。第四纵队接到上级的命令，要协同西北野战军打击胡宗南的部队，责任落在12旅身上，他们负责保护西北野战军的右翼安全。

经过灵陕战役的激烈战斗后，为了支援刘邓大军在大别山的作战，上级决定将陈谢兵团调至伏牛山南麓，留下第四纵队的12旅与西北民主联军的38军17师一起，向陕南进军以建立新的根据地。

12旅率先抵达陕南，成功牵制了分散的敌军兵力，并联合陕北和豫西战场的力量展开作战。不久后，陈先瑞副军长带领17师也进入陕南，与12旅会合。双方的任务是向洛南、商县和商南地区挺进，创建新的根据地。

陈先瑞副军长对陕南的地形和民情十分熟悉，他曾多次在该地区工作，包括红军时期的入陕与中原突围后的再次访问。这次是他第三次踏上这片土地。经过两支部队的持续作战，他们在陕南成功站稳脚跟。根据上级的指示，以这两支部队为基础，成立了陕南军区，刘金轩被任命为司令员，而陈先瑞虽然原本被指定为政委，但因对军事工作更感兴趣，被调任为副司令员。

因此，12旅脱离了主力建制，成为了一支地方武装。尽管如此，这支地方武装并不简单，在随后的襄樊战役和淮海战役中，12旅仍被调回战场参加大规模战斗。他们在攻防战中均表现出色，完成任务，因而被誉为“偏师中的主力”。

在淮海战役结束后，陈赓司令员希望12旅驻留，因为他们的作战能力显著，但考虑到陕南军区的兵力薄弱，12旅最终被要求归建。到1949年，陕南的主力部队改编为19军，刘金轩担任军长，带领部队向西挺进，参与解放西南的战役，成功歼灭了国民党新编的4、5、8以及127军残余，将近两万人，使得刘邓首长下达的作战任务圆满完成。