在攻占楚国之后，秦始皇便开始了针对百越地区的征战。王翦大将率领着60万秦军在摧毁楚国的力量之后，继续向南推进，攻占了百越，并在当地设立了会稽郡，这一行动发生在公元前224年。此次战役不仅彻底摧毁了楚国，也标志着秦朝首次对百越地区的军事打击。

然而，史书对于王翦如何进行攻打百越的具体细节并未详细记载，直到公元前221年，秦国成功吞并了燕国和齐国，实现了统一的壮举。两年后，秦始皇又发动了针对百越的专项战争，这次战斗的规模与复杂性远超以往，前后共经历了三次大规模的军事行动。第一次由屠睢将军带领50万秦军，兵分五路进行进攻，然而尽管付出了惨重的代价，最终以失败告终，伤亡人数众多。

第二次的战役由任嚣与赵佗联手指挥30万大军进行，这次攻势取得了显著的成果，成功征服了百越地区，并在这些新征服的土地上设立了南海郡、桂林郡和象郡，开始实施郡县制的管理。第三次战役则发生在公元前210年，当时赵佗再次出征攻打瓯骆地区。遗憾的是，秦始皇在这时已经去世。

秦始皇统一六国之后，他向百越地区大量移民，尤其是多次参与战争的秦军士兵以及他们的家属，他们一共至少迁徙了50万人。这样一来，百越地区逐渐融入了华夏的版图。然而，随着秦朝的灭亡和楚汉战争的爆发，百越地区依然保持着相对的独立性，直到刘邦建立汉朝，才通过陆贾使者劝说赵佗归顺。

当时，秦朝已遭到灭亡，百越地区的秦军并未立刻采取行动与项羽、刘邦作对。秦朝灭亡后，百越地区的秦军未能被召回。那么，为什么秦朝不调动岭南的秦军来对抗刘邦与项羽的势力呢？

有一种说法认为，秦始皇曾经下令，岭南的秦军不得回防中原。这一说法来源于历史小说《大秦帝国》中有类似的描述。在小说中，秦始皇告诫赵佗：“若中原发生风云，南海军不得北上，务必封闭通道，不让乱局波及南天。”小说中的内容充满了戏剧性，但并不代表历史的真实。这种情节虽然引人入胜，但它并非历史事实。

实际上，秦始皇早逝时，帝位由其儿子秦二世胡亥继承。而胡亥的治理无能加剧了朝政动荡。即便秦始皇生前有此类命令，胡亥也有权利调整政策，并且在乱局中不会轻易让岭南的军队回防。因此，秦朝的岭南军未能参与平定中原的叛乱。

秦朝灭亡后的动荡，是由一系列内部权力斗争引发的。在秦始皇去世后，胡亥在赵高和李斯的操控下逐渐掌权，导致了整个朝廷的腐败和不稳定。赵高借机篡权，残忍杀害了许多重要官员，局势逐渐陷入混乱。这时，陈胜、吴广等人的起义爆发，迅速引发了更大范围的民变，形势变得更加急迫。由于没有充足的时间与资源调动岭南军队，秦朝无法有效应对这些变乱。

更重要的是，赵高在篡权之后，决策时充满了猜忌与权力斗争，甚至连章邯这样的功勋将领也未能幸免。此时的秦朝已经没有足够的能力来调动远在南方的岭南军队，且在兵员和粮草的准备上都面临巨大困难。古代的军队调动不仅需要时间，还需要大量的后勤支持，这使得岭南军队根本无法赶到中原应对突发的局势。

另一个重要因素是赵佗的独立意图。任嚣和赵佗作为当时的秦朝将领，他们对中原的局势有着清晰的认识，尤其是任嚣，他深知自己所在的南海郡在秦朝崩溃时的潜在优势。任嚣不仅没有返回中原平乱，反而打算通过封闭道路，建立起自己的独立势力。赵佗接手后，迅速采取措施，清除了秦朝安置的官员，进一步加大了自立的步伐。最终，他甚至自称为南越武王，完全脱离了秦朝的控制。

最后，秦朝廷内的权力斗争让岭南的秦军士气低落，即便有命令让他们回防，他们也很难在这样的政治环境下作出回应。赵高的统治，使得秦朝越来越接近灭亡，而南方的秦军则选择了更为稳妥的选择，那就是继续独立，以保全自身。

总之，虽然秦始皇生前可能有过相关的战略部署，但实际情况远比任何预设的计划要复杂得多。秦朝末期的乱象，最终导致了岭南秦军未能及时介入中原的动荡，也使得赵佗等人选择了割据自立，而非为秦朝效忠。这一历史发展，既是秦朝权力斗争的结果，也是政治与军事决策的失败。