大业十三年（617年），从农历二月到六月，李渊开始为自己的起兵做准备。那时，他集结了不到3万人的队伍，先是肃清太原的叛乱分子，并驱逐了突厥的侵扰。到七月，他筑台誓师，正式宣布起兵以“匡复隋室”。这一切的准备工作仅用了几个月，而到了十一月九日，李渊便成功攻入长安，用时不到四个月。四天后的十一月十三日，傀儡皇帝杨侑（杨广之孙）迫于形势，将李渊封为唐王、大丞相和尚书令，同时，李建成被任命为唐王世子，李世民则被任命为京兆尹，封为秦国公；李元吉则封为齐国公。可以说，李渊一家已牢牢掌控了关中地区的政治局势。

义宁二年（618年），农历三月，隋炀帝杨广在江都的战败传来。到五月，杨侑终于在压力下“禅让”，将帝位交给了李渊。从李世民开始策划起义，到李渊正式称帝，这段历程前后不过15个月的时间。李渊能够如此迅速地崛起，并成功称帝，并非因为他比历史上的其他帝王如刘邦或朱元璋更为卓越，而是因为他背靠着关陇世家的强大支持，同时也得益于一批能力出众的手下和儿子的支持。

李渊的崛起迅猛无比，在这个过程中，他毫不吝啬地封赏手下的将士，许多人都被封为国公。特别是李世民，他在这一过程中，积累了大量的功劳。在李渊称帝之时，李世民已被封为尚书令、右翊卫大将军，并晋封为秦王。此时，李唐的疆域仅限于关中和河东，尚未实现全国统一。因此，李渊任命李世民负责开府自治，成立了天策府，并赋予他一批文臣武将，如长孙无忌、房玄龄、杜如晦、尉迟敬德、侯君集等。李渊指示李世民率领天策府四处征战，逐步消除地方割据势力。因此，到了武德四年，李世民已身居“天策上将”的高位，也开始给李渊带来了难题。

早在武德元年，李渊便让李建成进入太子东宫，而李世民心中早有不满，因为李渊曾表示，“晋阳起兵”李世民立下了赫赫战功，因此应当由李世民继位为太子。但李渊最后却反悔了，令李世民心中郁结。到武德三年，李元吉按照李渊的命令入住了太极宫的武德殿，而李世民也无法再抗拒，最终也进入了太极宫承乾殿（李世民的长子便是李承乾）。这一举动意味着天策府开始分崩离析，也暗示着李世民将无法继承太极宫的皇位。李渊的这一系列举措实际上是在逐步瓦解天策府的权力，并逐渐回收李世民的兵权。

到了武德四年，李世民再次带兵重创了窦建德的余部，击败了刘黑闼和山东的徐圆朗。然而，到了第二年六月（武德五年），刘黑闼逃往突厥并引发突厥军队在山东作乱。这次，李渊并没有派遣李世民出征，而是将任务交给了太子李建成。魏徵，李建成的洗马，向李建成建议道：“虽然您是太子，但若论军功和威望，远不及秦王。现在天下已经接近统一，刘黑闼即将败北，若能亲自去剿灭他，不仅可以为父王立下大功，也能获得无上的威望。”李建成采纳了魏徵的建议，请求亲自出征刘黑闼。

同年十二月，李建成在魏州大获全胜，成功斩杀了刘黑闼的首级，彻底平定了山东，消除了最后一股割据势力，为唐朝的统一立下了赫赫战功。这一胜利，也进一步显示出李渊对于李建成的偏爱，他通过此举加强了太子的权势，同时也遏制了李世民的影响力，进一步巩固了李建成的地位。