洪武十三年，胡惟庸案爆发，朱元璋以“谋不轨”罪诛杀胡惟庸九族，并牵连多人。这可把李善长吓得够呛，因为他不仅和胡惟庸是亲家，当初还是他保举胡惟庸的。

胡惟庸其实是朱元璋的老员工，朱元璋于1352年投靠的郭子兴，1353年回乡募兵，攻下滁州单干，1355年朱元璋攻克和州，胡惟庸前来投奔。胡惟庸投奔朱元璋的时间，仅次于“淮西二十四将”和李善长等人，按道理朱元璋称帝后，也应给个原始股。

但胡惟庸跟着朱元璋一直干到明朝建立，仅混个宁国知县，而李善长已经身为丞相。封功时，朱元璋不仅将李善长封为中书左丞相，韩国公，位居功臣首位。还在诏书中将他比作萧何，对他褒奖备至。

李善长任劳任怨，获得了朱元璋的喜爱，但他有个毛病：爱嫉妒，待人苛刻。这个毛病在封功后，更明显。朝臣但凡有谁不尊重他，他就对其轮番弹劾、攻讦，直到对方被罢官夺职为止。

久而久之，朝臣都怕李善长，李善长的权势就越来越大，大的让朱元璋害怕。朱元璋就有意提醒李善长年纪大了，该回家养老了。李善长明白了朱元璋的暗示，但他久坐相位，不愿放弃权力，就想了个两全其美的办法。

他看中了胡惟庸，先是将他推荐给朱元璋，提升为太常少卿；洪武六年七月，李善长又把他推荐为右丞相，洪武十年进左丞相，位居百官之首。胡惟庸从一个知县，晋升为左丞相，对李善长感恩戴德，恩人李善长但凡有什么需求，需要提拔什么人，只需一句话，胡惟庸马上照办。

所以李善长即便不做丞相，但他仍然遥控朝政。胡惟庸做丞相后，还和李善长联姻，李善长的弟弟李存义之子李佑，是胡惟庸的侄女婿，李、胡两家利益绑定，达到一荣俱荣的目的。朱元璋为了稳住李善长，也搞联姻，把女儿临安公主嫁给李善长的儿子李祺，光耀李家门楣。李善长被多方拉拢，成了香饽饽，就更飘了，结果被捧杀。

李善长被捧起来后，对朱元璋都表现出一副很冷漠的样子。作为亲家，朱元璋一连病了好多天，他和儿子都不去探望，遭到朱元璋的忌恨。洪武十三年，胡惟庸突然因谋反被诛杀，受牵连而处死者甚多。

李善长吓得不轻，因为胡惟庸不仅是他保荐的，他和胡惟庸还有亲戚。他以为朱元璋也不会放过自己，但过了一阵子，他发现朱元璋并没有动他，不仅如此，因御史台缺中丞，朱元璋又把退休的李善长给请了回来，暂理御史台事务。

当时，刘伯温、杨宪、汪广洋、胡惟庸都倒了，唯独李善长安然无恙，朝臣更加惧怕李善长，而李善长也更加感觉自我良好，就干出更多不动脑子的事。比如，有人告发他的弟弟李存义父子实为胡惟庸的党羽，按律当抄家灭族。但朱元璋下诏免死，将他们安置在崇明，如此大的恩典，李善长竟没有表示感谢，朱元璋更加怀恨在心。

洪武二十三年，77岁的李善长，不知是不是老糊涂了，竟找信国公汤和借300士兵修房子。不管是不是真修房子，但汤和马上就把此事报告了朱元璋，朱元璋可不认为他是修房子，怀疑他居心叵测。

就在这个节骨眼上，李善长又来了作死的一招，亲戚丁斌因胡惟庸案被牵连流放，李善长竟劝朱元璋放了丁斌。李善长自己一步步地，把朱元璋的猜忌心给挑拨到顶点，最终引来朱元璋的杀心。

朱元璋不仅不放丁斌，还严刑重审丁斌，这一审问了不得，丁斌之前给胡惟庸做事，知道很多事情，直接把告发了李善长的弟弟李存义父子，曾和胡惟庸一同计划谋反，李存义父子又供出胡惟庸和自己多次劝说李善长一同谋反，并许诺成功后封他为王。

朱元璋雷霆大怒，大骂李善长，明知有叛逆阴谋却不揭发检举，而是徘徊观望，心怀两端，大逆不道，将李善长全家七十多口一同处死，抄家灭三族，李祺因驸马身份得以免死，但夫妇和子女都被流放。