卫氏家族的强势崛起,可以说是完全仰仗一个人。这个人便是刘彻的嫡亲长姐:平阳公主。卫子夫和卫青姐弟,都曾是平阳公主的家仆。如果不是在刘彻前往平阳公主府饮宴时,平阳公主向刘彻推荐了能歌善舞的卫子夫。那么刘彻也就不会钟情于卫子夫,将其立为皇后。公主府奴仆卫青、私生子霍去病{卫子夫姐姐的儿子}也不会被刘彻重用,成为后来的大汉将军、万户侯。可以说平阳公主是卫子夫姐弟命中的贵人。
平阳公主两次守寡后,已经五十多岁,刘彻不得不为重新姐姐物色一位夫君。此时四十岁,为大汉履立战功的卫青走入了刘彻的视野。刘彻觉得出自姐姐府邸的卫青,必定和姐姐情投意合,是姐姐的良配。刘彻在将姐姐指婚给卫青时,平阳公主唯一的儿子曹襄,不久前刚刚病逝。而卫青是带着与前妻所生的儿子:卫伉、卫不疑、卫登伉{卫青的原配妻子应该已经去世},迎娶的平阳公主。
公元前124年,卫青率领汉军千里奔袭高阙。此战卫青不但俘虏匈奴右贤王皇室及其治下百官,一万五千余人,汉军更是缴获不计其数的牛羊。刘彻因卫青所立战功,封卫青为大将军,同时赏赐卫青食邑6000户。卫伉三兄弟,也分别被刘彻封为:宜春侯、阴安侯以及发干侯,同时三兄弟还被刘彻各赏赐食邑1300户。公元前106年,卫青病逝,再度痛失丈夫的平阳公主,年龄已经六十多岁,她已经无心再改嫁。卫青病逝没过几年,平阳公主也随丈夫而去。临终前平阳公主请求刘彻将自己和卫青合葬。虽然父亲和继母,都曾被刘彻厚待,但到了卫伉三兄弟这里{平阳公主继子}情况却迥然不同。
公元前116年,卫青的长子卫伉因假传圣旨一事{没有酿成大祸}被刘彻免去爵位。四年后卫青的次子卫不疑以及小儿子卫登也被刘彻削去爵位。当时刘彻给出的削爵理由是:府中有大量贪赃枉法得来的黄金{酬金不如法}。随卫登兄弟一起被削爵的,还有104为出身卫氏家族的人。当时的卫登兄弟,还只是少年,说他们贪赃枉法难免有些牵强。编者觉得这很可能是刘彻,借削卫氏三兄弟爵位一事,趁机来敲打卫氏家族和太子刘据。
公元前99年卫青的长子卫伉,再次犯下擅闯皇宫之罪。面对没有爵位可削的卫伉,刘彻干脆将卫伉发配到边疆去服苦役。五年后服刑期满的卫伉回到了京师,不想命运却是如此捉弄卫伉,不久后卫伉又卷入巫蛊之祸。
公元前91年,丞相公孙贺的儿子,公孙敬声{卫青的外甥}因私下挪用军费一事被查,随即牵扯出巫蛊之祸。被江充诬陷魇镇皇帝刘彻的刘据,无奈起兵反叛。最终刘据兵败自尽,卫子夫也选择自尽陪儿子共赴黄泉。卫青的姐夫,大汉丞相公孙贺、外甥公孙敬声以及卫伉,也因参与太子谋反一事,被刘彻降旨诛杀。堂堂大司马卫青的长子,就这样莫名其妙身死,这不得不让人怀疑,大肆杀戮的刘彻,是抱着狡兔死、走狗烹的念头,卫氏家族一夜之间衰败。
一场巫蛊之祸,让活跃在大汉政坛上的卫氏家族,顷刻之间覆灭。但卫青的次子卫不疑以及小儿子卫登,却因为年龄太小,官职低微没有被巫蛊之祸一事牵连。卫不疑两兄弟的命运最终如何,史料并没有明确记载,不过卫登的后人,后来却恢复了卫氏家族的显赫。卫氏家族随着卫子夫母子自尽,而快速衰败。不想后来霍去病的弟弟霍光却成为大汉第一权臣。权臣霍光飞扬跋扈到何种程度呢?霍光竟然能擅自做主废立皇帝{废刘贺改立刘询}。为了进一步揽权,霍光甚至还命人毒死了刘询的原配妻子{许平君,为了让刘询立自己的女儿为后}。
刘询登基之初,自知不是权臣霍光的对手。因此面对原配妻子被毒害一事,刘询选择了隐忍。等到刘询实力积攒足够时,他才一举铲除霍光家族。大权在握后刘询追封自己的曾祖母{卫子夫}为思皇后。不想刘询却对自己的祖父十分刻薄。他给自己的祖父{刘据},追谥了一个很不好的谥号:戾太子。由此可见卫氏家族以及霍氏家族的兴衰荣辱,全在两代大汉天子一念之间。