公元249年,正值曹爽陪同年幼的魏明帝曹芳前往高平陵祭祀祖先之时,司马懿趁机起兵,一举掌控了都城洛阳。表面上,曹爽位列大将军,手握天子与兵权双重重任,但他面对司马懿却不敢正面抵抗,最终选择了放弃反抗。细究其原因,不难发现,这不仅因为司马懿早年掌握兵权,且心腹遍布魏军各个要冲,也与当时魏军内部的权力结构密不可分。在这些心腹之中,胡遵无疑是司马懿家族最值得信赖的核心人物之一。
胡遵出身安定郡临泾县,自幼才智兼备,文武双全。早年间,他得到了历任雍、凉二州刺史张既的赏识,被以礼征辟,正式踏上仕途。青龙元年(233年)九月,安定郡的保塞匈奴大人胡薄居姿职在当地发动叛乱,恰好此事发生在胡遵的家乡,司马懿遂派他前往镇压。战事中,胡遵奋勇追击,最终迫使胡薄居姿职投降,成功平息叛乱,声名鹊起。 青龙二年(234年),蜀汉丞相诸葛亮第五次北伐中原。面对这股强大的进攻,胡遵受司马懿指挥,与雍州刺史郭淮一道坚守阳遂。在积石与诸葛亮的蜀军遭遇后,双方在五丈原附近激烈交锋,诸葛亮未能突破防线,被迫退回五丈原。同年秋,诸葛亮在五丈原病逝,蜀汉的北伐暂告段落。然而,胡遵并未因这场防守而退居幕后,他很快又出现在辽东的战场上,继续肩负司马懿的重任。 景初元年(237年),辽东割据势力公孙渊背叛曹魏。魏明帝派幽州刺史毌丘俭携带书信印章前往征召公孙渊,却被公孙渊提前派兵阻击,毌丘俭兵败而退。魏明帝虽然心存疑虑,不愿轻易启用司马懿,但随着毌丘俭的失败,形势迫使他不得不再次委以重任。次年六月,胡遵随司马懿出征,击败公孙渊部将卑衍、杨祚,最终彻底平定辽东叛乱。公元249年,高平陵之变爆发,司马懿诛杀曹爽及其党羽。胡遵坚定地站在司马懿一方,随后获得了丰厚的赏赐和军职提升。 嘉平四年(252年)四月,东吴大帝孙权驾崩。时任征东将军的胡遵与征南大将军王昶、镇南将军毌丘俭同时上疏献策,提出征讨东吴的方案,但三人的战略各有侧重。同年十一月,三路大军奉命出征。胡遵率领七万大军,与镇东将军诸葛诞一道进攻东兴(今安徽含山西南)濡须水上的吴军筑堤,命令士兵架设浮桥渡水,在大堤上布阵,分兵攻打依山而建的两座吴军城堡。然而,由于城池地势险要,魏军未能迅速攻下,最终在十二月的战斗中败给吴将诸葛恪。 正元二年(255年)正月,淮南再次爆发叛乱,由毌丘俭、文钦领兵作乱。司马懿之子司马师下令,胡遵统领青州、徐州军队在谯、宋之间布防,切断叛军退路。至当年七月,叛乱平定,胡遵因功升任卫将军。 甘露元年(256年)秋七月己卯,胡遵去世。司马昭执掌大权后,追赠他为车骑将军,并封爵阴密侯。胡遵去世后,其家族所在的安定胡氏逐渐成为魏晋时期的重要世家大族。胡遵育有六子,其中最著名的是胡奋,他在晋武帝司马炎时期屡立战功,官至尚书仆射、镇南大将军、开府仪同三司。胡遵的孙女胡芳更成为晋武帝司马炎的贵嫔,位列三夫人之首,权势与地位显赫,使胡遵家族自此跻身西晋外戚之列。