在东晋历史上，司马懿是一位备受尊重和仰慕的政治家和军事领袖。他凭借着过人的智慧和勇气，成功挫败诸葛亮的北伐，并平定了公孙渊的叛乱，使得东晋政权得以稳定。司马懿心腹的出征行动展现了他的果决和决断力，也让人对他的领导能力和军事才能赞叹不已。
公元249年，趁着曹爽陪同曹芳到高平陵祭拜魏明帝的机会，司马懿起兵控制都城洛阳。诚然，曹爽作为大将军，手握天子和兵权。不过，他还是不敢和司马懿正面反抗，所以放弃抵抗。究其原因，显然和司马懿长期执掌兵权，心腹遍布曹魏军中存在一定的关系。其中，就笔者今天要说的胡遵，无疑可以称之为司马懿家族的心腹了。
一
具体来说，胡遵出身曹魏安定郡临泾县，才兼文武，早年由历任雍、凉二州刺史的张既以礼征辟而进入仕途。青龙元年（233年）九月，安定郡的保塞匈奴大人胡薄居姿职发动叛乱。因为叛乱就发生在胡遵的家乡，所以，司马懿派遣胡遵前去对付叛军。在这场战役中，胡遵奋勇追击，成功迫使胡薄居姿职投降而平叛。
青龙二年（234年），蜀汉丞相诸葛亮第五次北伐中原。面对诸葛亮北伐，胡遵在司马懿指挥下与雍州刺史郭淮共同在阳遂防守，在积石遭遇诸葛亮的蜀汉军队，双方紧邻五丈原开战，诸葛亮不能前进而退回五丈原。同年秋天，诸葛亮病逝五丈原，这意味着蜀汉北伐暂时告一段落。但是，作为司马懿的心腹，胡遵很快又出现在辽东战场上了。
二
景初元年（237年），割据辽东的公孙渊背叛曹魏。对此，魏明帝派幽州刺史毌丘俭等携带书信印章去征召公孙渊。公孙渊闻讯，立刻发兵，在辽隧阻击毌丘俭，并与之展开激战。毌丘俭见形势对己不利，便退兵。
虽然魏明帝一开始不愿意启用司马懿，也即他也担心司马懿长期执掌兵权。不过，伴随着毌丘俭的失败，魏明帝不得不让司马懿再次出发。到了（238年）六月，胡遵在司马懿指挥下击破公孙渊将领卑衍、杨祚，最终平定公孙渊叛乱。
公元249年，司马懿发动了高平陵之变，诛杀了曹爽及其党羽。对此，胡遵等人坚定的站到司马懿这一边，并在之后获得了丰厚的回报。
嘉平四年（252年）四月，吴大帝孙权去世。时任征东将军的胡遵与征南大将军王昶、镇南将军毌丘俭同时上疏献策，请求征讨东吴，但三人献策各不相同。当年十一月，王昶、胡遵、毌丘俭奉命分三路征吴。
在这场战役中，胡遵与镇东将军诸葛诞等率兵七万攻打东兴（今安徽含山西南）濡须水上的东吴筑堤，命令各军作浮桥渡水，陈兵于大堤之上，分兵攻打吴军在大堤左右依山而建的两座城堡，因城在高峻险要之处而不能很快攻破。同年十二月，东兴之战中的曹魏大军被吴将诸葛恪击败。
三
最后，正元二年（255年）正月，毌丘俭、文钦在淮南发动叛乱。在司马懿之子司马师的命令下，胡遵督青州、徐州的军队出于谯、宋之间，断绝叛军归路。当年七月，毌丘俭、文钦之乱被平定后，胡遵升任卫将军。
甘露元年（256年）秋七月己卯，胡遵去世。当时执掌大权的司马昭追赠胡遵为车骑将军，爵至阴密侯。值得注意的是，胡遵去世后，他所在的安定胡氏成为魏晋时期的世家大族。
胡遵有六子，最著名者是胡奋。胡奋在晋武帝司马炎时期屡立战功，官做到尚书仆射、镇南大将军、开府仪同三司。而胡遵的孙女胡芳是晋武帝司马炎的贵嫔（三夫人之首、位同三公），这意味着胡遵的家族从此成为西晋外戚，权势更加显赫。