曹操的死，对曹家政权来说，相当于一场十级地震，因为他人是在洛阳死的，他一死，他带着的几十万大军顿时陷入群龙无首的境地，而且一部分青州（山东）籍的官兵已经擅自离开洛阳，自己回青州老家去了，各地对曹操暗中不服的势力，也开始蠢蠢欲动。更重要的是，从曹丕到手下的各级文官武将，都不能马上习惯没有曹操的日子，一起陷入了混乱状态。
当留守邺城的曹丕和各级听到曹操去世的消息，第一反应就是聚在一起大哭个不停。这个时候，首先站出来安抚局面的，是司马懿的弟弟司马孚。根据《晋书.司马孚传》记载，曹操的丧事是司马孚负责主办的，但是在《晋书.司马懿传》里，又说曹操的丧事是司马懿全权负责的。但是无论如何，曹操的葬礼都是司马家族的人办理的，而且是井井有条、丝毫不乱，最终，曹操的棺材平平安安、风风光光的被送回了邺城，这一次葬礼，在让世人瞩目的同时，也更使得大家对司马兄弟刮目相看。曹丕继承魏王王位以后，伺候了他很长时间的司马懿，也终于正式迈入了他仕途的康庄大道，被封三级侯爵河津亭侯，当了曹丕丞相府的长史（首席副官）。
曹丕虽然已经继承魏王，但他统治的地域内，仍然是人心惶惶，甚至有谣言说刚刚和解的孙权趁着曹操刚死，要翻脸来进攻。在人心已乱的情况下，曹丕周围的很多人都认为襄阳、樊城刚刚遭遇大战，要人没人，要粮没粮，肯定坚守不住，当时镇守襄阳的，仍然是曹仁，大家就建议让曹仁放弃襄阳，退到中原地区的宛城（河南南阳）。司马懿表示了不同意见，他说：“孙权最近击败了关羽，正要依靠我们对付刘备，绝对不会主动来进攻。襄阳是交通要道，是抵抗敌人的要害之地，绝对不能放弃。”当时，当时到会讨论的大臣们都惊慌失措，包括曹丕心里也没底，最终还是命令曹仁烧毁了襄阳、樊城这两座极其重要的战略要地，可是孙权并没有打过来，曹丕一听这个消息，非常后悔，不禁更信服司马懿的判断力了。
10月29日，曹丕强迫汉献帝交出皇帝宝座，登基称帝，建立了曹魏帝国。司马懿为曹丕当皇帝卖了很大的力气，自然又是加官进爵，升任尚书（***部长），不久又加封为二级侯爵安国乡侯，先后升任督军（军队监察官）、御史中丞（大监察长）。221年，司马懿被免去督军官职，升任侍中（皇帝高级顾问）、尚书右仆射（***副总理）。
在不断升官的同时，司马懿也终于如愿以偿，成为独当一面的领兵大将。在224年2月，曹丕离开首都洛阳，准备对孙权展开攻势，司马懿则被升任抚军大将军，持有皇帝三级符节——假节，领兵五千人镇守陪都许昌，同时又享受到了实际上的***总理待遇——督后台文书。司马懿虽然也喜欢升官儿，但是自己都觉得这么快升迁太招人眼热，就不肯就职，曹丕语重心长的教导他：“我天天处理这些杂事，没白天没黑夜，连休息日都没有，我让你当总理不是给你升官，是让你多替我干活哪！”
曹丕大举进攻东吴，临走的时候，跟司马懿说：“你看家看的好，我才能打胜仗。好好给我看家吧，这是最重要的责任！”曹丕走了以后，司马懿既负责内政、又负责供应前方军事物资，曹丕回师首都洛阳，又给司马懿写下诏书说：“以后我东征，你就在西面看家；我西征，你就在东面看家。”于是司马懿继续留守仅次于首都洛阳的陪都许昌，我们可以看出来，现在的司马懿已经不仅仅是独当一面了，而是成为了曹丕的大内总管。
然而就在公元226年5月，仅仅40岁的曹丕就得了暴病，很快就病危了。临死的时侯，他把抚军大将军司马懿和另外三个一品大将军——中军大将军曹真、镇军大将军陈群、征东大将军曹休同时任命为为辅政大臣，负责辅佐当时只有22岁的太子曹睿。临死前，曹丕还特别对曹睿说：“以后如果有人说这几个人的坏话，你绝对不要相信。”
曹睿即位之后，司马懿被改封为舞阳侯。8月，南方的孙权知道曹丕去世，分两路大举进攻曹魏帝国，司马懿和另一位辅政大臣曹真配合，分别击退孙权的进攻。12月，司马懿因为战功显赫，由抚军大将军再升为骠骑大将军。公元227年6月，司马懿被任命为都督荆州、豫州军事（湖北、中原军区总司令），驻扎在宛城(河南南阳)，从此正式开始了他作为大军区司令南征北战的漫漫生涯。
就在司马懿刚刚上任的时候，蜀汉帝国的实际领导人诸葛亮已经在汉中集结大军，准备对曹魏帝国展开全面攻击，在诸葛亮发动进攻之前，他联络了原先背叛了蜀汉帝国的新城太守（湖北房县）孟达，重新效忠蜀汉，孟达虽然答应，但迟迟犹豫不决，不敢立刻起兵。司马懿知道孟达将要背叛，一面写信好言安抚，一面立刻带人从宛城急行军打了过去。当时，宛城距离新城足足有六百公里，而且途中大半都是山路，非常不好走，孟达非常坚信司马懿不可能亲自来，他的部队也不可能那么快就到，可是，八天之后，司马懿领着大军已经到达新城，十六天之后，就把新城攻了下来。
孟达被杀以后，诸葛亮联合孟达起兵的计划落空，公元228年年初，他只好独自从汉中杀了出来。一开始，由于西北好几年没有经过大战，曹魏帝国都没有做好应战的准备，诸葛亮大军一到，各地纷纷投降，可是后来由于马谡在祁山（甘肃西和西北）一战中不守要道，却守在山上，结果被张郃团团围住，几乎全军覆没，诸葛亮无险可守，只好全体撤退。虽然这场大战的头功要算到张郃、曹真的头上，但司马懿迅速的砍掉诸葛亮的一条臂膀，也强有力的支援了友军。
这一次战役，被后人们称为一出岐山，在《三国演义》里，可以说是诸葛亮策划的最经典战役之一。后人总把一出岐山的失败归结于马谡的失误，但如果我们冷静的、认真的读一读史书，就可以发现诸葛亮的北伐其实注定徒劳无功。在当时的中国，曹魏帝国的人口、军力，比蜀汉和东吴加起来都强，而蜀汉仅仅占据着现今的大西南不到一半儿的地方，人口更是连曹魏帝国的五分之一都没有，以这样悬殊的实力对比还想战胜，实在是比登天还难。
在干掉孟达之后，司马懿还顺便逮捕了魏兴太守（陕西）申仪。孟达叛乱的消息，其实是申仪告的密，但是申仪本人由于长时间的守在魏兴，自己也是独断专行，动不动就假传圣旨、私刻印章，随便以自己的意愿分封属下。孟达的被杀，让申仪对自己的前途也感到害怕，但是司马懿派人对他好言安抚，请他来见面，等申仪一来，司马懿立刻把他逮捕，装进囚车送到了洛阳。为了让这个地区真正安定下来，司马懿又把孟达旧部七千多户人家流放到了幽州（河北北部），这一系列快速、有效的攻略，对蜀汉帝国也造成了巨大的影响，不久，蜀汉帝国的将领姚静、郑他率领七千多人也跑到司马懿这里来投降了。
看到原本动荡的汉江上游一带逐渐安定，司马懿才回到宛城。当时，这个地区刚刚真正纳入曹魏帝国的管辖，新成立的郡政府、县政府，连最基本的户口名册都没有，皇帝曹睿想把这个地方好好捋一遍，就把司马懿召到洛阳，想问问他，该制定些什么办法才能让汉水上游安定下来。没想到，司马懿却说：“蜀汉帝国用严刑峻法统治百姓，所以百姓们才会跑到我们这边来，我们应该尽量用宽大的政策去安抚他们，老百姓自然就会安家乐业。”这意思就是说，对待边境的百姓，不要那么严厉苛刻，尽量安抚，只要不出乱子就行了。
曹睿听到司马懿的办法非常满意，就又问他，如果进攻蜀汉和东吴的话，应该先打谁。出乎别人的意料，司马懿认为应该先打实力较强的东吴，他出的办法就是，先派陆军猛攻长江下游，然后趁着东吴救援的时候，再派水军从夏口打过去，让敌人顾得了头顾不了尾。实际上，在半个多世纪以后，晋王朝在灭吴的战争中，基本采用的就是这种战法，司马懿的计策，从某种程度上来说，应该是超前了半个多世纪。
司马懿见过曹睿以后，就又回到了宛城。在公元228年12月，在一出岐山不到一年的时间里，诸葛亮第二次对曹魏帝国发动了进攻。这一次，他打的是陈仓（陕西宝鸡），但是由于陈仓守将郝昭防守严密，诸葛亮从月头儿打到月尾，一点儿便宜也没占着，等到张郃的援军赶到时，诸葛亮已经回到汉中了。第二年的春天，为了防止汉中的西面发生问题，诸葛亮攻克了曹魏帝国的武都郡（甘肃威县）和阴平郡（甘肃文县），然后立刻就返回汉中。
这三次和诸葛亮的战役，司马懿都没有参与过，但是，不参与并不代表着不思考。从诸葛亮的三次撤退，司马懿发现了他的死穴，那就是：粮食不足、运粮困难。除了第一次入侵诸葛亮准备的还比较充分，其余的两次进攻，全是虎头蛇尾，连一个月都坚持不了。就在司马懿在假想着如何对抗诸葛亮的时候，公元230年的7月，镇守大西北的曹真，向汉中发动大规模的报复性进攻，结果因为连降大雨，这场轰轰烈烈的战役狼狈的泡汤了。
公元231年2月，诸葛亮第四次进攻曹魏帝国，先包围了战略要地岐山，就在这个时候，镇守大西北的大司马曹真突患重病，为了抵抗诸葛亮，皇帝曹睿命令已经是大将军的司马懿立刻接替曹真进驻长安，总领大西北的各路军队。3月，曹真去世，司马懿成为了大西北新一任的最高军政长官。
也许连司马懿自己也没有意识到，对曹魏帝国来说，他的上任，具有划时代的意义。长安是当时仅次于首都洛阳的重要城市，大西北，也是曹魏帝国最辽阔、最复杂的军区，因为这里太重要了，所以从曹操时代开始，一直都牢牢的掌握在曹家和夏侯家这两个皇族的手里。司马懿是第一个总督长安的外姓人，从此以后，他不仅确立了顶级战神的位置，还拥有了一个强有力的班底——整个大西北骁勇善战的将领和士兵，而这都要感谢诸葛亮，因为如果没有他强有力的进攻，曹睿就不会在慌乱之中，把这么重要的位置交给司马懿。接下来，伴随着和诸葛亮的一次次战斗，司马懿的威望也会越来越高，大西北魏军的战斗力会越来越强，最重要的是，司马懿和大西北将士们的感情，会越来越深。
司马懿一上任，和诸葛亮打了一仗，但是这一仗规模并不大，因为在没有和诸葛亮交手的时候，司马懿就已经认准了诸葛亮的致命缺点——缺粮，所以在打了一仗以后，他立刻采取严防死守的措施，坚决不和诸葛亮开战。诸葛亮存粮本来不多，补给又非常困难，急于打仗却没仗可打，耗到6月的时候，终于吃光粮食，只好撤退了。
司马懿和诸葛亮的这一轮较量，说实话胜少败多，根本没有什么两大军神对决之类的精彩场面出现，总之就是司马懿能打死活不肯打，诸葛亮死活想打却打不了，生生被司马懿耗得退兵了。很多将领都非常鄙视司马懿的全防御方针，甚至有的人都认为他是害怕诸葛亮。但是，不管怎么说，实际情况就是，诸葛亮失败了，曹魏帝国的领土一点儿也没有丢失。
公元234年，在休养生息了三年之后，诸葛亮第五次进攻曹魏帝国，这一次，他集结了十万人的大军，从郿县（陕西眉县）进入渭河南岸，在那里扎下营寨，命令士兵种植当地的荒田，做出一副长期进攻的架势。司马懿看到诸葛亮这种举动，却一点儿都不着急，就背靠着渭河扎营，还是死活不肯出战，诸葛亮急于求战，不断向司马懿挑战，甚至给他送去女人穿的首饰和衣服来刺激他，但就是这样，司马懿也一声不吭，为了平息将士们的求战情绪，他还特别派人到洛阳去求来曹睿不准出战的圣旨。有了曹睿的命令，司马懿更加顺理成章的严防死守了。
诸葛亮辛辛苦苦准备了三年时间，就是为了和司马懿来一次决战，分个胜负，然而司马懿毫不配合，最终在8月，在僵持了一百多天以后，心力交瘁的诸葛亮在军营里去世了。司马懿成功的熬死了诸葛亮，赢得了对蜀国反侵略战争的伟大胜利。从那以后，蜀国的进攻，就再也不能对魏国构成严重威胁了。
借着诸葛亮的死，司马懿成为了曹魏帝国当之无愧的一号儿军神，为了奖励司马懿的赫赫战功，在公元235年1月8日，皇帝曹睿任命司马懿做了太尉，也就是一品大臣中最荣耀的三公之一。从此，司马懿成为曹魏帝国的顶级大臣，司马家族也靠着司马懿，进入了当时中国一流家族的行列。