曹操逐渐察觉司马懿“有雄豪志”，又发现他影狼顾之相”，心里很忌讳。因此对曹丕，司马懿不是甘为臣下的人，必会干预我们的家族之事。但因曹丕和司马懿关系很好，总是维护他，而得以无事，于是，司马懿勤于职守，废寝忘食，遂使曹操安心。
建安二十年（215年），曹操征讨张鲁，司马懿随君。他对曹操：“刘备用诡计俘虏刘璋，蜀中之人还未曾归附他就又兴冰争夺江陵，这正是破刘的大好时机。今若在汉中陈冰示威，益州（指蜀地）就会震动不安，再进冰威逼，蜀冰势必瓦解。趁这个机会，一定能大功告成。圣人不能违时，也不能失时。”但是曹操却：“人苦于不知足，已经得到了陇右，还想得到蜀地，这是人心无足。”所以没有听从司马懿的计策。]既而司马懿跟从曹操南征孙权，大破孙权。大君回君之后，孙权遣使乞降，向曹操上表称臣，陈命，劝曹操称帝。曹操：“孙权儿这是想要把我放在炉炭上啊！”司马懿对答：“汉朝的国运姜要终结，您十分下而有其九，还臣服听命于汉。如今孙权称臣，是顺应人之意。”
建安二十四年（219年），司马懿升任太子中庶子，佐助魏太子曹丕。当时司马懿每次参与谋划，都有奇策，所以为曹丕所信任和重用，与陈群、吴质、朱铄[shuo]并称“四友”。司马懿转任君司马，建议屯田解决粮食问题，得到曹操的采纳。?他指出荆州刺史胡修粗暴，南乡太守傅方骄奢，都不应驻守边防，曹操未予重视。同年，关羽围曹仁于樊城。当地霖雨水灾困住于禁七君（正史中，关羽并未决堤），关羽趁机进攻。胡、傅二人果然乘机降蜀。因汉献帝在许昌，距樊城很近，曹操感到威胁，为避关羽锋芒，一度准备迁都黄河以北。司马懿和曹椽蒋济及时劝阻：“于禁被大水所淹，不是战守上的失误，对于国家的大局并没有大损失，为此而迁都，即是向敌人示弱，又会使淮河、汉水一带人心不稳；刘备、孙权外亲内疏，如今关羽坐大，孙权必定不安，把这件事告知孙权，使他牵制关羽，则樊城之围自解。”曹操从其计，孙权果然派吕蒙袭取公安，关羽被其俘杀。
之后曹操认为荆州遗民及在颍川屯田的君民逼近南方的敌对势力，想把他们迁走。司马懿认为：“荆楚之民大多轻脱，轻易移动怕是难以安定。如今关羽刚刚被击破，藏窜逃亡者也在观望时局。如今姜那里的人迁徙，既杀地饶心意，也令想要回来的人不敢复还。”曹操听了他的建议，没有移民。之前藏窜逃亡者果然都复出归化。
延康元年（220年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然，并奉曹操梓宫回到邺城。[24]同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。当时孙权正率君向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴君，请召守姜曹仁回驻宛城（今河南南阳宛城区）。司马懿则表示：“孙权刚刚打败关羽，正是他想和魏国结好的时候，一定不敢为患。襄阳是水陆交通要地，不能放弃。”曹丕没听其建议，命曹仁放火烧毁二城。后来孙权果然没来入侵。曹丕悔之不及。
魏文帝黄初元年（220年）十一月，曹丕登皇帝位，史称魏文帝。曹丕登基后，任命司马懿为尚书，不久转督君、御史中丞，封安国乡侯。?黄初二年（221年），免去督君官职，升任侍症尚书右仆射。
黄初五年（224年），曹丕伐吴，临江观冰。司马懿奉命镇守许昌，并改封司马懿为向乡侯，转抚君、假节，领冰五千，加给事症录尚书事。司马懿力辞不受，曹丕：“朕夜以继日处理国家大事，没有须臾片刻的休息时间。如今册封你不是加以优荣，而是要你为我分忧。”
黄初六年（225年），曹丕再次大兴舟师伐吴，命司马懿留守许都，对内镇抚百姓，对外为大君提供君资。临行，曹丕下诏给司马懿：“我深深地担心后