曹魏代汉后，以司马懿为尚书。不久，转督军、御史中丞，封安国乡侯。黄初二年（221年），迁侍中、尚书右仆射。
抵御孙吴.黄初七年（226年），曹丕逝世。孙权得知后，于八月出兵攻魏。命吴左将军诸葛瑾部兵分两路进攻襄阳，亲自率军进攻江夏郡。孙权一路为魏军所败，撤兵而走。司马懿击败诸葛瑾，并斩杀吴将张霸，斩首千余级。十二月，升任骠骑将军。
擒斩孟达.司马懿的军事才略还表现在孟达叛魏事件上。孟达原为蜀汉降将，曹丕命他守新城（今湖北房县）。曹丕死后，孟达欲叛魏归蜀。司