以御，请召当时镇襄阳的曹仁回宛。司马懿说：“孙权新破关羽，这是想和魏结交的时候，必不敢为患。襄阳是水陆之沖，御寇要害，不可弃。”不被听从。于是曹仁焚弃樊城、襄阳，孙权果然没有来犯，曹丕悔之。曹魏代汉后，以司马懿为尚书。不久，转督军、御史中丞，封安国乡侯。黄初二年（221年），迁侍中、尚书右仆射。
抵御孙吴.黄初七年（226年），曹丕逝世。孙权得知后，于八月出兵攻魏。命吴左将军诸葛瑾部兵分两路进攻襄阳，亲自率军进攻江夏郡。孙权一路为魏军所败，撤兵而走。司马懿击败诸葛瑾，并斩杀吴将张霸