驻守司马门，控制洛阳，推翻当时僭越乱政的宗室曹爽有功，封长平乡侯，食邑千户，不久加封卫将军。251年八月，司马懿去世，司马师成为抚军大将军，执掌魏国军政大权。
睿略邦权.嘉平四年正月癸卯日（252年1月30日），司马师升为大将军，意欲攻取东吴新建的堤坝。十二月，发兵攻击东兴，并听取诸葛诞的计策；分军三路进攻，王昶进攻南郡，毌丘俭进攻武昌，诸葛诞自己的军队和胡遵的军队合共七万作主力，并架起浮桥。东兴之战却被诸葛恪所击败，朝臣众议要把诸葛诞等参战的武将贬降职位。司马师把战败归咎于自