卫瓘、张华、山涛等人以晋已统一了全国而多次要求封禅，但司马炎都谦让不许。后魏舒转任尚书左仆射，领吏部，及后更加右光禄大夫、仪同三司。太康四年（283年），司徒山涛逝世，魏舒加领司徒，不久即转任司徒。及后魏舒多次以疾病要求辞职，都不获允许，其间曾又署任兖州中正。太康七年（286年），魏舒以日蚀为由送还印绶，决意辞官。司马炎于是让他还第，位同三司。太熙元年（290年），魏舒逝世，享年八十二岁，谥号康。司马炎知道他的死讯后十分哀伤，给予的赏赐亦很丰厚。