对他十分器重。后魏舒任宜阳和荥阳二郡太守，甚有声誉，因而获侍中任恺提拔为散骑常侍，后出任冀州刺史，在任三年族政宽大仁惠，甚有称誉。后又转任侍中。晋武帝司马炎为了嘉奖他清正廉洁，特赐他一百匹绢布。后又迁任尚书。西晋太康初年，魏舒转拜尚书右仆射。魏舒曾与卫瓘、张华、山涛等人以晋已统一了全国而多次要求封禅，但司马炎都谦让不许。后魏舒转任尚书左仆射，领吏部，及后更加右光禄大夫、仪同三司。太康四年（283年），司徒山涛逝世，魏舒加领司徒，不久即转任司徒。及后魏舒多次以疾病要求辞职，都不获允许，其间曾又署任兖州中正