魏舒后来又任后将军钟毓的长史。后又转任相国司马昭的参军，封剧阳子。魏舒在处理府内庶务都没有是非之事；而官吏升黜的大事，有时众人都不能下决定，而魏舒却可以作出出人意表的计划。司马昭都对他十分器重。后魏舒任宜阳和荥阳二郡太守，甚有声誉，因而获侍中任恺提拔为散骑常侍，后出任冀州刺史，在任三年族政宽大仁惠，甚有称誉。后又转任侍中。晋武帝司马炎为了嘉奖他清正廉洁，特赐他一百匹绢布。后又迁任尚书。西晋太康初年，魏舒转拜尚书右仆射。魏舒曾与卫瓘、张华、山涛等人以晋已统一了全国而多次要求封禅，但司马炎都谦让不许。后魏舒