于无奈，废其为庶人，并流放到新安郡。司马晞于太元九年（384年）去世，时桓温已死，晋孝武帝就追封他为新宁郡王，并由司马遵承袭爵位。当时司马遵哭着受爵，感动左右。太元十二年（387年），晋孝武帝恢复武陵王爵位。司马遵历任散骑常侍、祕书监、太常、中领军。桓玄专权时又以他为金紫光禄大夫。元兴二年（403年），桓玄篡位建立桓楚，司马遵被贬为「彭泽县侯」。次年刘裕率义兵攻下建康（今江苏南京），并声称受晋安帝密诏，以司马遵承制总百官，加侍中、大将军。义熙元年（405年），晋安帝回建康复位，以司马遵为太保